Il software di rilevamento della scrittura basato sull’intelligenza artificiale destinato a catturare gli studenti che imbrogliano sta inavvertitamente insegnando agli studenti a scrivere per algoritmi piuttosto che per lettori umani, creando un sistema di incentivi perverso che incoraggia la prosa blanda e l’uso difensivo della stessa tecnologia che questi strumenti sono stati progettati per prevenire.
TechSpot rapporti che gli istruttori e gli studenti di scrittura di tutti gli istituti scolastici stanno scoprendo una conseguenza involontaria degli strumenti di rilevamento dell’intelligenza artificiale: invece di limitarsi a identificare il testo generato dalla macchina, questi sistemi stanno sostanzialmente rimodellando le pratiche di scrittura degli studenti in modi preoccupanti. Gli strumenti, che si basano sull’analisi statistica piuttosto che sulla reale comprensione della paternità, stanno penalizzando la scrittura sofisticata mentre premiano la prosa generica e compatibile con gli algoritmi.
Un esempio lampante è emerso quando il saggio di uno studente su Kurt Vonnegut Harrison Bergeron ha ricevuto un punteggio generato dall’intelligenza artificiale del 18% da un rilevatore preinstallato su un Chromebook fornito dalla scuola. Il fattore scatenante era una sola parola: “privo”. Quando lo studente ha sostituito questo termine con la parola più semplice “senza”, il punteggio di rilevamento dell’intelligenza artificiale è sceso a zero, nonostante nessuna modifica alla struttura o alle idee sottostanti del saggio. Questo incidente illustra come gli attuali sistemi di rilevamento funzionano su segnali statistici a livello superficiale come la scelta e la distribuzione delle parole piuttosto che su una valutazione significativa della paternità.
Il fondamento tecnico di questi rilevatori contribuisce al problema. Gli strumenti di rilevamento dell’intelligenza artificiale stimano la probabilità che il testo sia stato generato automaticamente analizzando caratteristiche tra cui la frequenza dei token, i modelli sintattici e la burstiness, che si riferisce alla variazione nella lunghezza e nella struttura della frase. Gli studenti hanno imparato che alcuni indicatori stilistici possono innescare punteggi di rilevamento più elevati, mentre il testo più piatto e generico tende a passare inosservato. Ciò crea una risposta razionale ma problematica: gli studenti semplificano deliberatamente la loro scrittura o utilizzano modelli di intelligenza artificiale per generare frasi statisticamente sicure che si confondono con lo sfondo.
L’istruttore di scrittura Dadland Maye ha osservato studenti universitari che hanno iniziato a sperimentare strumenti di intelligenza artificiale generativa proprio dopo aver appreso che alcune caratteristiche stilistiche, come i trattini, potrebbero attivare i rilevatori nei loro corsi. Una studentessa che aveva costantemente scritto il proprio lavoro ha iniziato a eseguire bozze attraverso sistemi di intelligenza artificiale non per esternalizzare le attività di scrittura, ma per verificare se il suo stile naturale sarebbe stato contrassegnato come generato dall’intelligenza artificiale, quindi ha adattato la sua scrittura di conseguenza. Un altro studente, dopo essere stato falsamente accusato di utilizzare l’intelligenza artificiale in una lezione precedente, si è iscritto a più servizi di intelligenza artificiale e ha studiato in dettaglio le tecniche di rilevamento per anticipare ed evitare futuri falsi positivi.
Questa dinamica esemplifica ciò che gli economisti chiamano effetto Cobra, in cui una politica volta a ridurre un comportamento specifico finisce per incoraggiarlo premiando i segnali sbagliati. Gli studenti che devono affrontare voti o conseguenze disciplinari sono incentivati a scrivere in modo più blando o a utilizzare gli stessi modelli di intelligenza artificiale presi di mira dai rilevatori per aiutare a generare frasi sicure. L’effetto Cobra deriva il suo nome dall’era del dominio britannico in India, durante la quale veniva offerta una taglia per ogni serpente cobra ucciso. Ciò ha creato un incentivo per un’industria artigianale che alleva cobra con il preciso scopo di ucciderli e ricevere una taglia.
L’impatto appare particolarmente grave negli istituti ad accesso libero come la City University di New York, dove gli studenti lavorano spesso dalle venti alle quaranta ore settimanali, parlano più lingue e si orientano verso politiche di intelligenza artificiale incoerenti che variano a seconda dei diversi corsi. Maye riferisce che uno studente ha passato ore a riformulare frasi contrassegnate come generate dalla macchina nonostante fossero del tutto originali. Un altro studente ha descritto il processo semplicemente: “Rivedo e rivedo. Ci vuole troppo tempo”.
Le implicazioni educative a lungo termine potrebbero rappresentare la preoccupazione più significativa. Gli studenti stanno interiorizzando la lezione che uno stile sofisticato può lavorare contro di loro e che una prosa fluida e sicura può diventare uno svantaggio. Ciò sposta l’obiettivo fondamentale dell’istruzione scritta dalla chiara espressione di idee o dallo sviluppo di una voce autentica verso la produzione di un testo abbastanza insignificante da superare una soglia statistica.
Riconoscendo questi problemi, Maye ha modificato il suo approccio didattico. Ha detto agli studenti che potevano utilizzare gli strumenti di intelligenza artificiale per la ricerca e la definizione, mantenendo nelle proprie mani il processo di stesura vero e proprio. Iniziò a insegnare la progettazione tempestiva, i limiti dei riepiloghi automatizzati e i segnali di allarme che un modello stava sostituendo anziché supportare il pensiero degli studenti.
Questo cambiamento ha prodotto un notevole cambiamento nelle dinamiche della classe. Gli studenti hanno iniziato ad avvicinarsi a Maye dopo le lezioni non per contestare le accuse di utilizzo dell’intelligenza artificiale, ma per porre domande sull’implementazione responsabile. Volevano sapere come raccogliere informazioni di base senza copiare il testo generato e come riconoscere quando i riassunti scritti dall’intelligenza artificiale si erano allontanati dal materiale originale.
Il direttore dei social media di Breitbart News, Wynton Hall, il cui nuovo libro CODICE ROSSO sarà pubblicato domani, comprende il pericolo di conseguenze indesiderate della tecnologia avanzata. Hall spiega: “L’America ha un piede tra le rose delle possibilità e della promessa di innovazione tecnologica, e un piede sospeso sulle mine terrestri che dovremo superare collettivamente come società. Ognuna di queste mine terrestri tocca ogni specialità politica in cui è entrato il movimento conservatore. “
CODICE ROSSO include un capitolo sull’impatto dell’intelligenza artificiale sull’istruzione, nonché argomenti che vanno dalla fede e le relazioni al futuro della nostra economia e alla libertà di parola.
Leggi di più su TechSpot qui.
Lucas Nolan è un reporter di Breitbart News che si occupa di questioni di libertà di parola e censura online.
