Questo rapporto, ricercato durante l’estate 2024, esamina l’aumento dell’uso dei chatbot AI nel mondo accademico dopo il lancio di ChatGPT nel 2022 e la risposta delle istituzioni educative attraverso strumenti di rilevamento dell’AI. Discute l’efficacia variabile di questi strumenti nell’identificare i contenuti generati dall’AI, con problemi come i falsi positivi e i falsi negativi. Il rapporto evidenzia anche le preoccupazioni etiche relative alla privacy, all’accuratezza e all’uso dell’IA nell’istruzione. Alcune istituzioni stanno riconsiderando l’uso degli strumenti di rilevamento, scegliendo invece di integrare l’IA nei programmi di studio in modo responsabile.
Questa guida è destinata principalmente alle università e ad altri istituti di istruzione superiore che partecipano al Programma di Seminari di Cybersecurity di Google.org. Si rivolge ai Campioni di Facoltà e ai Campioni EDI di questi programmi. Oltre ai Seminari di Cybersecurity di Google.org, questa guida può essere rilevante anche per altre organizzazioni impegnate nell’educazione pratica alla cybersecurity.
Il lancio di ChatGPT nel 2022 ha generato un interesse mondiale per l'intelligenza artificiale (AI) e ha portato a un uso diffuso dei chatbot AI, anche da parte degli studenti. In seguito alla comparsa dei chatbot AI, sono state sollevate preoccupazioni da parte degli istituti di istruzione superiore circa "l'uso scorretto di contenuti generati dall'intelligenza artificiale in un ambiente accademico "1 e "l'originalità e l'adeguatezza dei contenuti generati dal chatbot".2
Per rilevare e gestire l'uso inappropriato o scorretto di tali chatbot, gli strumenti di rilevamento dell'intelligenza artificiale sono aumentati di popolarità, con strumenti standard di plagio, come TurnItIn, che si sono adattati a rilevare i contenuti generati dall'intelligenza artificiale, con diversi gradi di efficacia e a vari livelli di prezzo.3 La maggior parte degli strumenti di rilevamento dell'intelligenza artificiale nel mondo accademico sono integrati in piattaforme educative più ampie, come Moodle, Canvas, Blackboard, Brightspace, Schoology o Sakai.4
Gli strumenti di rilevamento dell'AI identificano il testo generato utilizzando la corrispondenza dei modelli, anziché confrontarlo con un database, come fanno i tradizionali controllori di plagio. I modelli linguistici vengono addestrati su grandi quantità di dati testuali per apprendere regole linguistiche probabilistiche, che utilizzano per creare nuovi contenuti. Tuttavia, il testo generato presenta spesso schemi prevedibili, come strutture di frasi coerenti, uso eccessivo di determinate congiunzioni e vocaboli e lunghezze di frasi o paragrafi prevedibili. Gli strumenti di rilevamento mirano a individuare questi modelli e possono anche incorporare controlli tradizionali di plagio per identificare il testo che potrebbe essere stato riprodotto direttamente dai dati di addestramento del modello.5
Quando gli strumenti di rilevamento dell'intelligenza artificiale sono stati rilasciati per la prima volta, gli istituti di istruzione superiore si sono affrettati a integrarli nelle piattaforme educative. Tuttavia, la maggior parte, se non tutti, gli strumenti di rilevamento dell'IA sono in grado di essere aggirati con tempo e sforzi sufficienti.6 Alcune istituzioni di istruzione superiore stanno quindi annullando la loro decisione di utilizzare i rilevatori di IA. Nel 2023, Vanderbilt, Michigan State, Northwestern e l'Università del Texas ad Austin hanno disattivato i loro rilevatori di IA Turnitin, citando i problemi di efficacia discussi in precedenza.7 È probabile che altre istituzioni educative seguano l'esempio, poiché è possibile che gli strumenti di rilevamento causino più problemi di quanti ne risolvano.8 Alcune istituzioni accademiche non solo stanno disattivando gli strumenti di rilevamento dell'IA, ma stanno anche trovando il modo di incorporare i LLM in modo etico e produttivo nei loro curricula.9
Inoltre, sono stati rilasciati nuovi strumenti "umanizzatori" per consentire agli utenti di LLM di aggirare gli strumenti di rilevamento dell'AI attraverso "la riformulazione delle frasi, l'alterazione delle strutture e l'incorporazione di un vocabolario vario", che riduce significativamente la probabilità di rilevamento dell'AI.10 La ricerca iniziale suggerisce che gli strumenti di parafrasi complicano significativamente il rilevamento dell'AI.11 Per esempio, il Washington Post ha scoperto che Turnitin fatica a identificare i contenuti generati dall'AI quando il testo mescola contenuti umani e generati dall'AI attraverso gli strumenti di parafrasi.12
Sebbene Turnitin abbia rilasciato una nuova funzione di rilevamento della parafrasi AI al suo strumento di rilevamento AI,13 tali risposte creano un contesto di mercato difficile per il rilevamento AI, con altre aziende che si orientano verso altri modelli di business,14 o chiudono.15
Una selezione dei principali strumenti di rilevamento dell'intelligenza artificiale è elencata di seguito in ordine alfabetico. Abbiamo incluso anche informazioni pubblicamente accessibili sull'efficacia del rilevamento, sull'integrazione della piattaforma educativa, sul prezzo (in USD) e sulla data di rilascio e/o di aggiornamento. Si noti che la maggior parte degli strumenti di rilevamento dell'intelligenza artificiale elencati di seguito sono principalmente efficaci solo contro ChatGPT-3.5.
| Strumento di rilevamento AI | C'è un'integrazione nelle piattaforme educative? | Prezzi (USD) | Data di rilascio/aggiornamento |
| Compilazione | Sì: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Nessuna informazione trovata16 | Febbraio 2023 |
| Contenuti su scala | Sì: informazioni limitate | 49 dollari/mese17 | Nessuna informazione |
| Rilevatore di contenuti AI | Nessuna informazione | Nessuna informazione trovata | 202318 |
| Copyleaks | Sì: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai. | 7,99$ - 13,99$/mese19 | Gennaio 2023 |
| Crossplag | Nessuna informazione | $7-$100/mese20 | Gennaio 2023 |
| Rileva GPT | Nessuna informazione | $7-$29/mese21 | Nessuna informazione |
| Duplichecker | Nessuna informazione | $110-$2000/anno22 | 2024 |
| Vai Winston | Nessuna informazione | $12-$32/mese23 | Febbraio 2023 |
| GPT-Zero | Sì: Canvas, Coursify.me, Soluzioni K16, NewsGuard | $10-$23/mese24 | Gennaio 2023 |
| Originalità | Sì: Moodle, Scribbr | $14,95-$30/mese25 | Novembre 2022 |
| Rilevatore di plagio (rilevamento AI) | Nessuna informazione | 110-330 dollari all'anno26 | Nessuna informazione |
| Quillbot | Sì: non ci sono dettagli disponibili pubblicamente su quali piattaforme. | $0-$8,33/mese27 | Nessuna informazione |
| Alberello | Non è chiaro | $0-$12/mese28 | Gennaio 2023 |
| Scispace | Probabile, tuttavia la mancanza di informazioni | $0-$8/mese29 | Nessuna informazione |
| Turnitin | Sì: Brightspace, Scribbr | 3 dollari/studente/anno30 | Aprile 2023 |
| AI non rilevabile | Nessuna informazione | $5-$14.99/mese31 | Maggio 2023 |
| Wordtune | Probabile, tuttavia la mancanza di informazioni | $0-$9.99/mese32 | Gennaio 2023 |
| Rilevatore di intelligenza artificiale dello scrittore | Nessuna informazione | $0-$18/mese33 | Nessuna informazione |
| ZeroGPT | Sì: non ci sono dettagli disponibili pubblicamente su quali piattaforme. | $0-$18.99/mese34 | Gennaio 2023 |
Nel contesto degli strumenti di rilevamento dell'IA, i falsi positivi si verificano quando uno strumento di rilevamento dell'IA identifica erroneamente i contenuti inviati come generati dall'IA. Alcuni studi indicano che gli strumenti di rilevamento dell'IA hanno un alto tasso di falsi positivi, e solo alcuni strumenti di rilevamento dell'IA hanno tassi significativamente bassi di rilevamento di falsi positivi.35 In un contesto accademico, questo può significare contrassegnare erroneamente il lavoro degli studenti come generato dall'IA, quando in realtà è generato dall'uomo. Sono state riscontrate differenze anche a seconda del modello di IA utilizzato per generare il testo inviato allo strumento di rilevamento dell'IA da testare, e viceversa, con risultati variabili tra gli studi.36 Inoltre, i contenuti di persone non madrelingua inglese hanno maggiori probabilità di essere classificati erroneamente come generati dall'IA, il che è ovviamente un problema per le istituzioni educative con studenti di diversa provenienza.37
Nel contesto degli strumenti di rilevamento dell'IA, i falsi negativi si verificano quando uno strumento di rilevamento dell'IA non riesce a identificare i contenuti inviati come generati dall'IA. Alcuni strumenti hanno dimostrato una bassa sensibilità, identificando correttamente appena il 15% dei campioni inviati come generati dall'AI,38 mentre altri dimostrano un punteggio quasi perfetto nella classificazione dei contenuti scritti da esseri umani, classificando erroneamente solo il 3% dei campioni generati dall'AI.39 In generale, i risultati variano molto in termini di accuratezza a seconda dello strumento di rilevamento dell'AI utilizzato. Uno studio suggerisce che solo due dei principali strumenti di rilevamento dell'IA hanno classificato correttamente tutti i 126 campioni come generati dall'IA o dall'uomo.40 Altri ricercatori affermano che gli strumenti di rilevamento dell'IA producono più falsi negativi quando analizzano un linguaggio più sofisticato.41
In generale, l'efficacia degli strumenti di rilevamento dell'AI varia a seconda dello strumento utilizzato e del modello. Uno studio ha rilevato che gli strumenti di rilevamento dell'AI sono più efficaci con i contenuti ChatGPT-3.5 e meno con ChatGPT-4, ad eccezione di Copyleaks, Turnitin e Originality.ai, che hanno avuto un'accuratezza superiore all'83% nel rilevare i contenuti ChatGPT-4.42 Questo studio ha concluso che "lo stato gratuito o a pagamento di un rilevatore non è un buon indicatore della sua accuratezza",43 anche se risultati contrastanti (con un campione di dimensioni ridotte) suggeriscono provvisoriamente che gli strumenti di rilevamento dell'AI a pagamento sembrano essere migliori di quelli gratuiti.44 Gli studi si concentrano generalmente sull'efficacia degli strumenti di rilevamento dell'AI contro ChatGPT, ignorando altri LLM. Ciò potrebbe essere dovuto alla maggiore popolarità dei modelli di OpenAI rispetto ad altri come Gemini, Mistral o Command.
L'uso di chatbot AI nel mondo accademico solleva questioni etiche significative, a cominciare dal danno alla reputazione sia per gli studenti che per le istituzioni di istruzione superiore. Per gli studenti, non rivelare l'uso di contenuti generati dall'AI e spacciarli per propri può danneggiare la loro formazione continua e le loro future carriere. Allo stesso modo, le università possono essere accusate di consentire il plagio, l'imbroglio e di non rispettare l'integrità accademica.
Tuttavia, l'uso di strumenti di rilevamento dell'intelligenza artificiale senza adeguate salvaguardie genera preoccupazioni altrettanto significative in merito alla privacy e al consenso, soprattutto per quanto riguarda gli accordi contrattuali tra le università e il fornitore dello strumento. Tali preoccupazioni includono la sorte dei contenuti caricati, il modo in cui vengono archiviati e il consenso se i contenuti caricati vengono utilizzati per i futuri dati di formazione.
Inoltre, come discusso nella sezione precedente, gli strumenti di rilevamento dell'IA possono identificare erroneamente i contenuti scritti dall'uomo come IA (falsi positivi) o non rilevare il testo generato dall'IA (falsi negativi). L'accuratezza varia molto, con alcuni strumenti che riescono a rilevare meglio la ChatGPT-3.5. Infine, essi giocano a rimpiattino con l'AI. Infine, giocano al gatto e al topo con i metodi per eludere il rilevamento, compreso il software che genera specificamente contenuti progettati per non essere individuati dagli strumenti standard di rilevamento dell'AI.45
Gli strumenti di rilevamento dell'AI contribuiscono anche a dibattiti più ampi sull'accesso, l'equità e l'impatto ambientale. Gli studenti possono utilizzare l'IA per supportare la traduzione e la comprensione dei corsi, soprattutto se studiano in un Paese anglofono e provengono da un ambiente non anglofono o da altre minoranze che storicamente hanno minori opportunità di istruzione universitaria. I problemi di accesso sorgono anche a causa della disponibilità commerciale degli LLM; gli studenti più abbienti possono essere in grado di pagare per modelli più sofisticati e/o alimentare il loro lavoro attraverso più LLM, il che significa che le possibilità di rilevamento diminuiscono in modo significativo.46
Il Programma di seminari sulla cybersicurezza di Google.org sostiene corsi di seminari sulla cybersicurezza in università selezionate e in altri istituti di istruzione superiore idonei in Europa, Medio Oriente e Africa, per aiutare gli studenti a saperne di più sulla cybersicurezza e ad esplorare percorsi nel settore. Il programma sostiene attivamente l'espansione della formazione in cybersecurity nelle università, per creare la forza lavoro diversificata necessaria per aiutare le organizzazioni più vulnerabili a prevenire potenziali attacchi informatici. Inoltre, affronta i nuovi rischi dell'intelligenza artificiale (AI), fornendo agli studenti una comprensione dei cambiamenti basati sull'AI nel panorama delle minacce informatiche e aiutandoli a integrare efficacemente l'AI nelle misure pratiche di cybersecurity.
Le università partecipanti devono promuovere attivamente l'uguaglianza, la diversità e l'inclusione all'interno dei loro programmi. Dovrebbero incoraggiare la forte partecipazione di persone provenienti da contesti diversi e creare un ambiente inclusivo per la formazione, arricchendo così l'esperienza di apprendimento complessiva e rafforzando la comunità della cybersecurity.
Caricamento…
