Visitando il nostro sito, l'utente accetta la nostra Informativa sulla privacy per quanto riguarda i cookie, le statistiche di tracciamento, ecc.
Questo rapporto, condotto durante l'estate 2024, esamina l'aumento dell'uso dei chatbot AI nel mondo accademico in seguito al lancio di ChatGPT nel 2022 e la risposta delle istituzioni educative attraverso strumenti di rilevamento dell'AI. Il rapporto analizza l'efficacia variabile di questi strumenti nell'identificazione dei contenuti generati dall'IA, con problemi quali i falsi positivi e i falsi negativi. Il rapporto evidenzia anche le preoccupazioni etiche relative alla privacy, all'accuratezza e all'uso dell'IA nell'istruzione. Alcune istituzioni stanno riconsiderando l'uso degli strumenti di rilevamento, scegliendo invece di integrare l'IA nei programmi di studio in modo responsabile.
Questa guida è destinata principalmente alle università e agli altri istituti di istruzione superiore che partecipano al programma di seminari sulla sicurezza informatica di Google.org. È rivolta ai campioni di facoltà e ai campioni EDI di questi programmi. Oltre che per i Seminari di Cybersecurity di Google.org, questa guida può essere utile anche per altre organizzazioni che si occupano di formazione pratica sulla cybersecurity.
Il lancio di ChatGPT nel 2022 ha generato un interesse mondiale per l'intelligenza artificiale (AI) e ha portato a un uso diffuso dei chatbot AI, anche da parte degli studenti. In seguito alla comparsa dei chatbot di intelligenza artificiale, sono state sollevate preoccupazioni da parte degli istituti di istruzione superiore circa "l'uso scorretto di contenuti generati dall'intelligenza artificiale in un ambiente accademico".1 e "l'originalità e l'adeguatezza dei contenuti generati dal chatbot".2
Per rilevare e gestire l'uso inappropriato o scorretto di tali chatbot, gli strumenti di rilevamento dell'intelligenza artificiale sono diventati sempre più popolari e gli strumenti standard per il plagio, come TurnItIn, si sono adattati a rilevare i contenuti generati dall'intelligenza artificiale con diversi gradi di efficacia e a vari livelli di prezzo.3 La maggior parte degli strumenti di rilevamento dell'intelligenza artificiale nel mondo accademico sono integrati in piattaforme educative più ampie, come Moodle, Canvas, Blackboard, Brightspace, Schoology o Sakai.4
Gli strumenti di rilevamento dell'intelligenza artificiale identificano il testo generato utilizzando la corrispondenza dei modelli anziché confrontarlo con un database, come fanno i tradizionali controllori di plagio. I modelli linguistici vengono addestrati su grandi quantità di dati testuali per apprendere regole linguistiche probabilistiche, che utilizzano per creare nuovi contenuti. Tuttavia, il testo generato presenta spesso schemi prevedibili, come strutture di frase coerenti, uso eccessivo di determinate congiunzioni e vocaboli e lunghezza prevedibile di frasi o paragrafi. Gli strumenti di rilevamento mirano a individuare questi modelli e possono anche incorporare i tradizionali controlli di plagio per identificare il testo che potrebbe essere stato riprodotto direttamente dai dati di addestramento del modello.5
Quando gli strumenti di rilevamento dell'intelligenza artificiale sono stati rilasciati per la prima volta, gli istituti di istruzione superiore si sono affrettati a integrarli nelle piattaforme didattiche. Tuttavia, la maggior parte, se non tutti, gli strumenti di rilevamento dell'IA sono in grado di essere aggirati con tempo e impegno.6 Alcuni istituti di istruzione superiore stanno quindi facendo marcia indietro sulla decisione di utilizzare i rilevatori di intelligenza artificiale. Nel 2023, Vanderbilt, Michigan State, Northwestern e University of Texas at Austin hanno disattivato i loro rilevatori di IA Turnitin, citando i problemi di efficacia discussi in precedenza.7 È probabile che altri istituti di istruzione seguano l'esempio, poiché è possibile che gli strumenti di rilevamento causino più problemi di quanti ne risolvano.8 Alcune istituzioni accademiche non solo stanno disattivando gli strumenti di rilevamento dell'IA, ma stanno anche trovando il modo di incorporare i LLM in modo etico e produttivo nei loro programmi di studio.9
Inoltre, sono stati rilasciati nuovi strumenti di "umanizzazione" per consentire agli utenti di LLM di aggirare gli strumenti di rilevamento dell'IA attraverso la "riformulazione delle frasi, l'alterazione delle strutture e l'incorporazione di un vocabolario vario" che riduce significativamente la probabilità di rilevamento dell'IA.10 Le prime ricerche suggeriscono che gli strumenti di parafrasi complicano notevolmente il rilevamento dell'IA.11 Ad esempio, il Washington Post ha scoperto che Turnitin fatica a identificare i contenuti generati dall'IA quando il testo mescola contenuti umani e generati dall'IA attraverso strumenti di parafrasi.12
Anche se Turnitin ha rilasciato una nuova funzione di rilevamento della parafrasi nel suo strumento di rilevamento dell'IA,13 Tali risposte creano un contesto di mercato difficile per il rilevamento dell'IA, con altre aziende che si orientano verso altri modelli di business,14 o la chiusura.15
Una selezione dei principali strumenti di rilevamento dell'intelligenza artificiale è elencata di seguito in ordine alfabetico. Abbiamo incluso anche le informazioni pubblicamente accessibili relative all'efficacia del rilevamento, all'integrazione della piattaforma educativa, al prezzo (in dollari) e alla data di rilascio e/o di aggiornamento. Si noti che la maggior parte degli strumenti di rilevamento dell'intelligenza artificiale elencati di seguito sono efficaci principalmente solo contro ChatGPT-3.5.
Strumento di rilevamento dell'intelligenza artificiale | Esiste un'integrazione con le piattaforme educative? | Prezzi (USD) | Data di pubblicazione/aggiornamento |
Compilazione | Sì: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, LMS aperti. | Nessuna informazione trovata16 | Febbraio 2023 |
Contenuti su scala | Sì: informazioni limitate | $49/mese17 | Nessuna informazione |
Rilevatore di contenuti AI | Nessuna informazione | Nessuna informazione trovata | 202318 |
Copyleaks | Sì: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai. | $7.99-$13.99/month19 | Gennaio 2023 |
Crossplag | Nessuna informazione | $7-$100/month20 | Gennaio 2023 |
Rileva GPT | Nessuna informazione | $7-$29/mese21 | Nessuna informazione |
Duplichecker | Nessuna informazione | $110-$2000/year22 | 2024 |
Vai Winston | Nessuna informazione | $12-$32/month23 | Febbraio 2023 |
GPT-Zero | Sì: Canvas, Coursify.me, soluzioni K16, NewsGuard | $10-$23/month24 | Gennaio 2023 |
Originalità | Sì: Moodle, Scribbr | $14.95-$30/month25 | Novembre 2022 |
Rilevatore di plagio (rilevamento AI) | Nessuna informazione | $110-$330/year26 | Nessuna informazione |
Quillbot | Sì: non sono disponibili dettagli sulle piattaforme. | $0-$8.33/month27 | Nessuna informazione |
Alberello | Non chiaro | $0-$12/mese28 | Gennaio 2023 |
Scispace | Probabile, tuttavia la mancanza di informazioni | $0-$8/mese29 | Nessuna informazione |
Turnitin | Sì: Brightspace, Scribbr | $3/studente/anno30 | Aprile 2023 |
AI non rilevabile | Nessuna informazione | $5-$14.99/month31 | Maggio 2023 |
Wordtune | Probabile, tuttavia la mancanza di informazioni | $0-$9.99/month32 | Gennaio 2023 |
Rilevatore di intelligenza artificiale per scrittori | Nessuna informazione | $0-$18/mese33 | Nessuna informazione |
ZeroGPT | Sì: non sono disponibili dettagli sulle piattaforme. | $0-$18.99/month34 | Gennaio 2023 |
Nel contesto degli strumenti di rilevamento dell'IA, i falsi positivi si verificano quando uno strumento di rilevamento dell'IA identifica erroneamente i contenuti inviati come generati dall'IA. Alcuni studi indicano che gli strumenti di rilevamento dell'IA hanno un alto tasso di falsi positivi e solo alcuni strumenti di rilevamento dell'IA hanno tassi significativamente bassi di rilevamento di falsi positivi.35 In ambito accademico, ciò può significare segnalare erroneamente il lavoro degli studenti come generato dall'IA, mentre in realtà è generato dall'uomo. Si riscontrano differenze anche a seconda del modello di IA utilizzato per generare il testo sottoposto al test dello strumento di rilevamento dell'IA e viceversa, con risultati variabili tra gli studi.36 Inoltre, è più probabile che i contenuti di persone non madrelingua inglese vengano classificati erroneamente come generati dall'intelligenza artificiale, il che rappresenta ovviamente un problema per le istituzioni scolastiche con studenti di diversa provenienza.37
Nel contesto degli strumenti di rilevamento dell'IA, i falsi negativi si verificano quando uno strumento di rilevamento dell'IA non riesce a identificare i contenuti inviati come generati dall'IA. Alcuni strumenti hanno mostrato una bassa sensibilità, identificando correttamente appena 15% dei campioni inviati come generati dall'IA,38 mentre altri dimostrano un punteggio quasi perfetto nella classificazione di contenuti scritti da esseri umani, sbagliando solo il 3% dei campioni generati dall'IA.39 In generale, i risultati variano notevolmente in termini di accuratezza a seconda dello strumento di rilevamento dell'IA utilizzato. Uno studio suggerisce che solo due dei principali strumenti di rilevamento dell'IA hanno classificato correttamente tutti i 126 campioni come generati dall'IA o dall'uomo.40 Altri ricercatori sostengono che gli strumenti di rilevamento dell'IA producono più falsi negativi quando analizzano un linguaggio più sofisticato.41
In generale, l'efficacia degli strumenti di rilevamento dell'intelligenza artificiale varia a seconda dello strumento utilizzato e del modello. Uno studio ha rilevato che gli strumenti di rilevamento dell'intelligenza artificiale sono più efficaci con i contenuti ChatGPT-3.5 e meno con quelli ChatGPT-4, ad eccezione di Copyleaks, Turnitin e Originality.ai che hanno ottenuto un'accuratezza superiore a 83% nel rilevare i contenuti ChatGPT-4.42 Questo studio ha concluso che "lo stato di gratuità o di pagamento di un rilevatore non è un buon indicatore della sua accuratezza",43 Anche se i risultati contrastanti (con un campione di dimensioni ridotte) suggeriscono provvisoriamente che gli strumenti di rilevamento dell'IA a pagamento sembrano essere migliori di quelli gratuiti.44 Inoltre, gli studi si concentrano generalmente sull'efficacia degli strumenti di rilevamento dell'IA contro ChatGPT, ignorando altri LLM. Ciò potrebbe essere dovuto alla maggiore popolarità dei modelli di OpenAI rispetto ad altri come Gemini, Mistral o Command.
L'uso di chatbot AI nel mondo accademico solleva importanti questioni etiche, a cominciare dal danno alla reputazione sia per gli studenti sia per gli istituti di istruzione superiore. Per gli studenti, non dichiarare l'uso di contenuti generati dall'IA e spacciarli per propri può danneggiare la loro formazione e le loro future carriere. Allo stesso modo, le università possono essere accusate di consentire il plagio, di imbrogliare e di non rispettare l'integrità accademica.
Tuttavia, l'uso di strumenti di rilevamento dell'intelligenza artificiale senza adeguate salvaguardie genera preoccupazioni altrettanto significative in materia di privacy e consenso, soprattutto per quanto riguarda gli accordi contrattuali tra le università e il fornitore dello strumento. Tali preoccupazioni includono la sorte dei contenuti caricati, le modalità di archiviazione e il consenso se i contenuti caricati vengono utilizzati per i futuri dati di addestramento.
Inoltre, come discusso nella sezione precedente, gli strumenti di rilevamento dell'IA possono identificare erroneamente i contenuti scritti dall'uomo come IA (falsi positivi) o non rilevare il testo generato dall'IA (falsi negativi). L'accuratezza varia notevolmente, con alcuni strumenti che riescono a rilevare meglio ChatGPT-3.5. Infine, questi strumenti giocano a rimpiattino con l'AI. Infine, giocano al gatto e al topo con metodi per eludere il rilevamento, compreso il software che genera specificamente contenuti progettati per non essere individuati dagli strumenti standard di rilevamento dell'IA.45
Gli strumenti di rilevamento dell'IA contribuiscono anche a dibattiti più ampi sull'accesso, l'equità e l'impatto ambientale. Gli studenti possono utilizzare l'IA per supportare la traduzione e la comprensione dei corsi, soprattutto se studiano in un Paese anglofono e provengono da un ambiente non anglofono o da altre minoranze che storicamente hanno minori opportunità di istruzione universitaria. I problemi di accesso sorgono anche a causa della disponibilità commerciale degli LLM; gli studenti più abbienti possono essere in grado di pagare per modelli più sofisticati e/o di far passare il loro lavoro attraverso più LLM, il che significa che le possibilità di essere individuati diminuiscono notevolmente.46
Il programma di seminari sulla cybersecurity di Google.org sostiene corsi di seminari sulla cybersecurity in università selezionate e in altri istituti di istruzione superiore idonei in Europa, Medio Oriente e Africa, per aiutare gli studenti a conoscere meglio la cybersecurity e a esplorare percorsi nel settore. Il programma sostiene attivamente l'espansione della formazione sulla cybersecurity nelle università, per creare la forza lavoro diversificata necessaria ad aiutare le organizzazioni più vulnerabili a prevenire potenziali attacchi informatici. Il programma affronta anche i nuovi rischi derivanti dall'intelligenza artificiale (AI), fornendo agli studenti una comprensione dei cambiamenti basati sull'AI nel panorama delle minacce informatiche e aiutandoli a integrare efficacemente l'AI nelle misure pratiche di cybersecurity.
Le università partecipanti devono promuovere attivamente l'uguaglianza, la diversità e l'inclusione all'interno dei loro programmi. Dovrebbero incoraggiare la forte partecipazione di individui provenienti da contesti diversi e creare un ambiente inclusivo per la formazione, arricchendo così l'esperienza di apprendimento complessiva e rafforzando la comunità della cybersecurity.
Caricamento...