Acest raport, realizat în vara anului 2024, examinează utilizarea crescută a chatboților AI în mediul academic în urma lansării ChatGPT în 2022 și răspunsul instituțiilor de învățământ prin intermediul instrumentelor de detectare a AI. Raportul discută despre eficiența variabilă a acestor instrumente în identificarea conținutului generat de AI, cu probleme precum falsii pozitivi și falsii negativi. Raportul evidențiază, de asemenea, preocupările etice legate de confidențialitate, acuratețe și utilizarea IA în educație. Unele instituții reconsideră utilizarea instrumentelor de detectare, optând în schimb pentru integrarea inteligenței artificiale în programele de învățământ în mod responsabil.
Acest ghid este destinat în primul rând universităților și altor instituții de învățământ superior care participă la Programul de seminarii de securitate cibernetică Google.org. El este adresat campionilor facultății și campionilor EDI ai acestor programe. Dincolo de Seminariile de securitate cibernetică Google.org, acest ghid poate fi relevant și pentru alte organizații implicate în educația practică în domeniul securității cibernetice.
Lansarea ChatGPT în 2022 a generat interes la nivel mondial pentru inteligența artificială (AI) și a condus la o utilizare pe scară largă a chatboturilor AI, inclusiv de către studenți. În urma apariției chatboților AI, instituțiile de învățământ superior și-au exprimat îngrijorarea cu privire la "utilizarea neloială a conținutului generat de inteligența artificială într-un mediu academic"1 și la "originalitatea și caracterul adecvat al conținutului generat de chatbot"2.
Pentru a detecta și a gestiona utilizarea necorespunzătoare sau neloială a unor astfel de chatbots, instrumentele de detectare a IA au crescut în popularitate, instrumentele standard de plagiat, cum ar fi TurnItIn, pivotând pentru a detecta conținutul generat de IA în diferite grade de eficacitate și la diferite prețuri.3 Majoritatea instrumentelor de detectare a IA în mediul academic sunt integrate în platforme educaționale mai largi, cum ar fi Moodle, Canvas, Blackboard, Brightspace, Schoology sau Sakai.4
Instrumentele de detectare a inteligenței artificiale identifică textul generat folosind potrivirea modelelor, mai degrabă decât comparându-l cu o bază de date, așa cum fac verificatoarele de plagiat tradiționale. Modelele lingvistice sunt antrenate pe cantități mari de date text pentru a învăța reguli lingvistice probabilistice, pe care le folosesc pentru a crea conținut nou. Cu toate acestea, textul generat prezintă adesea modele previzibile, cum ar fi structuri coerente ale propozițiilor, utilizarea excesivă a anumitor conjuncții și vocabular și lungimi previzibile ale propozițiilor sau paragrafelor. Instrumentele de detectare urmăresc să identifice aceste tipare și pot încorpora, de asemenea, verificări tradiționale de plagiat pentru a identifica textul care ar fi putut fi reprodus direct din datele de formare alemodelului5.
Atunci când instrumentele de detectare a IA au fost lansate pentru prima dată, instituțiile de învățământ superior s-au grăbit să le integreze în platformele educaționale. Cu toate acestea, majoritatea, dacă nu chiar toate, instrumentele de detectare a IA pot fi eludate cu suficient timp și efort.6 Prin urmare, unele instituții de învățământ superior revin asupra deciziei de a utiliza detectoare de IA. În 2023, Vanderbilt, Michigan State, Northwestern și University of Texas at Austin și-au dezactivat detectoarele de inteligență artificială Turnitin, invocând problemele de eficacitate discutate mai sus.7 Este probabil ca și alte instituții de învățământ să le urmeze exemplul, deoarece este posibil ca instrumentele de detectare să cauzeze mai multe probleme decât rezolvă.8 Unele instituții academice nu numai că dezactivează instrumentele de detectare a inteligenței artificiale, dar găsesc modalități de a integra LLM-urile în mod etic și productiv în programele lor.9
În plus, au fost lansate noi instrumente de "umanizare" pentru a permite utilizatorilor LLM să ocolească instrumentele de detectare a IA prin "reformularea propozițiilor, modificarea structurilor și încorporarea unui vocabular variat", ceea ce reduce semnificativ probabilitatea de detectare a IA.10 Cercetările inițiale sugerează că instrumentele de parafrazare complică semnificativ detectarea IA.11 De exemplu, Washington Post a constatat că Turnitin întâmpină dificultăți în identificarea conținutului generat de IA atunci când textul amestecă conținut generat de om și IA prin intermediul instrumentelor de parafrazare.12
Deși Turnitin a lansat o nouă funcție de detectare a parafrazării AI pentru instrumentul său de detectare aAI13, astfel de reacții creează un context de piață dificil pentru detectarea AI, cu alte companii care se orientează către alte modele deafaceri14 sau care seînchid15.
O selecție de instrumente majore de detectare a IA sunt enumerate mai jos în ordine alfabetică. De asemenea, am inclus informații accesibile publicului cu privire la eficacitatea detectării, integrarea platformei educaționale, prețul (în USD) și data lansării și/sau actualizării. Rețineți că majoritatea instrumentelor de detectare a IA enumerate mai jos sunt în principal eficiente numai împotriva ChatGPT-3.5.
| Instrument de detectare a IA | Există integrare în platformele educaționale? | Prețuri (USD) | Data publicării/actualizării |
| Compilație | Da: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Nu s-au găsit informații16 | Februarie 2023 |
| Conținut la scară largă | Da: informații limitate | 49 $/lună17 | Nu există informații |
| Detector de conținut AI | Nu există informații | Nu s-au găsit informații | 202318 |
| Copyleaks | Da: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7.99-$13.99/lună19 | ianuarie 2023 |
| Crossplag | Nu există informații | $7-$100/lună20 | ianuarie 2023 |
| Detect GPT | Nu există informații | $7-$29/lună21 | Nu există informații |
| Duplichecker | Nu există informații | $110-$2000/an22 | 2024 |
| Go Winston | Nu există informații | $12-$32/lună23 | Februarie 2023 |
| GPT-Zero | Da: Canvas, Coursify.me, K16 solutions, NewsGuard | $10-$23/lună24 | ianuarie 2023 |
| Originalitate | Da: Moodle, Scribbr | $14.95-$30/lună25 | Noiembrie 2022 |
| Detector de plagiat (detectare AI) | Nu există informații | $110-$330/an26 | Nu există informații |
| Quillbot | Da: Nu sunt disponibile public detalii cu privire la platformele respective | $0-$8.33/lună27 | Nu există informații |
| Arboret | Neclar | $0-$12/lună28 | ianuarie 2023 |
| Scispace | Probabil, însă lipsa de informații | $0-$8/lună29 | Nu există informații |
| Turnitin | Da: Brightspace, Scribbr | 3 $/student/an30 | Aprilie 2023 |
| IA nedetectabilă | Nu există informații | $5-$14.99/lună31 | Mai 2023 |
| Wordtune | Probabil, însă lipsa de informații | $0-$9.99/lună32 | ianuarie 2023 |
| Detectorul de inteligență artificială al scriitorului | Nu există informații | $0-$18/lună33 | Nu există informații |
| ZeroGPT | Da: Nu sunt disponibile public detalii cu privire la platformele respective | $0-$18.99/lună34 | ianuarie 2023 |
În contextul instrumentelor de detectare a IA, cazurile fals pozitive apar atunci când un instrument de detectare a IA identifică incorect conținutul transmis ca fiind generat de IA. Unele studii indică faptul că instrumentele de detectare a IA au o rată ridicată de fals pozitive și doar câteva instrumente de detectare a IA au rate semnificativ scăzute de detectare a fals pozitive.35 Într-un cadru academic, acest lucru poate însemna semnalarea incorectă a lucrărilor studenților ca fiind generate de IA, când, de fapt, acestea sunt generate de om. Există, de asemenea, diferențe în funcție de modelul de inteligență artificială utilizat pentru generarea textului trimis pentru testarea instrumentului de detectare a inteligenței artificiale și viceversa, cu rezultate diferite în cadrulstudiilor36 . În plus, conținutul creat de vorbitori de limbă engleză care nu sunt nativi este mai susceptibil de a fi clasificat incorect ca fiind generat de inteligența artificială, ceea ce reprezintă în mod evident o problemă pentru instituțiile de învățământ cu studenți din mediidiferite37.
În contextul instrumentelor de detectare a IA, negațiile false apar atunci când un instrument de detectare a IA nu reușește să identifice conținutul trimis ca fiind generat de IA. Unele instrumente au demonstrat o sensibilitate scăzută, identificând corect abia 15% din eșantioanele prezentate ca fiind generate deAI38 , în timp ce altele demonstrează un scor aproape perfect în clasificarea conținutului scris de om, clasificând greșit doar 3% din eșantioanele generate deAI39. În general, rezultatele variază foarte mult în ceea ce privește precizia, în funcție de instrumentul de detectare a AI utilizat. Un studiu sugerează că doar două dintre principalele instrumente de detectare a IA au clasificat corect toate cele 126 de eșantioane fie ca fiind generate de IA, fie ca fiind generate de om.40 Alți cercetători susțin că instrumentele de detectare a IA produc mai multe rezultate fals negative atunci când analizează un limbaj mai sofisticat.41
În general, eficacitatea instrumentelor de detectare a IA variază în funcție de instrumentul utilizat și de modelul folosit. Un studiu a constatat că instrumentele de detectare AI sunt mai eficiente în cazul conținutului ChatGPT-3.5 și mai puțin în cazul ChatGPT-4, cu excepția Copyleaks, Turnitin și Originality.ai care au avut o acuratețe mai mare de 83% în detectarea conținutului ChatGPT-4.42 Acest studiu a concluzionat că "statutul gratuit sau plătit al unui detector nu este un bun indicator al preciziei sale"43 , deși constatările contrastante (cu un eșantion de dimensiuni reduse) sugerează în mod provizoriu că instrumentele de detectare a IA plătite par să fie mai bune decât instrumentele de detectare a IAgratuite44. De asemenea, studiile se concentrează în general pe eficacitatea instrumentelor de detectare a IA împotriva ChatGPT, ignorând alte LLM. Acest lucru se poate datora popularității mai mari a modelelor OpenAI în comparație cu altele precum Gemini, Mistral sau Command.
Utilizarea roboților de chat cu inteligență artificială în mediul academic ridică probleme etice semnificative, începând cu prejudicii de reputație atât pentru studenți, cât și pentru instituțiile de învățământ superior. Pentru studenți, faptul de a nu dezvălui utilizarea conținutului generat de IA și de a-l prezenta ca fiind al lor poate dăuna educației lor continue și carierelor viitoare. În mod similar, universitățile se pot confrunta cu acuzații de favorizare a plagiatului, de înșelăciune și de nerespectare a integrității academice.
Cu toate acestea, utilizarea instrumentelor de detectare a IA fără garanții adecvate generează preocupări la fel de importante în ceea ce privește confidențialitatea și consimțământul, în special în ceea ce privește acordurile contractuale dintre universități și furnizorul de instrumente. Aceste preocupări includ ce se întâmplă cu conținutul încărcat, cum este stocat și consimțământul în cazul în care conținutul încărcat este utilizat în datele de formare viitoare.
În plus, după cum s-a discutat în secțiunea anterioară, instrumentele de detectare a IA pot identifica greșit conținutul scris de om ca fiind IA (fals pozitive) sau nu pot detecta textul generat de IA (fals negative). Precizia variază foarte mult, unele instrumente fiind mai bune la detectarea ChatGPT-3.5. În cele din urmă, acestea se joacă de-a șoarecele și pisica cu metode de evitare a detectării - inclusiv software care generează în mod specific conținut conceput pentru a fi nedetectabil de instrumentele standard de detectare aIA45.
Instrumentele de detectare a IA contribuie, de asemenea, la dezbateri mai ample privind accesul, echitatea și impactul asupra mediului. Este posibil ca studenții să utilizeze inteligența artificială pentru a facilita traducerea și înțelegerea lucrărilor de curs, în special dacă studiază într-o țară anglofonă și provin dintr-un mediu nevorbitor de limba engleză sau dintr-un alt mediu minoritar, cu oportunități istorice reduse de educație universitară. Problemele de acces apar, de asemenea, din cauza disponibilității comerciale a LLM-urilor; studenții mai înstăriți pot fi în măsură să plătească pentru modele mai sofisticate și/sau să transmită munca lor prin intermediul mai multor LLM-uri, ceea ce înseamnă că șansele de detectare scadsemnificativ46.
Programul Google.org Cybersecurity Seminars susține cursuri de seminar de securitate cibernetică în universități selectate și alte instituții de învățământ superior eligibile din Europa, Orientul Mijlociu și Africa, pentru a ajuta studenții să afle mai multe despre securitatea cibernetică și să exploreze căile de urmat în acest domeniu. Programul sprijină în mod activ extinderea formării în domeniul securității cibernetice în universități, pentru a crea forța de muncă diversă necesară pentru a ajuta cele mai vulnerabile organizații să prevină eventualele atacuri cibernetice. Programul abordează, de asemenea, noile riscuri generate de inteligența artificială (AI), oferind studenților o înțelegere a schimbărilor bazate pe AI în peisajul amenințărilor cibernetice și ajutându-i să integreze eficient AI în măsurile practice de securitate cibernetică.
Universitățile participante sunt invitate să promoveze în mod activ egalitatea, diversitatea și incluziunea în cadrul programelor lor. Acestea ar trebui să încurajeze participarea puternică a persoanelor din medii diverse și să creeze un mediu educațional favorabil incluziunii, îmbogățind astfel experiența generală de învățare și consolidând comunitatea de securitate cibernetică.
Loading…
