By visiting our site, you agree to our privacy policy regarding cookies, tracking statistics, etc.
Šioje ataskaitoje, parengtoje 2024 m. vasarą, nagrinėjamas dažnesnis dirbtinio intelekto pokalbių robotų naudojimas akademinėje aplinkoje po to, kai 2022 m. pradėjo veikti „ChatGPT”, ir švietimo įstaigų atsakas naudojant dirbtinio intelekto aptikimo įrankius. Joje aptariamas skirtingas šių priemonių veiksmingumas atpažįstant dirbtinio intelekto sukurtą turinį, taip pat aptariami tokie klausimai kaip klaidingai teigiami ir klaidingai neigiami rezultatai. Ataskaitoje taip pat atkreipiamas dėmesys į etines problemas, susijusias su privatumu, tikslumu ir dirbtinio intelekto naudojimu švietime. Kai kurios institucijos persvarsto aptikimo priemonių naudojimą ir vietoj to renkasi atsakingai integruoti dirbtinį intelektą į mokymo programas.
Šis vadovas visų pirma skirtas universitetams ir kitoms aukštojo mokslo įstaigoms, dalyvaujančioms „Google.org” kibernetinio saugumo seminarų programoje. Jis skirtas šių programų fakultetų čempionams ir EDI čempionams. Be „Google.org” kibernetinio saugumo seminarų programos, šis vadovas gali būti aktualus ir kitoms organizacijoms, dalyvaujančioms praktiniame kibernetinio saugumo mokyme.
2022 m. pradėjus veikti "ChatGPT" visame pasaulyje susidomėta dirbtiniu intelektu (DI) ir pradėta plačiai naudoti DI pokalbių robotus, įskaitant studentus. Atsiradus dirbtinio intelekto pokalbių robotams, aukštojo mokslo institucijos susirūpino dėl "nesąžiningo dirbtinio intelekto sukurto turinio naudojimo akademinėje aplinkoje "1 ir "pokalbių roboto sukurto turinio originalumo ir tinkamumo "2.
Siekiant aptikti ir valdyti netinkamą ar nesąžiningą tokių pokalbių robotų naudojimą, išpopuliarėjo dirbtinio intelekto aptikimo priemonės, o standartinės plagijavimo priemonės, pavyzdžiui, TurnItIn, tapo skirtingo veiksmingumo ir kainos lygio dirbtinio intelekto sukurto turinio aptikimo priemonėmis.3 Dauguma dirbtinio intelekto aptikimo priemonių akademinėje bendruomenėje yra integruotos į platesnes švietimo platformas, pavyzdžiui, Moodle, Canvas, Blackboard, Brightspace, Schoology arba Sakai.4
Dirbtinio intelekto aptikimo įrankiai sukurtą tekstą identifikuoja naudodami šablonų atitikimą, o ne lygindami jį su duomenų baze, kaip tai daro tradicinės plagiato tikrinimo programos. Kalbos modeliai mokomi iš didžiulių tekstinių duomenų kiekių, kad išmoktų tikimybinių kalbos taisyklių, kurias naudoja naujam turiniui kurti. Tačiau sukurtam tekstui dažnai būdingi nuspėjami dėsningumai, pavyzdžiui, nuoseklios sakinių struktūros, per dažnas tam tikrų jungtukų ir žodžių vartojimas, nuspėjamas sakinių ar pastraipų ilgis. Aptikimo priemonėmis siekiama pastebėti šiuos modelius, taip pat gali būti taikomos tradicinės plagijavimo patikros, kad būtų galima nustatyti tekstą, kuris galėjo būti atkurtas tiesiogiai iš modelio mokymoduomenų5.
Kai pirmą kartą buvo išleistos dirbtinio intelekto aptikimo priemonės, aukštojo mokslo įstaigos suskubo jas integruoti į švietimo platformas. Tačiau daugumą dirbtinio intelekto aptikimo priemonių, jei ne visas, galima apeiti, jei tam skiriama pakankamai laiko ir pastangų.6 Todėl kai kurios aukštojo mokslo institucijos atšaukia savo sprendimą naudoti dirbtinio intelekto aptikimo priemones. 2023 m. Vanderbilto, Mičigano valstijos, Šiaurės vakarų ir Teksaso universiteto Ostine (University of Texas at Austin) universitetai išjungė savo Turnitin dirbtinio intelekto detektorius, nurodydami pirmiau aptartas veiksmingumo problemas.7 Tikėtina, kad jų pavyzdžiu paseks ir kitos švietimo įstaigos, nes gali būti, kad aptikimo įrankiai sukelia daugiau problemų, nei jų išsprendžia.8 Kai kurios akademinės institucijos ne tik išjungia dirbtinio intelekto aptikimo įrankius, bet ir ieško būdų, kaip etiškai ir produktyviai įtraukti LLM į savo mokymo programas.9
Be to, išleistos naujos "humanizavimo" priemonės, leidžiančios LLM naudotojams apeiti dirbtinio intelekto aptikimo priemones "perfrazuojant sakinius, keičiant struktūras ir įtraukiant įvairią leksiką", o tai gerokai sumažina tikimybę aptikti dirbtinį intelektą.10 Pirminiai tyrimai rodo, kad perfrazavimo priemonės gerokai apsunkina dirbtinio intelekto aptikimą.11 Pavyzdžiui, laikraštis "Washington Post" nustatė, kad "Turnitin" sunkiai atpažįsta dirbtinio intelekto sukurtą turinį, kai tekste susimaišo žmogaus ir dirbtinio intelekto sukurtas turinys naudojant perfrazavimo priemones.12
Nors "Turnitin" į savo dirbtinio intelekto aptikimo įrankį įtraukė naują dirbtinio intelekto perfrazavimo aptikimofunkciją13, tokie atsakymai sukuria sudėtingas dirbtinio intelekto aptikimo rinkos sąlygas, nes kitos įmonės pereina prie kitų verslomodelių14 arbaužsidaro15.
Toliau abėcėlės tvarka išvardytos pagrindinės dirbtinio intelekto aptikimo priemonės. Taip pat įtraukėme viešai prieinamą informaciją apie aptikimo veiksmingumą, švietimo platformos integraciją, kainą (JAV doleriais) ir išleidimo ir (arba) atnaujinimo datą. Atkreipkite dėmesį, kad dauguma toliau išvardytų dirbtinio intelekto aptikimo priemonių daugiausia veiksmingos tik prieš "ChatGPT-3.5".
AI aptikimo įrankis | Ar yra integracija į švietimo platformas? | Kainos (USD) | Išleidimo / atnaujinimo data |
Compilatio | Taip: "Moodle", "Brightspace", "Canvas", "Microsoft Teams", "Blackboard", atviroji LMS | Informacijos nerasta16 | 2023 m. vasario mėn. |
Turinys masteliu | Taip: ribota informacija | 49 USD/mėn.17 | Nėra informacijos |
Turinio detektorius AI | Nėra informacijos | Informacijos nerasta | 202318 |
Copyleaks | Taip: "Moodle", "Canvas", "Blackboard", "Brightspace", "Schoology", "Sakai". | 7,99- 13,99 JAV dolerių per mėnesį19 | 2023 m. sausio mėn. |
Crossplag | Nėra informacijos | 7-100 JAV dolerių per mėnesį20 | 2023 m. sausio mėn. |
Aptikti GPT | Nėra informacijos | 7-29 dolerių per mėnesį21 | Nėra informacijos |
Duplichecker | Nėra informacijos | 110-2000 JAV dolerių per metus22 | 2024 |
Eiti Winston | Nėra informacijos | 12-32 dolerių per mėnesį23 | 2023 m. vasario mėn. |
GPT-Zero | Taip: "Canvas", "Coursify.me", "K16 solutions", "NewsGuard". | 10-23 JAV dolerių per mėnesį24 | 2023 m. sausio mėn. |
Originalumas | Taip: "Moodle", "Scribbr | 14,95-30 JAV dolerių per mėnesį25 | 2022 m. lapkričio mėn. |
Plagijavimo detektorius (dirbtinio intelekto aptikimas) | Nėra informacijos | 110-330 USD per metus26 | Nėra informacijos |
Quillbot | Taip: viešai nepateikta jokios informacijos apie platformas. | 0-8,33 USD/mėn.27 | Nėra informacijos |
Sodinukai | Neaišku, | 0-12 JAV dolerių per mėnesį28 | 2023 m. sausio mėn. |
Scispace | Tikėtina, tačiau trūksta informacijos | 0-8 JAV dolerių per mėnesį29 | Nėra informacijos |
Turnitin | Taip: "Brightspace", "Scribbr | 3 USD/studentui/metams30 | 2023 m. balandžio mėn. |
Neaptinkamas dirbtinis intelektas | Nėra informacijos | 5-14,99 JAV dolerių per mėnesį31 | 2023 m. gegužės mėn. |
Wordtune | Tikėtina, tačiau trūksta informacijos | 0-9,99 USD/mėn.32 | 2023 m. sausio mėn. |
Rašytojo dirbtinio intelekto detektorius | Nėra informacijos | 0-18 JAV dolerių per mėnesį33 | Nėra informacijos |
ZeroGPT | Taip: viešai nepateikta jokios informacijos apie platformas. | 0-18,99 USD/mėn.34 | 2023 m. sausio mėn. |
Kalbant apie dirbtinio intelekto aptikimo priemones, klaidingai teigiami rezultatai atsiranda tada, kai dirbtinio intelekto aptikimo priemonė neteisingai identifikuoja pateiktą turinį kaip sukurtą dirbtinio intelekto. Kai kurie tyrimai rodo, kad dirbtinio intelekto aptikimo priemonių klaidingai teigiamų rezultatų lygis yra aukštas, ir tik kelios dirbtinio intelekto aptikimo priemonės pasižymi labai mažu klaidingai teigiamų rezultatų lygiu.35 Akademinėje aplinkoje tai gali reikšti, kad studentų darbai neteisingai pažymimi kaip sukurti dirbtinio intelekto, nors iš tikrųjų jie yra sukurti žmogaus. Taip pat nustatyta skirtumų, priklausomai nuo to, kokiu dirbtinio intelekto modeliu sukurtas tekstas, pateiktas dirbtinio intelekto aptikimo priemonei tikrinti, ir atvirkščiai, rezultatai įvairiuose tyrimuose skiriasi.36 Be to, labiau tikėtina, kad turinys, kurio autoriai nėra gimtakalbiai, bus neteisingai priskirtas dirbtinio intelekto sukurtam turiniui, o tai akivaizdžiai kelia problemų švietimo įstaigoms, kuriose mokosi įvairios kilmės studentai.37
Kalbant apie dirbtinio intelekto aptikimo priemones, klaidingai neigiami rezultatai atsiranda tada, kai dirbtinio intelekto aptikimo priemonei nepavyksta nustatyti, kad pateiktas turinys sukurtas dirbtinio intelekto. Kai kurių priemonių jautrumas buvo mažas - teisingai nustatyta, kad vos 15 % pateiktų pavyzdžių yra sukurti dirbtiniointelekto38, tuo tarpu kitos priemonės rodo beveik puikius žmogaus parašyto turinio klasifikavimo rezultatus - klaidingai klasifikuota tik 3 % dirbtinio intelekto sukurtųpavyzdžių39. Viename tyrime teigiama, kad tik dvi iš pagrindinių dirbtinio intelekto aptikimo priemonių teisingai priskyrė visus 126 pavyzdžius prie dirbtinio intelekto arba žmogaus sukurtų pavyzdžių.40 Kiti tyrėjai teigia, kad dirbtinio intelekto aptikimo priemonės, analizuodamos sudėtingesnę kalbą, duoda daugiau klaidingų neigiamų rezultatų.41
Apskritai dirbtinio intelekto aptikimo priemonių veiksmingumas skiriasi priklausomai nuo to, kokia priemonė ir kokiam modeliui naudojama. Viename tyrime nustatyta, kad dirbtinio intelekto aptikimo priemonės yra veiksmingesnės su ChatGPT-3.5 turiniu ir mažiau veiksmingos su ChatGPT-4 turiniu, išskyrus Copyleaks, Turnitin ir Originality.ai, kurių tikslumas nustatant ChatGPT-4 turinį buvo didesnis nei 83 %.42 Šiame tyrime padaryta išvada, kad "nemokamo ar mokamo detektoriaus statusas nėra geras jo tikslumo rodiklis "43 , nors priešingos išvados (su nedidele imtimi) preliminariai rodo, kad mokamos AI aptikimo priemonės atrodo geresnės už nemokamas AI aptikimopriemones44. Tai gali būti susiję su didesniu OpenAI modelių populiarumu, palyginti su kitais modeliais, tokiais kaip Gemini, Mistral ar Command.
AI pokalbių robotų naudojimas akademinėje aplinkoje kelia rimtų etinių klausimų, pradedant žala reputacijai tiek studentams, tiek aukštojo mokslo institucijoms. Jei studentai neatskleidžia, kad naudojasi dirbtinio intelekto sukurtu turiniu, ir pateikia jį kaip savo sukurtą turinį, tai gali pakenkti jų tolesniam mokymuisi ir būsimai karjerai. Universitetai taip pat gali susidurti su kaltinimais, kad sudaro sąlygas plagijavimui, sukčiavimui ir nesugeba užtikrinti akademinio sąžiningumo.
Tačiau dirbtinio intelekto aptikimo priemonių naudojimas be tinkamų apsaugos priemonių kelia ne mažiau didelį susirūpinimą dėl privatumo ir sutikimo, ypač dėl universitetų ir priemonių teikėjo sutartinių susitarimų. Tokie rūpesčiai apima tai, kas atsitinka su įkeltu turiniu, kaip jis saugomas, ir sutikimą, jei įkeltas turinys bus naudojamas būsimiems mokymo duomenims.
Be to, kaip aptarta ankstesniame skyriuje, dirbtinio intelekto aptikimo priemonės gali neteisingai identifikuoti žmogaus parašytą turinį kaip dirbtinį intelektą (klaidingi teigiami rezultatai) arba neaptikti dirbtinio intelekto sukurto teksto (klaidingi neigiami rezultatai). Tikslumas labai skiriasi, kai kurios priemonės geriau aptinka ChatGPT-3.5. Galiausiai, jie žaidžia katės ir pelės žaidimą, taikydami metodus, kaip išvengti aptikimo, įskaitant programinę įrangą, kuri specialiai generuoja turinį, sukurtą taip, kad jo neaptiktų standartinės dirbtinio intelekto aptikimopriemonės45.
Dirbtinio intelekto aptikimo priemonės taip pat prisideda prie platesnių diskusijų apie prieinamumą, teisingumą ir poveikį aplinkai. Studentai gali naudoti dirbtinį intelektą, kad padėtų išversti ir suprasti kursinį darbą, ypač jei jie studijuoja angliškai kalbančioje šalyje ir yra kilę iš neanglakalbių ar kitų mažumų, kurios istoriškai turi mažiau galimybių įgyti universitetinį išsilavinimą. Prieinamumo problemų kyla ir dėl komercinio LLM prieinamumo; labiau pasiturintys studentai gali mokėti už sudėtingesnius modelius ir (arba) pateikti savo darbą keliems LLM, o tai reiškia, kad aptikimo galimybės gerokaisumažėja46.
"Google.org" kibernetinio saugumo seminarų programa remia kibernetinio saugumo seminarų kursus atrinktuose universitetuose ir kitose reikalavimus atitinkančiose Europos, Artimųjų Rytų ir Afrikos aukštosiose mokyklose, kad studentai sužinotų daugiau apie kibernetinį saugumą ir ištirtų šios srities galimybes. Programa aktyviai remia kibernetinio saugumo mokymų universitetuose plėtrą, kad būtų sukurta įvairi darbo jėga, reikalinga padėti pažeidžiamiausioms organizacijoms užkirsti kelią galimoms kibernetinėms atakoms. Programoje taip pat nagrinėjamos naujos dirbtinio intelekto (DI) keliamos grėsmės, suteikiant studentams žinių apie DI grindžiamus kibernetinių grėsmių aplinkos pokyčius ir padedant jiems veiksmingai integruoti DI į praktines kibernetinio saugumo priemones.
Tikimasi, kad dalyvaujantys universitetai savo programose aktyviai skatins lygybę, įvairovę ir įtrauktį. Jie turėtų skatinti aktyvų įvairių sluoksnių asmenų dalyvavimą ir kurti įtraukią mokymosi aplinką, taip praturtindami bendrą mokymosi patirtį ir stiprindami kibernetinio saugumo bendruomenę.
Pakraunama…