Rannsakandi prófaði að falsa vísindagrein með gervigreind
Rannsakandi frá IEEE Spectrum gerði tilraun til að búa til falsaða vísindagrein með því að nota ókeypis gervigreindarkerfin ChatGPT og Gemini. Greinin var endalaust stöðvuð vegna falsaðra tilvísana, en tilraun með fullvirkri rannsóknarkerfinu FARS sýndi að gervigreind getur framkvæmt raunverulegar rannsóknir og skrifað greinar sem erfitt er að greina frá lögmætum vísindum.
Vísindaútgáfur standa frammi fyrir vaxandi vandamáli með gervigreindarbúnum efni, sem kallað er "AI slop". Samkvæmt nýlegum rannsóknum höfðu 57 prósent allra útgefinna vísindagreina árið 2025 merki um áhrif stórra tungumálalíkana, samanborið við 12 prósent árið 2023.
Rannsakandi frá IEEE Spectrum framkvæmdi tvöfalda tilraun til að kanna hversu auðvelt væri að nota gervigreind til að búa til falsaðar vísindagreinar. Í fyrri tilraun notaði hann ókeypis útgáfur ChatGPT og Gemini til að búa til grein um ljósbylgjur (optical solitons) sem aldrei voru raunverulega rannsókaðar. Þó að greinin liti fagmannleg út og innihéldi engin augljós merki um gervigreind, var hún stöðvuð af IEEE Access vegna þess að margar tilvísanir voru falsaðar eða ekki til.
Í seinni tilraun notaði hann fullvirka rannsóknarkerfið FARS (Fully Automated Research System), sem getur sjálfstætt framkvæmt rannsóknir og skrifað greinar. FARS framkvæmdi raunverulega tölvurannsókn og skrifaði grein á tveimur klukustundum. Þó að greinin innihéldi engar falsaðar tilvísanir, var hún endalaust stöðvuð vegna þess að of margar tilvísanir voru til óendurkoðaðra forútgáfu og vegna villna í myndum.
Rannsakendur og útgefendur eru sammála um að kerfisbreytingar eru nauðsynlegar. Sumir benda á að framtíðin gæti falið í sér sjálfvirk kerfi sem athuga endurframleiðanleika og tölfræði, en menn myndu einbeita sér að því hvort rannsóknin skiptir máli. Aðrir leggja áherslu á að menn verði að vera áfram við stjórnvölinn og að traust á vísindum byggist á getu til að endurtaka og sannreyna rannsóknir.
