Iedereen die weleens een AI-model als ChatGPT een vraag heeft gesteld, weet dat onjuiste informatie op de loer ligt. Japanse onderzoekers vergelijken het taalmodel met afasie – een hersenaandoening die je wartaal laat uitslaan. 

AI-modellen zoals ChatGPT, Llama en Albert, zijn allesbehalve alwetend. Het zijn zogenaamde grote taalmodellen, die dusdanig getraind zijn dat ze teksten kunnen genereren. Stel je het model een vraag, dan krijg je een overtuigend antwoord terug. 

Omdat het model ‘begrijpt’ hoe de menselijke taal in elkaar steekt, is op het antwoord taaltechnisch vaak weinig aan te merken. Maar dat geldt lang niet altijd voor de inhoud. “Dit is allemaal waargebeurd”, verzekerde ChatGPT mij laatst, om vervolgens een volledig verzonnen verhaal uit de doeken te doen. 

Volgens Japanse onderzoekers lijkt de manier waarop grote taalmodellen teksten genereren heel erg op hoe mensen met afasie dat doen. Hoe hebben ze dat onderzocht? 

Lees ook:

• AI-modellen spelen vals als ze dreigen te verliezen tijdens een potje schaken
• AI voedt zichzelf met zijn eigen fouten – en dat geeft problemen

Vloeiende wartaal 

“Je kunt er niet omheen dat sommige AI-systemen erg welbespraakt zijn, terwijl ze grote fouten produceren”, vertelt Takamitsu Watanabe van het International Research Center for Neurointelligence (WPI-IRCN) aan de Universiteit van Tokyo in een persbericht. 

“Maar wat ons het meeste opviel, was dat dit gedrag erg leek op mensen met sensorische afasie. Deze mensen spreken vloeiend, maar het slaat niet altijd ergens op. Daarom wilden we de interne mechanismes van AI-systemen onderzoeken, om te zien of ze op dezelfde manier werken als het brein van mensen met afasie.” 

Chaotische signalen 

Voor hun onderzoek namen de onderzoekers de grote taalmodellen Albert, GPT-2, Llama-3.1 en een Japanse variant van Llama onder de loep. Daarnaast analyseerden ze het brein van 312 mensen met verschillende vormen van afasie met een fMRI. Ze voerden geen opdrachten uit, zodat de onderzoekers een scan konden maken van hun brein in ruststand. 

Toen ze deze datasets met elkaar vergeleken, viel het onderzoeksteam een aantal dingen op. De manier waarop informatie beweegt binnen een AI-model, lijkt heel erg op hoe hersensignalen zich gedragen in het brein van mensen met afasie.

“Stel je een oppervlak met een bal voor”, vertelt Watanabe. “Als er een kromming is, dan rolt de bal naar beneden en komt hij tot stilstand. Maar als de krommingen oppervlakkig zijn, dan rolt de bal op een chaotische manier heen en weer. Bij afasie vertegenwoordigt de bal de hersentoestand van de persoon. In grote taalmodellen vertegenwoordigt de bal het voortdurende signaalpatroon in het model, gebaseerd op de instructies en de interne dataset.” 

Heeft ChatGPT hersenschade?

Ondanks de overeenkomsten met afasie, benadrukken de wetenschappers in hun onderzoek dat chatbots niet leiden aan een vorm van hersenschade. 

De exacte reden waarom chatbots soms volledig verzonnen verhalen uit de doeken doen, is niet bekend. Maar de aanname is dat ze tijdens hun pre-training onnauwkeurige kennis hebben opgedaan. Een betere training zou dus moeten leiden tot minder “hallucinaties”, zoals de onderzoekers de verzonnen verhalen noemen.

“De modellen zitten mogelijk vast in een soort rigide intern patroon, waardoor ze minder flexibel zijn in het aanspreken van hun opgeslagen kennis. Of toekomstige modellen deze beperking kunnen overwinnen, valt nog te bezien”, vertelt Watanabe. Maar hij hoopt dat de inzichten uit dit onderzoek ontwikkelaars kunnen helpen bij het bouwen van slimmere en betrouwbaardere AI-systemen. 

Bron: Advanced Science

Beeld: Pexels/Google DeepMind

Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Word dan lid van KIJK!