Wat is een AI-hallucinatie? En hoe voorkom je dat je erin trapt

Wat is een AI-hallucinatie?

Een hallucinatie is informatie die een AI-tool verzint en presenteert alsof het een feit is. Een bron die niet bestaat, een cijfer dat nergens op gebaseerd is, een citaat dat nooit is uitgesproken.

Het woord is eigenlijk niet helemaal juist. Het model ziet geen dingen die er niet zijn. Het doet precies wat het altijd doet: tekst maken die logisch klinkt. Alleen is die tekst deze keer niet waar.

Hallucinaties zijn lastig omdat ze er niet anders uitzien dan een correct antwoord. Dezelfde toon, dezelfde zekerheid, vaak zelfs met details die het geloofwaardig maken.

Waarom AI hallucineert

Een taalmodel is getraind om het volgende woord te voorspellen, niet om feiten op te zoeken. Het heeft geen database met waarheden die het raadpleegt. Het heeft patronen geleerd uit enorme hoeveelheden tekst. Meer daarover lees je in onze blog over hoe een LLM werkt.

De kans op een hallucinatie is groter als:

• Er weinig over een onderwerp bekend is. Over Albert Heijn is veel geschreven, over de bakker op de hoek niet. Hoe nicher de vraag, hoe meer het model moet invullen.
• Je naar exacte details vraagt. Jaartallen, percentages, wetsartikelen, namen van auteurs. Het model weet vaak wel ongeveer hoe zoiets eruitziet, maar niet wat het precies is.
• De informatie nieuw is. Elk model heeft een kennisgrens. Wat daarna gebeurde, weet het niet, tenzij de tool het internet op mag.
• De vraag een antwoord veronderstelt. Vraag "welke prijs won ons bedrijf in 2023?" en de kans is groot dat je een prijs krijgt, ook als je er geen won.

Modellen zijn wel beter geworden in toegeven dat ze iets niet weten. Maar helemaal verdwenen is het probleem niet, en dat zal het voorlopig ook niet zijn.

Voorbeelden uit de praktijk

De bekendste fout kwam van twee Amerikaanse advocaten. In 2023 dienden ze een processtuk in met verwijzingen naar eerdere rechtszaken die ChatGPT had aangedragen. Die zaken bleken niet te bestaan. De rechter legde beide advocaten en hun kantoor een boete op (Ambrogi, 2023).

Ook bedrijven kunnen erop aangesproken worden. De chatbot op de website van Air Canada vertelde een klant dat hij na het overlijden van zijn oma achteraf korting kon aanvragen op zijn ticket. Die regeling bestond niet. Air Canada stelde dat de chatbot zelf verantwoordelijk was voor wat hij zei, maar een Canadese geschillencommissie oordeelde in 2024 dat het bedrijf aansprakelijk is voor alle informatie op zijn website, ook die van een chatbot (Sookman, 2024). Welke technologie er achter de chatbot zat, is niet bekend. De les geldt wel net zo goed voor AI-chatbots.

In het dagelijks werk gaat het meestal om kleinere dingen:

• een bronvermelding naar een artikel dat nooit is geschreven;
• een marktcijfer dat net te mooi rond is;
• een samenvatting van een document waarin een punt staat dat er niet in stond;
• een functie in software die volgens de AI bestaat, maar niet in jouw versie zit.

Zo voorkom je dat je erin trapt

Je kunt hallucinaties niet helemaal uitsluiten, maar je kunt de kans flink verkleinen en ze sneller herkennen.

• Geef zelf de informatie mee. Plak het document, de prijslijst of de cijfers in je vraag. Een model dat met jouw bron werkt, hoeft minder te verzinnen. In onze blog over prompts schrijven lees je hoe je dat goed doet.
• Vraag om bronnen, en klik ze aan. Veel tools kunnen tegenwoordig zoeken op internet en linken naar waar ze hun informatie vandaan halen. Open die links. Een bron die niet bestaat of iets anders zegt, is een rode vlag.
• Geef het model ruimte om nee te zeggen. Zet in je prompt dat het mag aangeven als het iets niet weet. Dat klinkt simpel, maar het helpt.
• Wees extra kritisch bij precieze details. Namen, data, bedragen, wetsartikelen en citaten zijn de klassiekers. Check ze altijd voordat ze in een offerte, rapport of post belanden.
• Gebruik AI voor wat het goed kan. Herschrijven, samenvatten en structureren gaan bijna altijd goed, omdat de feiten daar van jou komen. Feiten opzoeken over een onbekend onderwerp is riskanter.

Bronnen

Ambrogi, R. (2023, 22 juni). Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research. LawSites. https://www.lawnext.com/2023/06/court-imposes-sanctions-on-lawyers-who-filed-bogus-cases-after-relying-on-chatgpt-for-legal-research.html

Sookman, B. (2024, 19 februari). Moffatt v. Air Canada: A misrepresentation by an AI chatbot. McCarthy Tétrault. https://www.mccarthy.ca/en/insights/blogs/techlex/moffatt-v-air-canada-misrepresentation-ai-chatbot