Wat is een contextvenster? Waarom AI soms dingen vergeet

Waarom was hij dat nou alweer vergeten?

Je werkt een uur met ChatGPT aan een offerte en ineens gebruikt hij een prijs die je allang hebt aangepast. Dat ligt niet aan jou. Elke AI-tool kan maar een beperkte hoeveelheid tekst tegelijk overzien: het contextvenster. In deze blog lees je wat dat is en hoe je ermee werkt.

Wat is een contextvenster?

Het contextvenster is het werkgeheugen van een AI-model. Het is alles wat het model op dat moment kan zien: jouw berichten, zijn eigen antwoorden, documenten die je hebt geplakt en eventuele instructies van de tool zelf.

Een AI-model onthoudt namelijk niets tussen twee berichten door. Bij elk nieuw bericht krijgt het het hele gesprek opnieuw te lezen en antwoordt het op basis daarvan. Het contextvenster bepaalt hoeveel van dat gesprek er maximaal in past.

Vergelijk het met een bureau. Alles wat erop ligt, kun je in één oogopslag gebruiken. Is het bureau vol, dan moet er iets af voordat er iets nieuws bij kan.

De grootte wordt gemeten in tokens, de stukjes waarin een model tekst opknipt. Meer daarover lees je in onze blog over hoe een LLM werkt.

Hoe groot is een contextvenster?

Dat verschilt per model en per abonnement, en het groeit snel. De eerste versie van ChatGPT kon een paar duizend tokens aan, ongeveer een lange e-mail. Moderne modellen kunnen honderdduizenden tokens overzien, en sommige zelfs een miljoen of meer. Dat zijn complete boeken of jaarverslagen in één keer.

Een handige vuistregel: een token is in het Engels ongeveer driekwart woord. Nederlands kost meestal wat meer tokens per woord, omdat onze lange samenstellingen in meer stukjes worden geknipt.

Groter is wel niet automatisch beter. Ook in een groot venster let een model niet op alles even goed. Informatie die ergens in het midden van een heel lang document staat, wordt makkelijker over het hoofd gezien dan wat aan het begin of het eind staat.

Wat gebeurt er als het contextvenster vol is?

Dat hangt af van de tool. Grofweg zijn er drie dingen die kunnen gebeuren:

• Het oudste deel valt weg. De tool laat het begin van het gesprek vallen om ruimte te maken. De AI weet dan simpelweg niet meer wat daar stond.
• Het gesprek wordt samengevat. De tool maakt een korte samenvatting van het eerdere gesprek. Dat scheelt ruimte, maar details als bedragen, namen en uitzonderingen raken daarbij makkelijk kwijt.
• Je krijgt een melding. Sommige tools zeggen eerlijk dat het gesprek te lang is en vragen je een nieuw gesprek te starten.

Het lastige is dat je bij de eerste twee vaak niks merkt. De AI antwoordt even zelfverzekerd als altijd, alleen op basis van minder informatie. Dat is ook een bron van fouten die lijken op hallucinaties. Meer daarover in onze blog over AI-hallucinaties.

Zo werk je slim met het contextvenster

• Begin een nieuw gesprek voor een nieuw onderwerp. Een gesprek over je offerte en daarna over je LinkedIn-post vult het venster met informatie die niet meer relevant is.
• Zet de belangrijkste informatie bovenaan. Begin met de kern: wie je bent, wat het doel is, welke cijfers kloppen. Dat staat dan vooraan in het venster, waar het model er het best op let. In onze blog over prompts schrijven lees je hoe je dat aanpakt.
• Herhaal wat echt belangrijk is. Heb je halverwege een prijs of uitgangspunt aangepast? Noem het nog een keer als je iets nieuws vraagt.
• Laat een samenvatting maken voordat je opnieuw begint. Vraag aan het eind van een lang gesprek om een samenvatting van alle afspraken en plak die in een nieuw gesprek. Controleer wel of alles erin staat.
• Plak alleen wat nodig is. Een rapport van 80 pagina's terwijl je één hoofdstuk nodig hebt, kost ruimte en aandacht. Knip eruit wat relevant is.