Context window
Wat is een context window?
Een context window is de maximale hoeveelheid informatie die een AI-model op hetzelfde moment kan verwerken. Deze informatie bestaat meestal uit je prompt, eerdere berichten in het gesprek, systeeminstructies en eventueel toegevoegde documenten. Ook de tekst die het model zelf genereert, kan ruimte binnen het context window innemen. De omvang wordt doorgaans uitgedrukt in tokens en niet in woorden of tekens.
Je kunt het context window zien als het tijdelijke werkgeheugen van een taalmodel. Alles wat binnen deze ruimte staat, kan worden gebruikt om een antwoord samen te stellen. Informatie buiten het context window is niet automatisch beschikbaar voor het model. AI memory kan bepaalde gegevens wel apart bewaren en later opnieuw aan de context toevoegen, maar dat is technisch iets anders dan het context window zelf.
Wat gebeurt er als de context te groot wordt?
Wanneer een gesprek, prompt of document te veel tokens bevat, past niet alle informatie meer binnen het context window. Een AI-tool kan dan oudere berichten weglaten, delen samenvatten of aangeven dat de invoer te lang is. Hierdoor kan het model eerdere afspraken, voorbeelden of belangrijke details missen. Het antwoord sluit dan mogelijk minder goed aan op wat eerder is besproken.
Een groot context window maakt het mogelijk om langere documenten en uitgebreidere gesprekken te verwerken. Toch betekent meer ruimte niet automatisch dat het model ieder detail even goed gebruikt. Belangrijke informatie kan minder opvallen wanneer deze tussen veel irrelevante tekst staat. Een duidelijke prompt en een overzichtelijke structuur blijven daarom belangrijk, ook bij modellen met een ruim context window.
Efficiënt omgaan met context
Gebruik vooral informatie die nodig is voor de opdracht en voorkom onnodige herhaling. Plaats belangrijke instructies duidelijk bij elkaar en benoem welke onderdelen van een document of gesprek het zwaarst moeten meewegen. Bij lange teksten kan het helpen om eerst een samenvatting te maken of de inhoud in logische delen te verwerken. Zo blijft de relevante context beter beheersbaar.
Bij complexe taken kun je prompt chaining gebruiken. Je verdeelt de opdracht dan over meerdere prompts, waarbij iedere stap een afgebakend onderdeel behandelt. De belangrijkste uitkomsten worden vervolgens doorgegeven aan de volgende stap. Hiermee voorkom je dat één prompt onnodig veel informatie bevat en verklein je de kans dat belangrijke context verloren gaat.
