Context window

Wat bepaalt de grootte van een context-window?

Het context-window is de maximale hoeveelheid tekst (of andere tokens) die een AI-model in één keer kan verwerken. Alles wat buiten dit venster valt, is onzichtbaar voor het model. De grootte varieert sterk per model: oudere versies van GPT-3.5 hadden een venster van 4.096 tokens, terwijl moderne modellen zoals Claude of Gemini vensters tot meerdere honderdduizenden tokens ondersteunen. Eén token komt ruwweg overeen met vier karakters of drie kwart van een woord in het Nederlands.

Voor praktisch gebruik betekent dit dat lange contracten, uitgebreide rapporten of volledige klantenhistorieken soms niet in één keer verwerkt kunnen worden. De keuze van het juiste model hangt dan ook gedeeltelijk af van de gemiddelde documentlengte waarmee jouw bedrijf werkt.

Wat gebeurt er als de context te groot wordt?

Wanneer de invoer de limiet overschrijdt, moet je een strategie kiezen. Truncatie snijdt oudere tekst af, wat leidt tot verlies van informatie. Chunking splitst het document in stukken die afzonderlijk verwerkt worden. RAG (retrieval-augmented generation) haalt via semantisch zoeken alleen de meest relevante fragmenten op en plaatst die in het context-window, waardoor je efficiënt met beperkte ruimte omgaat.

In plaats van een volledig document te laden, worden enkel de relevante passages opgezocht en meegegeven. Dit maakt het mogelijk om te werken met uitgebreide kennisbases, ook als de onderliggende modellen geen onbeperkt venster hebben.