Wat is een token (AI)?

Definitie: Een token is de kleinste eenheid waarin een AI-taalmodel tekst opdeelt om die te verwerken en te genereren: een heel woord, een deel van een woord, een leesteken of een spatie met een woord. Tokens bepalen hoeveel tekst een model tegelijk aankan en hoeveel het gebruik via een API kost.

In het kort

• Volgens DataNorth en Nlighten is één token in het Engels ongeveer vier tekens of driekwart woord; 100 tokens is ruwweg 75 woorden.
• In andere talen dan het Engels zijn er meestal meer tokens nodig voor dezelfde inhoud, en dus hogere kosten.
• AI-aanbieders rekenen per miljoen tokens, met aparte prijzen voor invoer en uitvoer. Uitvoertokens zijn volgens DataNorth meestal 3 tot 5 keer zo duur.
• Het contextvenster is het maximale aantal tokens dat een model in één keer kan verwerken, inclusief vraag, instructies, documenten en antwoord.

Wat zijn tokens in AI?

Een taalmodel zoals ChatGPT, Claude of Gemini leest geen woorden zoals wij. Voordat een tekst het model in gaat, wordt hij opgeknipt in stukjes: tokens. Elk token krijgt een nummer, en het model rekent met die nummers. Het antwoord ontstaat ook token voor token: het model voorspelt steeds welk token het meest waarschijnlijk volgt, tot het antwoord af is. Zapier beschrijft dat als het één voor één voorspellen van het volgende token.

Een token is dus niet hetzelfde als een woord. Een kort, veelvoorkomend woord is vaak één token. Een lang of zeldzaam woord wordt opgesplitst in meerdere delen. Ook leestekens, spaties en cijfers tellen mee. Koombea geeft als voorbeeld “Hello world.”, dat uit drie tokens bestaat: “Hello”, ” world” en de punt.

Hoe werkt tokenisatie?

Het opknippen van tekst heet tokenisatie. Moderne taalmodellen gebruiken volgens Koombea meestal subwoordtokenisatie, zoals byte pair encoding (BPE). Het idee:

1. Veelvoorkomende woorden blijven één token, zoals “de”, “het” of “factuur”.
2. Minder bekende woorden worden opgesplitst in bekende stukken, zoals “klant” en “portaal”.
3. Zeldzame tekens of namen worden in nog kleinere delen opgeknipt.

Elk model heeft een vaste woordenlijst van tokens, de vocabulaire. TechRadar noemt voor GPT-4 een vocabulaire van ongeveer 50.000 tokens. Omdat elk model een eigen tokenizer heeft, levert dezelfde tekst bij verschillende modellen een iets ander aantal tokens op.

Hoeveel tokens is een tekst?

Dit zijn vuistregels voor Engelse tekst. Nederlands gebruikt doorgaans meer tokens per woord, omdat taalmodellen vooral op Engelse tekst zijn getraind en Nederlandse samenstellingen vaak worden opgesplitst. DataNorth noemt dat dezelfde workflow in een andere taal al snel 2 tot 4 keer zoveel kan kosten per verzoek; Koombea spreekt voor sommige talen van 3 tot 10 keer zoveel tokens. Wil je het precies weten, gebruik dan de tokenizer-tool van de aanbieder of tel tokens via de API.

Waarom zijn tokens belangrijk?

Tokens bepalen drie dingen:

• Kosten. Bij gebruik via een API betaal je per token, voor wat je naar het model stuurt en voor wat het teruggeeft.
• Capaciteit. Een model kan maar een beperkt aantal tokens tegelijk verwerken, het contextvenster.
• Snelheid. Hoe meer tokens een model moet genereren, hoe langer het antwoord duurt.

Voor wie ChatGPT of Claude via een abonnement gebruikt, merk je tokens vooral aan limieten: na een aantal lange gesprekken moet je even wachten. Voor wie AI inbouwt in een eigen applicatie, zijn tokens een directe kostenpost.

Invoertokens en uitvoertokens

Aanbieders maken onderscheid tussen twee soorten tokens:

• Invoertokens. Alles wat je naar het model stuurt: je vraag, de systeeminstructies, eerdere berichten in het gesprek en meegestuurde documenten.
• Uitvoertokens. Het antwoord dat het model genereert.

Uitvoertokens zijn duurder, omdat het genereren van tekst meer rekenwerk vraagt dan het lezen ervan. Volgens DataNorth zijn ze meestal 3 tot 5 keer zo duur als invoertokens.

Bij redeneermodellen komt daar nog iets bij. Die denken eerst stap voor stap na voordat ze antwoorden. Zapier legt uit dat gebruikers van dat denkproces alleen een ingekorte versie zien. DataNorth wijst erop dat die verborgen redeneertokens wel tegen het uitvoertarief worden afgerekend, en geeft een voorbeeld van 100 zichtbare tokens tegenover 2.000 verborgen tokens.

Wat kosten tokens?

DataNorth noemt de volgende prijzen per miljoen tokens:

Prijzen veranderen regelmatig en verschillen sterk per model. Controleer altijd de actuele prijspagina van de aanbieder.

Rekenvoorbeeld: wat kost een AI-functie in een applicatie?

Stel dat een applicatie 1.000 keer per maand een document laat samenvatten. Per keer gaan er 2.000 tokens in (instructie plus document) en komen er 500 tokens uit (de samenvatting). Per maand is dat 2 miljoen invoertokens en een half miljoen uitvoertokens.

Het verschil tussen modellen is groot, maar beide bedragen zijn overzichtelijk. Het wordt anders bij lange documenten, lange gesprekken, redeneermodellen of tienduizenden verzoeken per dag. Dan loont het om vooraf te rekenen. Zapier merkt op dat sommige ontwikkelaars door per-tokenprijzen duizenden dollars per maand aan AI-kosten kwijt waren.

Wat is een contextvenster?

Het contextvenster is het maximale aantal tokens dat een model in één keer kan verwerken: de instructies, het hele gesprek tot nu toe, meegestuurde documenten en het antwoord samen. Volgens Zapier hadden vroege modellen zoals GPT-3.5 een contextvenster van 4.096 tokens. DataNorth noemt voor huidige modellen 128.000 tot meerdere miljoenen tokens, met Gemini 2.5 Pro tot 2 miljoen.

Wat gebeurt er als je de grens overschrijdt? Volgens Koombea wordt de vroegste context afgekapt. Het model kan dan instructies of informatie van het begin van het gesprek vergeten. Dat verklaart waarom een lang gesprek met een chatbot soms afdwaalt.

Een groot contextvenster betekent niet dat je altijd alles moet meesturen. Elk meegestuurd token kost geld en tijd, en te veel irrelevante tekst kan de kwaliteit van het antwoord verlagen. Daarom gebruiken veel toepassingen technieken als RAG: alleen de relevante stukken uit een kennisbank worden opgezocht en meegestuurd.

Hoe bespaar je op tokens?

• Schrijf beknopte instructies. Nlighten raadt beknopte prompts aan. Herhaal geen lange uitleg bij elk verzoek als het niet nodig is.
• Stuur alleen relevante informatie mee. Liever drie relevante alinea’s dan een heel handboek.
• Beperk de lengte van het antwoord. Vraag om een samenvatting in vijf punten in plaats van een open opdracht.
• Kies het juiste model. Een klein, goedkoop model is voor veel eenvoudige taken goed genoeg.
• Gebruik prompt-caching. Volgens DataNorth zijn cache-hits bij Anthropic tot 90 procent goedkoper en geeft OpenAI 50 procent korting op gecachte invoer boven een bepaalde lengte.
• Gebruik batchverwerking. Niet-dringende taken die binnen 24 uur worden verwerkt, krijgen volgens DataNorth 50 procent korting.
• Splits lange gesprekken op. Nlighten noemt dat als manier om tokens efficiënt te gebruiken.
• Tel vooraf. Met een tokenizer-tool weet je hoeveel tokens een typisch verzoek kost.

Waar zit de lastige kant van tokenisatie?

Tokenisatie verklaart een paar eigenaardigheden van taalmodellen. Nlighten noemt dubbelzinnige woorden, talen zonder spaties zoals Chinees en Japans, en speciale gevallen zoals URL’s, getallen en afkortingen als uitdagingen. Omdat een model woorden als losse tokens ziet in plaats van als letters, gaat het soms mis bij het tellen van letters in een woord of bij precieze rekensommen met lange getallen. Ook ongewone productcodes, namen en vakjargon kunnen in veel kleine tokens worden opgeknipt, wat meer tokens kost en soms tot fouten leidt.

Tokens in een zakelijke applicatie

Wie AI inbouwt in een eigen applicatie, maakt keuzes die direct doorwerken in het tokenverbruik:

1. Welke taak doet de AI? Classificeren of een kort label kiezen kost weinig uitvoertokens; lange teksten schrijven kost veel.
2. Hoeveel context is nodig? Een volledig klantdossier meesturen of alleen de relevante velden?
3. Hoe vaak gebeurt het? Eén keer per aanvraag, of bij elke toetsaanslag?
4. Moet het direct? Zo niet, dan is batchverwerking goedkoper.
5. Wie betaalt? Bij een eigen product moet het tokenverbruik passen bij de prijs die klanten betalen.

Een praktisch voorbeeld: een applicatie die binnenkomende e-mails sorteert op onderwerp, hoeft het model alleen een label te laten kiezen uit een vaste lijst. Dat kost weinig uitvoertokens. Laat je het model daarnaast een conceptantwoord schrijven, dan stijgt het verbruik per e-mail flink. Beide kunnen nuttig zijn, maar het is goed om die keuze bewust te maken.

Houd het verbruik bij in de applicatie zelf, per functie en eventueel per klant. Dan zie je snel welke functie de kosten bepaalt en waar optimaliseren loont.

Abonnement of API: waar merk je tokens?

Er zijn twee manieren om een taalmodel te gebruiken, en tokens spelen bij allebei een andere rol.

Zapier meldt dat ook enterprise-abonnementen van OpenAI en Anthropic zijn overgestapt naar prijzen per token. Zakelijk gebruik wordt daarmee steeds vaker direct gekoppeld aan het verbruik.

Een AI-budget bewaken

Bij een applicatie met AI-functies is het verstandig om het tokenverbruik vanaf de eerste versie te bewaken:

1. Log per verzoek het aantal invoer- en uitvoertokens en het gebruikte model.
2. Stel limieten in, zoals een maximum aantal uitvoertokens per antwoord en een maandbudget bij de aanbieder.
3. Maak een overzicht van verbruik per functie, zodat zichtbaar is welke onderdelen de kosten bepalen.
4. Waarschuw bij afwijkingen, bijvoorbeeld als het verbruik op één dag veel hoger is dan normaal. Dat kan wijzen op een fout of op misbruik.
5. Evalueer periodiek of een goedkoper model hetzelfde resultaat geeft. Nieuwe modellen verschijnen regelmatig.

Veelgemaakte fouten met tokens

• Het hele gesprek steeds opnieuw meesturen. Bij elk nieuw bericht wordt de volledige geschiedenis opnieuw als invoer geteld. Lange gesprekken worden zo steeds duurder per bericht.
• Grote documenten integraal meesturen. Vaak is maar een klein deel relevant.
• Geen maximum aan de antwoordlengte. Een model dat uitgebreid antwoordt, verbruikt veel dure uitvoertokens.
• Rekenen met Engelse vuistregels voor Nederlandse tekst. Dan valt de schatting te laag uit.
• Redeneermodellen inzetten voor eenvoudige taken. De verborgen redeneertokens maken een simpele classificatie onnodig duur.
• Het verbruik niet meten. Zonder cijfers weet je pas bij de factuur wat een functie kost.

Wat betekent dit voor jouw project?

Contentooo, een van mijn eigen projecten, draait om intake, klantprofiel, onderzoek, contentplan, conceptgeneratie, controle en akkoord. De les die ik eruit haal: goede invoer bepaalt wat een volgende stap kan opleveren. Dat geldt ook voor tokens. De informatie die je naar een model stuurt, moet relevant zijn en in de juiste context staan. Meer tokens maken een antwoord niet vanzelf beter.

Bij een AI-functie in een applicatie kijk ik daarom eerst naar het proces: wat komt binnen, wie moet ermee verder en welke informatie heeft die persoon nodig? Daaruit volgt hoeveel context het model nodig heeft, welk model past en wat het per maand ongeveer gaat kosten.

Vraag? Wil je AI inbouwen in een bestaand proces of een nieuwe applicatie? Stuur me wat er nu binnenkomt, wie ermee verder moet en wat de AI daarbij zou moeten doen. Dan bepalen we samen de logische eerste stap. Lees ook hoe je een webapplicatie laat maken.

Veelgestelde vragen over tokens in AI

Wat zijn tokens bij ChatGPT?

Tokens zijn de stukjes tekst waarin ChatGPT en andere taalmodellen tekst opdelen, zoals woorden, delen van woorden en leestekens. In het Engels is één token ongeveer vier tekens of driekwart woord.

Hoeveel tokens is een woord?

In het Engels is een woord gemiddeld ongeveer 1,3 token: 100 tokens zijn ruwweg 75 woorden. In het Nederlands en andere talen zijn meestal meer tokens per woord nodig, omdat langere en minder gangbare woorden in meer stukken worden opgesplitst.

Waarom kosten uitvoertokens meer dan invoertokens?

Uitvoertokens kosten meer omdat het genereren van tekst meer rekenwerk vraagt dan het lezen ervan. Het model voorspelt elk token van het antwoord afzonderlijk, terwijl de invoer in één keer wordt verwerkt.

Verwante termen

Contextvenster · Large language model · Prompt engineering · LLM API en AI-integratie · RAG · Embeddings