Token
Minste tekst-enhet en språkmodell prosesserer — omtrent 3/4 av et ord på engelsk.
Hva det er
Et token er den minste enheten en språkmodell prosesserer. Det kan være et helt ord, en del av et ord, et tall eller et spesialtegn. På engelsk tilsvarer ett token omtrent tre fjerdedeler av et ord. På norsk er forholdet litt lavere fordi ordene i gjennomsnitt er lengre.
Hvordan det fungerer
Før en modell prosesserer tekst, brytes teksten ned i tokens ved hjelp av en tokenizer. Setningen «Kunstig intelligens er fascinerende» kan bli delt inn i tokens som [«Kunstig», « intelli», «gens», « er», « fas», «iner», «ende»]. Modellen jobber med disse token-ID-ene internt og konverterer tilbake til lesbar tekst når den genererer output.
Hvorfor det er relevant i 2026
Tokens er valutaen i AI-økonomien. Prising av API-tilgang måles i tokens — DeepSeek V4 koster 0,30 dollar per million input-tokens, mens GPT-5 koster ti ganger mer. Kontekstvinduer måles i tokens — Claude Opus 4.6 støtter 1 million tokens, nok til å prosessere en hel kodebase. Å forstå tokens er essensielt for å beregne kostnader og kapasitet.