💡

Token

Core Concept

💡 Core Concept 🌐 Token

Definition

The basic unit of text that language models process, which can be a word, subword, or character. LLMs charge and measure capacity in tokens. In English, 1 token ≈ 0.75 words on average.

In French

Token — Unité élémentaire de texte (mot, sous-mot ou caractère) traitée par un modèle de langage. Les LLM facturent et mesurent leur capacité en tokens. En français, 1 token ≈ 0.6 mot en moyenne. En anglais, 1 token ≈ 0.75 mot.