Token
Concept fondamental
Définition
Unité élémentaire de texte (mot, sous-mot ou caractère) traitée par un modèle de langage. Les LLM facturent et mesurent leur capacité en tokens. En français, 1 token ≈ 0.6 mot en moyenne. En anglais, 1 token ≈ 0.75 mot.
En anglais
Token — The basic unit of text that language models process, which can be a word, subword, or character. LLMs charge and measure capacity in tokens. In English, 1 token ≈ 0.75 words on average.
Termes associés
🛠️ Outils liés
Explorer le glossaire complet
Découvrez tous les termes de l’intelligence artificielle dans notre glossaire.