Token
Un token est l'unité de base qu'un modèle de langage lit et génère, souvent un mot, une partie de mot ou un signe de ponctuation.
Avant de traiter un texte, un modèle le découpe en tokens. En anglais, un mot correspond en moyenne à environ 1,3 token, un peu plus en français à cause des accents et des mots composés.
Le nombre de tokens détermine le coût et la vitesse d'une requête, et limite la taille du contexte qu'un modèle peut traiter en une fois, voir fenêtre de contexte.