Vocageek #59 IA : C’est quoi un token ?
Chaque fois que tu sollicites une Intelligence Artificielle générative, comme ChatGPT, Gemini ou Le Chat, des millions de tokens sont traités en coulisses. Mais qu’est-ce qu’un token exactement ? Pourquoi ce petit élément invisible détermine-t-il le coût et la performance des intelligences artificielles ? Geek Junior t’explique tout !
Pour découvrir d’autres termes sur les technologies du numérique, va sur notre page spéciale Vocageek !
La définition
Un token est une unité de base que les modèles d’IA utilisent pour découper et traiter un contenu. Dans le contexte de l’intelligence artificielle, un token peut représenter un mot entier, une partie de mot, un signe de ponctuation ou même un simple espace. Par exemple, le mot « bonjour » sera peut-être découpé en deux tokens « bon » et « jour ». Ensuite, dans le mot « bonsoir » le token « bon » sera identique que dans le mot « bonjour ». Les modèles IA transforment d’abord tous les contenus (textes, images, sons) en tokens avant de pouvoir les traiter.
Token est un mot anglais signifiant jeton !
Pourquoi l’IA découpe-t-elle tout en tokens ?
Les intelligences artificielles ne comprennent ni le langage humain ni les images comme nous. Elles transforment tout en chiffres pour pouvoir les analyser. C’est là qu’intervient la tokenisation : les données sont découpées en tokens, puis chaque token reçoit un numéro unique. Cette transformation permet à l’IA de réaliser des calculs mathématiques, que ce soit sur du texte ou des images.
Texte, images, vidéos : tout devient token
Les tokens servent pour tous les types de données. Les modèles d’IA transforment textes, images, sons ou vidéos en tokens. Une photo est découpée en carrés qui deviennent des tokens visuels. Une vidéo combine tokens d’images et tokens audios. Cette technique permet aux intelligences artificielles de « comprendre » les images comme elles comprennent le langage. Les datacenters spécialisés dans l’IA sont conçus pour traiter des milliards de tokens par seconde. Leur performance se mesure en « tokens par seconde », exactement comme on mesure la vitesse d’un processeur en gigahertz. Une tokenization efficace permet de réduire la puissance de calcul. C’est un enjeu important.
En moyenne, 100 mots représentent environ 130 tokens en français, soit environ 0,75 mot par token.
Les tokens, la monnaie de l’IA ?
Les tokens sont considérés comme l’unité de mesure qui détermine le coût d’utilisation des IA génératives. Les modèles IA que tu utilises facturent peut-être au nombre de tokens traités. Un long message texte consomme plus de tokens qu’un court, et générer une image de haute qualité consomme bien plus de tokens qu’un simple texte.
Les modèles d’IA ont des limites : ils ne peuvent traiter qu’un certain nombre de tokens à la fois, ce qu’on appelle la « fenêtre de contexte ». Par exemple, GPT-5 peut gérer jusqu’à 400 000 tokens d’un coup. Cette limite explique pourquoi parfois, quand tu poses des questions très longues avec des images, l’IA peut « oublier » le début de la conversation. Comprendre les tokens permet donc de mieux utiliser les outils d’IA au quotidien : optimiser tes questions pour consommer moins de tokens, choisir le bon modèle selon tes besoins (texte simple ou génération d’images), et même estimer le coût d’une application utilisant l’IA. Open AI a mis en ligne un petit outil pour mieux comprendre combien de tokens tu consommes selon le modèle que tu utilises : platform.openai.com/tokenizer.
À regarder cette vidéo de la chaîne La veille de Stef qui explique bien les tokens :
