En bref : un grand modèle de langage (en anglais large language model, LLM) prédit sans cesse quel morceau de texte a le plus de chances de venir ensuite. Il l'a appris à partir d'énormes quantités de texte. La réponse que vous recevez est une suite de ces prédictions, l'une après l'autre.
Le texte en petits morceaux : les tokens
Un modèle de langage ne lit pas les mots comme nous. Il découpe le texte en tokens : des mots entiers, des morceaux de mots, des signes de ponctuation ou des caractères isolés. Selon OpenAI, un token correspond en moyenne à environ quatre caractères en anglais, soit trois quarts de mot. En français, c'est un peu différent, mais le principe reste le même.
Un apprentissage en deux étapes
- Le pré-entraînement. Le modèle voit énormément de texte et apprend à prédire à chaque fois le token suivant. Il assimile ainsi la langue, des faits et des schémas. L'architecture sous-jacente est le plus souvent le Transformer, décrit dans un article de 2017.
- L'ajustement. Ensuite, on affine le modèle pour en faire un assistant serviable. Au lancement de ChatGPT, OpenAI a expliqué comment : des personnes ont écrit des exemples de conversations, puis ont classé des réponses du modèle de la meilleure à la moins bonne. Le modèle a appris de ce classement. Cette méthode s'appelle reinforcement learning from human feedback (RLHF, apprentissage par renforcement à partir de retours humains). L'ajustement avec des exemples supplémentaires s'appelle le fine-tuning.
Pourquoi il invente parfois des choses
Un modèle de langage ne cherche pas dans une base de données de vérités. Il produit un texte qui sonne vraisemblable. Il peut donc donner une réponse convaincante, mais fausse. C'est ce qu'on appelle une hallucination.
Dès le lancement de ChatGPT, OpenAI écrivait que le modèle donne parfois des « réponses plausibles mais incorrectes ou absurdes », et qu'une petite modification de la question peut donner une autre réponse. L'autorité néerlandaise de protection des données (Autoriteit Persoonsgegevens) cite le risque de réponses inexactes ou indésirables comme un point de vigilance permanent pour les organisations qui utilisent l'IA générative.
Que faire ?
- Vérifiez les faits, les chiffres et les noms avant qu'un texte parte chez un client.
- Donnez au modèle vos propres sources (un document, une grille tarifaire) et demandez-lui de s'y tenir.
- Demandez des sources et cliquez dessus. Une source qui n'existe pas en dit long.
- Utilisez l'IA pour un premier jet, pas pour le mot de la fin.
Sources
- OpenAI Help Center : What are tokens and how to count them?
- OpenAI : Introducing ChatGPT (méthode et limites)
- Vaswani et al., Attention Is All You Need (arXiv, 2017)
- Autoriteit Persoonsgegevens : Hulpmiddel inzet generatieve AI & de AVG (PDF, en néerlandais)
Consulté le 21 octobre 2026.