Dans cette leçon
Le jeu que joue un modèle de langage
Aucun neurone ici. Comptez ce qui suit chaque mot d’un corpus minuscule, pariez sur le suivant, et jouez la boucle de génération à la main.
À la fin, vous saurez
- Expliquer la prédiction du token suivant sans prêter au modèle une intention ou une recherche documentaire.
- Décrire comment un contexte plus long change les probabilités de la suite.
Après la pluie, le beau ___. Vous avez complété avant la fin de la phrase. Le clavier de votre téléphone joue le même tour au-dessus de la barre d’espace, et un grand modèle de langage y joue aussi - à chaque instant. Tout le jeu tient là : devant un texte, parier sur la suite, l’écrire, puis parier de nouveau. Le reste de ce cours n’est que de la machinerie pour bien jouer à ce jeu.
Avant de toucher au moindre neurone, jouons d’abord avec la machine la plus bête capable de jouer : une table de comptes.
Observez un corpus devenir des comptes
L’instrument ci-dessous contient un corpus complet de huit phrases courtes - assez petit pour être lu en dix secondes et compté à la main. Une seule règle en fait un modèle : pour chaque mot, relever tous les mots déjà vus juste après. « Le chat » est suivi de dort deux fois et de mange une fois : après « le chat », la table parie à 2 contre 1 sur la sieste.
Prédisez le gagnant
Le corpus contient manger un avocat, appeler un avocat et manger un fruit. Le modèle à comptage vient de lire le mot un.
Votre pari
Dans ce corpus, quel mot gagne le pari juste après « un » ?
Personne ne corrige. Engagez-vous, l’instrument tranchera.
Tout le corpus tient sous vos yeux. Chaque pourcentage est un compte divisé par un total : vérifiez-le à la main.
Le corpus complet
- lechatdortsurletapis
- lechatdortsouslatable
- lechatmangeunesouris
- lechienregardelechat
- lechiendortsurletapis
- mangerunavocat
- appelerunavocat
- mangerunfruit
Les occurrences du contexte sont soulignées ; le mot compté juste après est encadré.
Ce qui suit ce contexte
| Mot suivant | Compte | Part |
|---|---|---|
| avocat | 2 / 3 | 66,7 % |
| fruit | 1 / 3 | 33,3 % |
P(mot | contexte) = compte / total
La boucle de génération
Le modèle relit ses derniers mots, tire au sort selon les parts, ajoute le mot, et recommence.
un
Manipulez la boucle
Changez de contexte et regardez les parts bouger. Puis passez la longueur du contexte de 1 mot à 2 mots : le tout seul est vague, mais le chien réduit l’avenir à un pile ou face entre regarde et dort. Un contexte plus long, c’est de l’information, et l’information redessine le pari.
Lancez maintenant la boucle. Appuyez sur Tirer un mot : le modèle tire un mot au sort selon les parts, l’ajoute, relit ses propres derniers mots, et parie de nouveau. Ce cycle qui se nourrit lui-même s’appelle la génération autorégressive, et c’est exactement ainsi qu’un LLM écrit : un pari à la fois, chaque pari conditionné par tout ce qui précède.
Défi Deux missions. Un : trouvez un contexte dont la part gagnante vaut exactement 100 %, puis expliquez pourquoi cette certitude est une propriété de ce corpus, pas une vérité sur le français. Deux : tirez des mots jusqu’à ce que la boucle s’arrête, et dites précisément pourquoi le modèle à comptage s’est tu.
Expliquez la machine à parier
La table applique une seule formule, affichée sous les barres :
P(mot | contexte) = compte / total
Lisez-la « probabilité d’un mot, sachant le contexte ». La barre verticale est tout le secret : une probabilité est toujours conditionnée par quelque chose, et changer le contexte change la distribution. Voilà pourquoi le même modèle peut continuer « manger un » et « appeler un » différemment - aucune compréhension, seulement des lignes différentes de la table.
- Vous lisezmanger un ___
- Le corpus compteavocat : 2 · fruit : 1
- Le modèle parieavocat (66,7 %)
Mais vous avez aussi trouvé la faille fatale. Dès qu’un contexte n’a jamais été observé - même une seule fois - la table n’a ni ligne, ni comptes, ni avis. Les contextes longs aggravent tout : avec deux mots, la plupart des paires possibles n’apparaissent dans aucun corpus, aussi grand soit-il. Compter ne généralise pas. La suite de ce cours construit la machine qui généralise : elle transformera les mots en géométrie, pour que des contextes voisins partagent leurs indices au lieu d’exiger des contextes identiques.
Prédire n’est pas chercher. Le modèle n’a consulté ni réponse ni fait : il a continué un texte selon une distribution conditionnelle. Quand un vrai LLM répond à une question, il joue exactement ce jeu avec une machinerie infiniment meilleure - d’où sa capacité à être fluide et faux en même temps : la fluidité est le jeu ; la vérité n’est pas la règle du score.
Réfléchissez à ce que dit un pourcentage
Point de contrôle
L’instrument affiche « avocat : 66,7 % » après le contexte « un ». Que rapporte réellement ce nombre ?
Reliez le jeu à la machine
Vous connaissez maintenant le jeu : prédire, ajouter, recommencer. Vous savez aussi pourquoi une table de comptes le perd - un contexte inédit la laisse muette. Pour mieux jouer, un modèle doit d’abord cesser de traiter les mots comme des symboles insécables. Le prochain chapitre commence exactement là, avec une question absurde en apparence : combien de « r » dans strawberry ?
Sources et périmètre
- Shannon (1948) introduit les modèles n-grammes et l’expérience de génération par tirage que cette leçon rejoue.
- Bengio, Ducharme, Vincent et Jauvin (2003) posent le problème de généralisation des n-grammes et proposent les vecteurs de mots appris - la route que suit ce cours.
- Le corpus de huit phrases est une fixture pédagogique originale ; ses comptes sont conçus pour être vérifiables à la main, pas représentatifs des statistiques réelles de la langue.
- Contenu et affirmations relus le 18 juillet 2026.