Dans cette leçon
Logits, température et le token qui sort
Le vecteur final devient un pari sur tout le vocabulaire, une politique de décodage choisit le token - et le jouet non entraîné garde une surprise en réserve.
À la fin, vous saurez
- Tracer le chemin du dernier vecteur de sortie jusqu’aux logits, aux probabilités et au token tiré.
- Distinguer ce que le modèle calcule de ce que la politique de décodage choisit.
Avant de commencer : Le bloc Transformer, l’étage que l’on empile
La tour est construite. Le texte est devenu tokens, les tokens sont devenus vecteurs, l’attention les a fait parler, un étage complet les a remodelés. Tout en haut, il reste un vecteur de sortie - deux nombres, dans notre jouet. Et un lecteur attend un mot. Ce chapitre est le dernier geste mécanique de la machine, celui que le chapitre 1 promettait : transformer un vecteur en pari sur tout le vocabulaire, puis miser pour de bon. C’est aussi le chapitre où notre jouet fabriqué à la main se fait prendre à faire semblant de savoir le français.
Observez la table lue à l’envers
Pour noter un mot, le modèle calcule un produit scalaire entre le vecteur de contexte et - surprise - la ligne d’embedding de ce mot, celle du chapitre 3. La même table, lue à l’envers : les lignes qui servaient de casiers à l’entrée servent de juges à la sortie. Beaucoup de modèles de production partagent réellement ces poids ; on appelle cela le weight tying. Chaque score brut est un logit ; le softmax - le comptable du chapitre 4 - convertit les logits en parts de 100 %.
Prédisez le premier mot du jouet
Le contexte est la trace du cours, « manger un ». Chaque nombre de cette machine a été écrit à la main pour enseigner, et rien n’a jamais été entraîné.
Votre pari
Après « manger un », sur quel nom notre modèle fabriqué à la main parie-t-il vraiment ?
Personne ne corrige. Engagez-vous, l’instrument tranchera.
Le sommet de la tour produit un vecteur ; le lecteur attend un mot. Regardez le vecteur devenir un pari, puis laissez la politique de décodage choisir.
Régler k et p
Du vecteur au pari
Contexte actuel → vecteur de sortie h = [3.659, 1.933]
| Mot | Logit h · E[mot] | Part (après T) | Part finale |
|---|---|---|---|
| chat · #314gardé | 4.392 | 46,1 % | 46,1 % |
| chien · #271gardé | 4.022 | 31,8 % | 31,8 % |
| reine · #409gardé | 2.954 | 10,9 % | 10,9 % |
| roi · #408gardé | 2.907 | 10,4 % | 10,4 % |
| vélo · #734gardé | -0.837 | 0,2 % | 0,2 % |
| voiture · #733gardé | -0.853 | 0,2 % | 0,2 % |
| avocat · #901gardé | -1.638 | 0,1 % | 0,1 % |
| pomme · #612gardé | -2.236 | 0,1 % | 0,1 % |
La boucle, en vrai
Chaque tirage relance tout : bloc causal → logits → politique → token ajouté au contexte.
mangerun
Manipulez la politique
Le voilà : chat, à environ 46 % - et avocat enterré près du fond avec 0,1 %, seule pomme faisant pire. Gardez ce chiffre en tête ; c’est le nombre le plus instructif du cours, et nous y reviendrons.
Travaillez d’abord les commandes. Descendez la température à 0,5 : la part du gagnant enfle. Montez-la à 2 : la distribution s’aplatit, les outsiders respirent. Notez ce qui ne bouge jamais : le classement. Changez ensuite de politique. La gloutonne prend toujours le maximum - appuyez plusieurs fois sur Tirer un token et regardez le jouet écrire « manger un chat chat chat… », une vraie pathologie appelée dégénérescence qui a longtemps gâché la génération de texte. Top-k et top-p coupent la queue avant le tirage ; le tirage complet pioche partout. Le dé rend chaque tirage reproductible : même dé, même texte, à chaque fois.
Défi Deux missions. Un : trouvez des réglages qui arrêtent la boucle « chat chat chat » sans toucher à la règle argmax de la gloutonne - puis expliquez ce que vous avez réellement changé. Deux : aucune température, quelle que soit sa valeur, ne fait passer avocat devant chat. Prouvez-le-vous en surveillant la colonne des logits pendant que vous glissez.
Expliquez le partage des rôles
La chaîne que vous venez de piloter repose sur un partage des rôles strict, qu’il faut nommer, car le débat public confond sans cesse les deux moitiés :
- Le modèle calcule : vecteur de contexte → logits → (avec température et softmax) une probabilité pour chaque mot. C’est là que vit son « savoir ».
- La politique de décodage choisit : gloutonne, top-k, top-p, tirage complet - elles ne touchent jamais au modèle. Elles décident avec quelle audace dépenser les probabilités qu’il a produites.
La température appartient à la seconde moitié. Diviser tous les logits par le même nombre rééchelonne la confiance mais préserve l’ordre - exactement ce que la seconde mission du défi démontre. (Le curseur « netteté des scores » du chapitre 4 était une loupe pédagogique sur l’attention ; ceci est la vraie température de génération.)
- La tour produith = un vecteur
- La table notelogit(mot) = h · E[mot]
- La politique choisittoken suivant → retour dans le contexte
Reste le chat. Pourquoi une machine dotée de tous les mécanismes - tokens, embeddings, attention, un étage complet, table liée - parie-t-elle sur chat après « manger un » ? Parce qu’un mécanisme ne transporte aucun savoir. Chaque matrice de ce jouet a été écrite à la main pour être lisible, pas pour être juste. La table de comptes du chapitre 1, toute bête qu’elle était, apprenait au moins de ses données ; notre belle tour n’en a jamais vu une seule. La fluidité de la machinerie et la justesse du résultat sont deux réussites entièrement distinctes.
Repère d’échelle. Ce jouet parie sur 8 noms en 2 dimensions ; un modèle de production parie sur environ 100 000 tokens en milliers de dimensions, et ses mots-outils vivent dans le même vocabulaire que le reste. La mécanique que vous venez de tracer est la même ; seuls changent l’échelle et l’entraînement.
Réfléchissez à ce que la température ne peut pas faire
Point de contrôle
La politique gloutonne choisit « chat » ici à toutes les températures. Pourquoi la température ne peut-elle rien y changer ?
Reliez la boucle, puis brisez le charme
La boucle est fermée. Texte → tokens → vecteurs → attention → bloc → logits → probabilités → token tiré → retour dans le contexte : vous avez touché chaque étape de la carte du modèle, et rien n’y est magique. Mais le « manger un chat » plein d’aplomb du jouet laisse exactement un mystère debout, et c’est le grand : d’où viennent les bons nombres ? Personne n’écrit à la main les matrices d’un vrai modèle. La machine les écrit elle-même, en se trompant des millions de fois et en poussant chaque nombre à se tromper un peu moins. Ce processus - l’entraînement - est le prochain chapitre, et il se termine quand ce même pari bascule vers avocat.
Sources et périmètre
- Press et Wolf (2017) montrent que partager les poids d’embedding et de dé-embedding - le lien que ce laboratoire rend visible - améliore les modèles de langage.
- Holtzman et al. (2020) documentent la dégénérescence des décodages glouton et par faisceau et proposent l’échantillonnage par noyau (top-p).
- Le vocabulaire est constitué des huit lignes fabriquées du chapitre 3 ; les mots-outils du préfixe n’existent que comme fixtures d’entrée. Aucun nombre ici ne provient d’un modèle entraîné - cet écart est le sujet même du chapitre.
- Contenu et affirmations relus le 18 juillet 2026.