La réponse courte
ChatGPT ne cherche pas votre réponse quelque part. Il la fabrique, morceau par morceau, en calculant à chaque étape quel bout de texte a le plus de chances de venir ensuite. Aucune base de données n’est consultée, aucun document n’est retrouvé — sauf si le modèle déclenche une recherche web, ce qui est un cas particulier et non le fonctionnement de base.
Trois choses en découlent, et elles expliquent presque tout le reste : il ne sait pas comment sa phrase va finir quand il la commence, il ne donne pas deux fois la même réponse, et il produit du texte crédible même quand il ne sait rien.
Le résumé en 5 points
1. Votre question est découpée en tokens (fragments de mots), puis convertie en nombres.
2. Le modèle calcule une probabilité pour chaque mot possible du vocabulaire, en tire un, et recommence.
3. Ce qu’il « sait » est compressé dans ses paramètres pendant l’entraînement. Il ne l’apprend pas en vous parlant.
4. Un tirage aléatoire contrôlé fait qu’une même question donne des réponses différentes.
5. Quand il cite un site, c’est qu’un outil de recherche a été déclenché et que le texte de la page a été collé dans sa question. C’est là — et seulement là — que votre référencement entre en jeu.
1. Le principe : prédire le morceau suivant
Un modèle de langage fait une seule chose. Il regarde un texte et calcule ce qui vient après.
Pas mot après mot : token après token. Un token est un fragment de texte. Souvent un mot court, souvent un morceau de mot long, parfois un espace ou une ponctuation. OpenAI donne une règle empirique pour l’anglais : « 1 token ≈ 4 characters », soit environ trois quarts d’un mot. La règle vaut pour l’anglais ; la découpe change d’une langue et d’un modèle à l’autre.
Chaque token est ensuite converti en une liste de plusieurs milliers de nombres, appelée embedding. C’est l’étape où le sens devient de la géométrie : deux mots proches par le sens obtiennent des listes de nombres proches. Tout ce qui suit n’est plus du texte, mais du calcul sur ces nombres.
Le modèle dispose d’un vocabulaire fixe — de l’ordre de 100 000 à 200 000 tokens pour les encodages publics d’OpenAI. À chaque étape, il attribue une probabilité à chacune de ces entrées. Toutes. Puis il en choisit une, l’ajoute au texte, et refait le calcul complet avec ce nouveau texte en entrée.
C’est ce qu’on appelle la génération autorégressive : la réponse se construit par accumulation, sans plan préalable.
Ce que ça implique, et qui surprend souvent : quand ChatGPT commence une phrase, il ne sait pas comment elle finit. Il n’y a pas de brouillon interne, pas d’intention rédactionnelle. La cohérence apparente vient du fait que chaque nouveau token est calculé en tenant compte de tous les précédents — y compris ceux qu’il vient d’écrire lui-même.
2. L’attention : comment il sait de quoi vous parlez
L’architecture qui rend ça possible s’appelle le Transformer. Elle vient d’un article de huit chercheurs, la plupart chez Google Brain et Google Research, publié le 12 juin 2017, Attention Is All You Need. Le « T » de ChatGPT (Generative Pre-trained Transformer) vient de là.
Son mécanisme central est l’attention. Pour chaque token qu’il traite, le modèle calcule à quel point chacun des tokens précédents est pertinent, et pondère son calcul en conséquence.
Une analogie qui tient : imaginez qu’à chaque mot que vous lisez, vous puissiez relire instantanément tout ce qui précède et surligner ce qui compte pour comprendre ce mot-là précisément. C’est l’attention. Elle est recalculée à chaque token, sur des dizaines de couches successives.
C’est ce mécanisme qui permet de rattacher « il » à un sujet mentionné quarante mots plus haut, ou de tenir compte d’une consigne donnée en début de conversation.
Dernier point avant la suite : les paramètres du modèle sont figés pendant qu’il vous répond. Rien de ce que vous écrivez ne le modifie. Ce que vous fournissez agit sur le calcul de l’attention, pas sur le modèle lui-même.
3. Pourquoi la même question donne deux réponses différentes
Le modèle produit une liste de probabilités. Il faut ensuite en tirer un token. Ce tirage n’est pas « prendre le plus probable » — sinon la réponse serait toujours identique.
Un réglage appelé température déforme la distribution avant le tirage. Basse, elle écrase les options improbables. Haute, elle leur redonne leur chance.
Le calcul est public (c’est une fonction softmax appliquée aux scores bruts divisés par la température). Voici ce qu’il donne sur un exemple à cinq candidats, avec des scores bruts fixés à 8,0 / 7,4 / 6,2 / 3,1 / 0,4 — la phrase à compléter étant « Le … dort sur le canapé » :
| Candidat | T = 0,2 | T = 0,7 | T = 1,0 | T = 1,5 |
|---|---|---|---|---|
| chat | 95,2 % | 66,6 % | 58,1 % | 49,6 % |
| chien | 4,7 % | 28,3 % | 31,9 % | 33,3 % |
| oiseau | < 0,1 % | 5,1 % | 9,6 % | 14,9 % |
| dragon | < 0,1 % | 0,1 % | 0,4 % | 1,9 % |
| photocopieur | < 0,1 % | < 0,1 % | < 0,1 % | 0,3 % |
Calcul effectué pour cet article à partir de la formule softmax standard, reproductible avec cinq lignes de Python.
Lisez la ligne « photocopieur ». À température basse, elle est mathématiquement hors jeu. À 1,5, elle passe une fois sur trois cents. Sur une réponse de 500 tokens, « une fois sur trois cents » n’est plus une abstraction.
Deux choses à retenir :
- L’aléatoire n’est pas un bug, c’est un réglage. Il existe parce qu’un modèle qui prend toujours le token le plus probable produit un texte plat et répétitif.
- Vous ne contrôlez aucun de ces réglages dans ChatGPT. La température a une sœur,
top_p, qui limite le tirage aux candidats les plus probables. Les deux sont accessibles dans l’API d’OpenAI pour une partie des modèles seulement — les modèles de raisonnement ne les acceptent pas — et jamais dans l’application grand public. Les valeurs qu’OpenAI y applique ne sont pas publiées.
4. D’où vient ce qu’il « sait » : trois entraînements
Les probabilités calculées viennent des paramètres du modèle. Ces paramètres sont le produit de trois phases distinctes, qu’il faut séparer pour comprendre ce que ChatGPT fait bien et ce qu’il fait mal.
| Phase | Ce qu’on fait | Ce que le modèle y gagne |
|---|---|---|
| 1. Pré-entraînement | Ingestion de volumes massifs de texte, avec un seul objectif : prédire le token suivant | La grammaire, les faits, les structures de raisonnement, les styles |
| 2. Fine-tuning supervisé (SFT) | Des humains rédigent des paires question / réponse idéales | Le format conversationnel : répondre au lieu de compléter |
| 3. Apprentissage par renforcement (RLHF) | Des humains classent des réponses ; un « modèle de récompense » apprend leurs préférences et guide le modèle principal | Le ton, la structure, la prudence, les refus |
Ces trois étapes sont documentées par OpenAI dans l’article Training language models to follow instructions with human feedback (4 mars 2022), qui a décrit la méthode InstructGPT juste avant ChatGPT.
Un résultat de cet article mérite d’être cité tel quel : « outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. » Un modèle cent fois plus petit est préféré par les évaluateurs humains, uniquement grâce aux phases 2 et 3.
La leçon : ce que vous percevez comme l’intelligence de ChatGPT est en grande partie le produit des phases 2 et 3, pas de la taille du modèle. Y compris ses défauts — la tendance à vous donner raison, par exemple, vient directement du fait que des humains ont préféré les réponses complaisantes.
5. Ce qui s’ajoute au moment où vous posez la question
En 2026, une réponse ChatGPT n’est plus la sortie brute d’un modèle. Plusieurs couches s’empilent avant que le premier token ne soit produit.
Le prompt système. Un texte d’instructions invisible, ajouté avant votre message : règles de comportement, date du jour, format attendu.
Le contexte. L’historique de la conversation, votre mémoire, vos fichiers. Tout est réinjecté en entrée à chaque tour. ChatGPT ne « se souvient » de rien : on lui recolle l’intégralité du dossier à chaque message. C’est aussi pourquoi une conversation très longue finit par perdre le début.
Les outils. Recherche web, exécution de code, lecture de fichiers. Le modèle génère un appel d’outil, le résultat revient dans le contexte, puis il rédige.
Le raisonnement. Depuis o1 (12 septembre 2024), les modèles dits « de raisonnement » produisent d’abord des tokens de réflexion avant la réponse. OpenAI a constaté que « the performance of o1 consistently improves with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute) » — plus de calcul au moment de répondre, meilleure performance. Ces chaînes de pensée brutes ne vous sont pas montrées : vous en voyez un résumé généré par le modèle.
6. Pourquoi il invente — et pourquoi ce n’est pas un bug
Une hallucination, c’est une affirmation fausse produite avec le même aplomb qu’une affirmation vraie. Deux mécanismes l’expliquent, tous deux documentés dans Why Language Models Hallucinate (4 septembre 2025), signé par trois chercheurs d’OpenAI et Santosh Vempala, de Georgia Tech.
Mécanisme 1 — ce qui n’apparaît qu’une fois ne s’apprend pas. Les auteurs l’énoncent ainsi : « if 20% of birthday facts appear exactly once in the pretraining data, then one expects base models to hallucinate on at least 20% of birthday facts. » Un fait vu une seule fois pendant l’entraînement ne laisse pas de trace exploitable. Le modèle produit alors ce qui ressemble à la bonne réponse.
Mécanisme 2 — deviner rapporte plus que se taire. C’est la thèse centrale de l’article : les barèmes d’évaluation notent en binaire, juste ou faux, et ne récompensent jamais un « je ne sais pas ». Les auteurs écrivent : « Under binary grading, abstaining is strictly sub-optimal. IDK-type responses are maximally penalized while an overconfident « best guess » is optimal. »
Le calcul est trivial, et c’est ce qui le rend imparable. Score espéré d’un modèle qui a une chance sur quatre de tomber juste :
| Barème | Deviner | S’abstenir | Meilleure stratégie |
|---|---|---|---|
| Binaire (juste = 1, faux = 0, abstention = 0) | 0,25 | 0,00 | Deviner |
| Pénalisant (juste = +1, faux = −1, abstention = 0) | −0,50 | 0,00 | S’abstenir |
Calcul effectué pour cet article, avec p = 0,25 de réponse correcte. Sous barème pénalisant, deviner ne redevient rentable qu’à partir de p > 0,5.
Un modèle entraîné et évalué sur le barème de gauche apprend à bluffer. Ce n’est pas un défaut de conception : c’est exactement ce qu’on lui a demandé d’optimiser.
Le ton assuré n’est aucun indice de fiabilité. C’est le même mécanisme qui produit une réponse juste et une réponse inventée.
7. « De mémoire » ou « sourcé » : la seule distinction qui compte
Deux réponses ChatGPT peuvent se ressembler et ne pas avoir du tout le même statut.
| Réponse de mémoire | Réponse sourcée (recherche web) | |
|---|---|---|
| Origine | Les paramètres du modèle | Le texte de pages web, collé dans le contexte |
| Fraîcheur | Arrêtée à la date de fin d’entraînement | Le jour même |
| Vérifiable | Non | Oui, les liens sont affichés |
| Risque principal | Invention plausible | Mauvaise page retenue, ou contresens sur une bonne page |
| Votre site peut-il y figurer ? | Pas de façon pilotable | Oui |
ChatGPT search a été lancé le 31 octobre 2024, étendu à tous les utilisateurs connectés le 16 décembre 2024, puis ouvert sans compte le 5 février 2025.
Sur son fonctionnement, OpenAI reste économe : « ChatGPT search leverages third-party search providers, as well as content provided directly by our partners, to provide the information users are looking for. » Fournisseurs tiers et partenaires. Le détail de la sélection n’est pas public.
Le réflexe à prendre : avant de faire quoi que ce soit d’une réponse ChatGPT, regardez s’il y a des liens. Pas de liens = réponse générée depuis les paramètres = à vérifier intégralement.
8. Ce que ça change concrètement pour votre site
Voilà le point où la mécanique rencontre votre travail.
Votre contenu n’a aucune chance d’être « appris » de façon pilotable. Le pré-entraînement est massif, ancien, et un fait vu une fois n’y survit pas (mécanisme 1 du point 6). Viser la mémoire du modèle n’est pas une stratégie.
La seule porte pilotable est la recherche. Quand un outil de recherche est déclenché, quelques pages sont récupérées et leur texte est collé dans le contexte. À ce moment-là, votre page est en concurrence avec quelques autres pour être comprise et citée. C’est un problème d’extraction, pas de séduction.
Cette différence a des conséquences très concrètes. Le modèle ne « visite » pas votre site : il reçoit du texte, souvent tronqué, sans votre mise en page, sans votre menu, sans votre design. Trois choses en découlent.
- Un paragraphe doit se suffire à lui-même. Le passage retenu est extrait de son contexte. « Comme vu plus haut, ce délai est de trois semaines » ne veut rien dire hors de la page ; « Le délai de rétractation est de trois semaines à compter de la signature » est citable tel quel.
- La réponse doit être haute dans la page. Ce qui est loin dans un long texte a plus de chances d’être coupé à la troncature. La structure recommandée par les guides de rédaction — réponse d’abord, développement ensuite — n’est pas seulement confortable pour le lecteur : elle survit mieux à l’extraction.
- Ce qui n’est pas dans le texte n’existe pas. Un chiffre affiché dans une image, un tableau construit en JavaScript, une donnée cachée derrière un onglet : rien de tout ça n’arrive dans le contexte du modèle.
Rien de ce qui précède n’est une règle publiée par OpenAI. Ce sont des conséquences directes du fonctionnement décrit dans les sections 1 à 5 : le modèle lit du texte, dans une fenêtre limitée, sans le reste de votre page.
Les quatre robots d’OpenAI n’ont pas le même rôle, et les confondre coûte cher :
| Robot | Rôle | Le bloquer signifie |
|---|---|---|
| OAI-SearchBot | Indexation pour la recherche ChatGPT | Ne plus apparaître dans les réponses de recherche — mais l’URL peut rester en lien de navigation |
| GPTBot | Collecte pour l’entraînement des modèles | Le contenu n’est pas utilisé à l’entraînement |
| ChatGPT-User | Visite déclenchée par une action de l’utilisateur | Effet incertain : OpenAI indique que « robots.txt rules may not apply » sur ces visites |
| OAI-AdsBot | Vérification des pages de destination publicitaires | Ne visite que les pages soumises comme publicités ; ses données ne servent pas à l’entraînement |
La documentation d’OpenAI est explicite sur le premier, et la fin de la phrase compte autant que le début : « Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links. »
Traduction opérationnelle : bloquer OAI-SearchBot vous retire des réponses, pas nécessairement des liens de navigation. Vous perdez la citation, pas forcément toute présence.
L’erreur classique consiste à bloquer les robots IA en masse pour « protéger son contenu de l’entraînement », et à se rendre invisible dans les réponses au passage. Ce sont deux réglages distincts, à décider séparément.
Le robots.txt correspondant à l’arbitrage le plus fréquent — refuser l’entraînement, rester visible dans la recherche :
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /À adapter, évidemment : si l’entraînement ne vous dérange pas, retirez le premier bloc.
Documenté / non documenté
Le corpus GEO francophone présente beaucoup de déductions comme des faits. La séparation, sur ce sujet précis :
| Affirmation | Statut |
|---|---|
| ChatGPT génère token par token de façon autorégressive | Documenté (architecture Transformer publiée) |
| Le rôle des quatre robots OpenAI et leur effet sur robots.txt | Documenté (doc OpenAI) |
| L’entraînement en trois phases SFT / RM / RLHF | Documenté (papier InstructGPT) |
| Les barèmes binaires poussent le modèle à deviner | Documenté (papier OpenAI, sept. 2025) |
| Le fournisseur de recherche exact utilisé par ChatGPT | Non documenté — « third-party search providers », sans nom |
| Les critères de sélection d’une page comme source citée | Non documenté — aucune spécification publique |
| Les réglages d’échantillonnage de ChatGPT grand public | Non documenté |
| « Il faut structurer en questions-réponses pour être cité » | Déduction, pas une règle publiée par OpenAI |
Tout ce qui relève des trois dernières lignes se teste, il ne se récite pas.
FAQ
ChatGPT a-t-il accès à Internet en permanence ? Non. La recherche est un outil qu’il déclenche quand il l’estime utile ou quand vous le demandez. Sans déclenchement, la réponse vient de ses paramètres.
Est-ce qu’il retient ce que je lui dis ? Pas dans ses paramètres — ils sont figés. La fonction mémoire stocke des éléments à part et les réinjecte dans le contexte des conversations suivantes. Le modèle, lui, ne change pas.
Pourquoi invente-t-il des sources précises et fausses ? Parce qu’une référence bibliographique a une forme très régulière : auteur, année, titre, revue. Le modèle reproduit la forme sans avoir la donnée. C’est le cas le plus visible du mécanisme 2 : produire quelque chose de crédible rapporte plus que s’abstenir.
Faut-il bloquer GPTBot dans mon robots.txt ? C’est un arbitrage, pas une évidence : vous choisissez entre ne pas alimenter l’entraînement et rester visible dans la recherche ChatGPT. Le point à ne pas rater, c’est que ce sont deux robots différents. Bloquer OAI-SearchBot vous sort des réponses ; bloquer GPTBot ne le fait pas.
Est-ce que ça marche pareil chez Google ? Non, et la différence compte pour la France : AI Overviews et AI Mode ont été déployés en France le 22 juillet 2026, après un blocage lié aux droits voisins. Google part d’un index qu’il possède déjà, alors qu’OpenAI s’appuie sur des fournisseurs tiers et ses partenaires. Les deux systèmes ne sélectionnent pas leurs sources de la même façon.
Sources
- Vaswani et al., Attention Is All You Need, arXiv:1706.03762, 12 juin 2017 — https://arxiv.org/abs/1706.03762
- Ouyang et al., Training language models to follow instructions with human feedback, arXiv:2203.02155, 4 mars 2022 — https://arxiv.org/abs/2203.02155
- Kalai, Nachum, Vempala, Zhang, Why Language Models Hallucinate, arXiv:2509.04664, 4 septembre 2025 — https://arxiv.org/abs/2509.04664
- OpenAI, Why language models hallucinate, 5 septembre 2025 — https://openai.com/index/why-language-models-hallucinate/
- OpenAI, Learning to reason with LLMs, 12 septembre 2024 — https://openai.com/index/learning-to-reason-with-llms/
- OpenAI, Introducing ChatGPT search, 31 octobre 2024 — https://openai.com/index/introducing-chatgpt-search/
- OpenAI, documentation Bots (OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot) — https://developers.openai.com/api/docs/bots
- OpenAI Help Center, What are tokens and how to count them? — https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
- Blog du Modérateur, Google déploie AI Overviews et AI Mode en France, 22 juillet 2026 — https://www.blogdumoderateur.com/google-deploie-ai-overviews-ai-mode-france/
- Microsoft Learn, Azure OpenAI reasoning models — liste des paramètres non supportés par les modèles de raisonnement, dont
temperatureettop_p— https://learn.microsoft.com/en-us/azure/foundry/openai/how-to/reasoning
0 commentaire