Google documente trois choses sur BERT, son système de compréhension du langage : ce qu’il fait — lire les mots d’une requête, le texte tapé dans la barre de recherche, les uns par rapport aux autres —, quand il est arrivé (octobre 2019 en anglais, décembre 2019 en français), et qu’il figure toujours en 2026 parmi ses systèmes de classement actifs. Ce qui est déduit ou observé : les chiffres cités ici viennent du modèle publié en 2018, pas de la version qui tourne chez Google ; des pièces d’un procès antitrust ont nommé deux systèmes de classement bâtis sur BERT ; et des chercheurs ont montré qu’un modèle de ce type se manipule — en laboratoire. Ce qui reste inconnu : la taille du modèle en production, et l’effet qu’il a eu sur les requêtes en français.
Avant BERT, un moteur lisait chaque mot isolément
Pendant vingt ans, un moteur a traité une requête à peu près comme un sac de mots : il retenait les termes importants, jetait le reste, et cherchait des pages qui les contenaient. La méthode marche sur « recette tarte tatin ». Elle échoue dès que le sens dépend des petits mots.
L’exemple retenu par Google pour annoncer BERT est resté célèbre : la requête 2019 brazil traveler to usa need a visa (« voyageur brésilien 2019 vers les USA besoin d’un visa »). Le mot décisif est to, « vers ». Avant BERT, explique Google dans son billet d’annonce, ses algorithmes ne saisissaient pas l’importance de ce lien et renvoyaient des résultats sur des citoyens américains voyageant vers le Brésil : le moteur inversait le sens du voyage.
Le problème n’est pas le vocabulaire, c’est l’ordre et les liens entre les mots.
Le tour de force : cacher un mot et le faire deviner
BERT — pour Bidirectional Encoder Representations from Transformers — est un modèle publié par quatre chercheurs de Google le 11 octobre 2018. Son entraînement tient en une phrase : on lui donne des textes, on en cache des morceaux au hasard, et on lui demande de deviner ce qui manque.
Le taux est fixé : « In all of our experiments, we mask 15% of all WordPiece tokens in each sequence at random » (« dans toutes nos expériences, nous masquons au hasard 15 % des unités WordPiece de chaque séquence »). Une unité, ou token, est un morceau de mot ; WordPiece est le nom du découpeur, qui ramène tout texte à 30 000 fragments de vocabulaire possibles et assemble un mot rare à partir de morceaux connus. Une séquence, c’est ce que le modèle traite en une fois : une phrase, une requête, un passage. Sur une phrase d’une vingtaine de mots — soit environ vingt-cinq unités —, cela fait trois ou quatre trous à remplir.
Le jeu se joue à très grande échelle : le corpus annoncé en 2018 est « BooksCorpus (800M words) and English Wikipedia (2,500M words) » — 3 300 millions de mots, environ 41 000 livres de poche. Personne ne l’a annoté à la main : les trous fournissent gratuitement des millions d’exercices avec leur correction.
Bidirectionnel : le sens vient d’avant et d’après
C’est là qu’est la rupture, et le mot du sigle qui compte : bidirectional. Les modèles précédents lisaient de gauche à droite, un mot après l’autre : les auteurs relèvent que le GPT d’OpenAI, leur concurrent de l’époque, emploie une architecture où chaque unité ne peut regarder que les unités qui la précèdent.
Pourquoi ne pas simplement lire dans les deux sens ? Parce que le modèle tricherait : les auteurs expliquent qu’un conditionnement bidirectionnel permettrait à chaque mot de « se voir lui-même » indirectement, et de se prédire trivialement. Le mot caché est la solution : puisqu’il n’est plus là, il se devine en regardant à la fois ce qui le précède et ce qui le suit, sans tricherie possible.
Concrètement, chaque unité est comparée à toutes les autres, plusieurs fois de suite : la version de base empile 12 couches de 12 comparateurs, les têtes d’attention, chacune apprenant un type de rapport différent entre les mots. Le tout repose sur 110 millions de paramètres — les réglages internes que l’entraînement ajuste. Pour une requête de huit unités, cela fait 9 216 liens calculés ; pour une séquence pleine de 512 unités — la longueur maximale annoncée en 2018 —, 37,7 millions. Le sac de mots comparait chaque mot au vide ; BERT compare chaque mot à toute la phrase.
Ce que Google en a fait, en anglais puis en français
Le 25 octobre 2019, Pandu Nayak annonce sur le blog de Google : « when it comes to ranking results, BERT will help Search better understand one in 10 searches in the U.S. in English » (« pour le classement des résultats, BERT aidera la recherche à mieux comprendre une recherche sur dix aux États-Unis, en anglais »). Ce chiffre ne concerne que le classement : le même billet annonce que BERT sert déjà les extraits mis en avant « in the two dozen countries where this feature is available » (« dans les deux douzaines de pays où cette fonctionnalité est disponible »).
Pour le classement en français, il faut attendre six semaines. Le 9 décembre 2019, le compte Google SearchLiaison annonce que BERT « is now rolling out to over 70 languages worldwide » (« se déploie maintenant dans plus de 70 langues dans le monde ») ; la liste énumérée dans le message contient bien French.
Un an après, en octobre 2020, Google élargit : BERT « powers almost every single English based query » (« alimente presque chaque requête en anglais »). Le verbe compte : alimenter une requête, c’est être présent dans la chaîne de traitement, pas nécessairement en changer le résultat. Aucun chiffre d’effet n’a été publié pour le français, ni alors ni depuis.
Optimiser pour BERT : ce que Google dit, ce qu’on sait
Trois jours après l’annonce, la profession cherchait déjà la recette. Danny Sullivan, porte-parole de Google pour la recherche, a coupé court : « There’s nothing to optimize for with BERT, nor anything for anyone to be rethinking » (« il n’y a rien à optimiser avec BERT, ni rien que quiconque ait à repenser »).
La raison est mécanique, et elle vaut mieux que l’argument d’autorité : BERT ne note pas une page, il fabrique une représentation du sens, côté requête comme côté texte. Il n’existe pas de curseur « conformité BERT » à pousser, comme il existait un nombre de liens entrants ou une densité de mots-clés.
Une nuance vient d’ailleurs que de Google. Depuis 2022, des chercheurs en recherche d’information — la discipline qui étudie les moteurs — montrent qu’un modèle de classement bâti sur BERT se laisse tromper par de petites retouches de texte. Une préimpression de 2026, sur les jeux de test publics TREC-DL, résume l’état de l’art : « our single-word attacks achieve up to 91% success while modifying fewer than two tokens per document on average » (« nos attaques d’un seul mot réussissent jusqu’à 91 % du temps en modifiant moins de deux unités par document en moyenne »). Périmètre : des modèles publics et des données de laboratoire, pas Google Search, dont la configuration n’est pas connue à l’extérieur. Ce n’est pas une technique de référencement — c’est la démonstration que « rien à optimiser » décrit une position de Google, pas une propriété prouvée du modèle.
Où BERT vit encore aujourd’hui
Près de huit ans après sa publication, BERT figure toujours dans le guide officiel des systèmes de classement de Google, qui le décrit comme « an AI system Google uses that allows us to understand how combinations of words express different meanings and intent » (« un système d’intelligence artificielle que Google utilise et qui nous permet de comprendre comment des combinaisons de mots expriment des sens et des intentions différents »). La même page tient une seconde liste, celle des systèmes retirés : Panda, Penguin, Hummingbird, le helpful content system. Attention au contresens, fréquent : retiré de la liste ne veut pas dire éteint. Google précise que ces systèmes « have either been incorporated into successor systems or made part of our core ranking systems » (« ont soit été intégrés à des systèmes successeurs, soit intégrés à nos systèmes de classement principaux »). Ce que dit la présence de BERT, c’est simplement que Google continue de le désigner par son nom.
Quelle variante fait-il tourner, exactement ? Google ne l’a jamais publié — mais un procès antitrust l’a fait sortir autrement. Une pièce versée aux débats de l’affaire United States v. Google, rapportée par Search Engine Land le 5 décembre 2023, définit un système nommé DeepRank d’une ligne : « DeepRank is BERT when BERT is used for ranking » (« DeepRank, c’est BERT quand BERT sert au classement »). Un second, RankEmbedBERT, y est présenté comme augmenté puis renommé pour utiliser l’algorithme BERT. Périmètre : des diapositives de procédure et un témoignage sous serment, pas une publication de Google, décrivant l’état du système en 2023.
Sa descendance est partout ailleurs : les modèles qui transforment un texte en liste de nombres comparables, ceux qui reclassent des résultats en relisant chaque page face à la question, ou MUM — pour Multitask Unified Model —, présenté dans la même liste. Tous descendent de l’architecture décrite en 2017 dans Attention Is All You Need, dont BERT est la première application massive côté lecture.
Ce qui est documenté, déduit ou inconnu
| Affirmation | Statut | Source |
|---|---|---|
| BERT est entraîné en masquant 15 % des unités WordPiece de chaque séquence | Documenté | Devlin et al., 2018, section 3.1 |
| La version de base compte 12 couches, 12 têtes d’attention, 110 M de paramètres, 512 unités au maximum | Documenté | Devlin et al., 2018, section 3 et annexe A.2 |
| BERT aide au classement d’une recherche sur dix aux États-Unis, en anglais, en octobre 2019 | Documenté | blog de Google, 25 octobre 2019 |
| Dès octobre 2019, BERT sert aussi les extraits mis en avant dans « deux douzaines de pays » | Documenté | blog de Google, 25 octobre 2019 |
| Le classement en français passe à BERT le 9 décembre 2019, dans un lot de plus de 70 langues | Documenté | Google SearchLiaison, 9 décembre 2019 |
| BERT est encore désigné par son nom parmi les systèmes de classement de Google en 2026 | Documenté | documentation Google Search Central |
| Il n’y a rien à optimiser spécifiquement pour BERT | Déclaré par Google, invérifiable de l’extérieur | Danny Sullivan, 28 octobre 2019 |
| Deux systèmes de classement bâtis sur BERT existent, nommés DeepRank et RankEmbedBERT | Révélé au procès, non publié par Google | pièces US v. Google, rapportées le 5 décembre 2023 |
| Modifier un seul mot suffit à faire remonter un document dans un reclasseur bâti sur BERT | Observé en laboratoire, hors Google | préimpression 2026, jeux de test TREC-DL |
| Les 9 216 et 37,7 millions de liens d’attention cités ici | Déduit | calcul à partir de 12 couches, 12 têtes et 512 unités |
| La taille du modèle en production, la longueur de séquence retenue, l’effet sur les requêtes en français | Non documenté | aucune publication de Google sur ces points |
| BERT serait une mise à jour de l’algorithme, comme Panda ou Penguin | Faux | Google range les trois parmi ses systèmes, pas parmi ses mises à jour |
Questions fréquentes
BERT est-il une mise à jour de l’algorithme comme Panda ou Penguin ? Google range les trois dans la même catégorie, celle des systèmes — pas des mises à jour ponctuelles. La différence est ailleurs : Panda et Penguin ont été absorbés dans le cœur du classement et ne sont plus désignés par leur nom, alors que BERT l’est toujours.
BERT et ChatGPT, c’est la même chose ? Les deux descendent de l’architecture de 2017, mais pas de la même moitié. BERT est un encodeur : il lit et représente. Les modèles de type GPT sont des décodeurs : ils écrivent mot après mot, en ne regardant que ce qui précède. Un moteur a d’abord besoin d’un lecteur.
Faut-il écrire des phrases plus courtes pour BERT ? Rien ne l’indique : BERT a précisément été déployé pour mieux traiter les requêtes longues et conversationnelles. Sur BERT lui-même, Google n’a jamais donné d’autre consigne que d’écrire pour les lecteurs.
Est-ce que BERT lit tout mon article ? Le modèle de recherche de 2018 borne la séquence à 512 unités, soit quelques centaines de mots — mais rien ne dit que la version de production porte la même limite. Google documente en revanche un système distinct, le passage ranking, décrit comme servant à identifier des sections individuelles, ou « passages », d’une page web. Une page longue est donc lue par morceaux, sans que la taille de ces morceaux soit publiée.
Bibliographie
- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 11 octobre 2018 — arxiv.org
- Pandu Nayak, Understanding searches better than ever before, 25 octobre 2019 — blog.google
- Google Confirms: There Is Nothing To Optimize For With BERT, 28 octobre 2019 — seroundtable.com
- Google BERT est activé en France, 9 décembre 2019 — blogdumoderateur.com
- Google BERT Now International Working With Over 70 Languages, 10 décembre 2019 — seroundtable.com
- Google: BERT now used on almost every English query, 15 octobre 2020 — searchengineland.com
- How Google Search ranking works, d’après les pièces et le témoignage du procès United States v. Google, 5 décembre 2023 — searchengineland.com
- A Guide to Google Search Ranking Systems — developers.google.com
- Ashish Vaswani et al., Attention Is All You Need, 12 juin 2017 — arxiv.org
- Chen Wu et al., PRADA: Practical Black-Box Adversarial Attacks against Neural Ranking Models, 4 avril 2022 — arxiv.org
- One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking, préimpression 2026 — arxiv.org
