Des chercheurs de Google DeepMind, l’entité de Google spécialisée dans la recherche en intelligence artificielle, et de deux universités américaines ont publié une étude sur le classement autorégressif, ou Autoregressive Ranking (ARR). Cette approche vise à réunir la recherche et le classement des documents dans un même modèle.
Un modèle pour retrouver et classer les documents
L’architecture décrite dans l’étude associe généralement deux modèles. Le Dual Encoder représente séparément la requête et les documents sous forme de vecteurs numériques. La recherche vectorielle retrouve rapidement des candidats proches de la demande. Le Cross Encoder examine ensuite chaque couple requête-document pour affiner leur classement, avec un coût de calcul plus élevé.
Avec ARR, le modèle génère les identifiants des documents pertinents, token après token. Un token est une unité de texte traitée par le modèle. Les probabilités attribuées aux identifiants servent à établir l’ordre des résultats. Une méthode de décodage appelée « beam search » explore plusieurs séquences probables pour produire ce classement.
Les chercheurs envisagent ainsi un modèle unique de classement, sans index séparé de recherche des plus proches voisins. Dans leurs expériences, les identifiants à classer sont fournis dans le contexte de la requête, dans un ordre aléatoire.
SToICaL apprend au modèle à respecter un classement
Prédire correctement le prochain token ne suffit pas à apprendre l’ordre de pertinence des documents. Les auteurs proposent donc SToICaL, pour « Simple Token-Item Calibrated Loss », une fonction qui guide l’entraînement selon le classement attendu.
Elle agit à deux niveaux. Le premier attribue davantage de poids aux documents les mieux classés dans les données d’entraînement. Le second utilise un arbre de préfixes, qui regroupe les identifiants selon leurs débuts communs.
À chaque étape, cet arbre permet de répartir les probabilités entre les tokens qui peuvent conduire à un identifiant valide, selon la pertinence des documents correspondants. L’objectif est de favoriser les bonnes continuations possibles, plutôt que d’apprendre uniquement à reproduire un identifiant isolé.
Une capacité théorique supérieure aux doubles encodeurs
Les auteurs démontrent qu’un Dual Encoder doit augmenter la dimension de ses vecteurs de façon linéaire avec le nombre de documents pour pouvoir représenter tous les classements possibles.
Un modèle ARR peut théoriquement conserver une dimension interne toujours fixe, sous certaines conditions mathématiques sur les représentations des tokens utilisés dans les identifiants. Ce résultat porte sur les possibilités de classement théoriques, sans établir les performances d’un moteur à l’échelle du Web.
Des gains mesurés sur WordNet et des requêtes commerciales
Les expériences d’entraînement utilisent Mistral-7B-v0.3-it. WordNet sert à ordonner des concepts selon leur hiérarchie. Le second jeu, ESCI Shopping Queries, porte sur la recherche de produits. Pour ce test, les chercheurs construisent un ordre de référence à partir des similarités calculées par le modèle Gecko.
Sur WordNet, les méthodes qui tiennent compte du rang réduisent fortement les cas où un document non pertinent dépasse un document pertinent. Dans une comparaison séparée, ARR rejoint les performances des Cross Encoders testés et dépasse celles des Dual Encoders.
Sur ESCI, la variante fondée sur l’arbre de préfixes améliore le classement global, mais la précision au sommet recule. Avec l’un des réglages évalués, le score nDCG passe de 95,23 à 97,21, tandis que le rappel au premier rang descend de 95,16 % à 70,32 %. Le nDCG mesure la qualité de l’ordre des résultats, avec davantage de poids pour les premières positions.
