Hybrid vs Transformer : qui prédit vraiment mieux ?

Comment on a mesuré la différence

Allen AI a comparé deux modèles de 7B paramètres au comportement identique partout sauf sur l'architecture :

• ▸Olmo 3 : transformer classique (attention partout)
• ▸Olmo Hybrid : fusion attention + récurrence

Mêmes données d'entraînement, même tokenizer, même recette. Seule l'architecture change. Résultat : on voit clairement ce que chaque mécanisme fait bien.

Pourquoi cette différence existe

L'attention : elle scanne tous les tokens précédents en parallèle et pèse leur importance. Très efficace pour repérer un token spécifique loin en arrière. Mais ça coûte cher en calcul (quadratique avec la longueur du contexte).

La récurrence : elle lit token par token de gauche à droite en gardant une mémoire comprimée qui se met à jour au fur et à mesure. Pas de coût exponentiel, mais cette mémoire avec pertes ne peut pas récupérer un token exact vu longtemps avant.

Ce que les résultats révèlent

Sur les mots pleins (noms, verbes, adjectifs) : le hybrid gagne. Il prédit mieux parce que la récurrence excelle à suivre ce qui change au fil du texte — qui fait quoi, le contexte sémantique.

Sur les mots-outils (« le », « de », « est ») : l'écart se réduit. Les deux modèles les devinent presque aussi bien avec la syntaxe seule.

Sur la copie verbatim : le transformer reprend l'avantage. Si le texte répète une phrase entière vue avant, l'attention va directement la chercher. La récurrence, même hybridée, ne peut pas faire ça aussi bien.

Sur les parenthèses fermantes : curiosité fascinante. Le transformer seul suffit. L'attention « connaît » les paires de crochets par cœur. L'ajout de récurrence n'apporte rien.

L'enseignement clé

Mesurer la loss globale (erreur moyenne sur tous les tokens) ne dit rien sur où chaque architecture excelle. Deux modèles peuvent avoir la même loss globale mais se démarquer à des endroits totalement différents.

Allen AI propose donc un diagnostic plus fin : les filtered losses — mesurer l'erreur uniquement sur des catégories spécifiques de tokens. Ça change la donne pour comparer les architectures pendant l'entraînement.

Implications concrètes

Si tu conçois un modèle et dois choisir entre hybrid et transformer : raisonne en termes de cas d'usage, pas de benchmarks globaux. Besoin de traiter des textes longs sans coût quadratique ? Hybrid. Besoin de copier précisément de longues séquences (résumé, traduction exacte) ? Transformer.

Pour les labos : c'est un signal clair que les améliorations futures viendront d'une compréhension fine. Pas de solution unique. L'avenir, c'est l'hybridation intelligente, couche par couche.