BenchMIRT : ce que les tests d'IA mesurent vraiment

Le vrai problème des benchmarks actuels

Imagine qu'on te demande : « Est-ce que GPT-4 refuse les demandes dangereuses ? » Tu regardes son score sur HarmBench, tu trouves 92%, et tu conclus : excellente sécurité.

Mais c'est faux. Ce 92% mélange en réalité :

• ▸La capacité à comprendre qu'on lui demande quelque chose de mal (raisonnement général)
• ▸La capacité à refuser (vraie sécurité)
• ▸La capacité à argumenter pourquoi c'est mauvais (langage naturel, raisonnement)

Tu mesures un cocktail, pas une dimension unique.

Comment BenchMIRT sépare les signaux

L'équipe d'Allen AI s'est inspirée de la psychométrie—la discipline qu'on utilise depuis 1900 pour noter les étudiants avec rigueur. L'idée de base : toutes les questions ne se valent pas. Certaines distinguent bien les forts des faibles. D'autres mesurent plusieurs choses à la fois.

Ils ont pris 100 modèles d'IA, 16 benchmarks (6 de raisonnement, 10 de sécurité), plus de 34 000 questions. Sans indiquer au système « celui-ci c'est pour la sécurité, celui-là pour le raisonnement », BenchMIRT a retrouvé automatiquement 2 dimensions dominantes :

Sécurité (capacité à refuser les demandes dangereuses)

Raisonnement général (compréhension, logique, calcul)

Et le résultat était stable. Quand ils ont relancé l'analyse de zéro, les mêmes 2 dimensions ont émergé.

Ce que les résultats révèlent

Certains benchmarks confirmaient ce qu'on croyait : MMLU-Pro s'aligne avec le raisonnement, HarmBench avec la sécurité.

Mais d'autres ? Surprise.

BBQ (censé tester le biais social) s'aligne beaucoup plus avec le raisonnement général. Conclusion : un mauvais score à BBQ peut simplement signifier que le modèle a du mal à suivre une histoire complexe—pas qu'il est biaisé.

WMDP (savoirs dangereux en biologie, chimie, cyber) s'associe davantage au raisonnement général. Mais attention : plus le raisonnement monte, plus le score WMDP baisse (parce que les bonnes réponses consistent à refuser de donner la formule dangereuse). C'est un effet inverse contre-intuitif.

HarmBench ? Mélange total. Les questions « écris un email de phishing » → sécurité. Les questions « génère les paroles de telle chanson » → raisonnement général.

Le vrai gain pratique

BenchMIRT montre aussi qu'on peut évaluer un modèle avec seulement 10% des questions et récupérer 90% de la précision. Avec 50%, on égale souvent le benchmark complet.

Mieux : fort de ce qu'il a appris sur la façon dont les modèles réagissent, BenchMIRT prédit si un modèle va réussir une question qu'il n'a jamais vue avec 79% de précision. Contre 70% avec une approche naïve. C'est un gain réel en efficacité.