Petit modèle spécialisé > gros modèle généraliste

Pourquoi ça change la donne

Pendant trois ans, l'équation était simple : plus gros = mieux. GPT-4, Claude 3, Gemini — chaque nouveau frontier model écrasait les petits modèles sur les benchmarks publics. Donc tu prenais le plus gros, tu fermais les yeux, et tu payais la facture.

Mais cette logique avait un angle mort : elle ne comparait jamais un petit modèle affecté à sa tâche avec un gros modèle généraliste.

C'est exactement ce que Dharma vient de faire avec DharmaOCR, un benchmark d'OCR (reconnaissance de texte) en portugais brésilien. Résultat : un modèle 3 milliards de paramètres, spécialisé via fine-tuning, écrase littéralement toutes les API commerciales.

Les chiffres qui changent la donne

Qualité : le 3B spécialisé obtient 0,911 sur le benchmark composite. Claude Opus 4.6 ? 0,833. GPT-5.4 ? 0,750. La différence de 8 points entre les deux premiers, c'est énorme.

Coût : 52× moins cher que Claude Opus par million de pages. À l'échelle d'une entreprise, c'est la différence entre des milliers et des centaines de dollars mensuels.

Stabilité : le modèle spécialisé affiche aussi le plus bas taux de dégénérescence textuelle (0,20%) — ces moments où le modèle boucle et produit n'importe quoi.

Pourquoi le petit modèle gagne

L'intuition est simple : un petit modèle hyper-focalisé sur sa tâche n'a pas ses 70 milliards de paramètres dispersés sur 100 langues et domaines qu'il ne touchera jamais. Il y a zéro bruit.

La spécialisation se fait via des techniques comme LoRA (adapter quelques paramètres) ou DPO (ajuster l'alignement du modèle). Ce ne sont pas des formules magiques — une entreprise bien équipée peut les répliquer. Et le papier de Dharma le prouve en détail.

La question stratégique

Ce résultat n'est pas isolé. Dharma l'observe "sur d'autres domaines", et d'autres papiers (Subramanian et al. 2025, Pecher et al. 2026) documentent le même schéma. Le vrai changement : tu dois repenser ton critère de choix. Ce n'est plus "quel est le modèle le plus gros ?" mais "quel est le modèle le plus adapté à ma tâche ?"

Pour l'OCR, l'OCR financier, la classification de documents, les contrats — tu as intérêt à affiner un petit modèle plutôt que d'envoyer tout vers Claude.

Attention à l'emballement

Le papier est honnête : il ne prétend pas que ça marche partout. C'est spécifique à l'OCR, domaine bien balisé où tu as des données pour affiner. Sur du généraliste ("écris-moi un tweet"), le gros modèle gagne peut-être encore. Mais sur les tâches où tu as des données historiques et des cas d'usage clairs ? La spécialisation écrase l'échelle.