Nemotron : générer du texte 6× plus vite sans renier l'autorégressif

Le problème que personne n'ose dire : l'autorégressif, c'est lent

Les LLMs font un truc bizarre : pour générer 100 tokens, ils lancent le modèle 100 fois. Chaque itération crée 1 seul token. Pourquoi ? Parce que chaque token dépend de tous les précédents (c'est la nature de l'attention causale).

Conséquence : tes GPUs H100/B200 passent la majorité du temps à lire la mémoire, pas à calculer. C'est comme louer une Ferrari pour aller chercher du pain à 500m.

La solution : diffusion language models

Nemotron change de paradigme : au lieu de générer token par token, on génère plusieurs tokens d'un coup, puis on les affine itérativement.

C'est inspiré des modèles de diffusion d'image (Stable Diffusion, DALL-E) : tu commences par du bruit, puis tu débruites progressivement. Sauf qu'ici, on génère du texte.

Comment ça marche concrètement ?

Mode diffusion (FastDiffuser) : le modèle génère un bloc de 32 tokens d'un coup, puis le raffine étape par étape. À chaque étape, il décide quels tokens sont "assez bons" pour être validés.

Mode self-speculation (le plus intéressant) : tu génères un bloc bidirectionnel avec diffusion (vite), puis tu vérifies avec l'autorégressif classique (fiable). Un peu comme un brouillon rapide suivi d'une relecture automatisée.

Les chiffres (sans bullshit)

• ▸Mode diffusion : 2.6× plus de tokens par forward pass vs AR classique
• ▸Self-speculation linear : 6× plus rapide
• ▸Self-speculation quadratic : 6.4× plus rapide
• ▸Précision : +1.2% vs Qwen 8B sur les benchmarks testés
• ▸Débit réel : ~865 tokens/sec sur GPU B200 (4× le baseline AR sur le même matériel)

Pour les devs : trois modes, zéro refactoring

C'est là que c'est malin. Au lieu de créer une nouvelle famille de modèles incompatible, NVIDIA a intégré autorégressif + diffusion dans les mêmes poids.

Dans ta config SGLang, tu fais :

ar_mode=true          # → Comportement LLM classique
ar_mode=false         # → Mode diffusion rapide
mode=linear_spec      # → Self-speculation

C'est tout. Pas besoin de réécrire ton appli.

Pourquoi c'est vraiment du nouveau

La diffusion appliquée au texte existe depuis des années, mais c'était un terrain de jeu académique :

• ▸Performances moins bonnes que l'AR
• ▸Entraînement compliqué
• ▸Incompatible avec KV-cache (l'optimisation qui fait que les LLMs sont rapides)

Nemotron résout ça en : (1) partant d'un modèle AR pré-entraîné, (2) l'adaptant progressivement à la diffusion, (3) utilisant une mécanique de cache par blocs. Le résultat : une diffusion qui fonctionne vraiment en production.

Les vraies utilisations

• ▸Latence critique : chat en temps réel, correction orthographique
• ▸Batch size=1 : requêtes isolées où l'AR plombe les performances GPU
• ▸Révision de texte : contrairement à l'AR, tu peux revenir en arrière et corriger
• ▸Budget flexible : réduire les étapes de raffinement = moins de calcul

Ouvert et entraînable

3B, 8B, 14B sous licence NVIDIA permissive (pas de restriction commerciale). Code d'entraînement via Megatron Bridge disponible sur GitHub. Vision-language model 8B également.