CyberSecQwen-4B : l'IA de sécu qui tient sur ton laptop

Pourquoi les modèles « généralistes » ne suffisent pas en cyber

Les gros modèles (70B, 100B+) sont flexibles mais deviennent un cauchemar opérationnel dès qu'on parle défense :

1. ▸Coûts qui explosent : un SOC peut recevoir 5 000 alertes basses confiance par jour. À 0,01€ par appel API, ça grimpe vite.
2. ▸Données sensibles dehors : tu envoies une charge malveillante vers OpenAI, Anthropic ou Google ? La donnée EST la fuite.
3. ▸Pas dispo partout : hôpitaux, gouv, critiques → zéro internet ou air-gappé. Ton outil doit tourner hors ligne.
4. ▸Les adversaires utilisent aussi l'IA : les gangs ransomware automatisent déjà. Si tu dépends d'une API, tu es dans les mêmes délais qu'un humain.

Le pari : petit ET spécialisé

CyberSecQwen-4B est un fine-tune du modèle Qwen 4B sur trois tâches très ciblées :

• ▸CTI-MCQ : répondre à 2 500 questions à choix multiples sur les menaces
• ▸CTI-RCM : associer une CVE à la bonne catégorie CWE (Common Weakness Enumeration)
• ▸Questions-réponses structurées : répondre en format défenseur (pas de blabla généraliste)

Le résultat ? Il égale un modèle Cisco de 8B sur la plupart des benchmarks, avec moitié moins de paramètres.

Les chiffres (honnêtes)

Vraie question : pourquoi Cisco gagne sur CVE→CWE ? Parce que leurs données d'entraînement incluaient probablement ce jeu de données. CyberSecQwen rattrape quand même 97 % de la précision.

Entraînement : AMD Instinct + la recette complète

Le modèle a été entraîné en une seule session sur une GPU AMD Instinct MI300X (192 Go HBM3). La recette :

• ▸LoRA (r=64, dropout=0.05) : tu gèles le modèle de base, tu affines juste une petite couche.
• ▸Flash Attention 2 : optimisation forward ET backward pour la vitesse.
• ▸bf16 precision : pas de quantization tricks, vraie précision 16 bits.
• ▸Batch 4, séquences de 4 096 tokens : grand contexte, pas d'accumulation de gradient.
• ▸Durée par étape : ~7,85 secondes → ~1,6× plus rapide que sur Gemma.

Bonus test portabilité : ils ont aussi entraîné Gemma4Defense-2B avec la même recette, mêmes données. Résultat ? Les deux modèles convergent à 0,9 point près. La recette voyage, c'est pas du vendor-lock AMD.

Déploiement : ça rentre où ?

• ▸RTX 4090 / 4080 (24 Go) : sans difficulté, GPU gaming standard.
• ▸RTX 4070 (12 Go) : serré mais faisable, la vraie limite mentionnée.
• ▸Laptop M-series (32 Go+ de mémoire GPU) : oui, mais lent.
• ▸Serveur on-prem 40 Go+ : pas de problème, pleine vitesse.

Les galères qu'ils ont eu

Flash Attention 2 sur Gemma : la dimension des têtes (512) dépassait le budget mémoire partagée de Gemma. Repli sur SDPA (plus lent, mais ça marche).

vLLM + templates : besoin de passer le template Jinja2 explicitement pour éviter que le modèle instruction-tuned réécrive le prompt.

Pas de bitsandbytes officiel sur ROCm : pas grave, 192 Go c'est suffisant pour bf16 pleine précision.

Pourquoi ça change la donne

Tu es analyste SOC ou pentest ? Avant, tu devais :

1. ▸Soit accepter 10€ par requête via une API hébergée.
2. ▸Soit attendre que ton budget achète un gros serveur 4× A100.
3. ▸Soit faire du copier-coller manuel dans ChatGPT (= fuite de données).

Maintenant, tu télécharges le modèle Apache 2.0, tu le poses sur ta vieille GPU, et c'est fini. Pas d'abonnement, pas de tracking, pas de latence réseau.

Le modèle est dispo sur HuggingFace avec la recette complète (train.sh). Les données aussi sont ouvertes (Apache 2.0).