Distillation
Définition
Technique d'entraînement où tu comprimes un grand modèle d'IA (maître) en un plus petit (élève) qui reproduit son comportement. Le petit modèle apprend à imiter les prédictions du grand, pas juste les données d'origine.
📌 Exemple concret
OpenAI compresse GPT-4 en un modèle plus rapide et moins gourmand pour faire tourner une IA sur ton téléphone sans cloud.
💡 Pourquoi ça compte
Distillation rend l'IA accessible et rapide : moins de ressources, même performance. C'est comment les modèles atterrissent sur mobile.