Distillation
Définition
Technique d'entraînement où tu comprimes un grand modèle d'IA (maître) en un plus petit (élève) qui reproduit son comportement. Le petit modèle apprend à imiter les prédictions du grand, pas juste les données d'origine.
OpenAI compresse GPT-4 en un modèle plus rapide et moins gourmand pour faire tourner une IA sur ton téléphone sans cloud.
Distillation rend l'IA accessible et rapide : moins de ressources, même performance. C'est comment les modèles atterrissent sur mobile.
Voir aussi
Articles qui en parlent
Pourquoi les labos IA gaspillent 90% de leurs GPU
xAI tourne à 10% d'efficacité. Le vrai problème : pas les GPU, mais comment on les utilise.
Varya, le modèle vidéo indien 20x moins cher
Avataar lance une IA vidéo optimisée pour l'Inde : 10 fois plus rapide, 20 fois moins chère, culturellement consciente.
Un petit modèle pour ta recherche d'emploi
Un modèle IA de 8 milliards de paramètres qui comprend ta candidature et trouve les vrais bons jobs.
Les 15 termes IA qu'il faut vraiment comprendre
Tu acquiesces quand on dit RAG ou chain-of-thought ? C'est fini. Voici ce que ça signifie vraiment.
Distillation : pourquoi le terme « attaque » tue une technique légitime
Les labos chinois exploitent les APIs, mais en appelant ça « distillation attack », on confond le crime avec la science.
Musk admet que xAI a « partiellement » distillé OpenAI
À la barre, Elon Musk reconnaît que xAI a utilisé les modèles d'OpenAI pour entraîner les siens.