DPO
Définition
DPO (Direct Preference Optimization) est une technique d'entraînement qui aligne les modèles IA sur les préférences humaines sans utiliser de modèle de récompense séparé. Elle compare directement les réponses préférées aux réponses rejetées pour améliorer le comportement du modèle.
Au lieu de noter chaque réponse d'IA séparément, on dit simplement : 'j'aime cette réponse mieux que celle-là', et le modèle apprend directement de cette comparaison.
DPO rend l'alignement des IA plus simple et moins coûteux que RLHF, ce qui permet aux startups de créer des modèles éthiques et utiles plus facilement.
Voir aussi
Articles qui en parlent
Le marché caché des tokens IA au rabais (et ses risques)
Des revendeurs chinois exploitent les API IA via des failles systématiques : essais gratuits, bots non sécurisés, cartes volées.
Spécialiser son modèle IA reste gagnant face aux géants
DharmaOCR écrase les modèles généralistes sur le portugais brésilien. Pas grâce à une architecture révolutionnaire, mais parce qu'elle n'essaie de rien d'autre.
AnalystAIPack : 118 compétences d'IA pour analyser les malwares
Un développeur lâche 118 scripts Python prêts à l'emploi pour donner aux agents IA le jugement d'un analyste en sécurité.
Lance un serveur LLM privé en une commande sur HF Jobs
Déploie un modèle LLM compatible OpenAI sur GPU en une ligne de commande, sans Kubernetes ni infrastructure à gérer.
Surveille ton quota Claude Code dans la barre macOS
Un widget macOS qui affiche en temps réel ton utilisation Claude Code avec un système d'alerte coloré.
Des Spaces Hugging Face deviennent des briques pour agents IA
Un agent IA a construit une galerie 3D de Paris en chaînant deux outils sans écrire une ligne de code d'intégration.