Scaling laws
Définition
Les scaling laws décrivent comment les performances d'une IA s'améliorent quand on augmente sa taille (paramètres), les données d'entraînement ou la puissance de calcul. C'est une relation mathématique prévisible : plus on investit en ressources, mieux le modèle performe.
📌 Exemple concret
GPT-4 est meilleur que GPT-3 principalement parce qu'il a été entraîné sur plus de données et avec plus de puissance. Les chercheurs prédisaient cette amélioration grâce aux scaling laws.
💡 Pourquoi ça compte
Comprendre les scaling laws aide à prévoir le prochain saut technologique et à évaluer si les investissements massifs en IA ont vraiment du sens.