Pretraining vs Inference
Définition
Le pretraining est la phase d'apprentissage massif où un modèle apprend les patterns du langage sur des milliards de mots. L'inference est l'utilisation du modèle entraîné pour générer des réponses à tes questions. L'un construit les connaissances, l'autre les applique.
📌 Exemple concret
OpenAI a passé des mois en pretraining pour que ChatGPT apprenne, puis tu utilises l'inference chaque fois que tu lui poses une question et reçois une réponse en secondes.
💡 Pourquoi ça compte
Comprendre cette distinction explique pourquoi les modèles sont chers à créer mais rapides à utiliser, et pourquoi les améliorations futures passent par mieux s'entraîner, pas mieux questionner.