Attention mechanism
Définition
Le mécanisme d'attention permet à une IA de se concentrer sur les parties pertinentes d'une entrée, comme un projecteur braquant une lumière sur certains mots dans une phrase. C'est ce qui donne aux modèles la capacité à comprendre les relations entre les éléments, même éloignés.
📌 Exemple concret
Quand tu demandes à ChatGPT « Qui a écrit ce livre ? », l'attention détecte que « ce livre » renvoie au titre mentionné trois phrases plus tôt, pas au dernier mot écrit.
💡 Pourquoi ça compte
L'attention est la base des transformers et des LLM modernes. Sans elle, pas de GPT ni Claude—tu dois comprendre ce concept pour saisir comment fonctionne réellement l'IA aujourd'hui.