Transformer
Définition
Architecture de réseau de neurones fondée sur le mécanisme d'attention, qui permet au modèle de comprendre les relations entre tous les mots d'un texte simultanément. Introduite en 2017, elle est devenue la base de tous les grands modèles de langage actuels comme GPT et Claude.
Quand tu écris un email, le Transformer comprend que « il » dans la phrase se rapporte à « Jean » mentionné trois lignes plus haut, pas à « Paul » de la dernière phrase.
C'est l'invention clé qui a rendu possibles ChatGPT et tous les IA modernes. Comprendre ce mot te permet de saisir pourquoi l'IA d'aujourd'hui fonctionne si différemment de celle d'hier.
Voir aussi
Articles qui en parlent
Jev a 6 clones en 2 jours : comment on reproduit l'IA mystérieuse
Jev a fait 36M vues en 48h. Aussitôt lancé, aussitôt copié : voici les 6 meilleurs clones open source.
Baseten crée un standard de sécurité pour l'IA open-source
Hugging Face, Goodfire et Baseten s'unissent contre l'ablitération, la technique qui désarme les garde-fous des modèles open.
Paris Business Angels lance son concours de pitch : l'amorçage sans spectacle
Paris Business Angels organise sa première Innovation Pitch Night le 19 novembre : un concours de pitch qui mise sur la substance plutôt que le spectacle.
Delos lève 10M€ pour ses employés IA qui conquièrent les US
Une startup française crée de vrais collègues numériques qui travaillent sans supervision. 300 entreprises les ont déjà adoptés.
RLT : le transformer qui pense plus en lisant moins
Un chercheur propose un transformer qui accumule de la profondeur de raisonnement sans multiplier le coût par token.
Pourquoi tout le monde code mal maintenant
L'IA écrit du code correct. Le problème : elle rend facile de faire le boulot des autres, très mal.