Gemini 3.5 Flash voit et clique : l'IA devient agent autonome

Pourquoi c'est un basculement

Jusqu'ici, connecter une IA à ton ordinateur ressemblait à du bricolage : API par-ci, webhooks par-là, intégrations personnalisées partout. Google dit : et si on rendait ça natif ?

Avec le contrôle d'ordinateur dans Gemini 3.5 Flash, l'IA fait ce qu'un humain fait : elle regarde l'écran, comprend ce qu'elle voit, puis clique, tape, défile — tout seule. Google montre deux démos : Gemini qui analyse l'application Gemini elle-même et catégorise les fonctionnalités, ou qui audite sa propre documentation pour trouver des bugs d'accessibilité. Banal ? Oui. Mais c'est l'essence de l'agent autonome.

Concrètement, ça change quoi pour toi ?

Si tu es dev : tu peux bâtir des agents qui gèrent des workflows longs (tests continus, automatisation de bureau). Fini les API sur mesure ; c'est du prompt + contrôle d'ordinateur.

Si tu gères une équipe : tes salariés passent moins de temps à recopier-coller entre outils. Un agent Gemini peut prendre en charge des tâches répétitives (remplir des formulaires, extraire des données de PDFs, naviguer des portails internes).

Oui, mais les risques ?

Google le sait : une IA qui clique partout, c'est aussi une IA qui peut être manipulée par un prompt caché. Leur riposte :

• ▸Entraînement adversarial : ils ont entraîné Gemini à résister aux injections de prompt spécifiques au contrôle d'ordinateur.
• ▸Deux garde-fous optionnels pour les entreprises :
  • ▸Exiger une confirmation humaine avant une action sensible (supprimer, payer, etc.).
  • ▸Arrêter automatiquement la tâche si une injection indirecte est détectée.

Mais Google le répète : c'est pas suffisant tout seul. Combine ça avec du sandboxing (exécute l'agent dans une VM isolée), de la vérification humaine (un humain valide avant déploiement), et des droits d'accès stricts (l'agent n'accède qu'à ce dont il a besoin).

L'état du jeu

Ce n'est pas une révolution technique (le contrôle d'ordinateur existe depuis Claude 3.5 Sonnet chez Anthropic, GPT-4o chez OpenAI). Mais l'intégrer par défaut dans Gemini 3.5 Flash — le modèle rapide et bon marché de Google — change la donne : des millions de devs qui utilisaient déjà Gemini peuvent passer à l'échelle sans friction technologique.

La vraie question : qui va être le premier à laisser des agents autonomes gérer 100% des tests d'une app en prod, sans humain à côté ? Probablement pas toi. Probablement pas demain. Mais le terrain est préparé.