Gemma 4 VLA sur Jetson Orin : l'IA qui décide seule d'ouvrir les yeux

Pourquoi c'est différent

D'habitude, un assistant multimodal, c'est : tu demandes → il analyse la webcam → il répond. Ici, c'est : tu demandes → le modèle raisonne sur ce qu'il a besoin de voir → il appelle la webcam si nécessaire → il répond avec le contexte visuel.

L'exemple classique : "Qu'est-ce que j'ai sur mon bureau ?" → Gemma ouvre les yeux d'elle-même. "Quelle heure il est ?" → pas besoin de webcam, elle passe.

Matériel requis (minimaliste)

• ▸NVIDIA Jetson Orin Nano Super (8 GB) — c'est le point essentiel, rien de plus puissant nécessaire
• ▸Une webcam USB (la Logitech C920 est testée, mais tout modèle compatible Linux marche)
• ▸Un micro USB et une enceinte USB

C'est ça. Pas de GPU externe, pas de cloud.

Mise en place en 6 étapes

Étapes 1-2 : dépendances système + Python

Les commandes apt install pour audio, webcam, Python. Rien de surprenant.

Étape 3 : libérer de la RAM (critique)

C'est un 8 GB très serré. Le tutoriel te guide pour tuer Docker, GNOME, tracker-miner, et ajouter 8 GB de swap. Sans ça, le modèle ne charge pas.

Étape 4 : serveur llama.cpp + Gemma 4

Tu compiles llama.cpp en natif (CUDA ON, architecture 87 pour Jetson), tu télécharges la quantification Q4_K_M du modèle (~9 GB) et le projecteur de vision (mmproj). Puis tu lances le serveur sur le port 8080.

Étape 5 : calibrer micro, enceinte, webcam

Des commandes pour identifier les bons périphériques Linux (arecord -l, pactl, v4l2-ctl), et un test audio rapide pour vérifier que tu t'entends.

Étape 6 : lancer le script VLA

Une ligne Python. D'abord SPACE pour enregistrer ta question, SPACE pour arrêter. Le script télécharge les modèles TTS/STT au premier lancement, puis c'est en direct.

Le détail technique

Le script expose un seul outil à Gemma : look_and_answer. Pas de condition, pas de regex sur les mots-clés. C'est le flag --jinja sur llama-server qui active l'appel d'outils natif du modèle.

Voix disponibles

Kokoro TTS embarque plusieurs voix : af_jessica, af_nova, am_puck, bf_emma, am_onyx. Tu peux changer avec export VOICE.

Mode texte

Si tu veux contourner la configuration audio, il y a --text pour tester le LLM seul.

La vraie question

Ça fait quoi, une VLA qui fonctionne vraiment ? Ici, ça veut dire : l'IA n'est plus une boîte noire qui répond, c'est un agent qui raisonne sur ses propres entrées. Elle te parle, elle décide si elle doit voir, elle combine les infos. Zéro latence cloud, zéro données envoyées dehors. Pour du prototypage rapide ou des cas d'usage privés (santé, légal, R&D), c'est un tournant.