Intermédiaire·2 min·28 juin 2026

Wayfinder Router : décide local ou cloud en microseconde

🎧 Résumé audio0:00 / 0:00

Un outil qui choisit entre ton modèle local et le cloud sans appeler un modèle — zéro latence, zéro coût caché.

Pourquoi ça compte pour toi

Tu paies des tarifs cloud même pour les questions simples. Wayfinder lit la structure et la complexité de ta question pour décider hors ligne si c'est du travail pour Llama local ou GPT-4 payant. Résultat : tu coupes ta facture API sans sacrifier la qualité, et la décision est déterministe (elle restera identique pour la même question).

Ce qu'il faut retenir

1.Lit la forme du prompt (longueur, listes, code, mots-clés de difficulté) en quelques microsecondes
2.Fonctionne hors ligne, sans appel à un modèle pour décider — contrairement à RouteLLM ou NotDiamond
3.Compatible OpenAI API : change juste ta base_url, aucun refactor de code
4.Sépare les prompts simples (local) des complexes (cloud) pour économiser à la source

Tu galères avec le jargon ?

Lis la version réécrite en mode débutant — toutes les idées, sans le jargon.

Pourquoi c'est malin

La plupart des routeurs (RouteLLM, NotDiamond, OpenRouter Auto) appellent un modèle classificateur ou un LLM juge pour décider. Problème : ça ajoute latence, coût, et aléatoire là où on cherche justement à économiser. Wayfinder casse ce schéma en analysant la structure du texte directement — longueur, présence de code, énumération, mots-clés mathématiques ou de contrainte. Pas de boîte noire, pas de modèle appelé.

Le truc honnête : Wayfinder ne cherche pas 99% d'accuracy. Il admet que sur les questions purement sémantiques (un snippet de code subtil, "quel est le 100e nombre premier?"), il ne verra rien. Mais sur les cas faciles à déterminer structurellement ? Il gagne, et gratuitement.

Comment ça marche

▸Analyse structurelle par défaut : longueur, mise en page, codes, listes
▸Indices lexicaux optionnels : "preuve", "démonstration", "doit satisfaire"
▸Déterministe : même prompt = même score, toujours
▸Sous la milliseconde : la décision arrive avant que tu poses ta question

Mise en place concrète

Si tu tournes déjà Ollama local + OpenAI cloud :

pip install "wayfinder-router[gateway]"
wayfinder-router init # génère la config de base
wayfinder-router doctor # vérifie tes clés
wayfinder-router serve --port 8088

Dans ton code :

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8088/v1",
    api_key="unused"
)

# Wayfinder décide à ta place
response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "résume ce JSON"}]
)

# Voir où c'est allé : vérifier le header x-wayfinder-router-model

Chaque réponse porte les en-têtes x-wayfinder-router-model et x-wayfinder-router-score, donc tu vois exactement ce qui s'est passé. Tu peux aussi forcer local ou cloud avec model="cloud" / model="prefer-local".

Les garde-fous

Wayfinder est honnête sur ses limites : il ne vaut pas mieux que du hasard sur les questions courtes mais dures de RouterBench. Si tu veux vraiment affiner, tu calibres les poids lexicaux sur tes propres données — mais par défaut, ça reste strictement structural.

Compatible avec n'importe quel fournisseur compatible OpenAI (Anthropic, Gemini, voxel, etc.) et gère les coffres de secrets (1Password, Keychain, Pass, Vault, AWS Secrets).

Et concrètement pour toi ?

Choisis ton profil — la lecture de l'article change selon qui tu es.

🔭 Curieux

Pour toi, Wayfinder montre une tendance clé : on passe d'un modèle unique 'assez intelligent pour tout' à des architectures qui routent les requêtes selon leur vraie complexité. C'est plus efficace mais ça demande de penser différemment l'IA.

Essayer maintenant

Tester Wayfinder Router →

Source