KVBoost : accélère tes LLM de 5 à 48× sans GPU supplémentaire

Le problème qui tue les infra petits budgets

Tu fais tourner une application IA ? Alors tu connais le truc : chaque fois qu'un utilisateur envoie un message, ton modèle retraite le contexte système depuis zéro. C'est comme relire 50 pages d'un document à chaque question.

Ajoute à ça que les gros modèles (Qwen2.5-32B, etc.) demandent 60+ GB de RAM. Fin du jeu si tu n'as pas un centre de données.

Comment ça marche

KVBoost coupe ton prompt en chunks, les hash, et les cherche dans un cache partagé. Si c'est du connu, il saute l'attention (l'étape qui consomme le plus). Si c'est nouveau, il passe dans FlashAttention-2 (des kernels CUDA optimisés).

Quatre couches d'optimisation :

1. Hash et lookup : chaque chunk de tokens reçoit une signature. On regarde si on l'a déjà vu.

2. Réutilisation du cache : les chunks identiques sautent l'étape coûteuse. Seuls les nouveaux tokens passent dans le transformateur.

3. FlashAttention-2 : tiling CUDA qui réduit la mémoire de O(N) à O(√N). Sans modifier ton modèle.

4. Paging CPU : les blocs de KV cache trop gros pour le GPU basculent en RAM système via DMA asynchrone. Long context sans crash.

Les chiffres

Sur Qwen 32B :

• ▸TTFT : 850ms (baseline HF) → 210ms avec réutilisation de chunks = 4× plus rapide
• ▸VRAM : 60+ GB → 8 GB (AWQ + streaming)
• ▸Taux de cache multi-tour : 0% au tour 1, 85%+ au tour 5+
• ▸Débit : 0.11 tok/s avec AWQ streaming (limité par PCIe, normal pour économiser la RAM)

Cas d'usage concrets

Assistants au codage : même prompt système réutilisé 100× par jour → économies substantielles.

RAG : des chunks de documents réapparaissent dans de nombreuses requêtes → la mise en cache au niveau chunk est très rentable.

Infra edge/budget : déploie du 30B sur un GPU de gaming sans serveur A100 à 10 000 $.

Chatbots multi-tour : contexte qui grandit à chaque tour → le paging CPU évite les OOM.

Pourquoi tu peux le tester demain

C'est un pip install. Zéro fine-tuning. Zéro réécriture de modèle. Juste un wrapper autour de HuggingFace Transformers.

from kvboost import KVBoost

engine = KVBoost.from_pretrained("Qwen/Qwen2.5-3B")
engine.warm("You are a helpful assistant...")
result = engine.generate(prompt)
print(result.kv_reuse_ratio)  # → 80%+

Licence MIT, ~10k lignes de Python, 43 modules. Sur la feuille de route : multi-GPU, speculative decoding, LoRA hot-swap.