La batch Summer 2025 de Y Combinator a produit Magnitude, un moteur d’inférence open-source qui adopte une approche différente des performances des modèles locaux. Au lieu de distribuer des noyaux précompilés pour des catégories matérielles larges, Magnitude compile et ajuste ses noyaux sur votre appareil réel avant l’exécution d’un modèle. Le projet affirme atteindre jusqu’à 2× de débit supérieur à llama.cpp — 92 % de décodage plus rapide sur Apple Metal et 19 % plus rapide sur NVIDIA CUDA dans ses benchmarks — tout en utilisant 27 % de mémoire en moins par session d’agent [1][2].
Le moteur est fourni sous forme d’application de bureau pour macOS, Linux et Windows, avec une CLI intégrée. Il se connecte en un clic aux agents de codage populaires tels que Pi, OpenCode, Hermes, Codex et Claude Code, et expose une API compatible OpenAI pour tout le reste [2][6].
Comment la compilation de noyaux sur l’appareil modifie l’équation des performances
La plupart des moteurs d’inférence locaux — llama.cpp, Ollama, LM Studio — distribuent des noyaux préconstruits optimisés pour des familles matérielles larges (par exemple, « Apple Silicon » ou « NVIDIA Ampere »). Magnitude, quant à lui, compile les noyaux sur la machine cible lors du premier lancement, puis met en cache les binaires ajustés pour les lancements suivants [1][2]. Cela signifie que les instructions du noyau correspondent exactement à votre révision de puce, à votre sous-système mémoire et à votre version de pilote, plutôt qu’à une cible dénominateur commun.
Le projet publie des benchmarks pour Qwen 3.6 35B A3B en quantification 4 bits avec un contexte de 64k : sur un M4 Pro 48 Go, le décodage passe de 30 à 57 jetons par seconde (92 % plus rapide) ; sur un DGX Spark, le décodage passe de 49 à 58 tok/s (19 % plus rapide) [6]. Le préremplissage s’améliore également — 9 % sur Metal, 23 % sur CUDA. Ces chiffres proviennent du harnais de test propre au projet ; une reproduction indépendante reste préliminaire.
Ce que cela implique pour la mémoire et la concurrence
Magnitude indique utiliser 27 % de mémoire en moins par agent et libère cette mémoire lorsqu’un agent s’arrête [2][6]. Les sessions simultanées partagent les caches de préfixe, ce que le projet affirme empêcher le ralentissement qui apparaît généralement lorsque plusieurs agents détiennent de grands caches KV en même temps [2]. Pour les développeurs qui exécutent plusieurs agents de codage côte à côte — un schéma courant lorsqu’un agent écrit des tests tandis qu’un autre effectue du refactoring — cette conception de cache partagé pourrait réduire la pression sur la VRAM des machines de 24 à 48 Go.
Support matériel et modèle en pratique
Le moteur fonctionne sur n’importe quel Mac Apple Silicon, GPU NVIDIA, GPU AMD ou système uniquement CPU sous macOS, Linux et Windows [2][6]. Il n’y a pas de spécification minimale fixe ; les machines plus petites exécutent des modèles plus petits, et une mémoire plus importante permet d’exécuter des modèles plus grands [6]. Des noyaux optimisés existent pour les familles de poids ouverts populaires (Qwen, Llama, Mistral, et autres listés sur magnitude.dev/models) [6]. Le projet rédige des noyaux optimisés à la main pour ces familles plutôt que de se fier uniquement à l’auto‑tuning, ce qui explique comment il prétend surpasser les moteurs généralistes [6].
Intégration avec votre flux de travail d’agent actuel
L’adoption est conçue pour être à faible friction. L’application de bureau comprend un volet « Connexions » qui détecte les agents installés (Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline) et les relie en un clic [2][6]. Tout le reste fonctionne via le point d’entrée API compatible OpenAI que l’application expose localement [6]. Aucun serveur Ollama séparé ni runtime d’inférence n’est nécessaire — Magnitude télécharge, configure, charge et exécute les modèles dans son propre processus [8].
Compromis et questions ouvertes
La discussion sur Hacker News a fait ressortir plusieurs points à prendre en compte [7]. Premièrement, les affirmations de vitesse du projet sont mesurées sur un décodage à flux unique ; les charges de travail réelles des agents impliquent des boucles d’utilisation d’outils éclatées qui modifient la distribution des jetons et peuvent déplacer les goulets d’étranglement vers la gestion du cache KV ou la qualité du décodage spéculatif. Deuxièmement, les noyaux Metal de llama.cpp saturent déjà la bande passante mémoire sur de nombreux Macs, donc une amélioration de 92 % du décodage sur Metal mérite une vérification indépendante selon les tailles de modèles et les niveaux de quantification. Troisièmement, les chiffres de vitesse estimés par l’interface utilisateur ont été remis en question concernant leur précision pour des longueurs de contexte faibles. Enfin, le moteur est nouveau (lancé le 30 septembre 2026) — la maturité de l’écosystème, la couverture des modèles et la maintenance à long terme restent non éprouvées comparées aux années de renforcement communautaire de llama.cpp.
Devriez-vous l’essayer aujourd’hui ?
Si vous développez localement avec des agents de codage sur du matériel Apple Silicon ou NVIDIA et que vous atteignez des plafonds de mémoire ou de latence, Magnitude mérite une évaluation le week-end. La licence Apache 2.0, le coût nul en jetons et l’exécution entièrement privée (rien ne quitte votre machine après le téléchargement du modèle) réduisent le risque de test [2][6]. Téléchargez l’application de bureau, connectez votre agent existant et exécutez votre charge de travail réelle — les benchmarks synthétiques reflètent rarement les modèles de jetons des agents. Surveillez l’utilisation de la VRAM lorsque vous exécutez deux ou trois sessions simultanées ; ce cache de préfixe partagé est la fonctionnalité la plus susceptible de modifier les flux de travail quotidiens.
Le pari fondamental de Magnitude — selon lequel la compilation de noyaux sur l’appareil l’emporte sur la généralité préconstruite — est solide en principe. Savoir s’il fournit des gains constants sur la longue traîne des modèles, des schémas de quantification et des modèles d’utilisation d’outils par les agents sera déterminé par les six prochains mois de tests communautaires.
Sources
- Magnitude (YC S25) Lance un moteur d’inférence auto‑compilant, affirmant 92 % …
- GitHub - magnitudedev/magnitude : Moteur d’inférence open source pour …
- Exécutez les meilleurs modèles ouverts pour votre machine | Magnitude
- Inférence locale - Magnitude
- Le moteur auto‑optimisant de Magnitude s’exécute · Hacker News | Zeli
- Magnitude (YC S25) publie en open source son moteur d’inférence… · AGI Hunt
- Lancement HN : Magnitude (YC S25) - Moteur d’inférence auto‑optimisant pour un
- Magnitude : Serveur d’inférence open source pour les modèles locaux | Y Combinator
