OpenAI Jalapeño : ce que change une puce dédiée à l’inférence IA

OpenAI a publié les premiers résultats de Jalapeño, sa première puce conçue spécifiquement pour l’inférence. Derrière les chiffres de débit et de consommation se dessine une évolution importante : les performances d’un service d’intelligence artificielle ne dépendent plus seulement du modèle, mais de la manière dont le matériel, la mémoire, le réseau et le logiciel d’exécution ont été pensés ensemble.

Une puce d’inférence, pas un accélérateur généraliste de plus

L’entraînement et l’inférence sont deux moments très différents. L’entraînement mobilise énormément de calcul pour ajuster les paramètres d’un modèle. L’inférence correspond à son utilisation quotidienne : recevoir une requête, lire le contexte, produire une réponse et, dans le cas d’un agent, enchaîner plusieurs appels à des outils. C’est précisément ce second travail que Jalapeño cible.

Un échange avec un modèle de langage comporte lui-même plusieurs phases. Le prefill traite le prompt et sollicite fortement les unités de calcul. Le decode génère ensuite les jetons un à un et dépend davantage de la bande passante mémoire. Entre les deux, le déplacement de l’état du modèle et la communication entre puces peuvent immobiliser une partie des ressources. Optimiser une seule étape ne suffit donc pas à rendre la réponse complète plus rapide.

Ce que mesurent réellement les résultats publiés

OpenAI indique avoir testé Jalapeño avec InferenceX, un benchmark public de SemiAnalysis, sur trois modèles ouverts de tailles et d’architectures différentes : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 1T. L’objectif n’était pas seulement de mesurer un pic théorique par puce, mais la quantité de travail utile fournie pour une puissance donnée tout en respectant un niveau de latence compatible avec une utilisation interactive.

Selon ces mesures, Jalapeño fournit entre 1,5 et 1,9 fois plus de travail d’IA par watt au débit maximal et réduit la latence de bout en bout d’un facteur compris entre 1,7 et 3,6 par rapport aux systèmes de comparaison. Sur les charges les plus interactives, l’avantage de performance annoncé varie de 2,1 à 4,1. Ces résultats restent ceux du constructeur et devront être confrontés à des déploiements réels, mais le protocole public et la diversité des modèles testés donnent des repères plus utiles qu’un chiffre isolé.

La puce est donnée pour 700 watts, tandis qu’OpenAI précise que sa consommation soutenue est restée inférieure ou égale à 550 watts pendant les charges évaluées. La nuance est importante : dans un centre de données, on raisonne en capacité utile par kilowatt, en refroidissement et en densité de rack, pas uniquement en puissance nominale d’un composant.

La réduction des mouvements de données au centre de l’architecture

Le principe technique présenté consiste à maintenir localement autant que possible l’état nécessaire à la génération, notamment le cache KV. Le système active alors la combinaison appropriée de calcul, de mémoire et de réseau pour chaque phase. Le réseau n’est plus un périphérique ajouté après la puce : il fait partie de l’architecture.

Cette approche vise une difficulté très concrète des grands modèles. Plus un contexte s’allonge et plus un agent enchaîne des étapes, plus les temps d’attente s’additionnent. Quelques dizaines de millisecondes gagnées sur une opération peuvent devenir perceptibles lorsqu’une tâche nécessite des recherches, des lectures de fichiers, des appels d’API et plusieurs cycles de raisonnement. La latence n’est donc pas seulement une question de confort ; elle peut déterminer si un parcours agentique reste utilisable.

L’IA a aussi participé à la conception et à la programmation

OpenAI indique être passé du dessin initial au tapeout en neuf mois en utilisant ses modèles pour explorer des implémentations, raccourcir les boucles de vérification et optimiser certains circuits arithmétiques. Le matériel a également été conçu comme une cible de programmation prévisible : placement des tenseurs, communication explicite et synchronisation déterministe peuvent être optimisés par des humains comme par des agents de code.

Trois modèles ouverts qui ne figuraient pas dans le plan de production d’origine auraient été portés à un niveau de performance élevé en deux mois avec l’aide de Codex et de GPT-Astra. Sur certains blocs d’attention et de mélange d’experts de GPT-OSS, les implémentations générées auraient été 1,5 à 1,8 fois plus rapides que les versions écrites auparavant par des spécialistes. OpenAI souligne toutefois que ce chiffre concerne des blocs sélectionnés, et non l’exécution complète du modèle.

Ce que cela change pour une entreprise qui construit un produit IA

Une entreprise cliente n’achètera probablement pas une puce Jalapeño pour son serveur local. L’impact se situe plutôt dans l’offre de services : meilleure disponibilité lors des pointes, réponses plus rapides et baisse possible du coût d’une tâche réussie. Une infrastructure plus efficace peut aussi rendre viables des fonctions aujourd’hui limitées pour des raisons de latence ou de budget.

Cette annonce ne dispense pourtant pas d’optimiser l’application. Le choix du modèle, la taille du contexte, le cache, la limitation des boucles agentiques et la mesure du coût par résultat restent essentiels. Une architecture inefficace consommera simplement plus vite une infrastructure devenue plus rapide.

• Mesurer la latence de bout en bout, pas uniquement le temps de génération du modèle.
• Suivre le coût par parcours métier terminé plutôt que le seul prix du million de jetons.
• Prévoir plusieurs classes de modèles selon la difficulté réelle de chaque étape.
• Évaluer la stabilité des performances sous charge et sur des contextes longs.
• Conserver une architecture suffisamment portable pour absorber les évolutions des fournisseurs.

Un premier jalon, pas encore une généralisation

OpenAI prévoit de commencer le déploiement de Jalapeño dans sa propre infrastructure avant la fin de l’année 2026. La qualification de production, le logiciel d’exploitation et les validations sur davantage de modèles se poursuivent. Une deuxième génération est déjà en développement avancé et une troisième commence à prendre forme. L’entreprise précise parallèlement qu’elle continuera à déployer des accélérateurs NVIDIA et ceux d’autres partenaires.

Le point à retenir n’est donc pas qu’une puce remplacerait immédiatement toutes les autres. Il est que l’inférence devient une discipline d’ingénierie complète. À mesure que les agents exécutent des tâches longues, le couple débit-latence-énergie devient aussi structurant que la qualité du modèle lui-même.

Consulter les résultats techniques publiés par OpenAI ↗ · Découvrir l’accompagnement IA & RAG de SDX →