OpenAI : comment Habitat sert plus de 70 millions de requêtes par seconde

OpenAI vient de publier un retour d’expérience sur Habitat, la plateforme de stockage en ligne qui alimente notamment ChatGPT, Codex et ses API.

Les chiffres donnent immédiatement une idée de l’échelle : selon OpenAI, Habitat traite aujourd’hui plus de 70 millions de requêtes par seconde, gère plus de 500 pétaoctets de données et fonctionne à travers près de 40 régions géographiques. La plateforme accompagne des produits utilisés par plus d’un milliard de personnes chaque semaine.

Ces requêtes correspondent aux accès aux données nécessaires au fonctionnement des produits : une seule action dans une application peut entraîner de nombreuses lectures.

D’une bibliothèque Python à une plateforme distribuée

Habitat n’a pourtant pas été conçu dès le départ comme une infrastructure aussi importante.

Le projet a commencé comme une bibliothèque Python côté client reliée à une base de données. À mesure que les produits et les besoins d’OpenAI se sont multipliés, cette architecture est devenue difficile à faire évoluer.

OpenAI a alors progressivement transformé Habitat en un service intermédiaire capable de gérer le routage, le cache, les autorisations, le chiffrement, la résidence des données, l’isolation entre applications ou encore la limitation du trafic.

Cette évolution illustre un principe courant dans les architectures logicielles : une solution simple peut être parfaitement adaptée au début d’un produit, sans pour autant devoir rester définitive.

Python a tenu jusqu’à 20 millions de requêtes par seconde

Le retour d’expérience est également intéressant concernant le choix des technologies.

OpenAI indique que sa version Python de Habitat a réussi à dépasser les 20 millions de requêtes par seconde. L’entreprise n’a donc pas remplacé Python immédiatement simplement parce qu’un autre langage pouvait théoriquement être plus performant.

Elle a préféré conserver cette architecture tant que d’autres problèmes étaient plus prioritaires.

Ce n’est qu’en 2026, lorsque les coûts en CPU et en mémoire sont devenus suffisamment importants, qu’une réécriture en Rust est devenue pertinente.

Rust réduit fortement les ressources nécessaires

La nouvelle version de Habitat a été réécrite en Rust au deuxième trimestre 2026.

Selon OpenAI, elle traite désormais environ 95 % du trafic de production. Les mesures internes montrent une efficacité CPU multipliée par six et une efficacité mémoire multipliée par quinze par rapport à la version Python, avec également une amélioration des latences moyennes et des latences les plus élevées.

Ces résultats concernent le service Habitat et la charge mesurée par OpenAI. Ils ne constituent pas une comparaison universelle entre les deux langages.

L’histoire de Habitat montre plutôt que le choix technique dépend de la phase du produit. Python a permis de développer et de faire évoluer rapidement la plateforme pendant plusieurs années. Rust intervient lorsque les gains d’infrastructure deviennent suffisamment importants pour justifier le coût d’une réécriture.

Ce que les entreprises peuvent en retenir

Peu d’applications auront un jour besoin de gérer plusieurs dizaines de millions de requêtes par seconde.

Mais le raisonnement reste valable à une échelle beaucoup plus modeste.

Une architecture n’a pas besoin d’être conçue dès le premier jour pour supporter un milliard d’utilisateurs. Elle doit surtout être suffisamment claire pour pouvoir mesurer ses limites et remplacer progressivement les composants qui deviennent réellement problématiques.

Cache, limitation du trafic, isolation, observabilité et maîtrise des accès deviennent souvent plus importants à mesure que le produit grandit.

L’exemple d’Habitat rappelle ainsi qu’une infrastructure capable de monter en charge n’est pas forcément celle qui utilise dès le départ les technologies les plus complexes : c’est celle qui peut évoluer lorsque les contraintes réelles apparaissent.

Source officielle OpenAI Engineering — 11 septembre 2026

Chiffres et résultats techniques attribués à OpenAI, vérifiés le 12 septembre 2026. Les gains CPU et mémoire proviennent des mesures internes décrites dans cette publication.

• OpenAI Engineering — Rapidly scaling online storage to serve over 1 billion ChatGPT users, par Jon Lee, Chaomin Yu et Ben Ries, publié le 11 septembre 2026.