Procesando…
IA y infrastructure
Los primeros resultados de Jalapeño muestran por qué latencia, memoria, red y eficiencia energética se vuelven tan importantes como el modelo.
OpenAI publicó los primeros resultados de Jalapeño, su primer chip diseñado específicamente para la inferencia. Detrás de las cifras de flujo y consumo es un desarrollo importante: el rendimiento de un servicio de inteligencia artificial ya no depende únicamente del modelo, sino de cómo se diseñaron conjuntamente hardware, memoria, red y software de funcionamiento.
Entrenamiento e inferencia son dos momentos muy diferentes. El entrenamiento moviliza mucho cálculo para ajustar los parámetros de un modelo. La inferencia corresponde a su uso diario: recibir una solicitud, leer el contexto, producir una respuesta y, en el caso de un agente, encadenar varias llamadas a herramientas. Es precisamente este segundo trabajo que Jalapeño está apuntando.
Un intercambio con un modelo de lenguaje en sí implica varias fases. El prefijo procesa la rapidez y solicita firmemente las unidades de cálculo. El decodificación Luego genera chips uno por uno y depende más del ancho de banda de memoria. Entre, mover el estado modelo y la comunicación entre fichas puede inmovilizar algunos de los recursos. Optimizar un solo paso no es suficiente para hacer la respuesta completa más rápido.
OpenAI reporta pruebas Jalapeño con InferenceX, un referente público de SemiAnalysis, en tres modelos abiertos de diferentes tamaños y arquitecturas: GPT-OSS 120B, DeepSeek R1 670B y Kimi K2.5 1T. El objetivo no era sólo medir un pico teórico por chip, sino la cantidad de trabajo útil proporcionado para una potencia determinada respetando un nivel de latencia compatible con el uso interactivo.
Según estas mediciones, Jalapeño proporciona entre 1,5 y 1,9 veces más trabajo por watt al máximo flujo y reduce la latencia de extremo a extremo entre 1,7 y 3,6 veces en comparación con los sistemas de comparación. De las cargas más interactivas, las prestaciones de rendimiento comunicadas oscilan entre 2.1 y 4.1. Estos resultados siguen siendo los del fabricante y tendrán que enfrentarse con despliegues reales, pero el protocolo público y la variedad de modelos probados dan puntos de referencia más útiles que una cifra aislada.
El chip se administra por 700 vatios, mientras que OpenAI afirma que su consumo sostenido permaneció menos o igual a 550 vatios durante las cargas estimadas. El grado es importante: en un centro de datos, razonamos en capacidad útil por kilovatio, en refrigeración y en densidad de rack, no sólo en potencia nominal de un componente.
El principio técnico presentado es mantener lo más posible localmente la condición necesaria para la generación, incluyendo el caché KV. El sistema activa entonces la combinación adecuada de cálculo, memoria y red para cada fase. La red ya no es un dispositivo añadido después del chip: es parte de la arquitectura.
Este enfoque tiene como objetivo una dificultad muy concreta para los modelos grandes. Cuanto más tiempo un contexto y más un agente corre los pasos, más tiempos de espera se suman. Docenas de milisegundos ganados en una operación pueden ser notables cuando una tarea requiere búsqueda, lectura de archivos, llamadas de API y varios ciclos de razonamiento. Por lo tanto, latencia no es sólo una cuestión de comodidad; puede determinar si un camino agente sigue siendo utilizable.
OpenAI indica que ha pasado del dibujo original a tapizado en nueve meses utilizando sus modelos para explorar implementaciones, acortar los circuitos de verificación y optimizar ciertos circuitos aritméticos. El hardware también fue diseñado como un objetivo de programación predecible: la colocación del tensor, la comunicación explícita y la sincronización determinista pueden ser optimizados tanto por humanos como por agentes de código.
Tres modelos abiertos que no estaban incluidos en el plan de producción original habrían sido elevados a un alto nivel de rendimiento en dos meses con la ayuda de Codex y GPT-Astra. En algunos bloques de atención y mezcla de expertos del GPT-OSS, las implementaciones generadas habrían sido 1,5 a 1.8 veces más rápidas que las versiones previamente escritas por especialistas. OpenAI señala, sin embargo, que esta figura se refiere a bloques seleccionados, no a la ejecución completa del modelo.
Una compañía cliente probablemente no comprará un chip Jalapeño para su servidor local. Más bien, el impacto reside en la prestación de servicios: una mejor disponibilidad en puntos, respuestas más rápidas y una posible reducción del costo de una tarea exitosa. La infraestructura más eficiente también puede hacer que las funciones de hoy sean limitadas por razones de latencia o presupuesto viables.
Sin embargo, este anuncio no exime de optimizar la aplicación. La elección del modelo, el tamaño del contexto, el caché, la limitación de los lazos agentes y la medición del costo por resultado siguen siendo esenciales. La arquitectura ineficiente simplemente consumirá una infraestructura más rápida que se ha vuelto más rápida.
OpenAI planea comenzar el despliegue de Jalapeño en su propia infraestructura antes de finales de 2026. Continúan las calificaciones de producción, software operativo y validaciones en más modelos. Una segunda generación ya está en desarrollo avanzado y una tercera está empezando a tomar forma. La compañía también afirma que seguirá implementando aceleradores NVIDIA y los de otros socios.
El punto a recordar no es por lo tanto que un chip reemplazaría inmediatamente a todos los demás. Es que la inferencia se convierte en una disciplina de ingeniería completa. A medida que los agentes realizan tareas largas, el par de torque de energía de la latencia de flujo se convierte en la estructuración como la calidad del propio modelo.
Consultar los resultados técnicos publicados por OpenAI · Descubra IA & RAG SDX acompañamiento →
IA E INFRAESTRUCTURA
Latencia, costes, orquestación, seguridad y capacidad de recuperación: dimensiona la base técnica según los usos reales de tu producto.
Introduce al menos 2 caracteres para iniciar la búsqueda.
