OpenAI ne se contente plus de créer des modèles d'IA. L'entreprise a publié les premiers résultats de tests de sa puce propriétaire Jalapeño, développée en collaboration avec Broadcom. Ce circuit intégré spécifique (ASIC), spécialisé dans l'inférence, devrait consommer 700 W et, selon les tests d'OpenAI, offrir un débit par kilowatt jusqu'à 1,9 fois supérieur à celui des systèmes GB200 et GB300 de Nvidia. C’est un moment intéressant pour le marché des accélérateurs d’IA. OpenAI utilise depuis des années d’importantes quantités de matériel Nvidia et commence maintenant à concevoir ses propres processeurs spécifiquement pour l’exécution de modèles de langage. OpenAI a présenté ses résultats lors de la conférence Hot Chips. Les performances de Jalapeño ont été comparées à celles des systèmes Nvidia GB200 et GB300 sur la suite de tests publique InferenceX, préparée par SemiAnalysis. Selon la charge de travail testée, le système OpenAI affichait un débit par kilowatt 1,5 à 1,9 fois supérieur. Parallèlement, la latence globale annoncée était 1,7 à 3,6 fois inférieure. Les tests ont utilisé trois modèles : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 de Moonshot AI, qui possède un billion de paramètres. La plus grande différence est apparue avec les paramètres de faible latence, où OpenAI revendique un débit par kilowatt jusqu'à 8,6 à 104,3 fois supérieur à celui des paramètres GB300 les plus rapides en termes de temps entre les jetons.

Jalapeño est une puce conçue spécifiquement pour l'inférence en intelligence artificielle. Son TDP annoncé est de 700 W, tandis que le GB300 utilise un accélérateur de 1 400 W. Cependant, OpenAI fournit également des données sur la consommation électrique réelle lors des tests. La consommation électrique soutenue de Jalapeño était estimée à 550 W ou moins. Si l'on tient compte de la puissance utile totale, la différence se réduit. OpenAI indique 1,18 kW pour le Jalapeño et 2,55 kW pour le GB300. Dans ce cas, l'avantage énergétique du processeur propriétaire reste notable. Il est également important de noter que Jalapeño n'a pas été testé par rapport à la plateforme Vera Rubin de Nvidia. Par conséquent, les résultats ne doivent pas être interprétés comme une preuve de sa supériorité par rapport à l'ensemble des solutions Nvidia actuelles. Jalapeño utilise six modules de mémoire HBM4, offrant ainsi un total de 216 Go de mémoire et une bande passante pouvant atteindre 15,4 To/s. À titre de comparaison, le GB300 dispose de 288 Go de mémoire HBM3E et affiche un TDP de 1 400 W. D'après la présentation d'OpenAI, l'un des principaux objectifs du projet Jalapeño était de garantir une bande passante mémoire suffisante, plutôt que de simplement augmenter le nombre d'unités de calcul. Ceci est particulièrement important pour les modèles d'IA modernes. La mémoire HBM est devenue l'une des contraintes les plus importantes dans la conception des accélérateurs, et sa production exige une capacité de fabrication considérable.

Jalapeño n'est pas une expérience ponctuelle. OpenAI prévoit de commencer à déployer ce processeur dans ses propres centres de données plus tard cette année. Ce projet a été développé en collaboration avec Broadcom. La première génération a été finalisée très rapidement et le développement de la puce suivante est déjà en cours. D'après les informations mentionnées précédemment, la deuxième génération est sur le point d'être testée. L'entreprise prévoit également d'exploiter ses propres accélérateurs. OpenAI a signé un accord avec Broadcom pour déployer des systèmes sur mesure d'une capacité totale pouvant atteindre 10 GW. Les résultats de Jalapeño sont impressionnants, mais nécessitent une interprétation prudente. La puce d'OpenAI est principalement conçue pour l'inférence et non pour l'entraînement de modèles. Nvidia propose une gamme de matériels beaucoup plus étendue. De plus, certaines comparaisons portent sur la prédiction d'un seul jeton, alors que les systèmes Nvidia utilisés en production peuvent effectuer des prédictions multi-jetons. OpenAI reconnaît d'ailleurs que, dans ce cas, le gain en efficacité énergétique pourrait chuter à environ 1,5x.

Quoi qu'il en soit, OpenAI a démontré un fait important : il est possible d'exécuter des modèles d'IA massifs sur du matériel spécialisé conçu pour des besoins spécifiques. Si les générations suivantes de Jalapeño conservent des niveaux de performance similaires, l'entreprise pourra progressivement réduire sa dépendance aux accélérateurs standard. Il est intéressant de noter qu'OpenAI a toujours besoin de Nvidia. Nvidia a récemment accepté de fournir un financement de 105 milliards de dollars pour la construction d'un campus de centres de données dans l'Ohio, loué par OpenAI.