OpenAI déploie son API Decisions pour rivaliser avec des modèles comme Jev

Dévoilée lors du DevDay d’OpenAI le 29 septembre, l’API Decisions quitte sa phase de bêta publique. Elle part d’un constat que l’entreprise résume ainsi : « Les applications et les agents prennent de nombreuses petites décisions tout au long d’un workflow. Individuellement, elles sont simples. À grande échelle, leur latence et leur coût s’additionnent. » D’où l’émergence de modèles plus rapides dits de décision, créneau sur lequel se positionne désormais OpenAI, et popularisé à la rentrée par Jev, le modèle de la startup TypeSafe AI. On vous explique.

Une API qui tranche au lieu de rédiger

A priori obscur, le fonctionnement d’un modèle de décision est relativement simple. En pratique, un développeur ou une développeuse va formuler une question, définir les réponses autorisées et fournir le contexte nécessaire, sous forme de texte ou d’images. L’API ne génère alors aucun texte, mais renvoie une réponse typée, que l’application exploite pour déclencher l’étape suivante du workflow. Trois formats de réponse sont proposés :

• Predicate : la probabilité, comprise entre 0 et 1, qu’une condition soit vraie. Par exemple, la présence d’un dommage visible sur la photo d’un produit.
• Choice : une option parmi une liste fixée par le développeur, accompagnée de probabilités et d’un indice de confiance. Un agent peut ainsi choisir entre poursuivre sa tâche, réessayer ou demander une précision.
• Score : une note sur une grille de niveaux ordonnés, comme la gravité d’un dommage par exemple.

Une même requête peut désormais regrouper jusqu’à 400 questions, deux fois plus qu’en bêta. Elles portent toutes sur le même contenu et sont évaluées indépendamment. Une question qui dépend de la réponse à une autre exige donc une requête distincte.

Côté technique, OpenAI n’a pas entraîné de modèle spécifique. L’API repose sur GPT-6 Luna, reconfiguré pour accélérer l’inférence. Selon l’entreprise, elle concentre « l’intelligence de Luna sur des questions aux réponses délimitées » et rend ses décisions jusqu’à 10 fois plus vite que Luna, lorsque interrogé via l’API Responses.

JSON, cache et voix au menu de la version finale

Depuis la bêta, OpenAI a enrichi son API de plusieurs fonctionnalités :

• Les entrées en JSON natif, ainsi que des images intégrées directement aux instructions d’une question.
• Le prompt caching, qui réutilise la partie commune d’une requête, un document de référence par exemple.
• Le traitement de l’inférence aux États-Unis ou dans l’Union européenne, en complément du Zero Data Retention proposé aux clients éligibles.
• Une intégration native avec GPT-Live, le modèle d’OpenAI dédié aux conversations vocales. Un agent de support client peut par exemple déterminer en pleine conversation s’il doit poser une question de clarification ou transmettre la demande à un humain.

Le principe de Jev, appliqué à un modèle généraliste

Le fonctionnement rappelle de très près celui de Jev, le modèle de décision de TypeSafe AI. On y retrouve les trois mêmes types de questions, le « predicate » d’OpenAI correspondant au « Noul » de Jev, ainsi qu’une facturation limitée aux tokens en entrée. L’approche diffère toutefois : TypeSafe AI a conçu une architecture et une méthode d’entraînement dédiées, quand OpenAI adapte un modèle de langage existant. L’écart se fait aussi sur le prix, l’API Decisions coûtant plus de deux fois plus cher que Jev, facturé 0,042 $ par million de tokens en entrée lors de son lancement.

En revanche, la prise en charge des images ne distingue pas l’offre d’OpenAI, TypeSafe AI l’ayant ajoutée à Jev dans sa dernière version. Sur deux classements indépendants consacrés aux modèles de décision, l’AIM System One Index et l’Artificial Analysis Decision Index, le modèle d’OpenAI se classerait derrière Jev, tous deux dominés par D1 Ultra, de Liquid, et Elephant-1, de Base Lab. OpenAI propose par ailleurs de tester son API sur des exemples tirés d’usages réels, notamment dans son Decisions Playground, et met à disposition toute la documentation nécessaire aux développeurs et développeuses.