Computer use, image, mémoire : OpenAI déploie sa mise à jour Codex la plus ambitieuse

Alors que la course entre OpenAI et Anthropic s’intensifie sur le terrain du code assisté par IA, OpenAI déploie une mise à jour majeure de Codex. L’agent, utilisé chaque semaine par plus de 3 millions de développeurs et développeuses selon la startup, peut désormais opérer le bureau de votre Mac en arrière-plan, générer des images et mémoriser les préférences des sessions précédentes.

Codex prend le contrôle du bureau macOS

La nouveauté centrale de cette mise à jour est le computer use. Codex peut désormais voir l’écran, déplacer son propre curseur, cliquer et saisir du texte dans toute application macOS installée, des natives comme Mail ou Finder aux logiciels métier, en passant par les outils sans API. Plusieurs agents peuvent travailler en parallèle, le tout en tâche de fond, sans interrompre l’activité en cours.

Nous voulons réduire l’écart entre ce que les gens peuvent imaginer et ce qu’ils peuvent construire.

L’application intègre également un navigateur, dans lequel il est possible d’annoter directement les pages pour donner des instructions précises à l’agent. OpenAI précise que cette fonctionnalité est aujourd’hui pensée pour le développement front-end et les jeux, avec l’ambition d’étendre le contrôle du navigateur au-delà des applications locales.

90 plugins supplémentaires, génération d’images et mémoire persistante

Cette mise à jour introduit également plus de 90 nouveaux plugins, qui s’ajoutent à ceux lancés fin mars. Parmi les ajouts notables :

• Atlassian Rovo, pour la gestion de JIRA,
• CircleCI et CodeRabbit, pour l’intégration continue et la revue de code,
• GitLab Issues, Microsoft Suite, Neon by Databricks, Remotion et Render…

Codex peut également générer et itérer des images directement dans le flux de travail, avec gpt-image-1.5. OpenAI cite la création de maquettes, de visuels produits et d’assets pour des jeux comme exemples d’utilisation.

La firme lance aussi une version preview de la nouvelle mémoire de Codex. L’agent retient désormais les préférences, corrections et informations collectées lors des sessions précédentes. Cela signifie que les futures tâches peuvent s’appuyer sur un contexte déjà construit, sans nécessiter de nouvelles instructions détaillées. Les automatisations sont également étendues, Codex pouvant désormais « planifier du travail futur » et reprendre automatiquement des tâches « sur plusieurs jours ou semaines », en s’appuyant sur les fils de conversation existants et les plugins connectés (Slack, Gmail et Notion notamment).

Codex peut désormais suggérer comment commencer votre journée de travail ou où reprendre un projet en cours.