ChatGPT peut désormais analyser les vidéos en direct : comment ça marche

Pour pimenter la fin d’année, ChatGPT propose son propre calendrier de l’Avent. Depuis le 5 décembre et pendant 12 jours, la firme présente quotidiennement à ses adeptes une nouveauté, qui peut être soit anecdotique, soit majeure. À ce jour, certaines annonces importantes ont déjà été faites dans le cadre de ces 12 Days of OpenAI, comme l’arrivée d’un nouvel abonnement ou le lancement de son générateur de vidéos, Sora.

Ce jeudi 12 décembre, pour sa 6ᵉ nouveauté, OpenAI lance une fonctionnalité attendue depuis longtemps : la capacité de partager l’écran de son smartphone dans le mode vocal avancé. Voici comment elle se présente.

ChatGPT : le mode vocal avancé peut comprendre votre écran

Cette nouveauté avait été annoncée dès l’arrivée du modèle GPT-4o et de son mode vocal avancé, en mai dernier. Cependant, malgré le déploiement global de l’outil, ChatGPT n’avait plus communiqué à ce sujet depuis.

Le partage d’écran fonctionne de la manière suivante : après avoir activé l’advanced voice, l’utilisateur peut accéder à un nouveau bouton vidéo qui active la caméra avant ou arrière de son appareil. Il peut alors discuter avec l’IA tout en filmant son environnement. L’IA est capable de comprendre les différents éléments visibles dans la vidéo et interagit de manière naturelle. En somme, cette fonctionnalité permet de réaliser un véritable appel vidéo avec ChatGPT.

Dans le test présenté par OpenAI, ChatGPT aide l’utilisateur à préparer un café, en prenant en compte le matériel qu’il a à sa disposition.

Now you can chat with ChatGPT over video and voice in real time. pic.twitter.com/6LySLJcFy5

— OpenAI (@OpenAI) December 12, 2024

Par ailleurs, il sera également possible de partager l’écran de votre appareil avec ChatGPT. Dans l’exemple ci-dessous, l’utilisateur sollicite l’IA pour répondre à un message, mais cette option pourrait également être utile pour réaliser une action plus technique sur son smartphone.

Screenshare while using Advanced Voice for instant feedback on whatever you’re looking at. pic.twitter.com/d4Xm36dwOX

— OpenAI (@OpenAI) December 12, 2024

Une fonctionnalité disponible partout sauf en Europe

C’est désormais une habitude : cette nouvelle fonctionnalité est disponible partout, sauf dans l’Union européenne (ainsi qu’en Suisse, en Islande, en Norvège et au Liechtenstein). En début de semaine, à propos du lancement de Sora, Sam Altman expliquait à un utilisateur sur X : « Nous voulons proposer nos produits en Europe et nous pensons qu’une Europe forte est importante pour le monde entier. Nous devons également nous conformer à la réglementation. Je m’attends généralement à ce que les nouveaux produits soient lancés plus tard en Europe et à ce que certains d’entre eux ne puissent tout simplement pas être proposés. »

Concernant le partage d’écran dans le mode vocal avancé, la fonctionnalité sera bel et bien lancée en France « le plus tôt possible ». Elle sera, dans un premier temps, réservée aux utilisateurs ayant souscrit à ChatGPT Plus ou ChatGPT Pro.

En attendant, vous pouvez dès à présent essayer le nouveau mode Santa, une voix de père Noël décrite comme « joyeuse et festive », qui prend la liberté de répondre en français, espagnol ou anglais, selon son envie. Lors de notre test, Santa était d’humeur « Feliz Navidad » !