ChatGPT analyse les images : 10 exemples pour découvrir ses capacités

L’outil d’analyse d’images de ChatGPT, aussi appelé Vision, a été lancé en France ce jeudi 12 octobre. Disponible pour les abonnés ChatGPT Plus et ChatGPT Entreprise, il est accessible aussi bien sur desktop que sur l’application mobile. Dans cet article, découvrez 10 manières d’exploiter cette nouvelle fonctionnalité !

1. Reconnaître le style d’un artiste

L’outil d’analyse d’images de ChatGPT a la capacité de reconnaître le style artistique d’une œuvre. Vous pouvez donc lui soumettre une image, comme un tableau ou une sculpture, et il sera en mesure de la classifier. Dans l’exemple ci-dessous, nous présentons à ChatGPT une photo d’une gourde ornée de motifs inspirés des travaux de Keith Haring. Le chatbot reconnaît instantanément que le design évoque le style distinctif de l’artiste américain.

2. Donner des informations sur un monument

Si vous voyagez à l’étranger et que vous tombez sur un monument dont vous ignorez tout, ChatGPT peut vous aider. Prenez simplement une photo du lieu, soumettez-la à ChatGPT et il vous fournira des informations (nom, éléments de son histoire), comme si vous aviez un guide touristique dans votre poche ! Si vous voulez en savoir plus, par exemple sur ce qui se trouve à l’intérieur du monument, poursuivez la conversation avec le chatbot.

3. Traduire un texte à partir d’une photo

Toujours en voyage, vous vous arrêtez dans un restaurant, mais la carte est en langue étrangère et vous souhaitez vous assurer que vous commandez un plat à votre goût. À nouveau, ChatGPT est là pour vous aider ! Il vous suffit de prendre en photo le menu, ou d’importer une capture d’écran si celui-ci est disponible en ligne, et ChatGPT effectuera la traduction ! Il est donc en mesure de comprendre les éléments textuels présents dans une image.

4. Donner des idées de plat

Toujours dans la thématique culinaire, vous pouvez demander à ChatGPT de vous donner des idées de menu à partir de ce qui se trouve dans votre frigo. Prenez simplement une photo des aliments, et donnez votre consigne au chatbot. Cette utilisation était suggérée par OpenAI lors de l’annonce de la fonctionnalité.

5. Produire du code à partir d’une image

ChatGPT est également reconnu pour ses capacités en code, et ce dans plusieurs langages de programmation. Depuis l’arrivée de la nouvelle fonctionnalité, des utilisateurs ont indiqué la gain de temps qu’elle pourrait représenter pour coder des interfaces utilisateur. Sur X (ex-Twitter), @pwang_szn a partagé son processus d’utilisation pour coder une interface grâce à ChatGPT :

1. Concevoir le design dans Figma,
2. Intégrer l’image de l’interface à ChatGPT et lui demander de la décrire,
3. Demander à ChatGPT de convertir l’image en code, en utilisant Tailwind CSS et un script Vue inline.

📸 New dev workflow w/ ChatGPT-Vision

1. Design in @figma
2. Ask ChatGPT to describe image
3. Tell it to convert to @tailwindcss 😀

(kinda hit/miss design -> code but I think i couldve improved prompting) pic.twitter.com/K2lmbGLzH6

— peter! 🥷 (@pwang_szn) October 6, 2023

6. Résumer un article de presse

Dans l’exemple ci-dessous, nous avons envoyé une photo d’un article de presse à ChatGPT et demandé un résumé. On notera que l’agent conversationnel prend quelques précautions, car tout le texte n’est pas lisible sur l’image. Ainsi, le chatbot précise que « la qualité de l’image ne permet pas de lire l’intégralité de l’article, donc ce résumé est basé sur les portions visibles ». Mais sa synthèse est tout à fait conforme au contenu de l’article.

7. Reconnaître une espèce de plante

ChatGPT est aussi doté de solides connaissances en botanique ! En intégrant l’image d’une plante, le chatbot est capable d’estimer son espèce. Pour notre test, nous avons utilisé l’outil de détourage proposé par ChatGPT pour lui indiquer quelle plante nous souhaitions identifier. En prime, l’agent conversationnel nous propose quelques conseils d’entretien.

8. Trouver le bon objet à utiliser

Dans la présentation de sa nouvelle fonctionnalité, ChatGPT publiait une vidéo démontrant que la reconnaissance d’images pourrait servir à identifier l’outil adapté dans une mallette. Nous l’avons donc mis à l’épreuve dans une configuration similaire : nous lui avons demandé, sur une pieuvre multicharge, d’identifier le câble USB-C. Puis, nous avons transmis une image des ports d’un PC pour qu’il nous indique où se branchait ce câble USB-C. ChatGPT a réalisé un sans-fautes !

9. Distinguer une marque ou un modèle

ChatGPT peut également vous aider à retrouver la référence d’un objet. Par exemple, si vous croisez une voiture ancienne ou atypique dans la rue, il est possible de la photographier et de solliciter ChatGPT pour qu’il vous indique le modèle, la marque, et même la période de production. Toutefois, sachez que l’outil Vision ne peut être couplé avec Browse with Bing. Il ne sera donc pas en mesure de retrouver un modèle datant d’après septembre 2021.

10. Comprendre un schéma complexe

ChatGPT sait aussi interpréter des schémas. Il peut par exemple isoler une donnée issue d’un graphique ou vous éclairer sur un tableau réalisé dans le cadre professionnel. Sur X, l’utilisateur Mckay Wrigley a testé le chatbot en lui présentant le schéma de progression narrative qu’avait réalisé Christopher Nolan, à la main, pour le film Inception. L’analyse réalisée par ChatGPT est plutôt bluffante.

ChatGPT Vision breaks down Christopher Nolan’s early diagram for Inception.

Best part?

The diagram doesn’t mention the word “Inception” once.

Crazy. pic.twitter.com/grPpTjvg3d

— Mckay Wrigley (@mckaywrigley) September 30, 2023