Anthropic lance son détecteur de fichiers générés par Claude

Anthropic met en ligne un outil gratuit qui analyse les métadonnées d’un fichier pour dire s’il a été traité par Claude, mais un test croisé de la rédaction montre que le résultat n’est pas toujours fiable.

Claude Check a File
Le checker d'Anthropic lit les métadonnées C2PA d'un fichier. © Anthropic

Mi-août, Anthropic dévoilait le fonctionnement du filigrane invisible glissé dans les textes générés par Claude, ainsi que le principe du content credential apposé sur ses fichiers : une note signée cryptographiquement, intégrée aux métadonnées au moment du téléchargement, sur le standard ouvert C2PA déjà utilisé par les fabricants d’appareils photo.

Ce 2 septembre, la firme vient de dévoiler un outil public visant à vérifier la présence de cette signature sur un fichier. On fait le point.

Un outil qui lit les métadonnées d’un fichier

Baptisé Check if a file was made with Claude, l’outil tourne directement dans le navigateur et ne fait transiter aucun fichier vers les serveurs d’Anthropic. Il suffit d’y déposer un fichier pour obtenir un verdict binaire : la présence ou l’absence du content credential.

Anthropic précise que l’outil ne dit rien du texte. Le marquage des fichiers et celui des écrits reposent sur deux mécanismes distincts : le premier s’ajoute aux métadonnées au moment du téléchargement, le second module les choix de mots pendant la génération. Ce filigrane textuel reste indétectable sans clé, et seule une API de détection, réservée en accès restreint à certaines organisations, peut l’interroger.

Le champ d’application du checker reste limité à une liste de formats image, vidéo et audio :

  • Formats image : JPG, PNG, GIF, WEBP, TIFF, HEIC, AVIF, SVG, DNG, JXL
  • Formats vidéo : MP4, MOV, AVI
  • Formats audio : WAV, MP3, M4A, FLAC

La taille du fichier est plafonnée à 100 Mo. Anthropic pose aussi les limites du dispositif : le content credential indique que Claude a participé à la production du fichier, pas nécessairement à la création du contenu, et il ne contient aucune information susceptible d’identifier l’utilisateur.

Claude sait-il détecter les documents qu’il a lui-même générés ?

La rédaction a testé l’outil sur un même document, une check-list de suivi pour l’objectif « 112 % » de Hollow Knight, enregistrée au format WEBP. Deux membres de l’équipe l’ont soumis séparément, chacun depuis son propre ordinateur. Le verdict n’a pas été identique : le premier test a affiché « This file shows signs it was processed by Claude », tandis que le second indiquait « We didn’t find any signs this file was processed by Claude ».

Anthropic anticipe ce type d’écart. L’outil indique lui-même que l’absence de détection n’exclut rien, les signaux du content credential disparaissant dès qu’un fichier est édité, converti ou compressé. Le résultat de la vérification dépend donc de la version exacte du fichier testée, entre un export original et une copie retravaillée.

Ce résultat illustre la difficulté à concevoir des outils de détection fiables pour du contenu généré par IA. Depuis 2023, de nombreux outils de ce type ont vu le jour, sans qu’aucun ne soit parvenu à garantir une fiabilité constante.

Le document, au format WEBP, avait été généré par Claude. © BDM
Sujets liés :
Publier un commentaire

Les meilleurs détecteurs de texte par IA