Adobe déploie son générateur de vidéo par IA : les premières fonctionnalités de Firefly Video

Pour lancer sa conférence Adobe MAX, la société éditrice de nombreux logiciels créatifs a annoncé le déploiement officiel de son dernier modèle d’IA, Firefly Video, dédié, comme son nom l’indique, à la génération de vidéo par intelligence artificielle. Récemment présenté, ce modèle vient rejoindre ceux spécialisés dans l’image, le dessin vectoriel et le design créatif. Pour ses débuts, Firefly Video, toujours en phase expérimentale, propose la génération de vidéo via un prompt textuel et/ou une image sur sa plateforme web, avec une interface d’édition, et intègre une extension générative dans Premiere Pro.

Firefly Video : un générateur et un éditeur sur l’application web

Firefly Video est d’ores et déjà disponible en version bêta publique limitée, permettant à un groupe restreint d’utilisateurs d’explorer et de tester ses fonctionnalités. Sur son application web Firefly, Adobe intègre désormais ce générateur de vidéo.

Firefly Video permet donc de générer des vidéos à partir de prompts textuels ou visuels. Ce modèle offre la possibilité, grâce à l’outil Text-to-video, de transformer des descriptions en séquences vidéo. Les utilisateurs peuvent préciser des aspects techniques tels que l’angle de la caméra, les mouvements ou encore le zoom, pour donner vie à des scènes plus immersives. Un éditeur propose également de régler ces détails techniques en dehors du prompt initial, avec des manettes et boutons adaptés.

L’outil Image-to-video anime quant à lui directement des images fixes ou des illustrations. Les visuels statiques peuvent ainsi être transformés en séquence de mouvements fluides. De plus, la génération de b-rolls permet de combler des séquences manquantes dans une vidéo, en ajoutant automatiquement des plans complémentaires qui s’intègrent à la chronologie du projet. Firefly Video offre également la possibilité d’ajuster des effets spéciaux et des ambiances visuelles, comme des reflets lumineux ou des variations de texture, pour enrichir le rendu final des vidéos, notamment dans Premiere Pro (voir ci-dessous).

L’extension générative intègre Premiere Pro

Premiere Pro est le premier logiciel phare de la gamme d’Adobe à intégrer une fonctionnalité issue de Firefly Video. Lors de la sortie du modèle dédié à la génération d’images, Adobe avait ajouté d’entrée de jeu le remplissage génératif, permettant d’ajouter des éléments sur une image ou d’en étendre le cadre. Avec Premiere Pro, la firme en fait de même avec l’extension générative. Cet outil va permettre aux utilisateurs du logiciel de montage d’étendre de quelques secondes une séquence vidéo. L’IA va alors générer un prolongement rationnel et logique d’un extrait, pour combler un manque ou améliorer une transition, par exemple. Cette extension générative s’applique aussi à l’audio, précise Adobe.

Depuis le générateur de vidéo, il est également possible de créer des éléments visuels qui pourront être intégrés aux séquences. Il peut s’agir de composants d’ambiance, comme des reflets lumineux ou des effets spéciaux. Cette association laisse entrevoir les futures possibilités qu’offrira Firefly Video une fois le modèle intégré aux nombreux logiciels d’Adobe et interopérable. On imagine notamment le retrouver rapidement dans After Effects dans un lien privilégié avec Premiere Pro.