Gen-2 : découvrez le générateur de vidéos par IA de Runway

Qu’est-ce que Gen-2, le générateur de vidéos par IA de Runway ?

Gen-2 est décrit par Runway, son éditeur, comme « un système d’IA multimodal capable de générer des vidéos avec du texte, des images ou des clips vidéos ». L’outil, accessible via une interface web ou sur iOS, permet la génération de vidéos à partir de prompts textuels, de l’association d’une requête écrite et d’une image, ou d’extraits vidéo. Il fait partie de la suite AI Magic Tools de Runway, qui propose, outre la génération de vidéos, celles d’images à la façon de Midjourney, mais aussi des fonctionnalités comme l’extension de cadres, le remplacement d’éléments graphiques, la colorisation, la transcription audio et bien d’autres encore.

De son côté, Gen-2 se focalise sur la génération de vidéos. « Nous pensons que les techniques de deep learning appliquées au contenu audiovisuel changeront à jamais les outils d’art, de créativité et de conception », estime Runway. Pour cela, l’équipe met à disposition ses outils, qu’il est possible de découvrir et de tester gratuitement en ligne.

Qu’est-il possible de réaliser avec Gen-2 ?

Gen-2 propose quatre fonctionnalités principales pour la génération de vidéos. En effet, vous allez pouvoir créer une séquence animée en rédigeant simplement un prompt textuel, à la manière de ce qu’il est possible de faire avec les générateurs d’images. Nous avons par exemple demandé la création d’un extrait répondant à la requête a palmtree on a beach, soit un palmier sur une plage. En quelques dizaines de secondes, l’outil propose un extrait de 4 secondes, qu’il est possible d’allonger jusqu’à 16 secondes. Voici le rendu :

Avec un prompt un peu plus compliqué – a train getting out of a station/un train quittant une gare -, le résultat est moins convaincant :

Dans un second temps, vous allez également pouvoir générer votre extrait vidéo depuis l’association d’un prompt écrit et d’une image. En uploadant cette dernière, que vous pouvez créer directement sur la plateforme ou via une autre IA génératrice d’images, l’outil va (tenter d’)associer votre consigne écrite à votre visuel pour générer une séquence vidéo. Nous avons donc uploadé une image d’un bateau généré avec Midjourney, puis précisé qu’il s’agissait un bateau de pêche vu de haut sur une mer calme. Voici l’image d’origine, puis le résultat en vidéo :

Il est également possible de générer directement une vidéo à partir d’une image, sans ajouter un prompt. Avec notre bateau de pêche, voici le rendu… difficile à comprendre :

Enfin, vous pouvez également générer des séquences à partir d’autres clips vidéo, en s’appuyant encore sur Gen-1, la version précédente. Nous avons uploadé la vidéo créée précédemment montrant un palmier sur une plage. À l’aide de plusieurs paramètres, vous pouvez changer le style, ajouter un prompt, modifier la couleur, etc. Nous avons demandé un changement de ton, en précisant que nous voulions un coucher de soleil. L’outil propose ici plusieurs suggestions avant de vous laisser choisir celle qui vous convient pour la générer. Voici le résultat :

Gen-2, un outil à fort potentiel en cours de développement

Comme vous avez pu le voir, avec quelques expérimentations, le potentiel de Gen-2 pour la génération de vidéos se dévoile, mais reste encore largement perfectible. Runway Research ne s’en cache pas et invite les utilisateurs à signaler tous les problèmes liés à la génération, qu’il s’agisse de bugs graphiques, d’une perte de qualité, d’une mauvaise prise en compte du prompt, etc.

Néanmoins, les vidéos proposées en démonstration montrent des capacités intéressantes pour l’avenir, mais également pour les utilisateurs ayant souscrit à l’offre payante et pouvant essayer à volonté l’outil. En effet, la version gratuite se limite à 104 secondes de génération par jour. De plus, Runway propose un guide et des astuces pour réaliser de meilleurs prompts, mais également pour découvrir les nombreuses possibilités qui découlent de l’association des différents outils de la suite AI Magic Tools. Enfin, de nombreux utilisateurs aguerris dévoilent leurs créations en ligne, dont certaines sont convaincantes.

🔴 Runway Gen-2 image to video has been released!

We are now one step closer to being able to create our own movies!

Here are my top 10 generations I’ve crafted in the last 48 hours from my very own experiments! pic.twitter.com/GWzjkGWWJX

— Javi Lopez ⛩️ (@javilopen) July 24, 2023