Gen-2 impressionne avec Motion Brush, un outil IA pour animer des images

Alors qu’OpenAI a étonné son monde avec l’annonce de Sora, son générateur de vidéo par IA, d’autres acteurs précurseurs continuent d’améliorer leurs outils. C’est notamment le cas de Runway, et son modèle Gen-2, déjà plébiscité par de nombreux créateurs pour sa qualité et ses idées innovantes. Après avoir introduit la possibilité d’animer une image fixe, Runway a ajouté une nouvelle fonctionnalité permettant d’animer indépendamment les différents éléments qui composent un visuel. Explications.

Le modèle Gen-2 de Runway innove et impressionne

Sur sa plateforme en ligne, Runway propose de nombreux outils assistés par l’intelligence artificielle pour la création. Générateur d’images, édition de visuels, transcription audio… Ces Runway AI Tools offrent bien des possibilités, comme celle de générer des vidéos par IA. À l’aide d’un prompt textuel, d’une image, ou les deux, il est possible de créer de courtes séquences vidéo. Mais Runway vient d’ajouter un nouvel outil à Gen-2 : le Motion Brush.

En uploadant une image, l’outil vous permet, grâce à un pinceau, de sélectionner jusqu’à cinq éléments présents sur l’image pour les animer indépendamment les uns des autres et les faire bouger dans différentes directions, en gérant la vitesse et l’intensité du mouvement. Très simple d’utilisation et encore expérimental, il offre des résultats convaincants, même sans avoir souscrit aux formules payantes de Runway, à condition d’utiliser des visuels relativement peu complexes.

Voici comment, à partir d’une image fixe générée avec Midjourney (premier visuel), il nous a été possible d’animer les nuages, ceux de l’arrière-plan indépendamment de ceux du premier plan, en les faisant se déplacer de la droite vers la gauche :

Et voici le résultat après utilisation du Motion Brush :

Voici un deuxième exemple, à partir de cette image :

Voici le résultat après utilisation du Motion Brush de Gen-2 :

Comment accéder au Motion Brush de Gen-2 ?

L’utilisation du Motion Brush est particulièrement simple et intuitive. Pour commencer, il vous faudra créer un compte gratuitement sur la plateforme de Runway. Celle-ci vous offre des crédits génératifs, équivalents à 104 secondes de vidéo. Une fois que vous êtes connecté à la plateforme de Runway, rendez-vous sur l’outil Text/Image to Video, ou cliquez sur Start Generating si la bannière de la page d’accueil vous propose de tester Gen-2. Vous pouvez aussi sélectionner Generate Videos dans le volet de navigation à gauche de l’écran, comme sur l’image ci-dessous.

Dès lors que vous êtes sur l’interface de création, il vous sera possible d’uploader une image en cliquant sur le cadre prévu à cet effet ou en glissant-déposant votre visuel dans l’emplacement dédié. Puis, cliquez simplement sur Motion Brush, sous la boîte de dialogue destinée à accueillir un éventuel prompt.

Comment utiliser le Motion Brush de Gen-2 pour animer vos images ?

Le bouton Motion Brush vous donne accès à une nouvelle interface. Au sein de celle-ci, vous allez pouvoir déterminer plusieurs choses :

• Les boutons Brush : dans l’onglet Motion Canvas, au nombre de cinq, ils vous permettent de choisir autant d’éléments à animer sur votre image.
• Les règles d’orientation : dans l’onglet Directional motion, au nombre de trois, elles aident à déterminer la direction et la vitesse du mouvement souhaité par l’élément sélectionné. Plus une valeur est haute, plus l’élément se déplacera vite. Vous pouvez choisir une direction horizontale (x-axis, vers la gauche ou la droite), verticale (y-axis, vers le haut ou le bas), ou modifier la profondeur (z-axis, vers l’avant ou l’arrière). La règle Ambient (noise)  vous permet d’ajouter plus ou moins de mouvement ambiant.
• Les boutons de sélection : sous l’aperçu de l’image se trouve un bouton représentant un pinceau, qui vous permet de sélectionner vos éléments, et un bouton gomme, pour annuler une sélection. La réglette permet d’augmenter ou diminuer la taille de l’outil de sélection, tandis que le bouton Auto-detect area aide à sélectionner par reconnaissance automatique des éléments.
• Les boutons de retour : deux flèches figurent également sous l’aperçu de l’image. Ce sont les fonctions Undo/Redo pour annuler une action ou inverser une précédente annulation.

Il vous suffit maintenant de sélectionner les éléments (jusqu’à 5) que vous souhaitez animer, puis d’ajuster grâce aux réglettes la direction et l’intensité de leur mouvement. À noter que lors de nos expérimentations, la fonction d’autodétection était particulièrement efficace. Mais si vous choisissez la sélection manuelle, il n’est pas forcément nécessaire d’être très précis, l’outil comprenant relativement bien quels éléments vous avez désignés. Pour enregistrer vos commandes, cliquez enfin sur le bouton Done. Vous n’aurez plus qu’à cliquer sur Generate 4s pour que l’IA crée votre séquence animée de 4 secondes.

Quelques conseils pour le Motion Brush de Gen-2

Il est possible d’utiliser n’importe quelle image ou photo avec Gen-2 et son Motion Brush. Bien sûr, quelques expérimentations seront nécessaires et il n’est pas assuré que vous parveniez au résultat souhaité avec n’importe quel visuel : l’outil reste en version bêta. Mais, dans un post sur LinkedIn, Rory Flinn, utilisateur averti des IA génératives, livre quelques conseils pour vous aider :

• Commencez avec des choses simples, en sélectionnant des éléments principaux de l’image, et évitez les demandes trop complexes,
• Ne surlignez pas l’intégralité de l’image pour la rendre vivante, choisissez vos éléments à animer avec parcimonie,
• N’oubliez pas que vous travaillez dans un environnement en 3D,
• Ajouter un prompt textuel peut aider à faire comprendre le mouvement souhaité à l’outil.

Les exemples partagés ci-dessous par Rory Flinn montrent qu’avec un peu d’entraînement, il est possible d’obtenir des résultats particulièrement convaincants.

En outre, comme pour tous ses outils, Runway offre une page d’aide pour vous guider dans vos premières utilisations du Motion Brush. Et, comme souvent avec les générateurs par IA, il vous faudra quelques expérimentations pour parvenir à vos fins.