AI Tools : 10 outils créatifs à découvrir sur la plateforme de Runway

À l’instar de Stability AI avec ClipDrop, Runway Research a mis en place une plateforme accessible en ligne, nommée AI Tools, pour tester ses produits d’intelligence artificielle. On y trouve notamment des outils d’IA générative pour l’image et la vidéo, comme Gen-2, mais aussi des fonctionnalités pratiques pour retoucher des visuels, transcrire de la vidéo en texte ou nettoyer une bande audio. Découvrez, parmi plus de 20 outils proposés, 10 des plus intéressantes fonctionnalités disponibles sur la plateforme Runway AI Tools.

1. Générer des images

Elle est presque déjà devenue l’une des bases de l’IA générative : la création d’images à partir d’un prompt est en effet proposée par de plus en plus d’outils, de Midjourney à DALL-E, en passant par Stable Diffusion et d’autres encore. Et Runway AI Tools n’y fait pas défaut, en offrant également la possibilité de générer des visuels à partir d’une requête textuelle. Il vous est possible de choisir le format de votre image, sa qualité, son style graphique et son ambiance. Vous pouvez choisir le nombre de suggestions que vous fera l’IA, mais également lui laisser une liberté d’interprétation.

2. Créer l’image « infinie »

Runway AI Tools vous propose de créer l’image « infinie », une fonctionnalité particulièrement intéressante et ludique. Il s’agit en réalité, comme le proposent certaines IA génératives, « d’étendre » le cadre d’une image pour créer ce qu’on peut imaginer être hors-champ. Par exemple, en prenant un tableau, comme La Ruelle de Vermeer ci-dessous, nous avons sélectionné une zone à générer et entré un prompt, ici en rapport avec l’œuvre, c’est-à-dire « une peinture à l’huile de Vermeer de maisons en brique ». Dans le cadre sélectionné, l’IA va étendre le tableau original en s’adaptant du mieux possible au style, avec quatre suggestions. En répétant l’opération et en variant les prompts, il est donc possible de créer une image « infinie », à condition de disposer d’assez de crédits.

Retrouvez ci-dessous un tutoriel pour utiliser Infinite Image :

3. Étendre le cadre d’une image

L’outil d’extension du cadre d’une image est également disponible dans Runway AI Tools. Il permet d’étendre les limites de votre visuel et de laisser l’IA prolonger son contexte. Avec la version proposée, il est aussi possible de modifier le format de votre image, l’échelle de l’extension, et d’ajouter des précisions à l’aide d’un prompt, afin que ne soit généré aucun élément laissé à la discrétion de l’IA. Nous avons testé l’outil avec deux visuels générés par Midjourney au préalable. Pour le premier exemple, l’image est passée d’un format carré à un format 16/9. Et pour le second, le visuel carré adopte un format portrait pour téléphone mobile. Deux suggestions vous seront faites par l’IA, il ne vous restera qu’à choisir celle qui a votre préférence.

4. Coloriser une image

Il est possible de donner des couleurs à une image en noir et blanc avec Runway AI Tools, un outil étant entièrement dédié à cette pratique. Et il a l’avantage d’être totalement gratuit, même s’il n’est pas parfait. Il vous suffit d’uploader une image de votre choix et de simplement cliquer sur le bouton Colorize pour que l’IA ajoute en quelques secondes de la couleur à votre photo. Comme avec tous les outils, il vous sera ensuite possible de télécharger votre visuel, l’ajouter à votre dossier personnel pour pouvoir l’utiliser au sein des autres outils de la plateforme, ou le partager rapidement.

5. Transformer une séquence d’images en vidéo

Grâce à l’outil Frame Interpolation, vous allez pour générer une vidéo à l’aide d’une série de photos. À la manière d’un Gif qui n’est autre qu’une succession d’images arrêtées, cette fonctionnalité va créer une vidéo en associant vos photos successives, que vous avez pu prendre en mode rafale, par exemple. Évidemment, plus vous avez de fichiers à fournir à l’outil, meilleur sera le résultat, car il aura moins de marge de manœuvre et risquera moins de générer des incohérences. Nous avons par exemple envoyé huit photos successives d’un ordinateur qui s’ouvre. Après avoir choisi la durée de la séquence vidéo, voici le résultat obtenu :

Voici un tutoriel vous expliquant comment créer une vidéo à partir d’une séquence d’images, ainsi que ce qu’il est possible de faire en alliant cette fonctionnalité aux autres outils de Runway AI Tools :

6. Générer une séquence vidéo

Les IA Gen-1 et Gen-2 vont vous permettre de générer des séquences vidéo. Sur la plateforme en ligne, il existe plusieurs options pour ce faire.

Du texte à la vidéo

La première est très classique : en rédigeant votre prompt, de la même manière que sur un générateur d’images, Gen-2 va créer une séquence durant jusqu’à 4 secondes, qu’il sera possible d’étendre à 16 secondes. Plusieurs paramètres sont à votre disposition, comme la possibilité d’ajuster l’intensité du mouvement de caméra, de fluidifier l’enchaînement des images, etc. Voici le résultat avec le prompt « un palmier sur une plage » :

De l’image à la vidéo

Il est aussi possible de générer une vidéo à partir d’une image. Il vous suffit seulement d’uploader une image sur la plateforme, de régler vos paramètres, puis l’IA s’essayera à l’animation de votre image. Nous avons tenté l’expérience avec une image créée avec Midjourney que voici :

Et le résultat de la génération vidéo ci-dessous avec un mouvement de caméra limité :

Puis, voici une version dont la durée a été doublée (8 secondes), avec un mouvement de caméra plus ample, laissant plus de place à l’IA générative :

De la vidéo à la vidéo

Enfin, il existe une dernière méthode de génération de vidéos, basée sur l’IA Gen-1. Cet outil permet surtout de modifier des séquences en jouant avec de nombreux paramètres. En effet, après avoir uploadé votre vidéo, vous allez pouvoir changer son style, soit grâce aux nombreux assets proposés sur la plateforme, soit avec un prompt textuel ou une image. Par exemple, en reprenant la vidéo de notre palmier et en choisissant l’option « coucher de soleil », l’outil va modifier l’ambiance de la séquence, avec le résultat suivant (à noter que lors de nos quelques expérimentations, la déperdition de qualité fut relativement importante) :

7. Retirer l’arrière-plan d’une vidéo

Encore en bêta, l’outil Green Screen vous permet de retirer l’arrière-plan d’une vidéo, pour obtenir une séquence où figure votre sujet principal sur un fond transparent, ce qui vous permettra a posteriori de l’inclure au sein d’une autre vidéo. À l’aide d’un pinceau, vous déterminez les éléments à conserver et à supprimer, et vous pouvez également mettre en place le motion tracking si votre sujet est particulièrement dynamique.

Une fois ces actions effectuées, vous obtiendrez votre vidéo sur fond transparent :

Vous pourrez ensuite simplement l’ajouter à un fond vidéo différent et ce, directement au sein de l’éditeur de l’outil, comme avec l’exemple ci-dessous, réalisé très rapidement par une personne sans talent :

8. Générer des sous-titres pour une vidéo

Sur Runway AI Tools, vous allez également pouvoir générer des sous-titres automatiquement grâce à l’IA. Et ce, dans plusieurs langues, dont le français. Si l’outil n’est pas 100 % au point, il reste néanmoins impressionnant. D’autant plus qu’une fois vos sous-titres générés, vous accéderez à un éditeur qui vous permettra d’ajuster les transcriptions, de les recaler sur la timeline, de choisir la police, la taille, la couleur ou l’arrière-plan des sous-titres.

Et voici le résultat, la qualité a été volontairement réduite mais les sous-titres sont ceux produits par l’IA, sans retouche :

9. Nettoyer l’audio d’une vidéo

Runway AI Tools ne se limite pas à des outils liés à l’image ou à la vidéo, et propose également des fonctionnalités audio. Il vous est notamment possible, en un clic, de nettoyer l’audio d’une vidéo (ou d’un autre extrait audio) en retirant automatiquement le bruit non désiré. Vous allez également pouvoir supprimer les périodes de silence, ce qui élaguera automatiquement votre séquence vidéo en coupant les instants où aucun son n’est audible. Vous pouvez parallèlement ajuster le plafond sonore minimal et la netteté de la coupure dans la séquence.

10. Entraîner sa propre IA

Runway Research vous propose d’entraîner votre propre modèle d’IA générative. Trois options sont disponibles pour les utilisateurs ayant souscrit à un plan payant : entraîner un générateur de portrait, un générateur d’animaux ou une autre version personnalisée. Pour ce faire, vous allez devoir alimenter votre IA avec des images en lien avec le choix de votre modèle.

Par exemple, si vous souhaitez entraîner un générateur de portrait afin que vous soyez personnellement « générable », il vous faudra envoyer au moins 15 photos de vous et vous seul, sous tous les angles, avec des expressions et des éclairages différents. Donnez ensuite à votre modèle un mot-clé, comme votre prénom, et laissez se dérouler le processus d’entraînement, qui dure approximativement une demi-heure. Une fois celui-ci terminé, la plateforme va vous proposer une centaine d’images, dans tous les styles, figurant votre portrait.

Votre modèle d’IA sera ensuite disponible au sein du générateur d’images de Runway. Vous pourrez le sélectionner, rédiger un prompt mentionnant votre mot-clé (donc, dans ce cas, votre prénom) et créer ainsi des visuels dont vous serez le héros !

De nombreuses autres fonctionnalités et un potentiel impressionnant

Les différents outils présentés ci-dessus ne sont pas les seuls disponibles sur la plateforme Runway AI Tools. En effet, vous y trouverez également :

• Image-to-image : pour transformer un visuel à l’aide d’un prompt textuel,
• Erase and replace : pour effacer et/ou remplacer les éléments d’une image,
• Backdrop Remix : pour changer l’arrière-plan de vos visuels,
• Image Variation : pour obtenir des variantes d’une image,
• 3D Texture : pour générer des textures 3D à l’aide de prompts textuels,
• Inpainting : pour supprimer des éléments d’une vidéo,
• Text to Color Grade : pour changer la colorimétrie d’une vidéo à l’aide d’un prompt,
• Super-Slow Motion : pour passer des séquences vidéo au ralenti,
• Blur Faces : pour flouter des visages dans les vidéos,
• Depth of Field : pour ajuster la profondeur de champ de vos vidéos,
• Scene Detection : pour diviser automatiquement votre séquence vidéo en clips,
• Transcript : pour transcrire n’importe quelle vidéo en texte,
• Upscale Image : pour accroître la résolution d’une image,
• Motion Tracking : pour suivre automatiquement le mouvement d’un objet dans une vidéo.

Certains de ces outils sont gratuits, notamment ceux ne faisant pas appel à l’IA générative. Pour les autres, en créant un compte, vous obtiendrez des crédits gratuits, qui nous ont notamment permis de réaliser tous les tests présentés dans cet article. En outre, Runway a mis en place son « Academy », qui regroupe un grand nombre de tutoriels, ainsi que des conseils pour utiliser au mieux les outils mis à disposition, tout en obtenant un aperçu de leur interopérabilité, qui dévoile tout le potentiel de la plateforme.