Premiere Pro : Adobe dévoile de nouveaux outils IA et l’arrivée prochaine de Sora

Adobe a annoncé l’ajout d’outils d’IA générative au sein de Premiere Pro, grâce notamment à un nouveau modèle vidéo pour Firefly. Ces fonctionnalités, qui seront ajoutées au logiciel de montage courant 2024, offriront « de nouvelles possibilités créatives », permettant aux utilisateurs d’ajouter ou supprimer des éléments dans une scène ou de prolonger une séquence. Adobe compte également intégrer des outils d’IA générative tiers à ses applications. On fait le point.

Dans Premiere Pro, l’IA générative se renforce

Adobe a présenté, par l’intermédiaire d’un communiqué et d’une vidéo, les nouveautés liées à l’IA générative qui seront intégrées à Premiere Pro au cours de l’année. Ces outils se basent sur un nouveau modèle vidéo pour l’IA maison d’Adobe, Firefly. Trois fonctionnalités majeures vont faire leur apparition :

• Generative extend : afin de faciliter « la synchronisation parfaite des montages et l’ajout de transitions fluides », Adobe va permettre aux monteurs, grâce à l’IA, de générer des médias supplémentaires pour allonger de quelques frames une séquence.
• Object addition and removal : l’ajout ou la suppression d’éléments au sein d’une séquence, ainsi que leur remplacement, va pouvoir se faire en quelques clics, grâce à des outils de détection et de sélection propulsés par l’IA. Il suffira aux utilisateurs de sélectionner l’élément qu’ils veulent remplacer, supprimer ou ajouter grâce à ces outils, puis de préciser leur demande à l’aide d’un prompt textuel.
• Text-to-video : dans Premiere Pro, il sera possible de générer de toutes nouvelles séquences « à l’aide d’un prompt ou du téléchargement d’images de référence ».

Découvrez ces nouveautés dans la vidéo de présentation d’Adobe :

Sora, le générateur de vidéos d’OpenAI, intégré aux applications Adobe ?

Les trois nouveautés présentées ci-dessous sont alimentées par Firefly, l’IA d’Adobe. Cependant, l’éditeur de logiciels créatifs a également annoncé s’ouvrir aux outils d’IA générative tiers. En effet, à terme, les utilisateurs de Premiere Pro pourront choisir quel modèle ils souhaitent utiliser pour leurs générations. Ainsi, il devrait être possible d’utiliser, directement dans Premiere Pro, d’autres outils de génération vidéo, comme Pika, de Pika Labs, mais aussi « les modèles de génération vidéo d’OpenAI et de Runway ». En d’autres termes, les monteurs devraient pouvoir choisir entre Firefly, Pika, Gen-2, et même Sora, au sein des applications Adobe et notamment Premiere Pro.

Sora, le générateur de vidéos d’OpenAI, a montré un potentiel impressionnant lorsque les premières images ont été dévoilées. La perspective de l’ajout de ce futur outil à Premiere Pro pourrait donc être une petite révolution pour la création et le montage vidéo assistés par IA. « En proposant de nouvelles fonctionnalités d’IA générative optimisées par Adobe Firefly et d’autres modèles tiers, Adobe permet à ses utilisateurs d’accéder à un éventail de nouvelles possibilités sans avoir à quitter les workflows de production qu’ils utilisent quotidiennement dans Premiere Pro », précise l’éditeur.

Découvrez les possibilités offertes par l’intégration de modèles d’IA tiers dans Premier Pro :

De nouveaux workflows audio au sein de Premiere Pro

Outre ces annonces concernant la génération vidéo, Adobe a également présenté de nouveaux workflows audio optimisés par l’IA. « Ils permettront aux monteurs vidéo de contrôler et d’améliorer avec précision la qualité de leur son », explique Adobe, qui dévoile quatre fonctionnalités :

• Poignées de fondu interactives : des poignées d’éléments permettent de créer des fondus et transitions audio personnalisés d’un simple glissement.
• Balisage des catégories audio : l’IA identifie automatiquement les clips audio et les catégorise dans Audio Essentiel selon qu’il s’agisse de dialogues, de musique, d’effets sonores ou d’ambiance.
• Badges d’effets : de nouveaux indicateurs visuels permettent de voir quels clips ont des effets, d’en ajouter de nouveaux et d’ouvrir directement les paramètres d’effets à partir de la séquence.
• Formes d’ondes intelligentes : les formes d’ondes se redimensionnent lorsque la hauteur de la piste change sur les clips, avec de nouvelles couleurs facilitant la lecture des séquences.

Ces quatre nouveautés intégreront Premiere Pro dans le courant du mois de mai 2024.