ByteDance, la société mère de TikTok, a récemment présenté X-Portrait 2, un outil d’intelligence artificielle révolutionnaire qui transforme une simple photo en vidéo réaliste intégrant des expressions et émotions humaines bluffantes. Voici ce qu’il faut savoir à son sujet.
Aperçu de X Portrait 2 de ByteDance
X-Portrait 2 : un outil d’animation d’images capable de créer des vidéos avec des émotions faciales réalistes
Contrairement aux technologies de capture de mouvement traditionnelles, X-Portrait 2 permet de générer une animation vidéo de qualité en utilisant uniquement une photo et une vidéo de référence (dite « driving performance video », qui contient l’expression à « copier » sur l’image à animer).
Grâce à cette technologie, il devient ainsi possible de transférer les expressions faciales de la vidéo de référence vers n’importe quelle image de portrait statique (qu’il s’agisse d’un visage humain ou d’un visage de personnage fictif).
Avec ce nouveau processus, qui ne nécessite pas à l’IA de générer de 0 les expressions sur un visage, la complexité et les coûts de génération sont nettement plus réduits, tout en permettant de créer des animations vraiment fidèles à la vidéo de référence.
Pour atteindre ce niveau de réalisme, l’équipe de ByteDance a mis au point un encodeur d’expressions ultra-sophistiqué.
Formé sur de vastes ensembles de données, ce modèle capture des expressions très précises, allant du froncement de sourcils à des gestes subtils comme le tirage de langue, le gonflement des joues ou le changement de regard.
Associé aux modèles de diffusion générative, cet encodeur permet à X-Portrait 2 de produire des vidéos qui préservent fidèlement les émotions de l’acteur, offrant un niveau de réalisme proche de ceux que l’on peut retrouver dans un film d’animation.
L’une des innovations majeures de X-Portrait 2 réside dans sa capacité à dissocier les apparences des mouvements.
Cette fonctionnalité permet au modèle de se concentrer uniquement sur les expressions du visage présentes dans la vidéo de référence, sans altérer l’apparence du portrait animé. X-Portrait 2 peut ainsi transférer les mêmes expressions entre différents styles visuels, incluant non seulement des portraits réalistes, mais aussi des images de personnages de dessins animés.
5 exemples de vidéos générées par X-Portrait-2
Une technologie si réaliste qu’elle pourrait poser problème via la création de deepfakes et campagnes de désinformation ?
Malgré ses cas d’usages intéressants pour les créateurs de contenus vidéo, les créateurs de jeux vidéos ou encore les publicitaires, la technologie derrière X-Portrait 2 soulève des inquiétudes quant à son potentiel de désinformation.
En créant des vidéos réalistes à partir de photos, l’outil pourrait être détourné par des personnes malintentionnées pour produire des contenus trompeurs, des usurpations d’identité et des deepfakes difficilement détectables par les humains…
ByteDance, conscient de ces risques, a pour l’instant décidé de garder le code source privé pour éviter les abus et les usages non autorisés, notamment dans un contexte où les deepfakes peuvent avoir des conséquences politiques ou sociétales importantes.
L’entreprise n’a par ailleurs pour l’instant pas communiqué sur une éventuelle disponibilité prochaine au public (ou aux entreprises) de cette technologie.
Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).
Nous sommes aussi actifs sur LinkedIn, X, Facebook, Threads et YouTube. On s’y retrouve ?
Fondateur de LEPTIDIGITAL et consultant SEO senior (à mes heures perdues), je suis un grand passionné de marketing digital et de SEO. Avant d’être indépendant à 100 %, j’ai travaillé en tant qu’SEO manager et responsable e-commerce pour différentes sociétés (Altice Media, Infopro Digital, Voyage Privé, Groupe ERAM). (Sur le plan perso, je suis un grand curieux hyperactif aussi passionné par l’IA, la photographie et les voyages !). PS : Si vous souhaitez me contactez, privilégiez LinkedIn ou Instagram. Pour me contacter : [email protected]
