Le générateur de vidéos de Google fait son apparition chez quelques clients supplémentaires – les clients de Google Cloud, pour être précis.

Mardi, Google a annoncé que Veo, son modèle d’IA capable de générer de courts clips vidéo à partir d’images et d’invites, serait disponible en avant-première privée pour les clients utilisant Vertex AI, la plateforme de développement d’IA de Google Cloud.

Selon Google, ce lancement permettra à un client, Quora, d’intégrer Veo à sa plateforme de chatbot Poe, et à un autre, Mondelez International, propriétaire d’Oreo, de créer du contenu marketing avec ses agences partenaires.

« Nous avons créé Poe pour démocratiser l’accès aux meilleurs modèles d’IA générative du monde », a déclaré Spencer Chan, chef de produit chez Poe, dans un communiqué. « Grâce à des partenariats avec des leaders comme Google, nous élargissons les possibilités créatives à travers toutes les modalités de l’IA. »

Générateur phare

Dévoilé en avril, Veo peut générer des clips 1080p d’animaux, d’objets et de personnes d’une durée maximale de six secondes à 24 ou 30 images par seconde. Google précise que Veo est capable de capturer différents styles visuels et cinématographiques, y compris des plans de paysages et des laps de temps, et d’effectuer des montages sur des séquences déjà générées.

Pourquoi cette longue attente de l’API ? « La préparation des entreprises », explique Warren Warren Barkley, directeur principal de la gestion des produits chez Google Cloud.

« Depuis l’annonce de Veo, nos équipes ont augmenté, renforcé et amélioré le modèle pour les entreprises clientes sur Vertex AI. « Dès aujourd’hui, vous pouvez créer des vidéos haute définition en 720p, au format 16:9 paysage ou 9:16 portrait. Tout comme nous avons amélioré les capacités d’autres modèles tels que Gemini sur Vertex AI, nous continuerons à le faire pour Veo. »

Selon Google, Veo comprend assez bien les effets visuels à partir d’invites (pensez à des légendes telles que « énorme explosion ») et a une certaine maîtrise de la physique, y compris de la dynamique des fluides. Le modèle prend également en charge l’édition masquée, qui permet de modifier des zones spécifiques d’une vidéo, et il est techniquement capable d’enchaîner des séquences pour créer des projets plus longs.

À cet égard, Veo est compétitif par rapport aux principaux modèles de génération vidéo actuels – non seulement Sora d’OpenAI, mais aussi les modèles d’Adobe, Runway, Luma, Meta et d’autres.

Cela ne veut pas dire que Veo est parfait. Reflétant les limites de l’IA actuelle, les objets dans les vidéos de Veo disparaissent et réapparaissent sans explication ni cohérence. De plus, Veo se trompe souvent en matière de physique. Par exemple, les voitures font des marches arrière inexplicables et impossibles à réaliser.

Formation et risques

Veo a été formé sur un grand nombre d’images. C’est généralement ainsi que fonctionnent les modèles d’IA générative : lorsqu’on leur fournit des exemples successifs d’une certaine forme de données, les modèles identifient des schémas dans les données qui leur permettent de générer de nouvelles données – des vidéos, dans le cas de Veo.

Google, comme beaucoup de ses rivaux en matière d’IA, ne dit pas exactement d’où proviennent les données qui lui permettent d’entraîner ses modèles génératifs. Interrogé sur Veo en particulier, Warren Barkley s’est contenté de dire que le modèle « peut » être entraîné sur « certains » contenus de YouTube « conformément à l’accord [de Google] avec les créateurs de YouTube ». (Alphabet, la société mère de Google, est propriétaire de YouTube).

« Veo a été formé sur une variété d’ensembles de données de description vidéo de haute qualité qui sont fortement contrôlés pour des raisons de sûreté et de sécurité », a-t-il ajouté. « Les modèles fondamentaux de Google sont formés principalement à partir de sources accessibles au public.

Le New York Times a révélé en avril que Google avait élargi ses conditions d’utilisation l’année dernière, en partie pour lui permettre d’exploiter davantage de données afin d’entraîner ses modèles d’intelligence artificielle. Selon les anciennes conditions d’utilisation, il n’était pas clair si Google pouvait utiliser les données de YouTube pour créer des produits en dehors de la plateforme vidéo. Ce n’est pas le cas avec les nouvelles conditions, qui assouplissent considérablement les règles.

Bien que Google héberge des outils permettant aux webmasters d’empêcher les robots de l’entreprise de récupérer des données d’entraînement sur leurs sites web, il n’offre pas de mécanisme permettant aux créateurs de retirer leurs œuvres de ses ensembles d’entraînement existants. Google soutient que la formation de modèles à l’aide de données accessibles au public constitue une utilisation équitable, ce qui signifie que l’entreprise estime qu’elle n’est pas obligée de demander l’autorisation aux propriétaires des données ou de les dédommager. (Google affirme toutefois qu’elle n’utilise pas les données de ses clients pour former ses modèles).

En raison de la manière dont les modèles génératifs actuels se comportent lorsqu’ils sont entraînés, ils comportent certains risques, comme la régurgitation, qui se produit lorsqu’un modèle génère une copie miroir des données d’entraînement. Il a été constaté que des outils tels que Runway produisent des images fixes très similaires à celles de vidéos protégées par des droits d’auteur, ce qui peut constituer un champ de mines juridique pour les utilisateurs de ces outils.

La solution de Google consiste à filtrer Veo au niveau de l’invite, notamment pour les contenus violents et explicites. En cas d’échec de ces filtres, l’entreprise affirme que sa politique d’indemnisation prévoit une défense pour les utilisateurs de Veo éligibles contre les allégations de violation des droits d’auteur.

« Nous prévoyons d’indemniser les résultats de Veo sur Vertex AI lorsqu’il sera disponible de manière générale », précise Warren Barkley.

Veo partout

Au cours des derniers mois, Google a lentement intégré Veo dans un plus grand nombre de ses applications et services, afin de peaufiner le modèle.

En mai, Google a introduit Veo dans Google Labs, son programme d’accès anticipé, pour certains testeurs. En septembre, Google a annoncé l’intégration de Veo à YouTube Shorts, le format vidéo court de YouTube, afin de permettre aux créateurs de générer des arrière-plans et des clips vidéo de six secondes.

Vous vous demandez peut-être ce qu’il en est des risques de « deepfake » ? Google explique qu’il utilise sa propre technologie de filigrane, SynthID, pour intégrer des marqueurs invisibles dans les images générées par Veo. Il est vrai que SynthID n’est pas à l’épreuve des modifications et que Google n’a pas mis l’élément d’identification du contenu à la disposition de tiers.

Un autre échantillon de Veo. Crédits image : Google

Il s’agit peut-être de points discutables si Veo n’obtient pas de résultats significatifs. Sur le front des partenariats, Google a cédé du terrain à ses rivaux de l’IA générative, qui se sont empressés de séduire les producteurs, les studios et les agences de création avec leurs outils. Runway a récemment signé un accord avec Lionsgate pour former un modèle personnalisé sur le catalogue de films du studio, et OpenAI a fait équipe avec des marques et des réalisateurs indépendants pour présenter le potentiel de Sora.

Google a déclaré à un moment donné qu’il explorait les applications de Veo en collaboration avec des artistes tels que Donald Glover (alias Childish Gambino). L’entreprise n’a pas donné d’informations sur ces efforts de sensibilisation aujourd’hui.

L’argumentaire de Google pour Veo – un moyen de réduire les coûts et d’améliorer rapidement le contenu vidéo – risque d’aliéner les créateurs. Une étude réalisée en 2024 à la demande de l’Animation Guild, un syndicat représentant les animateurs et les dessinateurs d’Hollywood, estime que plus de 100 000 emplois dans les secteurs du cinéma, de la télévision et de l’animation aux États-Unis seront perturbés par l’IA d’ici à 2026.

Cela pourrait expliquer l’approche prudente de Google, « lente et régulière ». Interrogé à ce sujet, Warren Barkley n’a pas voulu donner d’échéance pour la disponibilité générale de Veo dans Vertex, pas plus qu’il n’a voulu dire quand Veo pourrait arriver sur d’autres plates-formes et services de Google.

Veo, Crédits image : Google

« En règle générale, nous lançons d’abord des produits en avant-première, car cela nous permet d’obtenir des commentaires concrets de la part d’un groupe sélectionné de nos clients professionnels avant que le produit ne soit disponible pour une utilisation plus large », a-t-il déclaré. « Cela nous permet d’améliorer les fonctionnalités et de nous assurer que le produit répond aux besoins de nos clients.

Dans le même ordre d’idées, Google a annoncé aujourd’hui que son générateur d’images phare, Imagen 3, est désormais disponible pour tous les clients de Vertex AI, sans liste d’attente. Il a été doté de nouvelles fonctions de personnalisation et d’édition d’images, mais celles-ci sont pour l’instant protégées par une liste d’attente distincte.

https://techcrunch.com/2024/12/03/googles-video-generator-comes-to-more-customers/