Gemini : analyser une vidéo devient jusqu’à 66 % moins cher (et ce que cela permet concrètement)

Ce que Google a changé dans la façon dont Gemini regarde une vidéo

Dans une récente annonce signée par Rohan Doshi et Mario Lučić, de Google DeepMind, Google explique le fonctionnement d’une amélioration de ses modèles Gemini qui devrait intéresser de nombreux professionnels du marketing !

Concrètement, jusqu’ici, une vidéo envoyée à Gemini était découpée en images fixes à raison d’une par seconde, puis versée intégralement dans le contexte.

Désormais, le mode agentique remplace ce découpage historique : le modèle choisit quels segments charger, à quelle fréquence d’images et via quelle modalité, frames, audio ou transcript, en appelant un outil interne au fil de son raisonnement.

L’agentic video understanding désigne donc un mode de traitement où le modèle explore lui-même la timeline et ne charge que les passages utiles (selon lui) à la question posée, au lieu d’ingérer toute la vidéo à cadence fixe.

Côté utilisation, un seul paramètre doit être ajusté : vous passez « processing » sur « agentic » dans la configuration de l’appel API. Si vous exploitez déjà l’API Gemini pour de la vidéo, il n’y a rien à réécrire dans votre pipeline, et les deux modes peuvent même coexister vidéo par vidéo au sein d’une même requête.

Le calcul de tokens qui rendait l’analyse de vidéos longues inabordable

En mode statique, la documentation de Google chiffre une seconde de vidéo à environ 100 tokens en résolution média basse, et environ 300 tokens en résolution haute.

En clair, pour un webinaire de 90 minutes : autour de 540 000 tokens en basse résolution, et près de 1,6 million en haute, soit davantage que la fenêtre de contexte d’un million de tokens. C’est ce problème qui forçait l’arbitrage entre facture élevée et perte de détail.

Appliqué à notre webinaire, le plafond de 88 % d’économie de tokens ramènerait la même analyse autour de 65 000 tokens. On passe d’un traitement qu’on réserve aux contenus stratégiques à un traitement qu’on peut lancer plus facilement à la chaine.

Si vous exploitez des replays, des podcasts vidéo ou de nombreuses vidéos, l’arbitrage sera désormais plus simple : le poste de coût cesse de suivre mécaniquement la durée pour suivre la complexité de la question posée.

Sur un budget d’API déjà tendu, c’est le genre de bascule qui rouvre des chantiers enterrés faute de rentabilité.

Ce qui est intéressant et bon à savoir : aucun frais de fonctionnalité ne s’ajoute, la grille token habituelle s’applique. Le comptage se répartit simplement autrement : les tokens de navigation sont facturés comme thought tokens, les frames, l’audio et le transcript chargés à la demande comme tool use tokens.

4 nouvelles capacités que le découpage à 1 image par seconde ne permettait pas

Et concrètement, qu’est-ce que ça débloque ? Google nomme quatre capacités que le mode statique rendait imprécises, voire hors de portée.

• Récupération de moment infra-seconde : repérer un changement d’état ou une limite de plan qu’un échantillonnage à 1 image par seconde manque. Utile pour le montage automatisé et la détection de coupes.
• Recherche très précise dans une vidéo longue : répondre à une question précise sur une vidéo de plusieurs heures sans consommer des millions de tokens. Le cas typique du dérushage de conférence ou de la veille concurrentielle sur une keynote.
• Détection d’anomalies : ré-échantillonner à fréquence plus élevée les fenêtres suspectes pour inspecter un mouvement rapide ou un artefact visuel discret.
• Comptage d’actions et d’objets : suivre des mouvements répétés ou des objets distincts dans la durée, là où le statique perdait le fil sur les séquences rapides.

Pour une équipe contenu, la première application tient en une phrase : retrouver la minute exacte où un intervenant lâche un chiffre dans une table ronde de deux heures, sans envoyer les deux heures dans le contexte.

Le chapitrage, l’extraction de verbatims et le repérage de séquences réutilisables passent du statut de tâche manuelle à celui de traitement par lot automtisé par l’IA.

Les équipes qui produisent de la vidéo en continu y gagnent en amont de leur chaîne de production, avant même de passer par les logiciels de montage vidéo assistés par IA ou par vos outils de sous-titrage habituels. La brique manquante était l’indexation fine du contenu, pas la retouche.

Les cas où il vaut mieux rester en mode statique ?

Google recommande de démarrer en agentique par défaut. Sa propre documentation conserve pourtant le mode statique dans plusieurs situations, et les ignorer coûterait plus cher que les tokens économisés.

• Sur les clips de moins de cinq minutes, la navigation ajoute des allers-retours d’outils avant la génération et allonge le temps de première réponse. Si votre produit affiche un résultat en direct à l’utilisateur, cette latence se voit immédiatement.
• Le découpage par start_offset et end_offset ainsi que le FPS personnalisé restent réservés au statique. Vous ne pouvez pas imposer une fenêtre temporelle et laisser le modèle naviguer, il faut trancher, ce qui obligera pas mal d’équipes à maintenir deux chemins de traitement.

En conversation multi-tours sans état, les steps processing_call et processing_result doivent être renvoyés dans la requête suivante. L’API ne remonte aucune erreur si vous les oubliez, la qualité des réponses de suivi chute simplement, c’est-à-dire le type de régression qu’on découvre en production et pas en recette.

Vincent Brossas

Fondateur de LEPTIDIGITAL et SUPASST, je suis également consultant spécialisé en acquisition de leads B2B (SaaS). Passionné par le marketing digital, l’intelligence artificielle et le SEO. Avant de devenir indépendant, j’ai occupé des postes clés en tant que SEO Manager et responsable e-commerce pour plusieurs grandes entreprises (Altice Media, Infopro Digital, Voyage Privé et le Groupe ERAM). Sur le plan perso, je suis un curieux insatiable, également passionné par la photographie, le badminton et les voyages. Pour toute demande de partenariat, privilégiez LinkedIn ou email ([email protected]).

www.leptidigital.fr