Gemini Live est le mode de conversation naturel et naturel dans l’application Gemini de Google, et elle a juste obtenu une mise à niveau importante: l’IA peut maintenant répondre instantanément à des questions sur ce qu’elle voit via l’appareil photo de votre téléphone et sur l’écran de votre téléphone en temps réel. La fonctionnalité arrive d’abord sur Google Pixel 9 et les téléphones Samsung Galaxy S25.
Vous avez depuis longtemps pu offrir des photos et des captures d’écran pour les Gémeaux à analyser, mais c’est l’aspect en temps réel de la mise à niveau qui rend cela le plus intéressant – c’est comme si le bot AI pouvait réellement voir le monde qui vous entoure. Vous vous souvenez peut-être qu’une partie de cette fonctionnalité a été montrée par Google sous le nom du projet Astra Nom l’année dernière.
Samsung dit que « ressemble à un ami de confiance qui est toujours prêt à aider », tandis que Google dit que vous pouvez utiliser les fonctionnalités améliorées pour obtenir des conseils d’achat personnalisés, dépanner quelque chose qui est cassé ou organiser un espace désordonné. Vous pouvez avoir une discussion avec Gemini Live sur tout ce que vous pouvez pointer de votre appareil photo.
Il est désormais disponible en tant que mise à jour gratuits sur les téléphones Pixel 9 et Galaxy S25, avec d’autres appareils Android qui l’obtiennent bientôt – bien que la disponibilité plus large soit liée à un abonnement avancé Gemini. Pour l’instant, il n’y a pas de liste définitive dont les téléphones sont en ligne pour la mise à jour, bien qu’il ait vraisemblablement besoin d’un certain niveau de puissance de traitement locale pour fonctionner. Il n’y a pas encore de mot à venir sur l’application Gemini pour l’iPhone.
Comme toujours, le conseil officiel est de « vérifier les réponses pour la précision », donc le simple fait qu’il y ait une nouvelle interface fantaisie à utiliser ne signifie pas que l’IA Gemini est plus fiable qu’auparavant. Vous allez également avoir besoin d’une connexion Internet active pour que cela fonctionne, afin que l’application puisse obtenir de l’aide sur le Web.
La fonctionnalité est facile à trouver: vous pouvez lancer l’interface Gemini Live en appuyant sur le bouton à l’extrême droite de la boîte d’entrée dans n’importe quel chat Gemini (il ressemble un peu à une onde sonore). De là, vous verrez deux nouvelles icônes en bas: une pour accéder à la caméra (l’icône de la caméra vidéo) et une pour accéder à l’écran du téléphone (la flèche à l’intérieur d’un rectangle).
Fermez l’interface Gemini Live, et vous constaterez que votre conversation a été enregistrée comme un chat texte standard, afin que vous puissiez vous y référer si nécessaire. Comme les nouvelles fonctionnalités sont apparues sur mon Google Pixel 9, je les ai testées en utilisant des questions auxquelles je connaissais déjà les réponses, pour vérifier les hallucinations inutiles.
Mettre les Gémeaux en direct à l’épreuve
Tout d’abord, j’ai chargé l’interface de la caméra et j’ai demandé à Gemini Live sur le Rupture épisode que je regardais sur mon ordinateur portable. Au départ, l’IA pensait que je regardais Toi– confondant probablement ses badgleys de Penn avec ses Scotts Adam, mais il a rapidement corrigé son erreur, identifiant le bon spectacle et nommant les acteurs à l’écran.
J’ai ensuite posé des questions sur un paquet avec une étiquette UN3481: batteries lithium-ion emballées à l’intérieur de l’équipement (écouteur sur-auriculaire, dans ce cas). Gemini Live a correctement compris que les batteries lithium-ion étaient impliquées, nécessitant des « soins supplémentaires » lorsqu’ils sont manipulés, mais n’ont donné plus d’informations. Lorsqu’il a poussé, il a indiqué que ces batteries étaient emballées séparément, pas dans l’équipement. Mauvaise réponse, Gemini Live – vous pensez au code un3480.
Que pensez-vous jusqu’à présent?
Gemini Live a également pu me dire comment réinitialiser ma charge Fitbit 6 lorsque j’ai pointé mon appareil photo de téléphone (bien que l’IA pensait à l’origine qu’il s’agissait d’une charge 5 Fitbit, ce qui est une erreur assez facile à faire). Il est facile de voir comment cela pourrait être utile si vous essayez de dépanner les gadgets et que vous n’êtes pas sûr des marques et des numéros de modèle des appareils.
Partager votre écran avec Gemini Live est intéressant. L’application se rétrécit sur un petit widget, afin que vous puissiez utiliser votre téléphone comme d’habitude, puis poser des questions sur quoi que ce soit à l’écran. Gemini Live a fait un bon travail pour identifier les applications que j’utilisais, et une partie du contenu de ces applications, comme des affiches de films et des photos de groupes. Il a également traduit avec précision un article sur les réseaux sociaux dans une langue étrangère pour moi.
En ce qui concerne un site Web montrant le récent match de football de Leicester contre Newcastle, Gemini Live m’a correctement dit quel était le score et quels joueurs ont obtenu les buts – toutes les informations qui étaient déjà à l’écran. Quand j’ai demandé quand le match était cependant, l’IA était confus et m’a dit que cela s’était produit le 22 mai 2023 (les mêmes équipes jouant, mais il y a près de deux ans).
Il n’y avait pas de défaut de la vitesse à laquelle Gemini Live est revenu avec des réponses, et la manière calme et rassurante qu’il a répondu, mais il y a encore des problèmes autour de la qualité des résultats. Bien sûr, la commodité de l’utiliser – pointant la caméra et dire « comment puis-je résoudre ce problème? » Plutôt que de fabriquer une requête Google complexe – signifie que de nombreuses personnes pourraient bien préférer l’utiliser même avec les erreurs, mais c’est toujours un inquiétude.
Essentiellement, ce n’est qu’une version améliorée et instantanée de la recherche visuelle: auparavant, vous pourriez simplement taper « Label UN3481 » dans Google pour la même requête. Mais alors que la liste traditionnelle des résultats de recherche des liens bleus vous permet de voir les informations que vous recherchez et de porter un jugement sur sa fiabilité et sa faisant autorité, Gemini Live est beaucoup plus une boîte fermée qui ne montre pas son fonctionnement. Bien que cela ressemble presque à la magie, à cause de cette interface, devoir revérifier tout ce qu’il dit n’est pas idéal.
