Oui, les nouvelles fonctionnalités d’intelligence audio de l’Apple Watch sont vraiment toujours à votre écoute

Lors de son discours du 9 septembre, Apple a annoncé l’Apple Watch Series 12 et l’Ultra 4, toutes deux dotées d’une fonctionnalité qui écoute passivement vos conversations audio toute la journée et peut les résumer pour vous à la demande. Il fait partie d’un ensemble de fonctionnalités appelé « Audio Intelligence », mais les deux fonctionnalités clés à prendre en compte ici sont :

• Rembobinage en direct : Si vous appuyez deux fois sur la couronne numérique de votre Apple Watch, un extrait de texte de votre conversation au cours des quinze dernières secondes apparaîtra.

• Récapitulatifs de Siri : Votre montre écoute vos conversations et génère un résumé IA de tous vos fichiers audio transcrits à la fin de chaque journée.

À première vue, le concept de base ressemble à un cauchemar en matière de confidentialité, mais Apple a mis en place certaines garanties pour aider les utilisateurs à se sentir plus à l’aise avec cette fonctionnalité : l’audio capturé n’est jamais enregistré ni stocké et ne quitte jamais votre appareil ; il est essentiellement supprimé immédiatement et en temps réel du stockage local ; seule une version tronquée est téléchargée sur les serveurs Apple Private Cloud Compute pour le traitement de l’IA, et la transcription résultante qui vous est livrée est cryptée de bout en bout.

Néanmoins, il existe certains problèmes potentiels en matière de confidentialité qui méritent d’être pris en compte, d’autant plus que vous obligerez essentiellement tout le monde autour de vous à l’utiliser sans leur consentement.

Comment Audio Intelligence fait une transcription de ce qu’elle entend

Les montres des séries 12 et Ultra 4 fonctionnent sur une puce S11 avec une fonction Secure Exclave, un compartiment de stockage local partitionné auquel même le système d’exploitation ne peut pas accéder. Lorsque votre Apple Watch capte le son ambiant, il est envoyé directement dans ce tampon protégé, où il est crypté, puis envoyé vers un Secure Enclave correspondant sur votre iPhone couplé.

À partir de là, votre iPhone le transcrit localement à l’aide d’un modèle d’IA sur l’appareil pour créer une version résumée qui représente la moitié de la longueur de l’audio réel, en supprimant tout sauf l’essentiel et en supprimant toute information d’identification. Une fois les données audio écrasées, la transcription est envoyée au Private Cloud Compute d’Apple avec des métadonnées génériques, comme un emplacement approximatif et des horodatages.

Aucune des données audio n’est liée à votre identifiant Apple une fois qu’elles atteignent les serveurs à ce stade. Apple utilise un relais tiers pour masquer votre adresse IP lors du téléchargement des données vers Private Cloud Compute, de sorte que même leurs employés ne peuvent pas vous identifier depuis votre appareil. Sur les serveurs Private Cloud Compute, vos données audio sont résumées par Siri AI. C’est ainsi que vous vous retrouvez avec des résumés textuels quotidiens de votre audio, à condition d’opter pour Siri Recap. Les résumés Siri Recap sont automatiquement supprimés tous les sept jours, sauf si vous choisissez de les enregistrer individuellement.

Tout cela peut sembler parfaitement sécurisé, mais voici la partie risquée : si vous choisissez d’enregistrer un résumé de conversation avec Siri Recap, ces données sont téléchargées sur votre stockage iCloud et peuvent même être enregistrées dans des applications comme Apple Notes ou Journal. Les violations de données au niveau du serveur dans des entreprises comme Apple sont rares, mais les piratages au niveau des comptes se produisent plus souvent que vous ne le pensez : 900 000 connexions iCloud compromises ont été trouvées sur un serveur public après une fuite de données en janvier dernier.

Si quelqu’un parvient à pirater votre identifiant Apple ou à accéder à votre iPhone non sécurisé, il pourra peut-être afficher tous les résumés de vos conversations enregistrées à partir d’un seul endroit. Et ce n’est pas seulement la violation potentielle de données qui devrait vous effrayer, mais aussi tous les problèmes de confidentialité qui y sont associés.

Les montres des séries 12 et Ultra 4 seront désormais dotées de la nouvelle fonctionnalité d’intelligence audio d’Apple
Crédit : Apple

Un cauchemar potentiel en matière de confidentialité

Apple a passé beaucoup de temps à réfléchir aux moyens de protéger ses clients lorsqu’ils utilisent la fonction Audio Intelligence, mais aucune de ces protections ne s’étend aux autres personnes susceptibles d’être assises autour de la table ou dans la même pièce que vous.

À son honneur, Apple a ajouté un carillon audio et un bref signal visuel qui joue sur votre montre chaque fois que la fonction Live Rewind est déclenchée. Ceci a pour but d’informer votre entourage qu’il est écouté. Live Rewind n’identifie pas non plus les locuteurs, donc il ne nommera pas ou n’identifiera pas la personne qui parle dans les transcriptions ou les résumés, mais rien de tout cela n’empêche réellement les gens d’être écoutés sans leur consentement explicite.

La mise en œuvre de Siri Recap est sans doute encore pire. Il n’a aucun signal sonore ou visuel pour indiquer qu’il est en cours d’exécution, donc personne ne sait qu’il est surveillé si vous activez cette fonctionnalité. La documentation d’Apple sur la confidentialité est visiblement rare en ce qui concerne la question du consentement, à l’exception d’un vague avertissement sur les pages produits qui vous conseille de « faire attention à ceux qui vous entourent ».

Il s’agit d’une préoccupation potentielle non seulement pour d’autres personnes qui pourraient craindre d’être espionnées à chaque fois qu’elles voient une Apple Watch, mais également pour les utilisateurs d’Apple Watch eux-mêmes, s’ils se trouvent dans une région où les lois locales exigent le consentement avant d’enregistrer de l’audio : quelque 12 États américains ont des lois explicites sur le consentement de toutes les parties qui interdisent les enregistrements non divulgués, tandis qu’en dehors des États-Unis, de nombreux pays de l’UE ont institué des exigences similaires ; le RGPD de l’UE interdit également les enregistrements contenant des informations personnellement identifiables sans divulgation.

Utiliser une Apple Watch avec la fonction Audio Intelligence activée peut sembler vous mettre en violation de ces lois, mais à ce stade, il semble que l’appareil fonctionne dans une zone grise, comme le note la documentation de confidentialité d’Apple :

Les fonctionnalités Audio Intelligence ne créent pas d’enregistrements audio accessibles par le système d’exploitation, les applications, l’utilisateur ou Apple. Il n’y a aucun enregistrement à partager, à transmettre ou à produire à la demande d’une partie, car aucun enregistrement n’existe.

Le tampon Secure Exclave dans lequel l’audio est initialement traité est « un flux continuellement écrasé qui existe uniquement dans le matériel protégé et ne crée jamais d’enregistrement audio », explique Apple, ce qui signifie que personne n’a besoin de consentir à être enregistré. Théoriquement. Mais Apple a ressenti le besoin d’entrer dans les détails pour expliquer comment la fonctionnalité techniquement ne viole aucune loi sur la confidentialité ne le rend probablement pas moins dystopique à ceux qui sont enclins à le voir de cette façon.

Comment activer ou désactiver l’intelligence audio

Compte tenu de tous les problèmes de sécurité potentiels, c’est une bonne chose qu’Apple ait au moins rendu ses fonctionnalités Audio Intelligence facultatives uniquement. Ils ne seront pas activés par défaut sur votre nouvelle Apple Watch et vous pouvez choisir d’activer ou de désactiver des fonctionnalités individuelles à votre guise. Voici ce qu’il faut rechercher :

• Reconnaissance sonore : Ouvrez l’application Paramètres sur votre iPhone. Accédez à Accessibilité > Reconnaissance sonore et de nom > Reconnaissance sonore. Ici, vous pouvez basculer le « Détecter à l’aide d’Apple Watch » option activée ou désactivée.

• Reconnaissance musicale : Ouvrez l’application Paramètres directement sur votre Apple Watch. Appuyez sur Smart Stack. Activez ou désactivez la « Détection de musique » selon vos besoins.

• Rembobinage en direct : Ouvrez l’application Watch sur votre iPhone. Aller à Siri > Rembobinage en direct. Vous pouvez choisir d’activer ou de désactiver « Double Click Digital Crown » pour contrôler cette fonctionnalité.

• Récapitulatif de Siri : Encore une fois sur l’application Watch sur votre iPhone, accédez à Siri > Récapitulatif de Siri. Vous pouvez activer ou désactiver la fonctionnalité ici, ou même définir un calendrier d’exécution automatique si vous le souhaitez. Siri Recap peut également être activé et désactivé en appuyant sur une seule bascule dans votre centre de contrôle.