Aujourd’hui à la WWDC, Apple a annoncé une nouvelle fonctionnalité pour ses casques Apple Vision Pro VR/AR : les utilisateurs pourront bientôt créer leurs propres environnements à partir des photos panoramiques qu’ils prennent. La société a également annoncé une plus grande immersion pour les photos spatiales. Les deux améliorations arriveront cet automne.
Les environnements d’Apple Vision Pro (arrière-plans 3D immersifs et détaillés qui peuvent être activés et désactivés depuis l’intérieur du Vision Pro) sont l’une des fonctionnalités les plus remarquables du casque. Vous pouvez contrôler le niveau d’immersion comme vous le feriez avec un variateur d’intensité sur une lumière, vous permettant de mélanger réalité et virtualité comme bon vous semble, et vous pouvez utiliser votre avatar Vision cool mais étrange dans des discussions avec d’autres utilisateurs de Vision Pro dans des environnements partagés. Vraisemblablement, toutes ces fonctionnalités seront disponibles dans des environnements créés par les utilisateurs.
Mais les environnements « fonctionnent » parce qu’ils sont bien plus que des fonds photographiques. Ce sont des scènes 3D qui englobent la vision et qui comportent également des éléments sonores. Apple n’a pas fourni de détails spécifiques, mais il semble que la transformation des photos panoramiques en environnements immersifs va de pair avec l’amélioration par Apple de ses photos spatiales. La transformation d’instantanés en images 3D est déjà une fonctionnalité de Vision Pro, mais elle est limitée. La 3D n’est pas très « profonde » et ne peut être visualisée que sous l’angle où elle a été prise. L’écart entre ces photos et les environnements totalement immersifs (où l’on peut voir ce qu’il y a derrière soi, ce qu’il y a au sol, ce qu’il y a dans le ciel, etc.) est large. Même les photos panoramiques iOS, ces photos de paysages que vous prenez en tournant sur place, laissent beaucoup de blancs à remplir, comme le ciel et le sol. C’est là qu’intervient l’intelligence artificielle.
Le recadrage spatial pourrait être un pas d’Apple vers une 3D réaliste
Bien que vous ne puissiez pas créer de « vraie » 3D à moins de capturer des objets/des lieux sous différents angles, Apple a présenté sa prochaine technologie de « recadrage spatial », qui donne une indication sur la manière dont elle envisage de réaliser une 3D plus immersive à partir de photos plates et également sur la manière dont les photos panoramiques peuvent devenir des environnements. Lors de la présentation, l’argument de vente d’Apple concernant le recadrage spatial était la capacité d’améliorer vos instantanés, mais l’utilisation de l’IA générative pour remplir les parties de la photo que vous n’avez pas capturées est sans aucun doute la manière dont l’entreprise envisage de créer des photos 3D plus profondes et des environnements à 360°.
J’ai tellement aimé les photos 3D instantanées du Vision Pro que je me suis mis à créer des Splats gaussiens (des scans qui vous permettent de découvrir la vraie 3D), c’est-à-dire des objets 3D que vous pouvez voir sous n’importe quel angle dans l’espace virtuel. Découvrir des versions 3D immersives et réalistes des lieux que vous avez visités et des personnes que vous connaissez est la chose la plus cool que vous puissiez faire avec un casque VR. Mais j’ai des sentiments mitigés quant au fait de laisser l’IA « l’améliorer ». La technologie est époustouflante, mais la puissance des Splats gaussiens vient de la précision avec laquelle ils recréent les scènes que vous capturez : ma réaction est « oui, c’est ça ». exactement comment c’était d’être là. » Une création remplie d’IA ne le serait tout simplement pas, et il y a juste quelque chose de troublant à laisser l’IA modifier l’enregistrement de vos souvenirs personnels. Mais je serai toujours le premier à l’essayer.
