Nous pouvons gagner une commission sur les liens sur cette page.
Ma question à propos de la réalité virtuelle a toujours été : « Mais qu’est-ce que c’est ? pour » J’ai enfin une réponse : Guassian Splatting. Nous avons toujours essayé de capturer notre passé, que ce soit à travers des photographies physiques, des cassettes VHS ou toutes les images que vous avez stockées dans le cloud, mais nous avons été limités à visualiser nos histoires personnelles sur des supports plats, généralement derrière un écran, et toujours sous un seul angle. Mais Gaussian Splatting change cela. Cette technologie vous permet de créer des modèles 3D volumétriques d’objets, de personnes ou d’espaces, donc au lieu d’une image. du jouet préféré de votre enfant, vous pouvez en avoir un scan réaliste que vous pouvez examiner sous tous les angles ; au lieu d’un instantané du dîner de Thanksgiving, vous pouvez avoir un diorama photoréaliste de la salle à manger dans lequel vous pouvez vous promener.
Qu’est-ce que l’éclaboussement gaussien ?
Gaussian Splatting est un nouveau-né technologique. Il a été introduit théoriquement pour la première fois dans un article de recherche de 2023 par Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler et George Drettakis. L’article détaille une nouvelle technique de rendu qui construit des modèles 3D à partir de millions de blobs semi-transparents appelés « Gaussiens » au lieu des triangles solides utilisés dans l’infographie traditionnelle. Une fois calculées, les Gaussiennes sont « éclaboussées » sur un plan 2D par votre ordinateur, et celles-ci sont disposées et superposées en fonction de leur apparence depuis n’importe quel point de vue dans le Splat. Parce que les blobs sont semi-transparents, ils ne se bloquent pas. Ils se mélangent comme des coups de pinceau dans un tableau.
Autre bonus : Splatting offre un niveau de détail beaucoup plus élevé pour la taille du fichier par rapport aux méthodes de numérisation traditionnelles. Les scans plus anciens fonctionnent selon le principe géométrique consistant à étirer une peau virtuelle composée de triangles sur un objet. Pour une analyse détaillée, cela pourrait représenter des milliards de triangles, ce qui entraînerait une taille de fichier étouffante pour le PC. Les éclaboussures sont basées sur des probabilités mathématiques plutôt que sur une géométrie rigide. Au lieu d’un bord solide, chaque « goutte » est un petit nuage qui indique à l’ordinateur la probabilité qu’une couleur existe à cet endroit. Il stocke uniquement la position, la couleur et la transparence de millions de zones pertinentes dans l’espace, ainsi que la manière dont elles doivent refléter la lumière sous différents angles. Le résultat est des fichiers qui sont volumineux par rapport aux documents Word, mais pas au point que vous ne puissiez pas les utiliser sur un téléphone.
Le Splatting gaussien est rapidement passé de la théorie à la pratique, et désormais les Splats peuvent être créés et rendus avec seulement un smartphone décent, ce qui le rend plus accessible que les anciennes méthodes qui nécessitaient parfois des scanners laser ou des équipements spécialisés.
Pourquoi devriez-vous commencer à éclabousser
La numérisation 3D est déjà utilisée professionnellement dans des domaines tels que la cartographie de biens immobiliers pour des visites virtuelles et la création d’éléments photoréalistes pour les jeux vidéo, mais le Gaussian Splatting est suffisamment accessible pour que chacun puisse pérenniser sa nostalgie.
Splatting donne à votre futur moi (ou à vos enfants) la possibilité de « visiter » votre vie actuelle avec un niveau de réalisme à couper le souffle. Il vous permet de « mettre en bouteille » numériquement la disposition et le volume exacts d’un moment dans le temps et de les conserver. Si vos parents avaient cela, vous seriez en mesure de vous promener dans votre chambre d’enfant ou de vérifier tous les angles et détails de la première voiture que vous avez achetée.
La « préservation numérique » et la « modélisation 3D » semblent cliniques, mais les résultats des Splats gaussiens sont tout sauf stériles. Alors que la photographie capture un seul angle de lumière dans une pièce, les éclaboussures gaussiennes capturent le comportement de la lumière sous tous les angles. Le résultat n’est donc pas à quoi ressemble le passé, mais à quoi ressemble le passé. se sent comme. C’est difficile à décrire, mais capturer la qualité de la lumière sur un objet ou un lieu vous met en contact avec lui d’une manière que vous n’auriez pas cru possible. Cela, combiné au flou de Spats et à vos propres souvenirs, crée une expérience éthérée et onirique qui ne ressemble à rien d’autre. (J’aime beaucoup Splats.)
Comment commencer à éclabousser
La barrière à l’entrée pour Splatting est juste un peu de temps pour comprendre comment cela fonctionne. Vous n’avez pas besoin d’un scanner LiDAR spécialisé ni d’un PC surpuissant, juste d’un smartphone relativement récent. Voici comment commencer :
Choisissez une application: Bien que la technologie soit nouvelle, quelques applications la rendent très conviviale. Voici les deux que j’ai essayé :
-
Scanunivers: Excellent pour les utilisateurs d’iPhone, Scaniverse est gratuit et traite entièrement les Splats sur votre appareil en seulement une minute ou deux.
-
Capture 3D de Lumi: Disponible sur Android et iPhone, Luma est idéal pour les débutants, avec un processus de numérisation qui vous guide tout au long de la création de votre premier Splat.
Faire une capture: Voici quelques éléments à prendre en compte lors de votre capture.
-
Avant de commencer à numériser des emplacements ou des objets plus gros, choisissez quelque chose de petit et de simple pour bien comprendre les concepts. Mais pas les animaux de compagnie : votre sujet doit rester parfaitement immobile tout au long du processus. (Faites une exception pour votre enfant. Il ne tiendra pas assez immobile, mais avoir même une version floue de votre enfant est vital pour votre avenir.)
-
Placez votre sujet dans une pièce uniformément éclairée avec suffisamment d’espace pour en faire le tour.
-
Appuyez sur Enregistrer et marchez en cercle lent et régulier autour de votre objet, en gardant votre caméra pointée vers son centre.
-
Faites deux passes, une sous un angle élevé en regardant vers le bas, une autre sous un angle faible en regardant vers le haut.
-
Les Splats gaussiens détestent l’uniformité. Ils ont du mal avec les murs blancs unis, alors pensez en termes de textures. Évitez également les verres transparents et les miroirs qui perturbent les calculs de profondeur.
Prendre une banane : Maintenant que vous avez capturé votre Splat, faites une pause pour que l’ordinateur puisse faire son travail. Le temps que cela prendra dépend de l’application que vous utilisez, de votre téléphone et du niveau de détail de votre analyse. Scaniverse traite les Splats directement sur votre téléphone. Pour quelque chose de simple comme la guitare ci-dessous, il a fallu environ deux minutes de rendu sur un iPhone 17 Pro. Luma 3D Capture traite les fichiers dans le cloud, le temps nécessaire dépend donc du nombre de personnes devant vous dans la file d’attente. Cela peut prendre quelques minutes. Cela peut prendre quelques heures : l’application envoie une alerte lorsque la cuisson de votre image est terminée. La vidéo ci-dessous a duré plusieurs heures.
Profitez de votre création: Une fois les calculs terminés, vous pouvez visualiser votre création directement sur l’écran de votre smartphone ou de votre ordinateur. Pincez pour zoomer, faites glisser pour faire pivoter et émerveillez-vous devant la perfection avec laquelle le scan a capturé l’ambiance de l’objet ou de l’espace.
Partagez votre création: Ces applications vous offrent quelques moyens simples de partager votre mémoire volumétrique :
-
Vidéo: Vous pouvez tracer un chemin de caméra à travers votre Splat pour exporter une vidéo « survolée » fluide et 2D. Ci-dessous, mon premier scan sur YouTube avec Scaniverse (c’est bâclé ; j’étais nouveau), et mon deuxième essai avec Luma.
-
Lien Internet : Vous pouvez générer un simple lien Web et l’envoyer par SMS à vos amis ou à votre famille via les deux applications. Lorsqu’ils appuient dessus, une visionneuse 3D interactive s’ouvre dans leur navigateur : aucune application spéciale, aucun compte ou téléchargement lourd n’est requis.
Comment entrer dans vos Splats
Regarder un scan 3D sur votre téléphone ou votre PC est plutôt cool, mais vous ne pouvez pas vraiment comprendre à quel point ces choses sont époustouflantes tant que vous ne les avez pas vérifiées dans un appareil de réalité virtuelle, où vous pouvez physiquement vous promener autour de cette table de Thanksgiving ou vous pencher pour inspecter la texture sur le canapé. Voici comment procéder actuellement sur les deux plus gros casques.
Apple Vision Pro
Le puissant Apple Vision Pro était construit pour faire ça. Apple a inclus des « scènes spatiales » directement dans le système d’exploitation. Cela donne une légère touche 3D aux photos 2D, mais vous pouvez aller un peu plus loin avec des applications comme Splat Studio qui généreront une scène 3D plus profonde à partir de photos 2D et vous permettront de modifier les paramètres pour l’améliorer. Mais vous pouvez aller plus loin avec Spatial Media Toolkit. Il vous permet de transformer des vidéos 2D en vidéos 3D stéréoscopiques. Mais le boss final consiste à visualiser les Splats complets que vous avez créés vous-même avec des applications comme Luma 3D Capture ou Polycam.
Si vous suivez les étapes ci-dessus, vous devriez pouvoir exporter le fichier Splat que vous avez créé (.ply ou .spz) directement depuis votre téléphone vers votre Vision Pro et entrer dans le Splat ou vous promener autour de l’objet que vous avez numérisé. Vous pouvez également consulter les Splats téléchargés par d’autres utilisateurs.
chez Apple
Méta Quête 3 et 3S
Meta a adopté la révolution gaussienne Splat. Des applications comme AirVis (également sur Vision Pro) vous permettent de consulter les Splats que vous avez créés sur votre téléphone, et il existe même des Splats 4D disponibles sur le Quest (plus d’informations ci-dessous). Meta fait également les premiers pas vers la suppression totale des intermédiaires de votre téléphone. Hyperscape Capture est une application encore en version bêta qui utilise les caméras existantes du Quest pour scanner votre pièce, puis enregistrer une version 3D de votre espace. Meta promet que vous pourrez bientôt envoyer un lien à un ami équipé d’un casque pour qu’il puisse « venir vous rendre visite ».
499,99 $
chez Amazon
Économisez 98,01 $
L’avenir du Splatting 4D
Aussi enthousiasmé que je sois pour le Gaussian Splatting, la technologie est dans son « ère de la version 1.0 ». Capturer un Splat décent prend du temps et de la patience et nécessite que le sujet reste absolument immobile, et le résultat n’est pas toujours parfait, mais la technologie évolue suffisamment rapidement pour que la prochaine chose émerge déjà. La pointe gaussienne est le Splatting 4D : la quatrième dimension est le temps. Les 4D Splats sont des vidéos volumétriques 3D, des scènes animées que vous pouvez visualiser depuis n’importe quel point à l’intérieur ou à l’extérieur de la scène. Contrairement aux films 3D stéréoscopiques qui vous permettent de regarder depuis un seul point, ce sont de véritables holographes. Au moins, ils sont à l’intérieur d’une plate-forme VR.
La technologie est déjà utilisée commercialement, notamment dans le clip vidéo « Helicopter » de A$AP Rocky, dans lequel les artistes ont été capturés par 56 caméras et les images converties en Splats 4D, permettant d’utiliser n’importe quel angle ou mouvement de caméra impossible. Vérifiez-le:
Et il y a quelques Splats 4D que vous pouvez également consulter dans votre casque. L’application Quest 3 Gracia propose quelques vidéos volumétriques très impressionnantes. Gracia vous permet de diffuser ou de télécharger des Splats 4D de personnes et de les placer où vous le souhaitez dans la réalité augmentée. Ensuite, vous pouvez cliquer sur « Jouer » et les regarder sous n’importe quel angle, ou même vous déplacer tout autour d’eux. Pour voir ce que je veux dire, regardez cette vidéo que j’ai réalisée montrant ma vue depuis un casque Quest 3, de la chanteuse Amy May interprétant une chanson sur ma pelouse (avec une apparition de mon voisin sans aucun doute confus).
Vous ne disposez probablement pas d’une vingtaine de GoPro pour créer du contenu comme celui de Gracia, mais il existe des outils expérimentaux permettant aux consommateurs de créer des Splats 4D. KIRI Engine utilise l’outil open source ML-Sharp d’Apple pour transformer une vidéo standard à objectif unique en un splat 4D. Il ne crée pas une approximation de la 3D stéréoscopique assistée par l’IA comme Splat Studio, mais convertit chaque image individuelle en un Splat distinct. C’est trop technique pour que je puisse vraiment jouer avec et la 3D n’est qu’une conjecture et non une véritable 3D, mais je serais surpris si un moyen de prendre une vidéo volumétrique avec seulement quelques angles de téléphone intelligent n’était pas en préparation quelque part.
Les éclaboussures gaussiennes sont autant une révélation que j’imagine que les instantanés à développement instantané l’étaient dans les années 1960. Comme les premiers Polaroïds, c’est un peu pénible, et les résultats sont parfois granuleux, « rêveurs » et rappellent le pointillisme, mais l’impact émotionnel d’une nouvelle façon de voir le passé est si fort. Alors commencez à éclabousser maintenant ; votre futur moi vous remerciera.
