[contenu intégré]

Nous savons tous qu’une caméra traditionnelle capture une scène 3D dans une image 2D. Et l’inverse ? Existe-t-il un moyen de convertir des images 2D en une scène 3D réaliste? Ingénieurs IA avec Recherche NVIDIA travaillent sur le rendu inverse, qui est un processus qui utilise l’intelligence artificielle pour approximer le comportement de la lumière, puis reconstruire une scène 3D à partir d’une poignée d’images 2D prises sous différents angles.’ Le L’équipe de recherche de NVIDIA dit qu’il a développé une approche pour effectuer cette tâche presque instantanément. C’est l’un des premiers modèles du genre à utiliser l’entraînement par réseau neuronal et à fournir un rendu rapide.

NVIDIA a appliqué cette approche aux champs de rayonnement neuronal, également connus sous le nom de NeRF. NVIDIA dit que sa nouvelle approche, appelée NeRF instantané, est la technique NeRF la plus rapide à ce jour. Dans certains cas, c’est environ 1 000 fois plus rapide que les autres méthodes. Le modèle peut s’entraîner sur quelques dizaines de photos fixes en « minutes », et NeRF instantané peut rendre une scène 3D résultante en « dizaines de millisecondes ».’

Les nerfs utilisent des réseaux de neurones pour rendre des scènes 3D à l’aide d’entrées d’images 2D. Par exemple, supposons que vous essayez de capturer des photos d’un individu sous tous les angles. Maintenant, imaginez que vous capturez quelques dizaines d’angles différents, ce qui bien sûr ne couvre pas toutes les vues possibles du sujet. À partir de cette collection d’images 2D, un NeRF utilise l’IA pour remplir les blancs, puis forme un réseau de neurones pour reconstruire la scène globale en 3D. Un NeRF prédit la lumière dans n’importe quelle direction à partir de n’importe quel point de l’espace 3D.

Qu’est-ce qui rend Instant NeRF différent ? NVIDIA écrit: « Bien qu’estimer la profondeur et l’apparence d’un objet sur la base d’une vue partielle soit une compétence naturelle pour les humains, c’est une tâche exigeante pour l’IA. »Cette demande signifie que la formation des premiers modèles NeRF a pris des heures. NeRF instantané réduit le temps de rendu de « plusieurs ordres de grandeur » en utilisant la technique de NVIDIA, l’encodage de grille de hachage multi-résolution. La technique, optimisée pour les GPU NVIDIA, est beaucoup plus rapide.

« Si les représentations 3D traditionnelles comme les maillages polygonaux s’apparentent à des images vectorielles, les NERFS sont comme des images bitmap: ils capturent de manière dense la manière dont la lumière irradie d’un objet ou d’une scène », explique David Luebke, vice-président de la recherche graphique chez NVIDIA. « En ce sens, le NeRF instantané pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie 2D — augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage 3D.’

NVIDIA dit qu’Instant NeRF ‘pourrait être utilisé pour créer des avatars ou des scènes pour des mondes virtuels, pour capturer des participants à des vidéoconférences et leurs environnements en 3D, ou pour reconstruire des scènes pour des cartes numériques 3D. »La technologie NeRF instantanée pourrait également être utilisée pour entraîner des robots et des voitures autonomes afin de mieux comprendre les objets réels environnants.

[contenu intégré]

NVIDIA a présenté Instant NeRF lors de sa keynote GTC 2022. Si vous souhaitez regarder l’intégralité du discours du PDG de NVIDIA, Jenson Huang, consultez-le ci-dessus.