Google récidive avec une technologie 3D et de capture du noir basée sur la technologie de la lumière !

Le rôle de la lumière est crucial dans les œuvres cinématographiques, télévisuelles, les jeux vidéo et les environnements virtuels. Elle constitue un moyen de modélisation important : au cinéma, elle transmet des informations, exprime des émotions, crée une atmosphère particulière, et met en scène des personnages et leurs évolutions psychologiques. Elle influence le ton et le style de l’œuvre, et contribue à l’harmonie des contrastes. D’autres techniques de modélisation, combinées au rythme et à la mélodie de l’image, jouent un rôle essentiel dans la mise en scène.

De nombreux effets spéciaux dans les films et les œuvres télévisuelles nécessitent l'utilisation d'un écran vert ; lorsque la technologie n'est pas avancée, il arrive souvent que se produisent les « cinq effets MAO » tragiques.

Reproduire une efficacité photosynthétique parfaite est un problème complexe. Grâce aux progrès de la vision par ordinateur, il est désormais possible de restituer de manière plus « naturelle » la forme du visage et la texture de la peau, mais l’éclairage simulé manque de réalisme.

Google a récemment annoncé une nouvelle technologie basée sur la lumière : Relightables. Pour obtenir un résultat parfait.

Le processus de fonctionnement du système Relightables peut être divisé en trois parties : la capture, la reconstruction et le rendu.

Le cœur de ce système repose sur un capteur de profondeur stéréo sphérique contenant de multiples points de vue (l'initiative) des lumières de dispositifs sphériques équipés de 331 des 90 lumières programmables et d'une reconstruction de caméra haute résolution de 12,4 mp.

Le système de capture de données utilisé sur le corps humain comprend 32 caméras infrarouges (IR) et 58 caméras RGB. Les capteurs infrarouges fournissent des données 3D précises et fiables, tandis que les caméras RGB produisent des cartes normales géométriques et des textures de haute qualité. La fréquence d'enregistrement vidéo est de 60 Hz. Les chercheurs ont utilisé alternativement deux conditions d'éclairage différentes, basées sur un gradient sphérique.

Ensuite, les chercheurs téléchargent les données sur le dépôt public ; la première phase consiste à générer chaque « emplacement » la profondeur de la figure, l'image de segmentation et la grille 3D [Kazhdan et Hoppe 2013].

Ils utilisent un algorithme d'alignement de séquences pour la reconstruction de la grille, permettant ainsi à une longue séquence de partager une triangulation commune. Les chercheurs ont proposé une nouvelle méthode pour résoudre le problème du choix des images clés, en le transformant en un problème de raisonnement MRF. Chaque triangulation unique est paramétrée dans l'espace de texture 2D classique, espace qui peut être partagé avec toutes les triangulations de l'image concernée.

Chaque extrémité de la grille comporte deux zones d'éclairage sphérique à gradient d'image, permettant de générer un diagramme de blocs pour l'albédo, les normales, la brillance et l'éclairage ambiant. Ces figures, compatibles avec les moteurs de rendu standards, peuvent être utilisées dans n'importe quelles conditions d'éclairage pour régénérer l'image rendue.

Google affirme que ce nouveau système permet de perfectionner la lumière et les ombres, réduisant ainsi l'effet de flou et rendant les images de synthèse plus réalistes. Il permettra une fusion parfaite avec le monde réel, que ce soit pour le corps humain, les films, les jeux, etc. Le nombre d'éléments présents dans la scène sera également amélioré. Cette technologie pourrait révolutionner la capture 3D.