Durante un evento realizado en el marco del GTC 2022, el equipo de investigación de NVIDIA ha revelado una impresionante tecnología llamada “Instant NeRF”, que puede transformar fotos 2D en escenas 3D con tan solo invertir unos segundos. Para ello, el equipo de especialistas de la casa norteamericana aprovecha la potencia de la Inteligencia Artificial, concretamente la generada a través de los llamados campos de radiación neuronal.

Los NeRF se basan en redes neuronales para reconstruir cada escena a partir de las imágenes, prediciendo el color de la luz que se irradia en cualquier dirección. Sus responsables aseguran que se trata de la tecnología más rápida dentro de su segmento, lo que permite una aceleración de más de 1000x en algunos casos, por lo que la reproducción a 1080p se lleva a cabo en milisegundos. El investigador principal, Thomas Muller, explica que este efecto compuesto es el resultado de tres mejoras importantes:

Implementación de GPU específica para la tarea del algoritmo de renderizado/entrenamiento, que utiliza las capacidades de flujo de control de granularidad fina de la GPU para ser mucho más rápido.

Implementación de una pequeña red neuronal, que es más rápida que las rutinas de multiplicación de matrices de propósito general.

Por último, una técnica propia de codificación denominada hash grid multirresolución, que es independiente y obtiene una mejor relación velocidad/calidad.

Como era de esperar, el modelo “Instant NeRF” se desarrolla con CUDA Toolkit y la biblioteca Tiny CUDA Neural Networks. Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena.

En ese sentido, puede ser tan importante para el 3D como lo fueron las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando la velocidad, la facilidad, el alcance de la captura y el uso compartido en 3D. Las aplicaciones para esta tecnología pueden ser muchas y muy variadas, desde escanear rápidamente personas o entornos reales para usar sus diseños, hasta la implantación en robots autónomos para reforzar la percepción de forma y tamaño de objetos reales.