NVIDIA научила нейросеть рендерить 3D-окружение на основе реального мира. ИИ просматривает и анализирует записи с камеры, разделяя увиденные объекты на различные категории. ИИ выделяет здания, дороги, автомобили, деревья и другие объекты городского окружения.
Различные объекты получают свои цвета и полученная нейросетью информация обрабатывается и генерируется на движке Unreal Engine 4. В ролике можно заметить, как сотрудник NVIDIA катается по виртуально созданному окружению.
Технология получила название NeurIPS. Она также позволяет корректировать одно видео на основе другого. Например, одного из сотрудников NVIDIA насильно заставили станцевать танец из клипа PSY — Gangnam Style. Нейросеть оценила движения профессионала, после чего скорректировала танец работника компании.
