Не так давно мы рассказывали вам о прорывной нейросети, которую CD Projekt RED использовала при создании Cyberpunk 2077. Теперь же в сети появилось видео, которое демонстрирует работу ИИ под названием JALI. Матеуш Поплавский из польской команды, а также ряд других специалистов, в том числе представителей студии JALI, рассказали о работе нейросети.
Поплавский заявил, что лицевая анимация и синхронизация движения рта с речью (липсинк) уже были довольно неплохи в The Witcher 3, однако в Cyberpunk 2077 разработчики захотели вывести ее на новый уровень. Перед собой они поставили несколько целей. Например, они хотели добиться лучшего липсинка с выражением эмоций на лице, который работал бы на каждом персонаже в Найт-Сити и за его пределами. И да, все этого должно было быть актуальным для десяти языков и без подключения технологии захвата лица. Именно здесь разработчикам и пришла на помощь JALI. Нейросеть позволяет не только добиться хорошего липсинка и реалистичного движения лицевых мускул. Но она также реагирует на разные стили произношения и благодаря мельчайшим деталям делает персонажа живее.
Главными компонентами в лицевой анимации являются: речь, стиль речи, поведение глаз, брови, эмоции, движения шеи. JALI работает со всеми компонентами, превращая персонажей Cyberpunk 2077 в живых людей. Как это работает, вы можете увидеть ниже.
Разработчики отметили, что самым главным для них было создание достоверной синхронизации движений губ с речью. Ведь хороший липсинк можно не заметить, но вот плохой — сразу бросается в глаза.
Cyberpunk 2077 выйдет 19 ноября на ПК, PS4, Xbox One, а также на Xbox Series X и PS5.
