Сегодня мы заканчиваем публиковать трилогию Valve о подручных методах фотограмметрии для сканирования пространства и переноса сцен в мир виртуальной реальности.
Рендеринг

Итак, вы получили ваши гигантские сетки и текстуры — что дальше? Я немного поэкспериментировал с Unity и его супер-силой рендеринга на манер брут-форса. Убедитесь, что ваши текстуры имеют размер не более 8192×8192, ваши шейдеры установлены в неосвещенные текстуры и что ваши сетки рендерятся без отбрасывания теней, тогда все будет нормально. Вы можете сгенерировать сетки коллайдеров для каждого сегмента сетки, если вы хотите, чтобы виртуальные объекты сталкивались с вашей отсканированной геометрией. У меня был пользовательский шейдер для отсканированной геометрии, который мог принимать тени и рендерить с туманом и детализированием текстур на расстоянии — я мог довольно четко оценить, как виртуальные предметы вписались в такой мир.

Добавление окружающего звука, нескольких эффектов частиц, двигающихся облаков и тому подобного может заставить сцену быть весьма живой по сравнению со статичной, мертвой моделью.

С точки зрения производительности, при задаче заставить Unity рендерить сложные сетки с огромным количеством гигантских текстур подход «тупого полного перебора» на современных GPU работает неожиданно неплохо. Такие смешные сетки, как в photoScan, на 1,5 миллиона треугольников с двенадцатью сжатыми 8k DXT1 текстурами должны нормально запускаться на обычной VR-ориентированной системе.

Есть более продвинутые пути рендеринга подобных вещей — Amplify Creations делают интересную работу с виртуальным текстурированием в Unity — производительность которой вполне дружественна VR, как мы обнаружили.


Как упоминалось ранее, данная статья не является изматывающим пошаговым руководством по фотограмметрическому сканированию сцен, а служит введением и сборником советов и рекомендаций. Важно понять, что это легкодоступная технология — нужна лишь любительская цифровая камера, немного программного обеспечения и довольно производительный компьютер для обработки. Нельзя сказать, насколько сюрреалистическими получатся ваши сцены, хотя даже грубых сканов достаточно, чтобы транспортировать ваш мозг в другое место.

Я с нетерпением жду, когда люди начнут сканировать. Недоступные места, исчезающие локации, земные, фантастические — все их можно будет посетить не выходя из собственной VR-гарнитуры!

Если у вас есть доступ к демкам VR, вы можете найти этот контент в SteamVR Demos > Iceland Cinder Cone and SteamVR Demos > Valve Demo Room.

Источник, перевод Natusik
Прочитать часть первую.
Прочитать часть вторую.