Valve фотограмметрия

Фотограмметрия в VR (Часть 2) (Блог Valve SteamVR)

В прошлый раз мы начали публиковать трилогию о фотограмметрии от компании Valve, в которой рассказывается, как можно самостоятельно сканировать трехмерные пространства и использовать потом в виртуальной реальности.

Обработка

Так как фотограметрия работает над определением мелких деталей по фотографиям, вам необходимо, чтобы снимки были как можно более резкими и не содержали шум матрицы. В то же время, это менее важно для действительно шумных естественных условий (каменистые скалы снимаются удивительно хорошо, к примеру), но это может иметь значение для получения  сравнительно приличных сканов, казалось бы, безликих поверхностей, например, окрашенных стен, если фото достаточно резкие. Если поверхность достаточно шероховатая, то система будет ее использовать. В противном случае, эффект будет противоположный и распознавание может не удасться, так что готовьтесь к очистке снимков. Блики и отражения очень сильно мешают. Я читал, что люди сканируют такие глянцевые объекты, как машины, посыпая мелом поверхность — таким способом вы не получите хорошую текстуру, но зато получите отличную геометрию.


Думайте о топологически простых коротких сценах сканирования. Старые здания, руины, древесные стволы, каменистые пейзажи, древние пещеры и разрушенный бетон сканируются отлично (см. видео). В то же время супер-тонкие детали, отражающие и блестящие поверхности мешают сканированию. Экспериментируйте, чтобы узнать, что работает, а что нет. Сцены, которые интересны для VR могут быть весьма небольшими — много слоев параллакса и крупный план могут смотреться фантастически, и в то же время гигантские сцены (стадионы, большие каньоны и т.д.) могут вообще не производить впечатление. Думайте в масштабах комнаты!


Сканирование сцены лучше всего выполнять в роботизированной манере захвата всего-всего шаг за шагом. Для стены оно может включать такое позиционирование, чтобы направление камеры было перпендикулярным к стене, и в кадр вошла бы вся стена по высоте. Сделайте снимок, затем шаг в сторону, снова снимок и так далее, пока вы не пройдете всю стену. Затем вы можете сделать то же самое с другой высоты или с другого угла — напоминаю про стереоскопические пары — не забывайте делать перекрытия между изображениями при передвижении и большое количество фотографий при обходе углов. «Облет» объектов с подробными снимками тоже очень полезен — не забывайте делать снимки с разных углов и пусть смежные фотографии будут очень похожи. На всякий случай, делайте снимки с избытком, это лучше, чем если вы что-то пропустите. У вас получатся сотни фотографий для детальной сцены. (Уместно использовать «Средние» и «Низкие» настройки при генерации вашего облака точек — слишком хорошая геометрия не актуальна при сканировании всей сцены. Облака точек со слишком большим количеством точек также требуют колоссального количества памяти для построения опорной сетки.)



Большая часть работы, которую я сделал, имеет узкий динамический диапазон изображения (который делает возможным съемку с рук) — и все еще возможно захватить все освещение с тщательно выбранными ручными настройками экспозиции. Съемка в RAW, а затем вытягивание теней и света в Lightroom тоже может быть полезной, хотя это и не полноценный HDR. Возможность исправить хроматическую аберрацию в программе тоже очень важна — удалите экземпляры этих отдельных цветов, которые так ужасно выглядят на картах текстур. Экспортируйте JPEG  с высоким разрешением для обработки в программе, обращая внимание на то, что все они имеют одинаковую ориентацию (портретную или альбомную) — в противном случае программа может подумать, что они сняты разными камерами. Не выполняйте обрезку, искажения и не увеличивайте резкость. Все, что требуется, это сначала вытянуть освещенные места и тени для набора снимков, которые будут использоваться для фотограмметрии, а затем еще раз экспортировать снимки с более естественным освещением для стадии генерации текстур.



Обработка полного широкого динамического диапазона (HDR) возможен в AgiSoft PhotoScan. Делайте снимки с брекетингом вашей камерой, а потом объединяйте их в OpenEXR — потом вы можете экспортировать текстуры в OpenEXR для тонирования, чтобы получить полное освещение HDR как в реальном мире. Вам понадобится штатив и много данных, но вы потенциально получите полезный для фотограмметрии детали из теней и света. Для одной из сцен, которые я захватил, геометрия была сгенерирована их HDR-изображений а затем текстурирована тщательно обработанными TIFF из Lightroom. Взгляните на работу Nurulize, связанную с HDR фотограмметрией.



Source imagery: NASA / JPL-Caltech / MSSS

Очистка

Одна почти неизвестная функция Agisoft PhotoSCan, которая доказывает невероятную полезность это возможность проектировать фотографии на другую сетку. Я очистил несколько грубых архитектурных сканов путем вычерчивания шумной геометрии в программе для моделирования, а затем заново импортировал очищенную сетку в PhotoScan  как файл obj. Так как я выдержал тот же масштаб и выравнивание, я смог перепроектировать фотографии на мои новые развертки  и получил результат — низкополигональные суперчистые модели со всем светом и текстурами, которые присутствовали на фото. (Объекты, которые очень плохо сканируются, такие как безликие плоские поверхности, легче всего смоделировать вручную).

Это также дает возможность получить геометрию по-разному. Сканирование на основе kinect, сканирование Lidar, геометрия из CAD-моделей — если масштаб и форма подходят, вы можете наложить на нее текстуру высокого разрешения, полученную таким образом с фотографий. Вы не получите карты отражения без дополнительной работы, но разумные развертки помогут вам проще их сделать.




При сканировании сцен случаются и разочарования. Например, когда, казалось бы, идеальное облако точек преобразуется в тонкие волнистые пятна — а то и вообще ни во что. Офисная мебель страдает этой особенностью, как и другие тонкие или детальные поверхности. Обходным путем может быть разделение на секции, а затем чистка, а потом снова сведение их вместе и финальная очистка.

Природные сцены могут выиграть от простого трюка, который я отыскал — помещаем сферу или цилиндр вокруг сцены, а затем используем проецирование имеющихся разверток PhotoScan, чтобы наложить образы проекта на нее. Это не совсем «правильно» но человеческий мозг, кажется, оценивает это как полное погружение в цвета и детали —  таким образом я выполнил как-то невероятно быстрое сканирование какого-то секвойного леса. Сканированная геометрия ограничена почвой и стволами деревьев на переднем плане, а все остальное — плоское и не настоящее. Для пространств большого масштаба версия с простой геометрией смотрится отлично в эффективной фотосфере для неба и более отдаленных пейзажей.




Окончание следует. Часть первую можно прочитать здесь.
Источник. Перевод Natusik.

2 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 52 оценки, среднее: 5,00 из 5 (Голосов: 2, оценка: 5,00 из 5)
Чтобы проголосовать, необходимо зарегистрироваться.
РейтингЗагрузка...

Комментарии:

Главная Форумы Фотограмметрия в VR (Часть 2) (Блог Valve SteamVR)

В этой теме 0 ответов, 1 участник, последнее обновление Картинка профиля Natusik Natusik 1 год, 2 мес. назад.

Для ответа в этой теме необходимо авторизоваться.