Какой Виртуальная Реальность могла бы, должна быть и будет через два года (Доклад Michael Abrash на SteamDevDays 2014)

Одной из самых животрепещущих тем на прошедших SteamDevDays 2014 была тема Виртуальной Реальности. Мы решили подготовить для вас перевод самого главного доклада о том, что нас ждет в течение двух лет. Под катом презентация и выступление Michael Abrash.




VR_1


Привет, я Michael Abrash, я работаю в подразделении Виртуальной реальности компании Valve.

Сегодня я приготовил для вас миленький рассказ со всякими вкусностями и взглядами в захватывающее будущее — и я продолжу через минуту, но сначала я хочу резюмировать его в 59 слов. Я уверен, что кто-то будет считать, так что я собираюсь прочитать их для проверки:

  • Захватывающе доступное по цене железо для виртуальной реальности появится, вероятно, в течение двух ближайших лет;

  • На этот раз всё по-настоящему: мы уже строим прототипы, и это чертовски круто;

  • Наша технология должна работать для потребителей;

  • Виртуальная реальность будет лучшей и будет развиваться быстрее на ПК;

  • Steam будет ее качественно поддерживать;

  • И мы думаем, что, возможно, это перевернет всю индустрию развлечений.

Если вы уходите сегодня сразу после этих 59 слов, считайте, что ваше время потрачено не зря.

 

Все-таки, еще много чего можно рассказать на тему Виртуальной реальности, так что давайте рассмотрим ее будущее в деталях.



SteamDevDays 2014 Michael Abrash Virtual Reality 2Затем я прочитал «Лавину» Нила Стивенсона, и это помогло собрать все воедино. Когда я размышлял о том, что могло бы понадобиться, чтобы построить Метавселенную, я прикинул, что я хотя бы представляю, как реализовать на базе существующих технологий  порядка 80 её процентов. Я был слишком оптимистичен — я все еще жду своей первой Виртуальной битвы на мечах — но все же «Лавина» помогла мне понять, что сетевые трехмерные виртуальные миры — это то, что грядет.

Мой личный путь к работе с Виртуальной реальностью был долгим и извилистым, и, без удачной встречи с парой провидцев 20 лет назад, я бы не сделал первый шаг в этом направлении. Тогда я разбирался в сетях — в конце концов, я работал в Microsoft и использовал сети постоянно — видел примеры рендеринга 3D на рабочих станциях и даже написал простенький 3D-пакет для себя, так что я имел представление и о 3D в реальном времени. И я прочитал и просмотрел тонны научной фантастики, так что я был знаком с концепцией виртуальных миров. Какой бы увлекательной идея не была, даже при моих знаниях 3D и сетей, виртуальный мир для меня все равно оставался за гранью фантастики, и я не мог думать о нем серьезно.

SteamDevDays 2014 Michael Abrash Virtual Reality 3

Позже я встретился с Джоном Кармаком (John Carmack) и он два часа рассказывал о том, как он собирается воплотить в жизнь создание виртуальных 3D-миров, запущенных на постоянных серверах, с возможностью связать серверы вместе и для каждого из них построить свой мир, и как эти виртуальные миры будут срастаться, формируя киберпространство… И неожиданно я увидел образ грядущего и очень сильно захотел стать его частью. Я бросился в работу с Джоном, вышел Quake, и сегодня десятки миллионов людей ежедневно погружаются в сетевое 3D.

И я не стал бы частью этого без Нила и Джона, указавших мне путь в будущее.

 SteamDevDays 2014 Michael Abrash Virtual Reality 4

Я не провидец, но я надеюсь, что сделаю то же самое сегодня  для вас с частью Метавселенной, которая все еще не появилась — Виртуальной Реальностью. Я уверен, вы знакомы с Oculus Rift DK1, и полагаю, что большинство из вас думает, что это на данный момент не более чем любопытная фишка. Пока это ещё справедливо, но мы думаем, вам стоит уделить этому значительно больше внимания, потому что VR, вероятно, начнёт оказывать большое влияние на индустрию быстрее, чем вы думаете — и Valve трудится в поте лица, чтобы это произошло.

SteamDevDays 2014 Michael Abrash Virtual Reality 5

Два года назад мы осознали, что Виртуальная Реальность — это многообещающий способ создавать совершенно новые ощущения. Наши исследования и разработки с тех пор привели к прототипу надеваемых на голову дисплеев (шлема) — как вот этот — и набор демо, которые все вместе создали мощное ощущение так называемого «эффекта присутствия».



SteamDevDays 2014 Michael Abrash Virtual Reality 6
Чуть позже я скажу ещё много чего про эффект присутствия, но, вкратце, это чувство пребывания в каком-то другом месте в виртуальной реальности. Многие люди ощущают, как будто они были телепортированы. Эффект присутствия — это очень сильное ощущение, и оно уникально для VR; нет никаких других способов создать его. Большинство людей относятся к нему как к чему-то волшебному; и мы думаем, что люди, разок испытав на себе эффект присутствия, дико захотят повторения.

SteamDevDays 2014 Michael Abrash Virtual Reality 7

Аппаратное обеспечение, которое позволяет ощущать эффект присутствия, одновременно и ослабляет проявление укачивания, или болезни движения. Наши опыты показывают, что при выборе правильного оборудования вполне возможно обеспечить потрясающие впечатления от VR — впечатления, которые могут произойти только в VR — и от которых людей не будет тошнить. И мы очень сильно верим, что при использовании той же технологии вполне реально выпустить версию для продажи в течение двух лет.


SteamDevDays 2014 Michael Abrash Virtual Reality 8

Разумный вопрос: кто реально мог бы выпустить такой класс оборудования для Виртуальной реальности в течение двух лет? Oculus — это ведущий кандидат. Они снова сделали VR горячей темой, и они уже выпустили более 50 000 комплектов Rift DK1. DK1 не настолько хорош, чтобы вызвать сильное ощущение эффекта присутствия у большинства людей, но новая версия Crystal Cove предлагает более высокое разрешение, низкие задержки, низкое послесвечение и отслеживание перемещений — всё это ключевые элементы присутствия, как мы увидим позже, так что это большой шаг в правильном направлении.

 Цель Valve — это внедрить качественную VR для ПК, и мы поделились своими знаниями с Oculus. Мы показали им наши прототипы и демо, мы объяснили, как наше оборудование работает и предоставили им обратную связь на их аппаратные разработки. Показав им прототип с низким послесвечением, мы убедили Oculus в его важности, и отсутствие размытости в Crystal Cove — это прямой результат этого. Мы сотрудничаем с Oculus, чтобы улучшить отслеживание, дисплеи, линзы и калибровку, и мы воодушевлены тем, чего достигли. Если Oculus выполнит все хорошо, как они до сих пор делали, я думаю, что они смогут создать сильный эффект присутствия на ПК в течение двух лет. Мы надеемся, что это произойдет, потому что это будет большой толчок для VR на ПК.

 

 

SteamDevDays 2014 Michael Abrash Virtual Reality 9

После того, как оборудование, которое поддерживает эффект присутствия, будет выпущено, мы думаем, у него будет достаточно потенциала, чтобы изменить индустрию развлечений. VR не только может быстро превратиться в главную платформу, но она может изменить баланс во всей индустрии развлечений с традиционных средств массовой информации в сторону компьютерных игр. Как вы видите, по причинам задержки и пропускной способности эффект присутствия может произойти только с надеваемыми на голову дисплеями — шлемом, подключенными к устройству, которое поддерживает интенсивный 3D-рендеринг, так что нет шансов, что «железо» с недостатком вычислительной мощности справятся с задачей. Следствием этого является то, что ПК — Linux, Windows и OS X — становится лучшим местом для VR, потому что именно в них больше всего вычислительной мощности.

 Мы считаем, что VR имеет огромный потенциал в роли игровой платформы, и что у него все шансы взлететь в ближайшее время, так что мы работаем, чтобы открыть возможности VR для сообщества Steam. Во-первых, мы встраиваем поддержку VR в Steam, как вы поняли из рассказа Joe Ludwig. Во-вторых, мы продвигаем оборудование VR для ПК, продолжая сотрудничать с Oculus. И, наконец, мы разрабатываем прототипы программного обеспечения, чтобы узнать, как сделать ощущения от VR наилучшими, и мы поделимся тем, что выясним, с вами.

У нас нет текущих планов по выпуску собственного оборудования VR, но это может измениться в будущем. Прямо сейчас мы просто выясняем, что особенно прикольно в сфере VR и, когда мы узнаем больше, мы сделаем все, что нужно, чтобы внедрить VR на ПК и в Steam.

SteamDevDays 2014 Michael Abrash Virtual Reality 10

Должно быть весьма любопытно, почему мы считаем, что вам следует тщательно следить за VR, но, конечно, у вас должно быть свое мнение о ее потенциале. Лучший способ это сделать — это попробовать наши демо. К сожалению, сейчас демо занимают полчаса и требуют отдельной комнаты, и здесь на DevDays только 2 таких комнаты, так что мы не сможем показать вам здесь все те демо, которые у нас есть. Что я могу предложить вместо этого: любой партнер Steam, который будет находиться в Сиэттле в следующие несколько месяцев и хочет попробовать демо, может послать мне письмо (mabrash@valvesoftware.com), и мы обсудим время и день. После того, как вы попробуете демо, я думаю, вы согласитесь, что ближайшее будущее у VR гораздо ярче, чем все себе это представляют.

Ключ к этому яркому будущему — эффект присутствия, он столь важен, что вы должны понимать, что это, почему он имеет значение, и как сделать так, чтобы он появился. Перед тем как мы начнем обсуждать эффект присутствия как таковой, мы должны немного подготовить почву.

SteamDevDays 2014 Michael Abrash Virtual Reality 11

В Valve мы провели много времени в исследовании факторов, которые определяют, как люди ощущают виртуальную реальность. Самое важное, что мы выяснили: что ключевой фактор, который делает это ощущение уникальным и сильным — это убеждение системы органов чувств, протекающее на низком уровне — значительно ниже сознания — что они ощущают реальность.

Так как по определению вы  не осведомлены об этих системах, вам тяжело представить, что это, и почему они имеют значение. Чтобы проиллюстрировать это, я кратко опишу пример, не относящийся к VR, но наглядно демонстрирующий низкоуровневую обработку.

 SteamDevDays 2014 Michael Abrash Virtual Reality 12

Вот, к примеру, сцена на данном слайде, содержит ряд сигналов, которые указывают на значительное расстояние до второй сферы: освещение, перспектива, сходимость текстур и отношения между сферами и их тенями. Задача пользователя — изменить размер ближайшей сферы, для этого надо нажимать кнопки со стрелками вверх или вниз, пока визуально двухмерные круги на экране, соответствующие сферам, не будут иметь одинаковый размер.

И неизменно пользователь делает передний круг больше заднего (вы можете сами попробовать это здесь). Сейчас остановитесь на секунду и посмотрите на аллею. Какой круг, по-вашему, больше? Мне — задний кажется явно большим. На самом деле передний круг на 20% больше.

Это может не сработать для вас, так как эффект иллюзии на расстоянии пропадает, но если у вас получилось так же, это не удивительно. Исследования с помощью функциональной МРТ показывают, что даже в самом раннем слое зрительной коры [головного мозга], задолго до того как сознание вступает в игру, та сфера, которая кажется дальше, проецируется на бо́льшую область в мозге, даже если занимает ту же площадь на сетчатке. Зрительная система уже определяет размер до того, как информация попадет в сознание.

Существует много похожих процессоров в вашей зрительной системе, всё это способствует восприятию мира таким образом, что вы это не осознаёте. Вот еще один пример:

SteamDevDays 2014 Michael Abrash Virtual Reality 13

Взгляните на центральную часть каждого крестика. Один серый, а второй темно-желтый, так? А теперь спрячем фон, оставив только центральные части, и посмотрим, что произойдёт.

SteamDevDays 2014 Michael Abrash Virtual Reality 14

Получается, что, поскольку человеку необходимо стабильное зрение в широком диапазоне условий освещения, в низкоуровневой обработке цвета существует значительный контекстный элемент.  Разумом вы этого не осознаёте, также как и процесс обработки размера сфер в предыдущем примере, но совместно такие сигналы от низкоуровневой обработки формируют ваше ощущение мира. Если виртуальная реальность подает такие сигналы, которые стимулируют низкоуровневую обработку должным образом, вы будете ощущать себя, как будто вы действительно где-то находитесь. Если нет, вы, по каким-то странным и бессознательным причинам, отвергаете это место действия.

До сих пор все это не имело непосредственного отношения к VR, так что сейчас я приведу пример ближе к делу. Это небольшой спойлер нашего демо, так что если вы не хотите его услышать, заткните уши. Я чуть подожду, пока вы определитесь.

SteamDevDays 2014 Michael Abrash Virtual Reality 15

У нас есть демо, в котором вы стоите на выступе и смотрите со значительной высоты. Вот место действия: каменная текстура — это планка наподобие трамплина вышки для прыжков в воду, находящаяся намного выше пола квадратной комнаты с устаревшими web-страницами на стенах. Да, я знаю, это не выглядит особенно интересно, но это то, что наглядно иллюстрирует, насколько сильно VR отличается от взгляда на экран. Когда я смотрю на это на экране (даже если картинка не искажена), я ничего особого не ощущаю, но стоит мне встать на эту планку в VR, мои колени тут же дрожат, как когда я оказался на вершине Эмпайр-стейт-билдинг. Даже хотя я прекрасно помню, что я стою в демо-комнате с надетым на голову шлемом виртуальной реальности и разглядываю изнутри плохо текстурированную коробку, мое тело реагирует так же, как если бы я стоял на краю скалы. Более того, этот эффект не уменьшается со временем или при повторении. Поступающие сигналы достаточно убедительны, чтобы мое тело считало на подсознательном уровне, что это не демо-комната, а другое место в шаге от пропасти.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 16


Это чувство пребывания в каком-то месте по-настоящему, когда вы при этом находитесь в VR, хорошо известно исследователям как “эффект присутствия”, и этот эффект наиболее сильно отличает VR от 3D на экране. Присутствие отличается от погружения, которое подразумевает, что вы видите, что виртуальный мир окружает вас. Эффект присутствия означает, что вы ощущаете себя в виртуальном мире.

 При попытке объяснить эффект присутствия я неизбежно терплю неудачу — вы можете его понять, только если испытаете на себе — но я попробую. Эффект присутствия — это когда, даже если вы знаете, что вы в демо комнате и здесь нет ничего реального, вы не можете удержаться от попытки потрогать куб; когда вы автоматически наклоняетесь, чтобы не стукнуться головой о свисающую с потолка трубу; когда вы чувствуете себя дискомфортно, так как над вами висит огромная балка; когда вы не желаете шагать в пропасть. И когда вы снимаете шлем, вы чувствуете себя дезориентированными в реальном мире. Это больше, чем когда вы просто смотрите на какое-то интересное место, это как щелчок переключателем, который заставляет вас верить, глубоко в древнейших частях вашего мозга, что вы действительно в этом интересном месте. Эффект присутствия — это одно из мощнейших ощущений, которые могут случиться с вами за пределами реальности, потому что воздействует на вас по тем же каналом, что и реальность. Для многих людей это как волшебство.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 17

 

Разные люди чувствуют разную степень присутствия в наших демо, т.е. существуют значительные различия среди населения. Реакция в целом возросла по мере того, как мы улучшали наши методы, так что мы ожидаем, что, c развитием VR-технологии, эффект присутствия продолжит устойчиво усиливаться.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 18

 

Эффект присутствия трудно оценить количественно, но наши демо показали, что это очень реальный и убедительный феномен, который захватывает нас глубже в системе восприятия, чем что-либо, что было раньше, и именно поэтому мы так впечатлены Виртуальной реальностью. Мы уверены, что великолепная VR будет построена на эффекте присутствия, потому что он цепляет вас глубже, на более интуитивном уровне, чем любые другие развлечения, и поскольку он может быть воспроизведен только в VR. Следовательно, мы считаем, что построение аппаратного обеспечения, которое способно обеспечить сильный эффект присутствия — это ключ к успеху виртуальной реальности.

Итак, что нужно, чтобы вызвать эффект присутствия? Наш опыт исследований и прототипов говорит нам, что все следующие аспекты должны быть на достаточно развитом уровне, чтобы достигнуть сильного эффекта присутствия:

SteamDevDays 2014 Michael Abrash Virtual Reality 19

Я расскажу о каждом из них подробнее через минуту, но сначала я бы хотел заметить, что эти элементы уменьшают «укачивание», или болезнь движения. Пока причины укачивания не до конца хорошо понятны, разумно ожидать, что многие из тих факторов , которые сказываются на эффекте присутствия, должны влиять и на укачивание. Например, недостатки отслеживания приводят к рассогласованию между тем, что видят ваши глаза, и тем, что сообщает ваш вестибулярный аппарат, и такого рода конфликты считаются причинами укачивания.

Давайте посмотрим на каждый элемент и увидим, на что он влияет.

SteamDevDays 2014 Michael Abrash Virtual Reality 20

Широкий угол обзора, очевидно, требуется не только, чтобы ощущать погружение, но и чтобы обеспечивать визуальные подсказки для периферийного зрения, критичные для движения, равновесия и текущей осведомленности. Эффект присутствия начинает работать где-то от 80 градусов и значительно усиливается к 110 градусам — самый широкий угол, который мы тестировали.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 21

 

Разрешение — это отдельная проблема для VR, потому что широкий угол обзора рассредотачивает и увеличивает пиксели; при изображении 1K×1K и угле обзора в 110 градусов на дисплее VR, пиксельная плотность будет составлять примерно одна седьмую телевизора с большим экраном и около одной десятой от возможностей самого глаза. На самом деле эта плотность пикселей ниже, чем у оригинального Quake, запущенного на 320×200…

 SteamDevDays 2014 Michael Abrash Virtual Reality 22

у которого, как вы видите, весьма низкая плотность пикселей. Мы выяснили, что 1080-пиксельные матрицы в целом достаточны для эффекта присутствия. Мы надеемся, что 1440-пиксельные матрицы или, еще лучше, 2160-пиксельные, были бы большими шагами вперед, но пока мы не получим панели с таким разрешением, мы не узнаем этого точно.

SteamDevDays 2014 Michael Abrash Virtual Reality 23

Послесвечение, или персистентность, — это продолжительность времени горения одного пикселя. Это не особо важно для ТВ, мониторов или мобильных устройств, но невероятно важно для VR в связи с гораздо более быстрым движением глаз по отношению к дисплею на голове. Это особенно верно в связи со зрительной системой низкого уровня, называемой Вестибуло-окулярным рефлексом, который позволяет глазам оставаться стабильными во время быстрых движений головы. Чем дольше пиксели сохраняются, тем дальше пиксельные изображения размазываются по сетчатке во время движения глаза, тем более размытым мы видим место действия.

 SteamDevDays 2014 Michael Abrash Virtual Reality 24

Вот пример подобного смазывания, возникающего от послесвечения. Изображение слева — при неподвижной голове, правое — симуляция того, что происходит при неторопливом повороте головы со скоростью 120 градусов в секунду. На 60-герцовом полноперсистентном дисплее результат — два градуса размытия на сетчатке на каждом кадре, что, как вы видите, значительно уменьшает детали.

 Мы обнаружили, что послесвечение в 3 миллисекунды или меньше необходимо для эффекта присутствия в 1K×1K 110-градусном шлеме. На более высокой пиксельной плотности потребуется еще меньший уровень послесвечения.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 25

Учитывая широкий угол обзора, по мере уменьшения послесвечения должна увеличиваться частота обновления кадров. На 60 Гц низкоперсистентные изображения неприятно мерцают. Чтобы решить эту проблему, мы изготовили шлем настолько быстрый и с настолько с низким послесвечением, как только смогли. Он выдает 95 герц и успешно устраняет видимые мерцания. Более низкая частота обновления также может быть вполне адекватной, но мы это еще не тестировали.

Стоит отметить, что качество VR сильно страдает, если рендеринг не успевает за частотой обновления кадров, и будет непросто обеспечивать стабильный стереорендеринг на 95 герц, особенно при увеличении разрешения.

SteamDevDays 2014 Michael Abrash Virtual Reality 26

Наш прототип использует глобальный дисплей, где все пиксели зажигаются одновременно. Это предотвращает эффекты сжатия, растяжения и наклона, которые могут возникнуть при использовании стандартного дисплея с линейной разверткой, в котором пиксели перерисовываются последовательно в процессе обработки кадра. Возможно, артефакты дисплея с построчной разверткой можно в значительной степени исправить, подстраивая размер буфера кадров динамически, чтобы учесть движения глаз, но это еще не было доказано. Хотя движение головы может быть использовано в качестве замены для движения глаз, без отслеживания движения глаз всегда будут возникать ошибки, а миниатюрных монтируемых в шлеме систем отслеживания движения глаз с низкими задержками пока нет. Так что сейчас глобальный дисплей — это единственный подход, который работает.

SteamDevDays 2014 Michael Abrash Virtual Reality 27

Кажется, что выбор линзы или линз и проектирование оптической части должны оказаться простыми задачами. Нам пришлось использовать панель сотового телефона с увеличительными стеклами, потому что сейчас пока нет разумных способов получить достаточно широкий угол обзора, используя микродисплеи или волноводы. Кроме того, из-за требований к углу обзора, весу и индустриальному дизайну, может использоваться только 1-2 линзы на каждый глаз. Насколько трудно может быть оптимизировать такую простую систему?

 Проблема к том, что невозможно создать идеальное изображение VR с помощью 1-2 линз; существует много разных типов аберрации и искажения, так что что-то вроде этого:

 

SteamDevDays 2014 Michael Abrash Virtual Reality 28

 

… потребовалось бы, чтобы все получилось правильно. К слову, две большие линзы слева более 30 сантиметров в диаметре, и весь набор будет весить около 2.3 кг — не очень-то практично для шлема, надеваемого на голову.

 С ограничением в 1-2 линзы, исправление одной проблемы часто порождает другую, более сложную, особенно при учете требований к углу обзора. Это осложняется еще многими возможными фокусными расстояниями, размерами и глубиной просмотра.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 29

Так что дизайн линз становится процессом поиска лучших компромиссов в большом пространстве выборов, осложняющимся тем, что не существует механического способа оценить получившееся визуальное качество. Единственный тест, который имеет смысл — это проверить эти линзы в Виртуальной реальности, но это занимает слишком много времени, субъективно и варьируется от человека к человеку. Мы разработали такие системы линз, которые вполне позволяют создать эффект присутствия, но доработкой  еще долго можно заниматься.

 SteamDevDays 2014 Michael Abrash Virtual Reality 30

 

Оптическая калибровка кажется мелочью, но выяснилось, что она является критической и очень сложной задачей, потому что зрительная система человека удивительно чувствительна к малейшим ошибкам, особенно это касается движений и прямых линий. Картинка, которая выглядит превосходно, когда на нее смотришь статически, может ужасно рябить, когда вы качаете головой из стороны в сторону. Это разрушает эффект присутствия и может вызвать приступ укачивания.

 Также невозможно выяснить, что еще необходимо улучшить, пока оптическая калибровка не выполнена идеально. Вот один из примеров: до тех пор, пока мы не настроили калибровку правильно, мы не замечали некоторых сбоев слежения за перемещением головы, потому что изображение было более нестабильным, чем отслеживание. Как только мы сделали более или менее нормальную калибровку, ошибка отслеживания сразу бросилась в глаза. Суть в том, что высокоточное измерение линз и исправление полученного изображения является абсолютно необходимыми.

 SteamDevDays 2014 Michael Abrash Virtual Reality 31

В данный момент у нас есть все необходимое для того, чтобы обеспечить визуальное качество для эффекта присутствия. Тем не менее, этого не достаточно. Изображение должно быть предоставлено таким способом, что наши органы чувств поверят ему, и для этого требуется надежное отслеживание движений головы, которое сообщает про перемещения по x, y и z, равно как и про направление головы. Мы выяснили, что мы можем получить эффект присутствия при точности отслеживания позиции в 1 миллиметр и направления — в четверть градуса, обеспечивающееся в пространстве не менее полутора метров в каждом направлении.

Достигнуть этого гораздо сложнее, чем сказать — в настоящее время не существует доступной потребительской системы, которая приближается к этим цифрам. Вот, что мы использовали в наших демо:


SteamDevDays 2014 Michael Abrash Virtual Reality 32

Это работает, но, как вы видите, это не то что бы удобно для потребителей. Мы разрабатываем парочку многообещающих систем отслеживания, не требующих переклеивать обои в вашей комнате, и, хотя они могут и не удасться, они достаточно хороши, чтобы мы были уверены в том, что доступная система отслеживания не за горами.


SteamDevDays 2014 Michael Abrash Virtual Reality 33

Виртуальное изображение должно быть в нужном месте в нужное время, что означает, что у нас должна быть низкая задержка от момента движения головы до последнего фотона, испускаемого в результате этого движения. Мы выяснили, что задержка в 20 миллисекунд, вкупе с хорошей системой предсказания, нормально работает, и возможно, что задержка до 25 миллисекунд также будет адекватной. Будь задержка больше — и виртуальный мир уже не кажется находящимся на своем месте, и органы чувств уже не верят, что воспринимают реальность.

 SteamDevDays 2014 Michael Abrash Virtual Reality 34

Хочу подчеркнуть, что эффект присутствия — это не свойство какого-либо одного из элементов, которые мы обсуждали. Это свойство, которое возникает, когда все элементы достаточно хороши. Если оптика неидеально откалибрована, то место действия будет деформироваться при повороте головы, и не важно, насколько все остальное сделано хорошо. Кроме того, никакая детальность графики не убедит зрительную систему в том, что виртуальное место действия реально, если задержка слишком высока. Эффект присутствия не может быть вызван, если хотя бы один из этих ключевых элементов реализован плохо.

 Из-за ограничений во времени, это был очень краткий обзор компонентов эффекта присутствия. Если вам интересно узнать больше, читайте в моем блоге Valve.

 

SteamDevDays 2014 Michael Abrash Virtual Reality 35

Итак, как насчет аппаратных средств, которые могли бы  реально появиться в потребительском секторе в течение следующих двух лет с учетом всех ключевых элементов эффекта присутствия? Как оказалось, все выглядит на удивление хорошо. По моему мнению (основанному на разработках Valve, прототипах и скорости прогресса) шлемы виртуальной реальности, доступные обычным людям, могут быть построены к 2015 году со следующими характеристиками:

SteamDevDays 2014 Michael Abrash Virtual Reality 36

Такой шлем сможет обеспечить мощный эффект присутствия и станет превосходной попыткой массового внедрения. Со временем, VR определенно может стать еще лучше, но на это уйдет много времени и немало научно-исследовательской деятельности по разработке оборудования. В противовес этому, мы уверены, что все на этом слайде можно реализовать путем всего лишь незначительной оптимизации существующих технологий; не требуется никаких прорывов или чудес, просто качественная инженерия.

 SteamDevDays 2014 Michael Abrash Virtual Reality 37

Эта спецификация основана на нашем собственном опыте. Наши прототипы шлемов обладают всеми перечисленными характеристиками, и обеспечивают мощный эффект присутствия. Кроме того, они построены из незначительно модифицированных массово доступных компонентов, что явно указывает на возможность рентабельного массового производства.

Это не означает, что построить и выпустить потребительское оборудование VR будет легко. Мы создали лишь прототип, а не продукт. Мы думаем, что технологию, которую мы использовали, можно перенести на потребительские шлемы, но потребуется ещё много работы, чтобы превратить это в коммерческий продукт. Я уверен, что эта работа будет скоро сделана, особенно когда мы продемонстрировали, что это возможно; и если это случится, шлемы должны появиться на рынке в течение пары лет.

SteamDevDays 2014 Michael Abrash Virtual Reality 38

Помимо вопросов производства, нужно решить и улучшить еще много чего. С одной стороны, эффект присутствия выиграет от улучшения каждого ключевого элемента по сравнению с нашими прототипами. Мы можем эффективно использовать и 100-кратное увеличение количества пикселей, и более широкий угол обзора, и более низкую задержку, и более короткое послесвечение, и все остальное — все бы привело к улучшению впечатления. В частности, оптика особенно далека от оптимума. Кроме того, сделать правильное позиционирование линз для каждого пользователя — это сложная задача. Как я уже заметил, мы думаем, что мы близко подобрались к отслеживанию перемещений головы, но у нас все еще нет решения, пригодного для массового производства продаж; кроме того, отслеживание глаз могло бы здорово усилить эффект присутствия, но оно даже близко не решено. Решение на базе беспроводного соединения и отказ от проводов тоже были бы большим плюсом. И хота мы верим, что возможно модифицировать существующие экраны для поддержки короткого послесвечения, глобального дисплея и низкой задержки, это еще надо доказать, при этом потребуется близкое сотрудничество с производителями экранов.

SteamDevDays 2014 Michael Abrash Virtual Reality 39
А кроме перечисленного, есть ещё много тем, с которыми нужно разобраться в невизуальных аспектах VR. 3D аудио, тактильные ощущения, отслеживание движений тела и системы ввода могут весьма позитивно сказаться на эффекте присутствия, и при этом они являются еще большей проблемой, чем разработка шлемов. В частности, система ввода для Виртуальной реальности и ее взаимодействие с игровым дизайном лежат в основе ощущений, но при этом почти совсем не изучены. Мы ведем исследования в этих направлениях, но это займет несколько лет и потребует совместных усилий всей игровой индустрии для полного их раскрытия.

SteamDevDays 2014 Michael Abrash Virtual Reality 40

Теперь о программном обеспечении.

Даже если будет создано качественное оборудование, оно не будет иметь большого значения без программного обеспечения, способного создать обеспечить уникальные ощущения от VR, а такое программное обеспечение еще должно быть написано. Вдобавок к вопросу о том, как игры будут взаимодействовать с системой ввода, еще предстоит осознать правила того, как игроки могут двигаться по виртуальному пространству без приступов тошноты или потери эффекта присутствия. Мы обнаружили, что традиционное для FPS перемещение далеко от оптимального и склонно вызывать «укачивание», так что VR может проявляться лучше при медленном движении и взаимодействии с окружающим пространством на близком расстоянии — но тогда мы должны придумать, как создавать увлекательные игры с такими условиями. В конце концов, придётся с нуля разработать весь новый словарь VR-геймлея, как это произошло для FPS.

Взаимодействие между пользователями в VR также будет сильно отличаться — и станет более убедительным — чем на экране. Разделение виртуального пространства, ощущающегося настоящим, с другими людьми имеет огромный потенциал социального взаимодействия онлайн, но поднимает много вопросов. Помните тот промежуток времени, когда появлялись deathmatch-и, моды и командные игры на постоянных серверах? Вот и здесь будет как-то так, но в гораздо большей степени.

И теперь еще пару слов о контенте. Для примера, никто не знает, какие художественные стили работают в VR. Качественно проработанные сцены из игр, выглядящие отлично на экране, могут ощущаться отвратительными декорациями в VR, а простые сцены могут показаться поразительно реальными. Карты нормалей не выглядят убедительно, а текстуры то смотрятся нормально, то нет. Так что нам придется придумать для VR еще и новый визуальный словарь.


SteamDevDays 2014 Michael Abrash Virtual Reality 41

Теперь очередь за вами. Тектонические сдвиги такого масштаба приводят к созданию прорывных шедевров — вспомните Myst, Quake, Wii Sports, Angry Birds. VR имеет потенциал стать одной из величайших платформ, и вы можете быть на переднем краю прогресса. Все это более чем справедливо, ибо мы изучили, что отличная VR требует, чтобы особые новые ощущения разрабатывались специально для Виртуальной реальности. Эффект погружения может сделать порты игр на VR интересными, но качественная VR требует своего специфичного программного обеспечения. Как это было и с первыми 3D-играми, почти все в области ощущений Виртуальной реальности еще предстоит изобрести с нуля. Я уверен, вы видели восторженные публикации о 20-летии игры Doom. Первая игра, которая обуздает возможности VR, будет с такой же любовью вспоминаться через многие, многие годы.

SteamDevDays 2014 Michael Abrash Virtual Reality 42

Когда появится первая великая VR-игра, по нескольким причинам, скорее всего она будет именно на ПК. Во-первых, оборудование VR развивается быстрее именно на ПК, как вы можете видеть с Rift, в то время как консоли, если даже они поддерживают VR, замирают в развитии на годы. Во-вторых, будет все больше и больше разработчиков оборудования и программного обеспечения, придумывающих, как сделать удивительную VR на ПК, и только потом на консолях, т.к. на ПК дешевле экспериментировать. В-третьих, VR сможет задействовать столько вычислительной мощности, сколько получит — напомню, мы говорим о стереорендеринге на 95 Гц и выше; в этом отношении современные топовые ПК уже намного более производительны, чем консоли, и разрыв со временем будет только увеличиваться. И из-за мощности и тепловыделения, ПК всегда будут более мощными, чем мобильные устройства. Наконец, разобравшись, как создать эффект присутствия для потребителей VR и добавляя поддержку VR в Steam, Valve помогают развитию VR на ПК и в Steam, так что мы все сможем создать новые игровые ощущения. Все это означает, что в обозримом будущем именно ПК и Steam будут сердцем VR.

SteamDevDays 2014 Michael Abrash Virtual Reality 43

Ключевые выводы сегодняшнего дня просты, но имеют мощные последствиями: хорошая VR-система с доступной потребителям ценой в 2015 году более чем возможна — это бомба замедленного действия. И она взорвется, если не в 2015, то очень скоро после.

Виртуальная реальность на ПК в следующие несколько лет может быть настолько же потрясающей, как все остальное, что до этого случалось в играх. Мы делимся тем, что мы изучили, с вами, и мы продолжим это делать. Существует еще много неизученного и неисследованного в VR, и мы, конечно, не сможем сделать все сами, поэтому я надеюсь, что вы тоже погрузитесь в VR и установите с нами двустороннюю связь, так что вместе мы сможем сделать VR одной из великих революций в развлечениях.


SteamDevDays 2014 Michael Abrash Virtual Reality 44
У нас есть еще много тем для обсуждения, и я надеюсь на продолжение беседы с вами в разделе вопросов и ответов в моем блоге.
Спасибо!

Источник, перевод Natusik, редактор Alex Myodov, иллюстрации Mihanner

5 оценок, среднее: 5,00 из 55 оценок, среднее: 5,00 из 55 оценок, среднее: 5,00 из 55 оценок, среднее: 5,00 из 55 оценок, среднее: 5,00 из 5 (Голосов: 5, оценка: 5,00 из 5)
Чтобы проголосовать, необходимо зарегистрироваться.
Загрузка...

Комментарии:

Главная Форумы Какой Виртуальная Реальность могла бы, должна быть и будет ч

  • Для ответа в этой теме необходимо авторизоваться.