VR собирается изменить кинопроизводство навсегда: вот как

Голливуд говорит о виртуальной реальности. На конференции Oculus Connect в прошлом месяце целая группа выпускников Голливуда рассказала о технологии и ее применениях в кинопроизводстве.

Тем временем в отрасли начинают проявлять себя сильные нападающие. Джеймс Кэмерон ненавидит это. Дэвид Аттенборо снимает документальный фильм об этом. У недавнего (превосходного) фильма Interstellar был опыт VR, продвигающий это.

Виртуальная реальность — это новый способ общения с вашим зрителем, и многие люди, имеющие опыт традиционного кинопроизводства, находят эти возможности захватывающими. Виртуальная реальность, а не просто окно в новый мир, позволяет режиссерам контролировать весь мир вокруг зрителя.

Что вы можете сделать с камерой VR?

Не нужно много воображения, чтобы получить представление о VR-камерах. Кинематографисты могут буквально познакомить зрителей со своими персонажами и погрузить их в захватывающие, причудливые миры. Фотографы могут снимать целые сцены, застывшие во времени, которые могут быть просмотрены кем угодно и где угодно в мире.

Документалисты могли брать зрителей в места, которые они никогда бы не смогли посетить. Они могли отправить VR-камеру на дно океана и позволить зрителям стоять посреди затонувшего бального зала Титаника. Документальные фильмы о природе могут манипулировать временем и пространством, помещая пользователей среди муравьев размером с собаку, или создавая иммерсивные последовательности промежутков времени. НАСА может установить камеру VR на марсоходе и позволить миллионам людей стоять на красной планете.

Есть, конечно, и более обыденные приложения:

Одним из ключей к успеху потребителя в виртуальной реальности станут стереоскопические панорамные видеоролики о кошках.

— Джон Кармак (@ID_AA_Carmack) 6 ноября 2014 г.

Живое VR-видео также может быть очень убедительным. Спортивные игры можно посещать дистанционно, камеры ВР предоставят всем места для суда. Даже туризм может быть виртуальным.

Пользователи могут арендовать простого робота для телеприсутствия (возможно, Segway с камерой VR на руле) и пилотировать его в любой точке мира. Segway будет транслировать свое видео в прямом эфире, позволяя туристам фактически «телепортироваться» по всей планете, чтобы исследовать где угодно. Кажется, можно с уверенностью сказать, что VR собирается изменить мир

,

VR-кинопроизводство имеет много проблем, хотя. Как режиссеры могут перемещать камеру, сохраняя при этом удобство просмотра? Как режиссеры режут фильм, не дезориентируя зрителя? Как они удостоверяются, что зритель смотрит в правильном направлении, чтобы поймать важные события сюжета? Крупные планы вообще имеют смысл?

Возможно, самые большие проблемы — это практические: как вы записываете контент для виртуальной реальности? Рендеринг реального VR-контента для игр требует больших вычислительных ресурсов, но концептуально прост. Запись реальной жизни, напротив, ставит некоторые серьезные проблемы.

Панорамная Камера

Самое простое решение (и единственное широко используемое на данный момент) — это простой панорамный захват видео. В этой схеме шар обычных камер используется для записи видео во всех направлениях, а результаты сшиваются вместе с программным обеспечением для создания цельной сферы видео. Это очень похоже на панорамы, которые вы делаете

е с вашего телефона, но записаны одновременно в видео формате. Вывод процесса выглядит примерно так:

Это просто и дешево. Вы можете предварительно заказать панорамную камеру примерно за 700 долларов, но у нее есть ограничения. Наиболее важным является недостаток глубины: панорамы отображаются в бесконечно большой сфере, поэтому параллакс между вашими глазами равен нулю даже для тех частей изображения, которые действительно должны иметь глубину, как у человека, стоящего рядом с вами.

Несмотря на этот недостаток, впечатления от панорамного видео по-прежнему удивительно хороши, особенно для контента, который происходит на расстоянии (хороший пример — аэрофотосъемка). Около недели назад я создал приложение Oculus Rift, которое отображает виртуальную кабину внутри видео выше, и результаты поразительны: это похоже на поездку на подводной лодке, окруженной морскими черепахами размером с небольшие здания.

Думайте о таком виде VR-контента как о личном супер-IMAX-кинотеатре, в котором вы стоите в центре огромного сферического экрана. Ощущение места, обеспечиваемое сферическим видео, уже невозможно с традиционными инструментами кинопроизводства. Даже с его ограничениями, вероятно, именно так будет выглядеть большинство VR-видео в ближайшем будущем. Документальный фильм Ричарда Аттенборо («Покорение небес») снимается в этом формате.

Стерео панорамная камера

Допустим, режиссер недоволен ограниченностью моноскопических панорам. Одним из очевидных расширений этой технологии является внедрение параллельной трехмерной технологии.

, Для этого аппаратным средствам нужны две параллельные камеры, ориентированные в каждом направлении, смещенные примерно на 6,3 см. Затем камера использует программное обеспечение для сшивания двух панорамных изображений: одного для левого глаза и одного для правого. Разница между ними создает иллюзию глубины. Продукты, поддерживающие этот опыт, доступны, хотя и стоят дорого (995 долларов плюс стоимость десяти камер GoPro).

Стремясь сделать этот вид контента более массовым, Samsung недавно анонсировала «Project Beyond», стереофоническую панорамную камеру VR для мобильной гарнитуры Oculus-Samsung Gear VR. Текущий прототип имеет форм-фактор небольшой шайбы, использует 17 HD-камер и отображает гигапиксельные данные в секунду.

При 30 кадрах в секунду это получается для панорамных кадров, которые составляют около 15 мегапикселей на глаз, или около 50 000 пикселей на глаз на градус. Информация о ценах все еще остается загадкой, и Samsung подчеркивает, что это не законченный проект. Вы можете увидеть их предварительный просмотр видео ниже.

Стерео панорамы явно лучше, чем их моноскопические братья: большие вещи выглядят большими, маленькие выглядят маленькими, объекты имеют глубину и положение, и это больше похоже на то, как они там находятся. Тем не менее, опыт все еще далек от совершенства. Как описывает Джон Кармак в своем выступлении Oculus Connect, стереопанорамы имеют много проблем.

«… Стереоскопические панорамы, будь то кадры или видео, — это просто взлом. Есть — мы знаем, что такое право, а это не правильно. То, что они в итоге делают, это то, что у вас есть срезы, взятые с нескольких камер, так что прямо вперед это подходящая стереосистема для паузы, а затем здесь она подходит для этого. Но это означает, что если вы смотрите на то, что было правильным для глаз здесь, но вы смотрите краем глаза здесь, это определенно не правильно. Это не правильное неравенство для глаз.

И, что еще хуже, если вы поворачиваете голову вот так [поворачивает голову], все становится плохо, потому что она настроена только на глаза. Так что это было интересно. У нас есть материал, в котором мы в основном знаем, что это может быть отравлено, это может быть очень плохим опытом, если люди, на которых вы тратите много времени, бездельничают. […]

Это технические проблемы, которые, возможно, могут быть решены с помощью лучшего оборудования. Однако есть более глубокая проблема: что происходит, когда вы двигаете головой? Панорамы для обоих глаз по-прежнему воспроизводятся в бесконечности: физическое движение вашей головы вызовет тошнотворное ощущение, что мир движется вместе с вами, особенно если рядом находятся объекты. Нет простого способа выяснить, как будет выглядеть стереоскопическое изображение с новой точки зрения.

Несмотря на эти ограничения, стереопанорамы по-прежнему впечатляют. Платформа Gear VR будет сфокусирована на такого рода опытах, поскольку они могут создаваться с использованием современного оборудования и отображаться без ущерба для возможностей рендеринга оборудования. Стереопанорамы, вероятно, станут золотым стандартом для создания VR-контента, по крайней мере, в течение следующих нескольких лет.

Глубина Камеры

Альтернативой захвату двух изображений рядом друг с другом (как в традиционных 3D-фильмах) является захват так называемых изображений глубины: одно изображение, снятое с одной точки зрения, которое содержит дополнительный цветной канал, в котором хранится расстояние от объектива. рассматриваемого пикселя.

Если у вас это есть, программное обеспечение может имитировать виртуальные камеры, просматривая изображение с новой точки зрения, всегда следя за тем, чтобы у каждого глаза было новое, правильное изображение. Можно генерировать панорамные изображения глубины, которые обеспечивают естественное движение и вращение головы, что невозможно при использовании стереопанорамы. Есть несколько технологий, которые вы можете использовать для захвата этих изображений глубины.

Время полета

Вероятно, вы знакомы с версией этой технологии, которая используется в Kinect. Kinect V2 (версия, поставляемая в комплекте с Xbox One) опирается на так называемую камеру времени полета.

Теория здесь проста: камеры времени полета — это инфракрасные камеры, которые способны записывать не только то, где свет попадает на датчик, но и когда свет падает на датчик, с точностью до нескольких микросекунд. Это в сочетании с цветной видеокамерой и инфракрасным стробоскопом. В начале каждого кадра инфракрасный стробоскоп мигает, освещая сцену очень кратко. По времени, сколько времени требуется каждому пикселю, чтобы наблюдать вспышку, камера может определить по скорости света, как далеко каждый пиксель находится от камеры.

Эта технология чрезвычайно мощная. Хакеры сделали невероятные вещи

с этим. Используя несколько Kinect в перекрывающейся конфигурации, можно создать панораму сцены с точным значением глубины для каждого пикселя, которую можно отобразить в виртуальной реальности, чтобы создать эффект погружения с правильной глубиной.

Чтобы получить представление о том, какие результаты дает этот подход, посмотрите это видео, демонстрирующее результаты работы только глубинной камеры Kinect V2.

Это высокое качество изображения глубины — много деталей, чистые края и не слишком много шума. Однако есть некоторые ограничения: самое большое предостережение в том, что Kinect в этом примере записывает сцену в помещении с тщательно контролируемыми условиями освещения.

В реальных сценариях (и особенно на открытом воздухе) окружающие инфракрасные помехи от прямых и непрямых солнечных лучей и ламп накаливания могут ухудшить точность. Существует также более фундаментальная проблема, заключающаяся в том, что время полета камер зависит от активного освещения. Это накладывает жесткие ограничения на то, как далеко они могут видеть. Они также плохо справляются с прозрачными и отражающими поверхностями. А поскольку разрешение по глубине ограничено точностью синхронизации, камеры времени полета не очень полезны для записи небольших объектов, что делает невозможным воспроизведение в масштабе.

Световое поле

Другая технология захвата изображений глубины известна как «световое поле».

,

Вот как это работает: в обычной фотографии объектив камеры фокусирует поступающий свет на сенсор. Каждый элемент датчика регистрирует количество света, попадающего на него. Камеры светового поля используют специальный датчик, в котором каждый «пиксель» на самом деле представляет собой крошечный объектив со множеством датчиков под ним. Это позволяет камере измерять не только количество света, попадающего на каждый пиксель, но и угол, под которым свет падает.

Это полезно по нескольким причинам. Простейшее применение состоит в том, что, изменяя способ выборки этого большого «светового поля», конечные пользователи могут перефокусировать фотографию после того, как она была сделана. Приложение, которое интересно для VR, состоит в том, что камеры светового поля — это, кстати, камеры глубины! Угол падающего света от объекта является функцией от того, насколько далеко объект находится от объектива, относительно размера апертуры. Отдаленные объекты производят свет, который почти перпендикулярен линзе. Очень близкие объекты производят свет, который почти параллелен. Исходя из этого, можно (очень точно) определить карту глубины изображения.

Ниже вы можете увидеть некоторые результаты с видеокамеры раннего светового поля и то, как выглядит изображение, перепроецированное под другим углом.

Поскольку это пассивный процесс, предел диапазона и пространственная точность определяются разрешением, размером апертуры и ничем иным. Это означает, что с помощью увеличительных линз можно получать изображения глубины светового поля практически любого объекта в любом масштабе и в любых условиях. Чтобы получить пример того, что возможно с более крупными и точными световыми полями, посмотрите это видео, в котором используются несколько кадров с ручной камеры светового поля для имитации гораздо большего светового поля. Он генерирует довольно привлекательную трехмерную геометрию.

Камеры со световым полем — гораздо менее развитая технология, чем камеры со временем полета (сейчас на потребительском рынке есть только одна камера со световым полем, и она не поддерживает захват видео). Тем не менее, с большим временем разработки, камеры со световым полем должны обеспечивать более надежную глубину видео в долгосрочной перспективе.

Работа с Disocclusion

Стоит упомянуть одну серьезную проблему с глубинными видео: движение головы. Да, есть возможность перепроектировать видео глубины в новые перспективы, и все пиксели оказываются там, где они должны быть. Глубина видео не сделает вас больным. К сожалению, они вводят новую проблему: дислокация.

Когда вы двигаете головой так, что смотрите на часть мира, невидимую на исходном изображении или панораме, вы получаете неприятный визуальный артефакт: тень. Чтобы понять, о чем я говорю, посмотрите это видео:

В этом видео программист взломал Kinect, чтобы показать глубинное видео того, что он видит в космосе. Перемещая виртуальную камеру, он перепроектирует сцену с нескольких точек зрения.

Это Kinect первого поколения, так что видеопоток немного затруднителен, но результаты впечатляют. Самый большой недостаток, который становится очевидным, когда он начинает поворачивать камеру, это тени на сцене. У части стены позади его тела есть огромное, вырезанное из человека отверстие: часть, которую камера не может видеть и не имеет данных. Эти черные тени появятся на глубоких панорамах, как только ваша голова начнет двигаться. Итак, как камеры VR справляются с этими дырами? Ну, есть несколько подходов к этой проблеме:

Больше камер

Самое простое решение — просто записать материал за углами и за окклюзионными поверхностями. Для этого вы добавляете больше камер — намного больше. Чтобы позволить людям поднимать головы, скажем, до одного метра в любом направлении, необходимо расширить камеру, чтобы создать сферу шириной 2 метра, усеянную камерами с большой глубиной обзора, чтобы программное обеспечение могло синтезировать любую точку обзора в пределах сфера.

Это наиболее надежный, но и наименее практичный подход. Двухметровая сфера камер — это не хорошая портативная камера, это инсталляция и дорогая. Это может быть полезно для некоторых высококлассных голливудских постановок, но, конечно, не для большинства реальных приложений. Вы можете увидеть прототип этой идеи ниже, реализованный в форме живого приложения для 3D телеконференций:

Реконструкция сцены

Другой подход, если создатель видео в основном записывает несколько динамических объектов на статическом фоне, состоит в том, чтобы использовать камеру глубины для сопоставления окружающей среды перед началом съемки и использовать эти данные для заполнения дыр в записанных изображениях. Это можно сделать автоматически, используя метод SLAM (одновременное расположение и отображение), который автоматически объединяет множество изображений глубины для создания полной трехмерной карты сцены. Результаты выглядят примерно так:

Это работает довольно хорошо, но не подходит для всех ситуаций. Нетрудно представить себе попытку снять сцену в оживленном общественном месте, где большая часть фона состоит из людей, которые передвигаются и закрывают друг друга. Захватить одну статическую версию этой сцены, чтобы заполнить дыры, просто невозможно. Кроме того, для документального, живого видео или новостных целей нецелесообразно заранее составлять карту окружающей среды.

Просто придумывать

Последний подход к проблеме — прибегнуть к обычному ответу в тех случаях, когда у вас недостаточно данных: откровенная ложь.

Понимание здесь заключается в том, что в реальной жизни зритель не собирается вставать и пытаться обойти сцену. Они сядут, и то, что действительно нужно исправить программному обеспечению, — это небольшие изменения в позе, вызванные тем, что зритель наклоняется и смещается на своем месте — дислокации просто не будут такими большими. Это означает, что данные, используемые для заполнения дыр, не обязательно должны быть точными, они просто должны выглядеть правдоподобно. Те из вас, кто играл с контент-наполнением в фотошопе (или его конкуренты

) знать, где это происходит.

Как выяснилось, исследователи придумали довольно неплохие алгоритмы для заполнения дыр в живых видеопотоках в реальном времени. Вы можете проверить некоторые примеры ниже:

Представьте себе, что изображение глубины разбито на слои, вычитая их по одному, чтобы увидеть, где могут возникнуть тени, и затем используйте эти виды алгоритмов рисования для создания правдоподобных изображений для заполнения отверстий.

Это немного сложнее, чем простая 2D-рисовка, поскольку алгоритм также должен составлять разумные значения глубины для отверстий, но могут использоваться многие из тех же методов. Эти подходы не будут работать идеально во всех ситуациях, но пока эти артефакты менее навязчивы, чем большие черные дыры в мире, это все равно считается победой.

Как долго, пока они не сделали?

С VR-камерами, даже больше, чем другие вещи, совершенство — враг хорошего.

Даже при наличии лучших технологий, которые можно купить за деньги, и тщательно спланированных отснятых материалов, чтобы свести к минимуму ошибки прикуса, результаты все равно будут несовершенны. Например, бликовые блики — это пятна яркости, появляющиеся на блестящих поверхностях, положение которых варьируется в зависимости от положения вашей головы, поскольку они зависят от света, отраженного под очень конкретным углом.

Зеркальные блики, записанные даже в лучшем VR-видео, будут отображаться в виде запеченных белых пятен на поверхности и не будут смотреться на близлежащих объектах во время движения головы. Это ограничение, которое будет трудно обойти. Кроме того, заполнить ошибки окклюзии в сложных сценах с большим количеством движущихся объектов сложно — сделать это совершенно невозможно и будет долгое время.

Пройдут годы, а может быть, даже десятилетия, прежде чем VR-камеры смогут обеспечить идеальный опыт, как традиционные 2D-пленки. Это жертва, которую вы приносите, чтобы испытать существенно более мощную среду.

С учетом всего вышесказанного, в ближайшем будущем по трубопроводу появятся действительно крутые вещи. Каждый вариант, упомянутый в этой статье, может создать действительно ценный опыт. Объявление Samsung о Project Beyond является многообещающим признаком будущих событий.

Запуск Oculus Rift запланирован на 2015 год, и цифры продаж в миллионах единиц не кажутся натянутыми. Если виртуальная реальность развалится так, как кажется, то скоро произойдет огромный технический прогресс.

Спрос на контент заставит VR-камеры становиться лучше, меньше и дешевле для удовлетворения спроса. Вероятно, пройдет не много лет, прежде чем устройство, которое будет стоить дешевле, чем новый телефон, и поместится у вас на ладони, обеспечит убедительную, удобную запись VR-чего-либо — и это будет очень, очень круто.

Что бы вы сделали с вашей собственной камерой VR? Какой контент вам больше всего нравится? Дайте нам знать об этом в комментариях!

Кредиты изображений: концепция очков Via Shutterstock

Ссылка на основную публикацию
Adblock
detector