Как работает экран дополненной реальности?

Технология дополненной реальности давно волновала человечество. Ведь она имеет большой потенциал в различных сферах. После фальстарта в 2012 году и ухода с потребительской арены (очки дополненной реальности Google Glass) она наконец начинает приобретать новые очертания и привлекать разработчиков и простых пользователей. Всем интересна новая технология Однако все ли знают каким образом цифровые картинки накладываются на реальные объекты? Попробуем разобраться?

«Прозрачная» оптика практически для всех людей выглядит как какая-то недоступная мистика из научной фантастики (благодаря таким фильмам как «Iron Man» (Железный человек), «Star Trek» (Звездный путь) и так далее), плюс еще куча новых непонятных технологических терминов сбивают всех с толку. Однако на самом все не так сложно. В работе дополненной реальности сможет разобраться даже дилетант в этой сфере.

Итак, начнем с основ. В технологии дополненной реальности используются частично прозрачные дисплеи, которые удачно сочетают цифровые изображения с реальным миром. Световые лучи должны отражаться от предмета и с последующим перенаправлением изображение непосредственно на глаз пользователя. Из реального мира мы уже получаем перенаправленные лучи. В цифровом мире нам нужно создать искусственное освещение, например, с помощью светодиодов (LED) или органических светодиодов (OLED), а затем уже перенаправить их для отображения. Оптическое устройство, которое сочетает в себе это сгенерированное компьютерное изображение с объектами реального мира называется «объединитель».Фактически объединитель работает как зеркало, которое частично направляет свет на экран, а частично берет свет из реального мира. Здесь все достаточно просто.

Идем дальше, оптические аппаратные решения делятся на две категории: обычные оптические объединители с головными дисплеями и новые волноводные объединители. При этом это совершенно разные устройства, которые предлагают отличные компромиссные решения, которые отличаются от уже существующих на рынке экранов виртуальной реальности.

Начиная с конца 1960-х годов ученые разрабатывали разнообразные прозрачные дисплеи. На данный момент существует целая  база оптических технологий, однако все они зависят от таких параметров как разрешение, поле зрения, удаленность от глаз, качество изображения, вес устройства, эстетический форм-фактор и других не менее важных функций. В идеале пользователь хочет получить небольшие стильно выглядящие и простые в использовании очки с полем обзора 120 градусов (как видят человеческие глаза). При этом должно еще быть отличное качество изображения, как, например, в изобретении Тони Старка из «Железного Человека». Но физические и оптические ограничения головных (HMD) и нано-эмиссионных (NED) дисплеев в обозримом будущем делают это нереальным. Пока что не получится использовать технологию на полную катушку как в реальной жизни. Однако мы должны выяснить, существуют ли какие-то другие компромиссные соотношения.

Оптическое аппаратное оборудование в поиске компромиссов

Традиционные объединители имеют неплохое соотношение качества дисплея и выводимого изображения с достаточно плавной передачей видео. При этом используются доступные материалы, которые разрабатывались не одно десятилетие. Мы можем охватить две популярные разновидности для реализации дополненной реальности: объединители поляризованных лучей (плоские объединители ) и внеосевые объединители (изогнутые объединители).

Примерами объединителей поляризованных лучей можно назвать очки дополненной реальности Google Glass, а также смарт-очки от Epson (Япония), ITRI (Тайвань) и Rockchip (Китай). Светоделители могут поляризоваться с помощью LCOS микродисплеев (где используются жидкие кристаллы на кремнии), как это делалось в устройстве Google Glass или же просто с помощью простых полутоновых зеркал. К сожалению, РВС дисплеи не могут быть большими из-за наличия ограничений относительно веса и размера объединителя, кроме того сам дисплей может быть нерезким из-за разделения луча. Так, очки Google Glass имеют очень маленькое поле зрения — всего 13 градусов. Устройство Epson BT-300 имеет поле зрения 23  градуса, при этом разрешение у него 1280×720 пикселей. Оба устройства являются на грани нижнего предела допустимого диапазона для потребительских дисплеев. Тем не менее, большее поле зрения потребует наличия более тяжелого оборудования.

Плюсы: Легкое и небольшое устройство, при этом относительно доступное по цене (в пределах 500-700 долларов США).

Минусы: Очень ограниченное поле зрения, а также дисплей трудно сделать лучше.

Лучшим современным примером внеосевого полусферического объединителя является устройство Meta 2. В отличие от других разновидностей маленьких и легких комбайнеров, компания Meta пошла по другому пути в сторону увеличения поля обзора и улучшения разрешения дисплея. Здесь позиционируется одна плоская OLED панель, которая имеет поле зрения около 90 градусов, разрешение дисплея при этом составляет 2560×1440 пикселей для обеих глаз. Тем не менее, такое оборудование является громоздким, его можно сравнить с гарнитурами виртуальности Oculus Rift и HTC Vive. Кроме того, дополнительные проблемы включают низкие угловое разрешение (менее четкие изображения в углах) и то, как пластический материал объединителя сохраняет свое качество (с течением времени могут появляться всевозможные визуальные артефакты). Все это плата за снижение расходов. Более старым примером изогнутых объединителей является Advanced Helmet Mounted Display от компании Link.

Плюсы: высокое разрешение и большое поле обзора, устройства относительно доступные по цене (стоимость около 900 долларов США).

Минусы: громоздкие устройства с низким угловым разрешением, материал может быть  некачественным.

Как мы видим, попытка улучшить традиционные объединители по отношению к полю зрения и разрешению дисплея приводит к появлению других проблем, таким как ухудшение качества изображения, увеличение толщины оптики, больший размер и т.д. Здесь речь не идет о вычислительных пределах производительности, однако идет о физических: как ведет себя свет с аппаратными средствами.

Для решения этой проблемы технология толкает разработчиков на изобретение нетрадиционных методов, включая появление голографической и дифракционной оптики. Эти методы используют такие технологии, как волноводная решетка или волноводная голограмма для постепенного извлечения коллимированного изображения на основе полного внутреннего отражения (TIR) ​​в волноводной трубе. Труба представляет собой тонкий лист из стекла или пластика, через который отражается свет.

Фактически волновод выступает как маршрутизатор, который передает изображение на ваши глаза.

Волноводы являются более технически сложным типом прозрачной оптики, кроме того, их достаточно тяжело спроектировать. Однако эти идеи не являются новыми. Необходимо сказать о том, что люди изучали применение волноводов для оптики еще с начала 80-х годов. С тех пор такие компании, как Sony, Konica-Minolta, Microsoft, Magic Leap и другие, работали над созданием различных волноводных объединителей.

Например, предполагается наклон линий субволновых решеток для передачи рельефа поверхности для использования в устройстве дополненной реальности Microsoft Hololens. Здесь радиоволновод имеет ряд очень тонких структур в линейном образце (что обеспечивает  точность установки длины волны). Такая дифракционная решетка работает подобно линзе, преломляя свет через полное внутреннее отражение (TIR), пока он не пойдет в направлении глаз. Приятным результатом этого процесса является «расширение зрачка»; выходящий свет может распространятся и увеличивать угол обзора.

В итоге, современные волноводные техники могут существенно увеличить угол обзора, приблизив его к привычному для человека, при разрешении экрана 1920х1080, при этом устройство не будет сильно большим и тяжелым. Так, патент Magic Leap  предлагают увеличение горизонтального угла обзора до 120×80 градусов (ширина-высота), однако в данный момент все не так радужно. Это может быть более перспективная или по крайней мере более раскрученная технология по сравнению с традиционными подходами, однако до сих пор продемонстрировано не так много. Кроме того, волноводные объединители имеют свои собственные проблемы.

Во-первых, волноводы требуют высокой точности и очень переборчивы в объемных голографических носителях, таких как фотополимеры, бихромированная желатина, галогениды серебра и другие, которые могут изменяться в зависимости от влажности, температуры и/или давления окружающей среды. Во-вторых, угловое разрешение ослабляется с увеличением рассеивания (нужно искать компромисс между углом поля зрения и детализацией изображения). И последнее, канал поставок  пока что еще не налажен для запуски технологии в массовое производство, так как устройства еще сложно и дорого производить. Помимо этого, необходимы огромные затраты на научно-исследовательские и опытно-конструкторские работы, которые превышают один миллиард долларов США.

Плюсы: Потенциально лучшее поле зрения и разрешение на устройствах средних размеров.

Минусы: дорогое удовольствие (стоимость около трех тысяч долларов США и выше), технология все еще находится в разработке, сейчас она сродни черной магии.

В основном на данном этапе идет дискуссия между проверенной технологией с относительно хорошо изученным пространством с имеющимися физическими ограничениями (традиционные объединители) и нашумевшими экспериментальными технологиями, которые могли бы обойти эти физические ограничения (волноводные объединители). Однако необходимо обратить внимание  на то, что недоверие к волноводной технологии не является полностью незаслуженным; сейчас нет никаких публичных демонстраций того, что такие объединители работают лучше чем традиционные. Однако, с другой стороны, такие огромные инвестиции имеют реальный смысл и могут дать хорошие плоды в перспективе.

Потребители, которые уже имеют свои ожидания благодаря научной фантастике, были в восторге от большинства (если не всех) традиционных аппаратных объединителей. За последние пять десятилетий существования оптики дополненная реальность всегда была нишевым продуктом. Традиционные комбайнеры все еще могут быть улучшены (как, например ODG glasses – очки от компании Osterhout Design Group), однако Microsoft и Magic Leap также уделяют большое внимание волноводам и видят их как многообещающие проекты, которые могут быть приняты на массовом рынке.

Спасибо за прочтение! Надеемся, что данная статья может стать отправной точкой для лучшего понимания работы технологии дополненной реальности.