“Удача благоприятствует лишь подготовленному уму”.

Луи Пастер

Данная цитата хорошо подходит для того, чтобы рассказать историю о создании очков дополненной реальности CastAR. Джерри Эллсфорт является одной из основательниц компании Technical Illusions. Её смело можно назвать экспертом IT-индустрии от Бога. До этого она работала в лаборатории Valve Software, над принципиально новаторскими проектами, что в будущем превратилось в Steam-контроллер.

История создания очков CastAR

В 2012 году Джерри проводила исследования в области виртуальной реальности на базе находящемся перед глазами дисплея. Она случайно поместила оптический элемент в обратном направлении, и изображение отобразилось на окружающих объектах. Также в лаборатории находился кусок светоотражающего материала, на который и перенеслось изображение. Когда Джерри Эллсфорт увидела, что получилось в результате, она продолжила исследование, в ходе чего выяснилось, что проекция дополненной реальности вовне, а не перед глазами, решает множество актуальных проблем дополненной и виртуальной реальности. Не смотря на то, что открытие вышло случайно, его сделал человек, способный понять возможности такого подхода – исследователь с «подготовленным умом».

Затем последовала другая цепь случайных событий, что позволило сформировать исследование Джерри в продукт, который можно будет купить уже в 2015 году. Она продолжила свою работу в области AR-проекций дополненной в Valve и создала серию прототипов. Самый первый прототип вышел весьма громоздким обмундированием и получил говорящее название Headcrab.

Прототип Headcrab от Valve

Помогать Джерри в разработке программного обеспечения вызвался пинбольный энтузиаст Рик Джонсон. До этого он работал в Gearbox, Raven Software и является одним из 3-х людей, запустивших Linux-междусобойчик в Valve. На протяжении следующих шести месяцев разработчики занимались модернизацией прототипов, повышая их уровень комфорта и уменьшая габариты. Однако затем события повернулись удивительным образом в феврале 2013 года Рика и Джерри уволили с работы.

Valveсократила их и несколько других учёных аппаратной лаборатории. Исследователи до сих пор до конца не понимают причин, побудивших компанию сделать такой шаг. Однако разработчики предполагают, что компания планировала развивать очки дополненной реальности в другом русле. Если судить по последним анонсам, то очки Valveбольше относятся к виртуальной реальности.

Хотя учёные и покинули компанию, они не прекратили своё исследование. Гендиректор Valve и юристы позволили забрать их наработки с собой.

Прототип CastAR HD

В такой ситуации Джерри и Рик находились вплоть до мая 2013 года. В это время они презентовали на выставке Technical Illusions свой гаджет под названием CastAR. После раскрутки своего концепта на различных мероприятиях, привлекая к своему детищу всё больше внимания, они выложили свой проект на Kickstarter. В результате успех многократно превзошёл их ожидания. Вместо планируемых $400 тыс., им удалось собрать $1,05 млн. Основатели Technical Illusions продолжили заманивать к себе новых инвесторов и учитывали их пожелания. Некоторые из таких рекомендаций удалось-таки воплотить в CastAR.

Обзор прототипа CastAR HD

Не смотря на то, что компания не смогла на CES 2014, заказать отдельный стенд разработчикам удалось представить на частных встречах прототип своего гаджета. Работа над устройством была завершена всего лишь 4 дня назад, и естественно, находилась в не лучшей форме. Так, гаджет был достаточно массивным, а детали скреплены посредством клея, капли которого сильно выделялись. У него не было многих функций, которые разработчики обещали организовать на Kickstarter (определение положения гироскопа, отслеживание источников звука).

Журналистам, посетившим CES2014, удалось пообщаться с Риком и Джери, задать им несколько вопросов о разработке и даже примерить HD-очки. Также они отследили первый этап по уменьшению электроники в CastAR – от объёмного блока управления до более компактной печатной платы с двумя чипами.

Оригинальный блок управления очками CastAR

На следующем этапе было решено, дальше продолжать уменьшение аппарата, а после предоставить различным разработчиками 70-80 экземпляров. Затем запланирована ещё одна оптимизация оборудования и отправление гаджета на Kickstarter в 2014 году. К 2015 создатели Technical Illusions уже планируют выпустить коммерческий вариант устройства.

Новая двухчиповая плата управления CastAR

Мы поведали, как видоизменялись очки в процессе разработки, но мы ещё ничего не рассказали о том, как они функционируют и, что их отличает от других подобных AR-устройств. Передать в тексте, на что похоже использование CastAR довольно сложно. Однако мы попытаемся раскрыть хотя бы основные особенности их эксплуатации. Самый верный способ по-настоящему понять CastAR – это протестировать их на себе.

Как работает CastAR

Данный гаджет работает по принципу использования микропроекторов высокого разрешения. Они выводят картинку не на сетчатку глаза, а перед пользователем. Это и отличает аппарат от других подобных технологий.

Информация проецируется на специальный светоотражающий материал, который способен отправлять свет обратно к глазам оператора. То есть мозг воспринимает информацию из пространства, а не то, что проецирует экран на сетчатку глаза.

Как следствие глаза будут меньше напрягаться, что позволит дольше использовать гаджет. К тому же остаётся возможность видеть не только информацию из дополненной реальности, но и объекты реального мира, что позволяет одновременно взаимодействовать и с людьми и с AR. Разработчики пытаются уменьшить вес аппарата до такой степени, чтобы его эксплуатация в повседневной жизни была вполне комфортной. Так, заявленный вес конечного продукта должен составлять меньше 100г.

Большое значение имеет система отслеживания движений. С её помощью пользователь сможет изменять, находящуюся перед ним перспективу 3D-контента. Вращая головой можно посмотреть по сторонам, на заднюю часть сцены или наверх. Гаджет регистрирует движения человека, посредством встроенной камеры. Она определяет расположение светодиодного инфракрасного маркера, размещенного в поле пространства, где реализуется проекция.

Светодиодный инфракрасный маркер для отслеживания поворота головы в CastAR

Учёные утверждают, что система отслеживания их гаджета функционирует с погрешностью до одного миллиметра. Разумеется, это имеет большое значение при создании эффекта погружения. Возможно, что когда аппарат будет отправлен в производство, инфракрасный маркер будет заменён на гироскоп для оптимизации системы отслеживания движений.

Также нужно было придумать способ для взаимодействия с информацией, проецирующейся перед глазами. Для этого было разработано несколько возможностей. Более стандартным способом является использование игрового контроллера, который был представлен на выставке. Однако в Technical Illusions разрабатывают более оригинальный метод, так называемое 3D-устройство ввода. В нём будет использована точно такая же система отслеживания движений, как и в самом CastAR.

Макет 3D-устройства ввода

Другим интересным приспособлением, разработанным специально для «умных» очков является сетка отслеживания движения под названием RFID Tracking Grid. Она размещена под светоотражающей поверхностью. Сетка изготовлена из датчиков радиочастотной идентификации (по-другому RFID-метки) и используется для ролевых игр или цифровой панели. Именно благодаря этому устройству человек может взаимодействовать с виртуальными объектами.

Также есть возможность манипулировать VR-объектами посредством жестов. Разработчики не планируют создавать собственную систему распознавания жестов, а воспользуются тем, что уже есть на рынке, например, Leap Motion или Kinect.

Макет конечной модели CastAR с накладкой AR/VR

Накладка AR/VR является одним из компонентов системы CastAR. Она даёт возможность переключать очки из режима проецирования AR к более стандартному опыту дополненной реальности (или даже целиком к VR). Насадки имеют зеркальную поверхность для осуществления возврата стереокартинки обратно к глазам пользователя. Эта функция особенно важна, в случае если светоотражающая поверхность бесполезна.

Естественно ИК-трекер в любом случае нужно держать поблизости, чтобы использовать преимущества точного отслеживания, обеспечиваемой встроенной камерой. К моменту показа гаджета на выставке накладки AR/VR ещё не было, но разработчики утверждают, что с ней не понадобиться крепить к голове какой-либо другой экран.

Как мы уже говорили выше, CastAR – это один из тех продуктов, который необходимо самому опробовать для оценки. После того, как мы разобрались с тем, как функционирует аппарат, мы попробуем рассказать о том, каков он в эксплуатации. В компании позволили журналистам изучить новый прототип 3D-очков. Устройство проецирует картинку с изображением 720p. Даже на ранней стадии создания они имеют малый вес и удобны для ношения.

Эксплуатация CastAR

Angy Bots

Первое, что было продемонстрировано разработчиками – это шутер Angry Bots. Игра является тестовым проектом, разработанным с Unity Engine. Она является примером того, как легко получить игры Unity, которые работают на CastAR. Не смотря на то, что наблюдались определенные проблемы с эффектом погружения из-за плохого поля зрения, эта игра легко адаптируtтся под CastAR. К тому же Джерри и Рик утверждают, что горизонтальное поле зрения значительно улучшится в конечном продукте.

Затем учёные продемонстрировали то, что очень напомнило «шахматную сцену из Звёздных войн». Не смотря на то, что демо-версия не была интерактивной, она определенно произвела на пользователей впечатление. Перед ними была спроецирована трёхмерная анимированная шахматная доска. Когда человек перемещается, то сцена начинает изменяться, словно доска на самом деле находится перед ним. Всё это выглядит настолько реалистично, что невольно возникает желание протянуть руку и схватить какую-нибудь фигуру, правда в настоящий момент это невозможно. Однако после интеграции гаджета с системой распознавания жестов от Kinect эта функция будет реализована.

В третьей демо-версии тоже была представлена неинтерактивная сцена. На этот раз оператор погружался в подземелье какой-то игры жанра RPG, где разгуливали скелеты закованные в доспехи. Сцена многих поразила своей реалистичностью. Человек может в виртуальной реальности подойти вплотную к скелету и детально рассмотреть его. Вне зависимости от угла обзора, персонажи возникали именно в том месте, в котором должны были.

Здесь большое значение имеет светоотражающая поверхность, то есть фактор погружения в большой степени зависит от её размера. Джерри Эллсфорт рассказала, что если окружить себя достаточным количеством маркеров, то можно получить перспективу в 360 градусов.

Тестирование режима мультиплейера

В последней демо-версии были продемонстрированы возможности аппарата для чего-то более серьёзного, чем игры. В ней создали стандартный неинтерактивный рабочий стол, на котором окна возникают перед пользователем на разных панелях.

CastAR – это революция в области взаимодействия с электронной информацией

Одним из важных отличий разработки Technical Illusions от других AR/VR технологий является продуманная работа с социальным окружением для многопользовательских игр, совместного обучения и работы. Есть возможность подключить несколько пар очков к одному источнику сигнала. Например, можно собраться с друзьями в одной комнате и подключиться к источнику сигнала. У каждого будет своя оригинальная игровая перспектива, которая не влияет на других пользователей.

Одновременно с этим, поскольку игроки находятся не в виртуальной, а в дополненной реальности они могут взаимодействовать и видеть друг друга в реальном мире. Такой способ взаимодействия сильно отличается от одиночных игр.

Вполне объяснимо, почему Technical Illusions по большей степени представляют свои очки через игры. Однако они открывают большие перспективы в сфере производства и образования. Например, студенты-медики смогут собираться в группу и наблюдать или участвовать в проведении операции.

Проект CastAR получил ошеломляющую поддержку. Разработку Technical Illusions профинансировало более 3863 инвесторов на $1 052 110. Однако, если смотреть широко, то 4000 человек это мало. Самая большая проблема Technical Illusions – это объяснить людям, чем их продукт отличается от аналогов. Например, понять, как работает Oculus Rift достаточно легко. В целом VR-концепция подробно описана в различных произведениях киберпанка наподобие «Нейроманта» Уильяма Гибсона. То же касается и идеи дополненной реальности в Glass.

В то же время разработка Technical Illusions является принципиально отличающимся устройством. Его недостаток состоит в том, что для эксплуатации необходима светоотражающая поверхность, что уменьшает мобильность. Однако даже сырая версия технологии отслеживания движений чрезвычайно точна, что обеспечивает повышенный комфорт. Если разработчикам удастся выпустить лёгкие и относительно недорогие очки, которые способны вместе с обычной дополненной и виртуальной реальностью создавать VR-проекцию, тогда она предложит рынку по-настоящему уникальную технологию.

Проецируемая дополненная реальность на самом деле может принципиально изменить наше взаимодействие с ПК. Оставайтесь с нами, и вы будете в курсе последних разработок от Technical Illusions!

Обсудить на форуме.