Довольно давно, еще задолго до того, как появился первый концепт очков дополненной реальности GoogleGlass, Агентство передовых оборонных исследовательских проектов США задалось целью создать диковинную (на то время) систему. Ведомство решило создать нечто, что бы смогло накладывать тактическую информацию в виде текста и графики прямо на изображение реального мира, причем в реальном времени.

Именно с этой идеи началась работа по созданию сложнейшей системы дополненной реальности для военнослужащих. Она получила название«Urban Leader Tactical Response, Awareness and Visualization» с элегантной аббревиатурой ULTRA-Vis. На русский переводится как «Городской тактический руководитель по реагированию, осведомлённости и визуализации».

На кропотливую работу самого агентства в компании нескольких военных подрядчиков ушли долгие годы, но военные своего (как всегда) добились. Как заявили сами представители DARPA, был создан «легкий прозрачный голографический дисплей с экономичным энергопотреблением, системой ориентирования и графическим отображением позиций».

ULTRA-Vis представляла солдату подробную визуализацию расположения сил противника, транспорта, воздушных угроз и т. д. Все эти объекты, естественно, система видела гораздо лучше самого солдата, поэтому визуализация серьезно повышала эффективность бойца и его собственную безопасность. Кроме того, система могла передавать бойцу по специальным каналам важную тактическую информацию – предупреждения, образы, маршруты и т. д.

На основе доступной информации среди опубликованных ранее материалов и интервью, можно сложить единую картину того, что же собой представляет ULTRA-Vis. И когда этот «паззл» складывается, становится понятно, насколько удивительной является данная система. Удивительно по своей мощи, точности, эффективности, какие даже не снились современным «попыткам» типа GoogleGlass. Программное ядро системы – ARC4 – вполне вероятно в ближайшем будущем выйдет за пределы толстых стен Пентагона и окажется в потребительской электронике. Возможно, именно тогда мы увидим настоящую дополненную реальность, а не те жалкие потуги, которые наблюдаем сейчас. А сейчас давайте углубимся в эту сложную и потрясающе элегантную систему, и увидим, что же она может, и чем нас удивит.

Когда создатели GoogleGlass описывали идею и концепт, все это выглядело потрясающе. Художники и дизайнеры нарисовали изумительную картину будущего со смарт-очками. На деле же проект настолько отстает от своих же промо-роликов, что его до сих пор толком не решаются начать активно продавать.

Что же касается ARC4 (сердце ULTRA-Vis), то ее можно назвать настоящей дополненной реальностью. Вы можете видеть перед собой геоориентированные иконки, находящиеся в прямой видимости в направлении вашего взгляда. Если вы поворачиваете голову, значки исчезают и появляются новые. Значки накладываются поверх реального мира, вы можете сами пометить какой-либо объект и обмениваться обновлениями.

В Google Glass вся дополненная реальность находится вне поля зрения. То есть, откровенно говоря, никакая это не дополненная реальность, а просто информационный дисплей. И это может стать фатальной ошибкой, которая приведет весь проект к неудаче.

Как все начиналось: две фундаментальные задачи

Над программой DARPA ULTRA-Vis работало несколько подрядчиков и параллельно и сменяя друг-друга. В команду разработчиков ARC4 входила группа талантливых специалистов, которая «пережила» всех конкурентов.

С самого начала предстояло победить две фундаментальные и крайне серьезные технологические проблемы. Прежде всего, нужно было создать дисплей, который имел бы достаточно большое поле зрения, приемлемую яркость и был бы сфокусирован на бесконечности. То есть, обладал бы всеми теми качествами, которые бы пригодились бойцу в условиях открытого воздуха, и на котором каждый солдат мог бы хорошо видеть информацию, наложенную на реальный мир.

Другая проблема состояла в том, что бойцу необходимо было каким-то образом определять, отвечает ли расположение графических объектов-подсказок реальному положению вещей. Нужно было, чтобы система отслеживала положение головы, определяла реальное положение бойца, прокладывала маршрут, определяла, на что именно солдат смотрит.

Система получает вводные данные – широту, долготу и высоту. Эти три составляющие привязываются к некоему объекту и ассоциируются с ним. Передача данных идет по сети, в которую интегрирована система. Как результат, система должна на основе полученных данных отрисовать метку как бы «за своими пределами», то есть представить метку так, будто она находится в реальном мире, именно там, где и должна быть зафиксирована. Это был серьезный вызов, и команда разработчиков потратила годы, чтобы довести систему до совершенства. Теперь все эти возможности могут быть реализованы в полевых условиях в реальном времени во взаимодействии с реальными физическими вещами.

Решение задач

Для отслеживания движений головы, ее положения и ориентации были использованы специальные датчики. Это гироскопы, инерциальные датчики, датчики углового ускорения и т. д. Для определения позиции самого бойца в качестве элемента ввода использовался GPS. Также, для определения азимута, или того, куда, собственно, смотрит человек применялся магнитометр. Эти четыре элемента работали синхронно, так что на основе объединенных данных система получала точную информацию о позиции человека и ориентации головы.

Но практически с каждым датчиком возникал ряд проблем. Так, например, самой «тяжелой» оказалась работа магнитометра. Ведь по своей сути это компас, чувствующий магнитное поле земли. И точность его работы оставляла желать лучшего.

Сам по себе магнитометр может быть суперточным. Проблемы исходят от самого магнитного поля, которое датчик пытается измерять, так как его может генерировать отнюдь не только Земля. Магнитометр дает четкую информацию об азимуте только в том случае, если измеряется «чистое» магнитное поле планеты, но если рядом находятся вещи с «собственным» магнитным полем, то для определения азимута датчик становится бесполезным. И дело не в каких-то шумах, которые можно было бы еще как-то фильтровать, а в возмущениях магнитного поля.

Магнитное поле Земли относительно слабое и на него может влиять любой ферромагнетик. Фактически любой двигатель умножает на ноль всю точность измерений. К примеру, если человек передвигается на авто, этого более чем достаточно, чтобы внутренние возмущения поля изменили оценку азимута. Это еще и тонкий намек на современные попытки позиционирования на основе данных одного только магнитометра – такой подход заведомо обречен на постоянные погрешности сплошь и рядом.

Таким образом, перед разработчиками встала необходимость введения некоего дополнительного сигнала, который служил бы в качестве корректировщика исходных данных, поставляемых магнитометром. И они успешно справились с поставленной задачей.

Было принято решение совмещать базовое инерциальное зондирование с так называемыми «сигналами возможности» («signals of opportunity», SOP). К примеру, преимущественно местность, с которой приходится иметь дело солдатам, гористая. Это подтолкнуло специалистов к разработке простого по своей сути метода преодоления проблемы с азимутами и магнитометрами. Абсолютное направление определялось на основе результатов сравнения местности «перед глазами» с цифровыми данными высот на этой местности (digital terrain elevation data — DTED). Эти цифровые данные были давно известны, на их основе были давно составлены мировые карты высот. Изображение, поступающее из камеры, сравнивалось с актуальными данными DTED. Выдели всего несколько совпадений, получалось определить положение головы с впечатляющей точностью. Никакие магнитные возмущения поля системе уже были не страшны. Это как раз и был первый «сигнал возможности». Назвали этот SOP – «горизонтальное согласование».

Другой SOP был основан на использовании ориентиров или заранее известной позиции. Так как в большинстве случаев военная миссия планируется заранее, могут быть заранее известны координаты горных вершин, вышек мобильной связи или любых других заметных объектов. Введя заранее координаты хотя бы одного из таких ориентиров, солдат может по прибытию на место одним движением выровнять систему по этому объекту. С этого момента система получает абсолютную корректировку. Этот SOP получил название «совпадение ориентиров».

Третий SOP «работал» на основе положения Солнца. Всякий раз, когда небесное светило попадало в поле зрения камеры, осуществлялась автоматическая корректировка. Одним лишь этим методом нивелировались недостатки измерений магнитометра.

Двигаясь дальше в совершенствовании системы, разработчики «научили» ее работать с рельефом зданий, основываясь на результатах аэрофотосъемки и других данных.

Объединив все эти методы, специалисты получили сокрушительный результат. Удалось получать исключительную точность в широком наборе рабочих режимов.

Все автоматизировано

Вышеперечисленные методы и без того впечатляют, но еще более обескураживает тот факт, что военные специалисты поставили, казалось бы, невыполнимую задачу – автоматизацию всего комплекса. Это было очередной важнейшей идеей, и все усилия в очередной раз увенчались успехом.

Горизонтальное согласование происходит автоматически. Городской ландшафт определяется тоже автоматически. Ориентация по Солнцу – то же самое. Единственное, что требует минимального вмешательства оператора (всего одного жеста) – это совпадение ориентиров, да и тут впоследствии были написаны расширения, которые и этого не требовали. Система полностью автоматически определяет, куда человек смотрит, и делает сравнение, основанное на визуальных образах и на понимании того, как должен выглядеть ориентир. Полная автоматизация избавляет пользователя от когнитивной нагрузки, позволяет ему отбросить все лишнее и сосредоточиться строго на выполняемой миссии.

Теперь представьте себе, что это значит через призму потребительского применения. Человек, гуляющий по городу с надетым подобным устройством, будет обеспокоен только действительно важными для него вещами, а весь «фон» (определение местонахождения, прокладка маршрута, подсказки и прочее) берет на себя система. Это все уже очень отчетливо напоминает те пресловутые промо-ролики GoogleGlass, от которых многие пришли в восторг.

Как бы это работало для простого потребителя

В своем «демилитаризованном» варианте вышеописанная система, по словам самих же разработчиком, смогла бы работать по принципу Plug&Play, но в разрезе не «железа», а SOP. Последние бы система принимала и применяла по мере их появления. Кроме того, перечень SOP отнюдь не является жестко зашитым. Система легко масштабируется, и в процессе эксплуатации вполне может дополняться новыми возможностями. Сама архитектура «заточена» так, что легко и быстро их интегрировать.

В том случае, если пользователь попадает в такую местность, под которую не обнаружено ни одной SOP, система автоматически возвращается к инерциальной системе с GPS, и в «бой» вступают уже привычные гироскопы, акселерометры и многострадальный магнитометр. Фактически, система работает так, чтобы использовать максимум возможностей. Но при отсутствии возможности использовать высокоточные инструменты не гнушается использовать «то, что есть».

Решив не оставить ошибкам и неточностям ни единого шанса, разработчики внедрили особый алгоритм – расширенный фильтр Калмана. Это эффективный метод интеграции разных измерений, которые поступают с различных датчиков. Его можно настраивать на определение нарушений того или иного датчика (к примеру, того же магнитометра) и на выполнение других проверок сигналов для определения их точности.

Калибровка – без нее никак

Еще одним важнейшим моментом для таких систем является калибровка. Что имеется в виду. В чистом виде, если отсутствует калибровка между камерой, дисплеем и инерциальным массивом, то невозможно обеспечить отображение на дисплее точную георегистрацию маркеров. С данными получается ситуация типа «мусор на входе – мусор на выходе». Эта проблема встала во весь рост еще перед автомобилями программы GoogleStreetView. В DARPA за этот вопрос всерьез взялись опытные системные интеграторы. Их задача – связывать все вместе, чтобы разные части и компоненты работали в унисон, как единая «команда». И в процессе работы было создано множество методов калибровки.

При разработке системы использовалась целая комната-инструментарий, где происходила калибровка камеры по отношению к инерциальным датчикам. На стене располагались несколько фидуциальных меток (Фидуциальный вывод – это способ вычисления обратной вероятности без привлечения априорного распределения вероятностей. Слишком трудное для понимания понятие, посему дополнительные разъяснения опустим). Расположение меток в трехмерном пространстве достоверно известно. Далее изображение, полученное с камеры, синхронизируется с инерциальными данными, после чего запускаются специальные алгоритмы для поиска этих самых меток. И в конце проводится калибровка параметров, которые отвечают за функции камеры – искажение линзой изображения, а также все составляющие, отвечающие за ориентирование в трехмерном пространстве между набором сенсоров и камерой.

Аналогичную процедуру можно провести для любой системы, использующую одновременно камеру и набор датчиков. То есть, по сути, метод можно применить для любого смартфона, планшета или смарт-очков.

Борьба с «задержками»

И, наконец, поговорим о том, как в DARPA расправились еще с одной грозной проблемой – задержками между видением человеком окружающего мира и отображением актуальных элементов дополненной реальности.

Разумеется, полностью, на 100% задержки устранить нельзя. Физически невозможно. Задача стояла либо свести их к приемлемому минимум, либо придумать что-либо еще. Что именно – никто на тот момент не знал.

Суть проблемы очевидна. Допустим, вот есть сенсорный модуль, присоединенный к дисплею. Предположим, что человек, надевший устройство, поворачивает голову. Пока датчики движения передадут всю графику на дисплей, пройдет «всего ничего» – около 50 миллисекунд. Но на практике это ощущается еще как, а в условиях боя может обернуться катастрофическими последствиями. И это был уже минимальный показатель. Можно было выиграть еще каких-то 10 миллисекунд, которые решительно ничего не меняли. Задержка будет всегда. Точка.

Было решено «гору обойти», пытаться не снизить фактическую задержку, а выводить графику на дисплей с упреждением. Спрашивается, а откуда брать данные о предполагаемом движении? Не из будущего же. Вот это и стало вполне конкретной задачей. Надо ли говорить, что и ее блистательные научные умы успешно решили.

Как только пользователь начинает двигаться, даже если появляется почти незаметное движение, система начинает его анализировать и пытается предсказать, что за этим самым движением последует. Предсказывается позиция на 40-50 миллисекунд в будущее, после чего на дисплей отправляется рендер именно это предполагаемой позиции. К моменту завершения движения уже все «на своих местах». Эффект подтормаживания практически полностью нивелируется. Для реализации такой возможности применяются сложнейшие алгоритмы прогнозирования. Разработки и исследования в этом сегменте продолжаются, и, похоже, будут вестись непрерывно. Здесь уж точно нет предела совершенству.

Что дальше?

Система, которая получилась в результате многолетней кропотливой работы лучших умов человечества, поражает воображение. И раз уж данная технология оказалась не под семью замками, а довольно открытой, возникает естественный вопрос – почему еще до сих пор эти замечательные идеи и разработки не нашли свое применение в потребительской сфере. Ведь всем очевидно, что даже тот же GoogleGlass, за которым стоят гигантские деньги, огромные ресурсы и прекрасные кадры, уже не первый год уныло топчется на месте.

Конечно, вопросы национальной безопасности и оборонка – превыше всего, с этим никто не спорит. Но никто и не говорит о том, чтобы взять и выставить на прилавки оборонную систему целиком и полностью, чтобы любой захудалый шпион или террорист мог спокойно ее приобрести. Нет. Речь идет о том, чтобы использовать хотя бы малую часть тех революционных разработок, которые нашли воплощение в ULTRA-Vis. Не надо «железа», достаточно было бы хотя бы части алгоритмов для того, чтобы сферу дополненной реальности наконец «прорвало», и мы смогли прикоснуться к «дивному новому миру».

Эти вопросы пока остаются без ответов, и нам остается только надеяться на то, что все будет «как встарь» – технологии военщины рано или поздно перетекут «на гражданку». В конце концов, даже интернет как таковой когда-то был исключительно вотчиной военных, и где он теперь? Везде.

Обсудить на форуме