Проект OASIS: превратим весь мир в интерактивную панель

Автор: Олег Нечай

Опубликовано 15 сентября 2010 года

Представьте, что вы возвращаетесь из магазина и выкладываете покупки на кухонном столе. При этом стол немедленно распознаёт лежащие на нём продукты и выводит рядом с ними виртуальные меню, "нажимая" на которые пальцем можно, к примеру, узнать об их калорийности, способах приготовления и совместимости или даже убрать в виртуальный ящик, занеся в базу данные сведения о дате приобретения, наименовании, количестве и весе.

Примерно в этом и заключается внешняя сторона проекта OASIS, над котором работают учёные Intel Labs в американском городе Сиэттле, штат Вашингтон.

OASIS - это аббревиатура от Object-Aware Situated Interactive System, что можно перевести как "интерактивная система, ориентированная на распознавание объектов, расположенных в её зоне действия". На самом деле смысл проекта несколько шире - сделать возможным одновременное взаимодействие с реальными и виртуальными предметами через естественный интуитивно понятный интерфейс. При этом помимо собственно объектов, система распознаёт и жесты.

Возглавляет проект OASIS Беверли Гаррисон, старший научный сотрудник Intel Labs Seattle. Она занимается интерактивными системами уже более пятнадцати лет. Около четырёх лет назад в Intel заинтересовались возможностью использования в таких системах пикопроекторов, что и привело к созданию проекта OASIS. В состав команды Гаррисон также входят аспиранты Университета штата Вашингтон.

Действующий прототип интерактивной системы OASIS был продемонстрирован летом 2010 года на конференции Research@Intel Day, а подробнее о ней было рассказано на проходящем в эти дни осеннем Форуме Intel для разработчиков (IDF Fall 2010). Система формирует интерактивные поверхности, которые сами разработчики называют "островами", в любых необходимых местах - например, на кухонном рабочем столе.

При помощи пикопроекторов, камер глубины ("пролётных", TOF-камер или RGB+D-камер) и алгоритмов распознавания объектов и жестов OASIS может создавать интерактивные дисплеи практически на любых плоских поверхностях.

Система отслеживает появление и изменение физических и виртуальных объектов, демонстрирует графический интерфейс, включая меню и кнопки, распознаёт жесты пользователя, а также выводит разнообразный контент из локальных и удалённых баз данных, в том числе из интернета.

В системе, продемонстрированной на Research@Intel Day, всё программное обеспечение OASIS работало на обычном ноутбуке Dell Inspiron с двухгигагерцевым двухъядерным процессором. Среди этого ПО есть самые разнообразные программы, включая софт для трёхмерного рендеринга, калибровки, распознавания образов и формирования графического интерфейса.

Компьютер не обязательно должен находиться на виду - его можно спрятать, например, в ящик стола, ведь всё взаимодействие с системой осуществляется через интерактивную поверхность.

В процессе демонстрации в такую интерактивную поверхность превратился выделенный на столе прямоугольник размером около 24 х 36 дюймов (61 х 91 см). В состав демонстрационного стенда вошли светодиодный видеопроектор с разрешением SVGA и яркостью 170 люмен, а также TOF-камера, способная помимо цветной картинки с разрешением 320 х 240 пикселей получать c помощью инфракрасных датчиков данные о "глубине" этой картинки, то есть о расстоянии до фиксируемых объектов. Камера была установлена на расстоянии около 30 дюймов (108 см) над столом. Производитель пикопроектора - компания Microvision, камера была предоставлена фирмой PrimeSense.

По словам Беверли Гаррисон, все комплектующие, камера и проектор, использованные в демонстрационном стенде - это прототипы. Со временем она рассчитывает применять в системах OASIS лазерные пикопроекторы, к достоинствам которых относятся миниатюрность и экономичность.

Дело в том, что подобным системам не требуются проекторы с регулируемым фокусом: при стационарной установке, к примеру, над кухонным столом нужно просто подобрать объектив с подходящим фокусным расстоянием, а это означает возможность использовать самые простые модели. Более того, для питания таких проекторов достаточно низковольтных линий, которые обычно прокладываются в кухонной мебели для подключения подсветки.

Гаррисон подчёркивает, что системы OASIS значительно дешевле, чем интерактивные столы Microsoft Surface (о последнем поколении таких столов мы писали весной) и гораздо проще в установке. Ключевыми компонентами, благодаря которым стало возможным создание подобной интерактивной системы, это камеры, измеряющие глубину и пикопроекторы.

Действительно, OASIS - во многом плод самых современных технологий. Ведь ещё 15 лет назад системы распознавания мало в чём превосходили магазинные сканеры штрих-кодов, а видеопроекторы были тяжёлыми и громоздкими и могли использоваться, в основном, в конференц-залах и домашних кинотеатрах.

Перед командой Беверли Гаррисон стояло три принципиальных задачи: разработать теоретическую основу конструирования объектно-ориентированных интерактивных систем; понять, каким образом пользователи предпочитают взаимодействовать с такими системами и, наконец, создать интерактивную систему, способную создавать свои "островки" в обычной обстановке.

Ключевая особенность системы OASIS в её способности производить над физическими объектами виртуальные действия, причём эти действия кажутся пользователям совершенно естественными. Система может создавать и удалять новые виртуальные объекты, объединять их в группы и сохранять их для последующего использования. Кроме того, существует возможность отменять ошибочные команды.

Для распознавания физических объектов в OASIS применяется компьютерное "зрение". К примеру, если вы кладёте на кухонный стол апельсин, система при помощи камеры, программного обеспечения и базы данных определяет, что это именно апельсин, а не помидор.

Затем пикопроектор "прикалывает" рядом с апельсином виртуальный ярлычок, над которым проецируется виртуальная кнопка. Как заверяют разработчики, ярлычок и кнопка появляются на столе менее чем через секунду после того, как на него положен объект.

После нажатия на виртуальную кнопку на стол выводится круговое меню, в котором можно выбрать одно из нескольких действий: найти рецепты приготовления блюд из апельсинов, найти похожие фрукты или совместимые продукты, найти подробную информацию в интернете или внести апельсины в список будущих покупок, указав их точное количество.

В основе системы распознавания лежит трёхмерная модель стола, на котором нет ни одного объекта. Когда на него помещаются новые объекты, то OASIS сравнивает изначально пустую 3D-модель с новой, рассчитывая глубину объектов на основе измерений в инфракрасном свете. Более того, поскольку система имеет дело с 3D-моделью поверхности, она совершенно не обязательно должна быть плоской.

Испытания показали, что OASIS работает с поверхностями практически любой фактуры - от полированного гранита до меди. Проблемы могут возникнуть лишь с отображением текстовых ярлыков и меню: их будет сложно разобрать, к примеру, на дереве с выраженной волокнистой структурой.

Благодаря использованию камеры, измеряющей расстояние до объектов, система способна отличить руку, проносящуюся над столом от пальца, касающегося поверхности и нажимающего на виртуальную кнопку. Для этого OASIS определяет расположение кончика пальца в трёхмерном пространстве и устанавливает, не находится ли он в определённой точке, перпендикулярной поверхности.

О коммерческом использовании системы OASIS речь пока не идёт - сначала надо устранить некоторые её недостатки. Пока непонятно, как минимизировать влияние на работу системы других источников инфракрасного света (например, пультов дистанционного управления), как быть с прозрачными объектами (бутылками с водой) или как сделать, чтобы система игнорировала украшения на пальцах и руках. Впрочем, Гаррисон убеждена, что со всеми этими проблемами удастся справиться уже в обозримом будущем.

Кроме того, OASIS станет ещё компактней: учёные планируют так усовершенствовать аппаратное и программное обеспечение, чтобы она могла работать на основе компьютеров с гигагерцевыми процессорами Atom.

В перспективе подобная система может быть встроена в кухонную мебель и даже в смартфон, оснащённый пикопроектором, что позволит при необходимости превращать в интерактивные панели любые поверхности. А области применения таких панелей, разумеется, вовсе не ограничиваются кухней.