77334

«Хороший» интерфейс на основе жестов для манипулирования 3D-объектами и метод автоматической калибровки оптических камер

Научная статья

Информатика, кибернетика и программирование

Интерфейс фонарика Поскольку любой манипулятор ограничивает набор возможных взаимодействий от него следует отказаться и осуществлять пользовательский ввод при помощи трёхмерных жестов. Данное устройство обладая шестью степенями свободы позволяет осуществлять ввод трёхмерных жестов являясь при этом простым в установке и использовании. В качестве дешёвого манипулятора для ввода трёхмерных жестов был выбран обыкновенный карманный фонарик.

Русский

2015-02-02

38 KB

0 чел.

«Хороший» интерфейс на основе жестов для манипулирования 3D-объектами и метод автоматической калибровки оптических камер

Александр Зырянов

Кафедра информатики и процессов управления, Уральский государственный университет, Екатеринбург, Россия

  1.  Введение

Условно интерфейсы для манипулирования трёхмерными объектами можно разделить на две категории: традиционные (командная строка, иконографический интерфейс) и естественные (основанные на жестах). Преимуществом первого подхода является легкость расширения (добавление новых команд или графических иконок не требует замены устройства ввода), к преимуществам второго относится меньшее время обучения и более широкая доступность (действия и эффекты действий интуитивно понятны благодаря возможности проецировать опыт взаимодействия с реальностью на виртуальную среду).

В исследовательских задачах суть взаимодействия состоит не в выполнении повседневных операций, а в изучении нового, ранее неизвестного объекта. Следовательно, необходимо создать такой интерфейс, в котором манипуляции с устройством ввода в точности соответствуют воздействию на виртуальный объект (к примеру, поворот манипулятора приводит к аналогичному повороту объекта). Вместе с тем, поскольку мы взаимодействуем с новым, ранее неизвестным объектом, разработчик интерфейса не может с уверенностью сказать, какие именно манипуляции потребуются конечному пользователю. Значит, необходимо создать такой интерфейс, который бы совмещал преимущества традиционных и естественных интерфейсов, т.е. позволял бы взаимодействовать с виртуальным объектом так же, как если бы перед нами был его реальный аналог, мог легко расширяться без замены устройства ввода и, по возможности, оставался простым и недорогим [1].

  1.  Интерфейс фонарика

Поскольку любой манипулятор ограничивает набор возможных взаимодействий, от него следует отказаться и осуществлять пользовательский ввод при помощи трёхмерных жестов.

Различных подходов к реализации захвата движений (Motion Capture) достаточно много, но, к сожалению, все они обладают определёнными недостатками. Оптические методы требуют закрепления специальных маркеров и определенного размещения нескольких камер (для безмаркерного варианта требуется плотно облегающая одежда и отсутствие прочих движущихся объектов в кадре). Инерциальные системы также требуют закреплять датчики и, кроме того, они не способны определять абсолютное положение в пространстве без поддержки оптических систем. Механические системы, помимо прочего, достаточно тяжелы, требуют периодической калибровки и имеют привязку к конкретному размеру. Электромагнитные и ультразвуковые методы являются аналогами оптических систем, но при этом они менее устойчивы к внешним помехам [2-8].

Поскольку для манипуляций виртуальными объектами необходимо захватить положение рук в пространстве, наилучшим решением является использование оптической технологии. Сложность использования, связанную с закреплением датчиков на теле человека, можно устранить, выделив все датчики в отдельное устройство, которое пользователь будет брать в руку.

Примером подобного решения является Wii Remote. Данное устройство, обладая шестью степенями свободы, позволяет осуществлять ввод трёхмерных жестов, являясь при этом простым в установке и использовании. Однако он обладает двумя существенными минусами: во-первых, самым дорогим элементом системы является именно манипулятор (что существенно, если мы хотим захватывать положение двух рук), а во-вторых, Wii Remote гораздо лучше определяет ориентацию, чем собственное положение [9]. Всё это было учтено при разработке собственного устройства ввода, получившего название “Интерфейс фонарика”.

В качестве дешёвого манипулятора для ввода трёхмерных жестов был выбран обыкновенный карманный фонарик. В качестве датчика света используется стандартная веб-камера, которая крепится к монитору. Фонарик, помимо низкой стоимости и лёгкости использования обладает одним немаловажным преимуществом: он является не точечным, а протяжённым источником света. Иными словами, камера видит фонарик не как точку, а как круг. Эта особенность позволяет нам вычислять расстояние до объекта на основе анализа изображения всего одной камеры. Поэтому, при установке системы не требуется производить калибровку, а сама камера может быть размещена совершенно произвольно.

Изображение, получаемое с веб-камеры, подвергается анализу: изменение положения светового пятна позволяет определить две координаты, на основе изменений размера светового пятна определяется третья, а путем анализа геометрической формы светового пятна вычисляются вектор направления фонарика. Проведённые исследования показали, что «интерфейс фонарика» является удобным для пользователей, эффективно работает при любых условиях внешней освещённости, и обладает достаточной точностью и скоростью для успешной игры в аркадные игры [10].

  1.  Распознавание жестов

Для создания богатого интерфейса недостаточно просто определить трёхмерно положение рук пользователя. Необходимо также уметь распознавать пользовательские жесты – траектории, по которым перемещаются фонарики. В качестве основы алгоритма распознавания жестов используется “$1 Gesture Recognizer Algorithm”, предложенный Jacob O. Wobbrock, Andrew D. Wilson, Yang Li. Данный алгоритм обладает отличной точностью: при использовании единственного шаблона для каждого жеста точность достигает 97%, при использовании трёх и более шаблонов точность превышает 99%. Другим важным преимуществом является низкая вычислительная сложность и линейная зависимость от количества базовых фигур [11]. Вместе с тем, данный алгоритм не умеет выделять жест в непрерывном пользовательском вводе, а также работать с трёхмерными траекториями.

Выполненная модификация позволила этому алгоритму работать в трёхмерном пространстве и осуществлять распознавание жестов в процессе их ввода (т.е. без необходимости как-то обозначать начало и конец жеста). Несмотря на то, что новый алгоритм оказался в несколько раз сложнее, внесённые изменения не повлияли ни на вычислительную сложность, ни на точность распознавания жестов. Проведённые исследования это подтверждают [12].

Т.к. мы хотим реализовать возможность оперирования виртуальными объектами точно так же, как если бы объект был реален, и поскольку в руках у пользователя находится фонарик, в «виртуальной руке» пользователя тоже должен находиться предмет, с помощью которого и осуществляется воздействие на виртуальную среду. Иными словами, все манипуляции с объектами должны выполняться не непосредственно, а при помощи виртуальных инструментов. Благодаря этому подходу пользователь, основываясь на опыте реальной жизни, знает, какой жест применить, чтобы воспользоваться определённым инструментом, и каких результатов от этого действия следует ожидать. Таким образом, пользователь может взаимодействовать с виртуальной средой без предварительного обучения, либо с минимальным обучением принципам функционирования системы. Также следует отметить, что подобные жесты связаны исключительно с предметами и потому не зависят от национальной культуры человека [13].

  1.  Метод автоматической калибровки камер

Интерфейс фонарика позволяет решить ещё одну серьёзную проблему: задачу калибровки камер в системах оптического Motion Capture. Классические подходы, использующие эталонные объекты или светящиеся точки требуют больших вычислительных ресурсов и могут давать ошибочный результат (в силу вычислительной неустойчивости задачи и наличия помех) [14,15].

Интерфейс фонарика, в отличие от традиционного Motion Capture нуждается во всего одной камере для определения трёхмерного положения маркера (т.е. фонарика). Если мы имеем откалиброванную и не откалиброванную камеры, которые обозревают перемещения одного и того же фонарика, то мы получим две пространственные траектории перемещения (по одной относительно каждой из камер). Совмещая эти траектории в пространстве, мы сможем вычислить положение и ориентацию одной камеры относительно другой, а также отношение их фокусных расстояний. Иными словами, мы произведём калибровку.

Поскольку каждая камера работает независимо, и в качестве калибрующих перемещений может выступать любая активность пользователя, процедуру калибровки можно выполнять в фоновом режиме. Т.е. при запуске системы активна одна камера (которой достаточно для начала работы), а затем, незаметно для пользователя, выполняется калибровка всех остальных камер. При этом процесс калибровки может выполняться даже в случае использования нескольких фонариков, т.е. на пользователя не накладывается абсолютно никаких ограничений.

Т.к. калибровка выполняется динамически, то мы можем позволить себе произвести перекалибровку камеры, если первоначальная калибровка оказалась недостаточно точной, либо если камера была перемещена пользователем в другое место. Перекалибровка выполняется автоматически, поскольку система постоянно проверяет каждую камеру на предмет возможных изменений.

Каждая камера функционирует независимо от остальных, следовательно, система может временно отключать те камеры, которые гарантированно не видят фонарики (включая их, когда фонарики приблизятся к их зоне видимости). Также данное свойство позволяет использовать несинхронность камер для увеличения частоты кадров, и чрезвычайно хорошо распараллеливать систему (в графе потоков данных отсутствуют циклы, а объём передаваемых данных минимален) [16].

Описанные выше свойства позволяют строить системы, состоящие из очень большого числа камер, не требующие при этом очень больших вычислительных ресурсов. Иными словами, данная система может успешно функционировать не только в масштабах персонального компьютера, но и в масштабах больших экранов. При этом интерфейс фонарика остаётся простым, недорогим и удобным решением, подходящим для взаимодействия с любыми 3D-объектами.

Список литературы

  1.  В.Л. Авербух, А.В. Зырянов. Методы манипуляций объектами в трёхмерных визуальных средах // Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов. 2009. Вып. 3. С. 58-69.
  2.  Motion capture (http://en.wikipedia.org/wiki/Motion_capture).
  3.  Maletsky Lorin, Junyi Sun, Morton Nicholas. Accuracy of an optical active-marker system to track the relative motion of rigid bodies // Journal of biomechanics 2007, vol. 40, no3, p. 682-685.
  4.  Ramesh Raskar, Hideaki Nii, Bert deDecker... Prakash: lighting aware motion capture using photosensing markers and multiplexed illuminators // SIGGRAPH papers, 2007, article No. 36.
  5.  Stanford Markerless Motion Capture Project (www.stanford.edu/~stefanoc/Markerless/Markerless.html).
  6.  Miller Nathan, Jenkins Odest Chadwicke, Kallmann Marcelo, Matarić Maja J. Motion Capture from Inertial Sensing for Untethered Humanoid Teleoperation // In Proceedings of the IEEE International Conference on Humanoid Robots 2004.
  7.  Motion Capture as a Means for Data Acquisition (http://vizproto.prism.asu.edu/datacapture/motioncapture1/).
  8.  Maureen Furniss. Motion Capture (http://web.mit.edu/comm-forum/papers/furniss.html).
  9.  Wii Remote (http://en.wikipedia.org/wiki/Wii_Remote).
  10.  Зырянов А. В., Авербух В. Л. Интерфейс на основе жестов для взаимодействия с виртуальными средами // X международный семинар по супервычислениям и математическому моделированию, г. Саров, 29 сентября - 3 октября 2008 г. Тезисы докладов. Стр. 73-74.
  11.  Jacob O. Wobbrock, Andrew D. Wilson, Yang Li. Gestures without Libraries, Toolkits or Training: A $1 Recognizer for User Interface Prototypes // Symposium on User Interface Software and Technology, 2007.
  12.  Зырянов А.В. Методы ввода и распознавания жестов для взаимодействия с виртуальными средами // Третья международная конференция "Информационно-математические технологии в экономике, технике и образовании" г. Екатеринбург, 20-22 ноября 2008 г. Тезисы докладов. Стр. 282-283.
  13.  Зырянов, А.В. Использование языка жестов для манипуляций с трёхмерными объектами в системах научной визуализации. Параллельные вычислительные технологии (ПаВТ'2009): Труды международной научной конференции. 30 марта - 3 апреля 2009 r., стр. 485-489.
  14.  Gutemberg B. Optical Motion Capture: Theory and Implementation (http://ranger.uta.edu/~guerra/Guerra-FilhoRITA05optical.pdf)
  15.  Tomas Svoboda. A Software for Complete Calibration of MultiCamera Systems. // Talk given at MIT CSAIL. Jan 25, 2005
  16.  Зырянов А.В. Самокалибрующаяся масштабируемая система ввода трёхмерных жестов // Информационные технологии моделирования и управления, №1, 2010 г. стр. 42-49.


 

А также другие работы, которые могут Вас заинтересовать

67513. Кредитные расчеты. Планирование погашения долга. Погашение долга единовременным платежом 129.5 KB
  Количественный анализ долгосрочной задолженности займа применяется для достижения сбалансированности т. адекватности его параметров принятым условиям финансового соглашения путем планирования погашения долга. Планирование погашения долга заключается в определении периодических расходов...
67514. Оценка инвестиционных процессов. Особенности инвестиционных процессов как объекта финансовой математики 79 KB
  Если проект предполагает не разовую инвестицию а последовательное инвестирование финансовых ресурсов в течение нескольких лет m то формула для расчета модифицируется: Показатель NPV является абсолютным приростом поскольку оценивает на сколько приведенный доход перекрывает приведенные затраты...
67515. Управление персоналом 208.5 KB
  Управление персоналом вид деятельности по руководству людьми отдельными работниками группами коллективом направленный на достижение целей фирмы предприятия путем использования труда опыта таланта этих людей и с учетом их удовлетворенности трудом. Основное внимание менеджера по персоналу...
67516. SYNONYMS 48 KB
  A carefully chosen word from a group of synonyms is a great asset not only on the printed page but also in a speaker's utterance. It was Mark Twain who said that the difference between the right word and just the right word is the difference between the lightning and the lightning-bug.
67517. Электропривод как система. Классификация электроприводов. Общие требования к электроприводу. Состав электропривода и назначение его элементов 94.5 KB
  Электрический привод совокупность электродвигательного устройства ЭД передаточного устройства ПУ управляющего устройства УУ усилительно-преобразовательного устройства УПУ и информационного устройства ИУ см. Функциональная схема электропривода Информационное устройство ИУ содержит датчики сигналов.
67518. Учение о биосфере. Ресурсы биосферы и пути их рационального использования 100.5 KB
  Правильно понять найти рациональное решение проблемы взаимодействия системы общество техника природа помогает учение о биосфере принадлежащее русскому ученому Владимиру Ивановичу Вернадскому. К ним относятся: энергия Солнца и ветра почвы земельные ресурсы растения животные минеральное сырьё вода и др.
67519. Уравнения и характеристики двигателя постоянного тока независимого возбуждения. Управление напряжением якоря 131.5 KB
  Механические характеристики двигателя рассматривались без учета реакции якоря, т.е. влияния тока якоря на основной магнитный поток. Различают поперечную, продольную и коммутационную реакции якоря. Поперечную реакцию якоря можно учесть зависимостью...
67520. Жесткость механической характеристики. Управление реостатное и магнитным потоком 116.5 KB
  Для управления электродвигателем последовательно с обмоткой якоря включают реостат или изменяют ток возбуждения и магнитный поток. На рис. 3.2 показана схема включения двигателя постоянного тока с двумя управляющими реостатами.
67521. Уравнения и характеристики двигателя постоянного тока последовательного возбуждения. Управление напряжением и реостатное 225.5 KB
  Схема включения двигателя последовательного возбуждения показана на рис. Схема включения двигателя последовательного возбуждения Уравнение баланса напряжений и выражения для ЭДС и электромагнитного момента имеют вид: U = rя rв I Eя; 4. Механические характеристики двигателя последовательного возбуждения...