30485

Интерфейс на основе жестов для манипулирования трёхмерными виртуальными объектами и его применение в системах научной визуализации

Научная статья

Информатика, кибернетика и программирование

Развитие вычислительных систем позволяют проводить моделирование сложных физических процессов со всё большей точностью. Однако увеличение объема вычисляемых данных приводит к усложнению обработки полученных сведений...

Русский

2015-01-19

43.5 KB

1 чел.

Интерфейс на основе жестов для манипулирования трёхмерными виртуальными объектами и его применение в системах научной визуализации

Александр Зырянов

Уральский государственный университет, Екатеринбург

Развитие вычислительных систем позволяют проводить моделирование сложных физических процессов со всё большей точностью. Однако увеличение объема вычисляемых данных приводит к усложнению обработки полученных сведений. Научная визуализация позволяет представить результаты в виде более удобных для анализа трёхмерных объектов, но вместе с тем порождает проблему взаимодействия пользователя с виртуальной средой.

Поскольку суть взаимодействия состоит не в выполнении повседневных операций, а в изучении нового, ранее неизвестного объекта, необходимо создать такой интерфейс, в котором манипуляции с устройством ввода в точности соответствуют воздействию на виртуальный объект (к примеру, поворот манипулятора приводит к аналогичному повороту объекта). И единственный способ осуществить это, не прибегая к использованию множества различных манипуляторов – осуществлять пользовательский ввод при помощи трёхмерных жестов.

Существует большое число различных методов Motion Capture, однако ни один из них не позволяет реализовать дешевый, простой в установке и удобный в использовании способ ввода трёхмерных жестов. Поэтому я разработал собственную технологию, основанную на единственной веб-камере и обыкновенном фонарике, который пользователь держит в руке. Изображение, получаемое с веб-камеры, подвергается анализу: изменение положения светового пятна позволяет определить две координаты, на основе изменений размера светового пятна определяется третья, а путем анализа геометрической формы светового пятна вычисляются вектор направления фонарика. Проведённые исследования показали, что «интерфейс фонарика» является удобным для пользователей, эффективно работает при любых условиях внешней освещённости, и обладает достаточной точностью для распознавания жестов. В качестве основы алгоритма распознавания жестов используется “$1 Gesture Recognizer Algorithm”, предложенный Jacob O. Wobbrock, Andrew D. Wilson, Yang Li. Выполненная мною модификация позволила этому алгоритму работать в трёхмерном пространстве и осуществлять распознавание жестов в процессе их ввода (т.е. без необходимости как-то обозначать начало и конец жеста).

Т.к. мы хотим реализовать возможность оперирования виртуальными объектами точно так же, как если бы объект был реален, и поскольку в руках у пользователя находится фонарик, в «виртуальной руке» пользователя тоже должен находиться предмет, с помощью которого и осуществляется воздействие на виртуальную среду. Иными словами, все манипуляции с объектами должны выполняться не непосредственно, а при помощи виртуальных инструментов. Благодаря этому подходу пользователь, основываясь на опыте реальной жизни, знает, какой жест применить, чтобы воспользоваться определённым инструментом, и каких результатов от этого действия следует ожидать. Таким образом, пользователь может взаимодействовать с виртуальной средой без предварительного обучения, либо с минимальным обучением принципам функционирования системы. Также следует отметить, что подобные жесты связаны исключительно с предметами и не зависят от национальной культуры человека.

Описываемый интерфейс можно легко подключить к любой разрабатываемой системе научной визуализации. В качестве примера «интерфейс фонарика» был использован в системе визуализации сложных графов в трёхмерном пространстве. Предварительные данные говорят об удобстве данного интерфейса, однако полная сравнительная оценка с другими, традиционными интерфейсами ещё не произведена. В дальнейшем планируется осуществить данное тестирование, а также реализовать «интерфейс фонарика» в виде набора библиотек с возможностью использования любого элемента данной системы в сторонних приложениях.

Gesture-Based Interface for 3D Virtual Object Manipulating and its Application in Scientific Visualization Systems

Alexander Zyryanov

Ural State University, Yekaterinburg, Russia

The modern computer systems allow modeling complex physical processes with phenomenal accuracy. However, it is very difficult to extract useful information from the huge amount of resulted data. Scientific visualization allows us to present the results in the form of more convenient 3D-objects, but it also raises the problem of user interaction with virtual environments.

The essence of such interaction is not to perform some boring daily operations, but to explore new, previously unknown objects. That’s why it is necessary to create an interface in which the manipulation with the input device is corresponding to the effects on the virtual object (for example, manipulator rotation leads to a similar object rotation). And the only way to do so without using many different manipulators is to implement 3D-gesture user input.

There are many different methods of Motion Capture, but none of them allows cheap, easy to install and easy to use method of inputting 3D-gestures. I therefore developed my own technology, based on a single web camera and an ordinary flashlight, which the user holds in his hand. The program analyse web camera image: from position change of light spots the first two coordinates are determined, from the changes of the light spot’s size we determine the third, and from geometric shape analysis program calculates the angles of the flashlight. Research has shown that the «flashlight’s interface» is a user-friendly, work effectively with any external light conditions, and has sufficient accuracy for gesture recognition. As the basis algorithm for gesture-recognition process, the "$1 Gesture Recognizer Algorithm" by Jacob O. Wobbrock, Andrew D. Wilson and Yang Li was chosen. I have performed modification that allows the algorithm to work in 3D-space and to extract gestures from continuous user input (i.e. without the need of marking the beginning and end of a gesture by the user).

Since we want to interact with virtual objects exactly the same way as with their copy in the real world, and because user’s real hand holds a flashlight, user’s virtual hand also should hold an object – an instrument, by which all impact on the virtual environment is implemented. In other words, the manipulation with virtual objects must be carried out not directly but by using some virtual instruments. With this approach, the user, based on real life experience, knows what kind of gesture to perform to use a certain instrument, and what results from this action he or she should expect. Thus, the user can interact with a virtual environment without prior training or with very limited training. It should also be noted that such gestures are linked to the instruments and does not depend on the user’s national culture.

Described interface can be easily connected to any developing scientific visualization system. As an example, «flashlight’s interface» was used in the visualization of complex graphs in 3D-space. Preliminary data shows some advantages of this interface, but a full comparative analyze with traditional interfaces yet have to be done. In future I intend to perform this analyze, and to implement «flashlight’s interface» as a set of libraries with the ability to use any element of this system in third-party applications.


 

А также другие работы, которые могут Вас заинтересовать

41686. ОЗНАКОМЛЕНИЕ СО СРЕДСТВАМИ МОДЕЛИРОВАНИЯ И ИССЛЕДОВАНИЯ ЭЛЕКТРОННЫХ СХЕМ В ПРОГРАММЕ EWB 41.97 KB
  Высокой точностью отличается табличный метод но он наиболее трудоемкий и требует наличие полной принципиальной схемы электронного устройства знание интенсивностей отказов и коэффициента электрической нагрузки каждого элемента схемы. Поэтому последовательность лабораторных работ согласована с этапами расчета надежности а именно: изучение принципиальной схемы усилителя; назначение элементов схемы и их влияние на надежность; настройка схемы и измерение токов и напряжений на каждом элементе схемы; расчет коэффициентов нагрузки и...
41687. Знакомство с Си++. Выполнение программы простой структуры 70.21 KB
  Выполнение программы простой структуры Цель: Знакомство со средой программирования создание отладка и выполнение простой программы содержащей ввод вывод информации и простейшие вычисления. Структура программы Программа на языке Си имеет следующую структуру: директивы препроцессора . директивы препроцессора функция а операторы функция в операторы void min функция с которой начинается выполнение программы операторы описания присваивания функция пустой оператор составной выбора циклов...
41688. Получение вольт-амперных и переходных характеристик силовых диодов, определение по ним статических и динамических параметров 524.97 KB
  Виртуальная лабораторная установка для исследований предусмотренных содержанием работы содержит: функциональный генератор сигналов Function Genertor XFG1; двухлучевой осциллограф Oscilloscope XSC1; модели реальных однотипных диодов D1 D2; датчик V1 тока протекающего через диод D1; идеальные источники переменного синусоидального I1 токаи постоянного I2 тока. Эта группа диодов отличается высокими значениями обратного напряжения от 50В до 5кВ и прямого тока от 10А до 5кА. Массивная структура диодов ухудшает их...
41689. Модели и моделирование. Применение моделей в задачах принятия управленческих решений в сфере автотранспорта и организации автосервиса 1.23 MB
  Целью первой части пособия является изучение моделей управления, основанных на электронных таблицах: что они собой представляют, как создаются, используются и что можно узнать с их помощью.
41690. Технология работы с базами данных средствами MS Excel 39.62 KB
  Технология работы с базами данных средствами MS Excel. Общая характеристика систем обработки табличных данных. Диапазон данных область где хранятся данные списка. Каждую группу данных следует разбить на отдельные наименьшие элементы что упростит поиск информации и преобразование структуры списка.
41691. Исследование работы и расчет сварных соединений 142.82 KB
  Оборудование: сварные соединения выполненные стыковыми и угловыми швами изготовленные из различных сталей. Различают следующие виды сварных соединений: Стыковые: без разделки кромок Vобразная разделка Xобразная разделка U образная разделка; Нахлесточные: с нормальной формой сечения шва с выпуклой формой с вогнутой формой со специальной формой сечения шва; Угловые: без скоса кромок и со скосом кромок; Тавровые: без скоса кромок со скосом одной кромки со скосом двух кромок. В области сварного шва в основном металле...
41693. Создание структур базы данных 74.18 KB
  Вывод: ознакомилась с основными понятиями базы данных; научилась создавать двумерные таблицы в режиме Конструктор; освоила основные приёмы заполнение, редактирование таблицы баз данных.