30485

Интерфейс на основе жестов для манипулирования трёхмерными виртуальными объектами и его применение в системах научной визуализации

Научная статья

Информатика, кибернетика и программирование

Развитие вычислительных систем позволяют проводить моделирование сложных физических процессов со всё большей точностью. Однако увеличение объема вычисляемых данных приводит к усложнению обработки полученных сведений...

Русский

2015-01-19

43.5 KB

1 чел.

Интерфейс на основе жестов для манипулирования трёхмерными виртуальными объектами и его применение в системах научной визуализации

Александр Зырянов

Уральский государственный университет, Екатеринбург

Развитие вычислительных систем позволяют проводить моделирование сложных физических процессов со всё большей точностью. Однако увеличение объема вычисляемых данных приводит к усложнению обработки полученных сведений. Научная визуализация позволяет представить результаты в виде более удобных для анализа трёхмерных объектов, но вместе с тем порождает проблему взаимодействия пользователя с виртуальной средой.

Поскольку суть взаимодействия состоит не в выполнении повседневных операций, а в изучении нового, ранее неизвестного объекта, необходимо создать такой интерфейс, в котором манипуляции с устройством ввода в точности соответствуют воздействию на виртуальный объект (к примеру, поворот манипулятора приводит к аналогичному повороту объекта). И единственный способ осуществить это, не прибегая к использованию множества различных манипуляторов – осуществлять пользовательский ввод при помощи трёхмерных жестов.

Существует большое число различных методов Motion Capture, однако ни один из них не позволяет реализовать дешевый, простой в установке и удобный в использовании способ ввода трёхмерных жестов. Поэтому я разработал собственную технологию, основанную на единственной веб-камере и обыкновенном фонарике, который пользователь держит в руке. Изображение, получаемое с веб-камеры, подвергается анализу: изменение положения светового пятна позволяет определить две координаты, на основе изменений размера светового пятна определяется третья, а путем анализа геометрической формы светового пятна вычисляются вектор направления фонарика. Проведённые исследования показали, что «интерфейс фонарика» является удобным для пользователей, эффективно работает при любых условиях внешней освещённости, и обладает достаточной точностью для распознавания жестов. В качестве основы алгоритма распознавания жестов используется “$1 Gesture Recognizer Algorithm”, предложенный Jacob O. Wobbrock, Andrew D. Wilson, Yang Li. Выполненная мною модификация позволила этому алгоритму работать в трёхмерном пространстве и осуществлять распознавание жестов в процессе их ввода (т.е. без необходимости как-то обозначать начало и конец жеста).

Т.к. мы хотим реализовать возможность оперирования виртуальными объектами точно так же, как если бы объект был реален, и поскольку в руках у пользователя находится фонарик, в «виртуальной руке» пользователя тоже должен находиться предмет, с помощью которого и осуществляется воздействие на виртуальную среду. Иными словами, все манипуляции с объектами должны выполняться не непосредственно, а при помощи виртуальных инструментов. Благодаря этому подходу пользователь, основываясь на опыте реальной жизни, знает, какой жест применить, чтобы воспользоваться определённым инструментом, и каких результатов от этого действия следует ожидать. Таким образом, пользователь может взаимодействовать с виртуальной средой без предварительного обучения, либо с минимальным обучением принципам функционирования системы. Также следует отметить, что подобные жесты связаны исключительно с предметами и не зависят от национальной культуры человека.

Описываемый интерфейс можно легко подключить к любой разрабатываемой системе научной визуализации. В качестве примера «интерфейс фонарика» был использован в системе визуализации сложных графов в трёхмерном пространстве. Предварительные данные говорят об удобстве данного интерфейса, однако полная сравнительная оценка с другими, традиционными интерфейсами ещё не произведена. В дальнейшем планируется осуществить данное тестирование, а также реализовать «интерфейс фонарика» в виде набора библиотек с возможностью использования любого элемента данной системы в сторонних приложениях.

Gesture-Based Interface for 3D Virtual Object Manipulating and its Application in Scientific Visualization Systems

Alexander Zyryanov

Ural State University, Yekaterinburg, Russia

The modern computer systems allow modeling complex physical processes with phenomenal accuracy. However, it is very difficult to extract useful information from the huge amount of resulted data. Scientific visualization allows us to present the results in the form of more convenient 3D-objects, but it also raises the problem of user interaction with virtual environments.

The essence of such interaction is not to perform some boring daily operations, but to explore new, previously unknown objects. That’s why it is necessary to create an interface in which the manipulation with the input device is corresponding to the effects on the virtual object (for example, manipulator rotation leads to a similar object rotation). And the only way to do so without using many different manipulators is to implement 3D-gesture user input.

There are many different methods of Motion Capture, but none of them allows cheap, easy to install and easy to use method of inputting 3D-gestures. I therefore developed my own technology, based on a single web camera and an ordinary flashlight, which the user holds in his hand. The program analyse web camera image: from position change of light spots the first two coordinates are determined, from the changes of the light spot’s size we determine the third, and from geometric shape analysis program calculates the angles of the flashlight. Research has shown that the «flashlight’s interface» is a user-friendly, work effectively with any external light conditions, and has sufficient accuracy for gesture recognition. As the basis algorithm for gesture-recognition process, the "$1 Gesture Recognizer Algorithm" by Jacob O. Wobbrock, Andrew D. Wilson and Yang Li was chosen. I have performed modification that allows the algorithm to work in 3D-space and to extract gestures from continuous user input (i.e. without the need of marking the beginning and end of a gesture by the user).

Since we want to interact with virtual objects exactly the same way as with their copy in the real world, and because user’s real hand holds a flashlight, user’s virtual hand also should hold an object – an instrument, by which all impact on the virtual environment is implemented. In other words, the manipulation with virtual objects must be carried out not directly but by using some virtual instruments. With this approach, the user, based on real life experience, knows what kind of gesture to perform to use a certain instrument, and what results from this action he or she should expect. Thus, the user can interact with a virtual environment without prior training or with very limited training. It should also be noted that such gestures are linked to the instruments and does not depend on the user’s national culture.

Described interface can be easily connected to any developing scientific visualization system. As an example, «flashlight’s interface» was used in the visualization of complex graphs in 3D-space. Preliminary data shows some advantages of this interface, but a full comparative analyze with traditional interfaces yet have to be done. In future I intend to perform this analyze, and to implement «flashlight’s interface» as a set of libraries with the ability to use any element of this system in third-party applications.


 

А также другие работы, которые могут Вас заинтересовать

81817. Предмет современной философии науки 31.34 KB
  Создавая образ философии науки следует четко определить о чем идет речь: о философии науки как направлении западной и отечественной философии или же о философии науки как о философской дисциплине наряду с философией истории логикой методологией культурологией исследующих свой срез рефлексивного отношения мышления к бытию в данном случае к бытию науки. Философия науки как направление современной философии представлена множеством оригинальных концепций предлагающих ту или иную модель развития науки и эпистемологии. Она сосредоточена на...
81818. Понятие науки. Основные аспекты бытия науки 34.37 KB
  Наука как социальный институт или форма общественного сознания связанная с производством научнотеоретического знания представляет собой определенную систему взаимосвязей между научными организациями членами научного сообщества систему норм и ценностей. Они участвуют в разнообразных формах научного общения дискуссии конференции издания монографии учебники читают лекции и т. Выделим самые характерные черты научного знания. Еще Кант в качестве неотъемлемой черты науки отмечал систематичность научного знания: именно этим как он...
81819. Эволюция подходов к анализу науки 30.26 KB
  Важнейшей характеристикой знания является его динамика т. Дело в том что для логического позитивизма в целом были характерны: а абсолютизация формальнологической и языковой проблематики; б гипертрофия искусственно сконструированных формализованных языков в ущерб естественным; в концентрация исследовательских усилий на структуре готового ставшего знания без учета его генезиса и эволюции; г сведение философии к частнонаучному знанию а последнего к формальному анализу языка науки; д игнорирование социокультурного контекста анализа...
81820. Логико-эпистемологический подход к исследованию науки 32.07 KB
  Они полагали что причина большинства эпистемологических затруднений – в неправильном использовании языка. Правильное же использование языка которому мы пока не научились даст возможность либо вообще избежать ошибок либо по крайней мере свести к минимуму ущерб от них. исследования языка в основу своих эпистемологических поисков неопозитивисты принялись за работу над многими проблемами методологии науки: тут и соотношение уровней познания принципы выбора теории определение факта место логики и математики в познании и т. Карнапа...
81821. Позитивистская традиция в философии науки 33.28 KB
  Максимум метафизики который признавался позитивизмом законным заключался в призыве к философии стать метанаукой т. Конта 1798–1857 пустившего в оборот термин позитивизм который фигурирует в названиях основных его сочинений: Курс позитивной философии Дух позитивной философии и Система позитивной политики. Наука к тому времени уже была предметом анализа в немецкой классической философии у Канта Фихте и Гегеля и следы немецкого влияния просматриваются у Конта.
81822. Расширение поля философской прблематики в позитивистской философии науки. Концепции К.Поппера, И. Лакатоса, Т. Куна, П. Фейерабенда, М.Полани 42.44 KB
  Проблему роста развития изменения знания разрабатывали начиная с 60х гг. Они считали что существует тесная аналогия между ростом знания и биологическим ростом т. В постпозитивизме происходит существенное изменение проблематики философских исследований: если логический позитивизм основное внимание обращал на анализ структуры научного познания то постпозитивизм главной своей проблемой делает понимание роста развития знания. Первой такой концепцией стала концепция роста знания К.
81823. Социологический и культурологический подходы к исследованию развития науки 27.7 KB
  проблема истории науки не была предметом специального рассмотрения ни философов ни ученых работавших в той или иной области научного знания и только в трудах первых позитивистов появляются попытки анализа генезиса науки и ее истории создается историография науки. Специфика подхода к возникновению науки в позитивизме выражена Г. Спенсером 18201903 в работе Происхождение науки .
81824. Проблема интернализма и экстернализма в понимании механизмов научной деятельности 33.09 KB
  Экстерналистская концепция генезиса науки вызвала резкое неприятие со стороны некоторых историков науки, которые представили альтернативную концепцию, получившую название интерналистской, или имманентной. Согласно этой концепции
81825. Базисные ценности современной цивилизации. Ценность научной рациональности 33.22 KB
  Ценности не сводятся только к моральноэтическим императивам. Ценности способствуют усилению мотивации поступков и действий человека они связаны с глубинными переживаниями значимости своей деятельности и поэтому ценностные установки накладывают свой отпечаток на процесс научного творчества. Важно подчеркнуть что ценности могут играть как позитивную так и негативную роль.