30480

GESTURE-BASED INTERFACE: TECHNOLOGY AND APPLICATION

Научная статья

Информатика, кибернетика и программирование

Recently gesture-based interfaces are becoming more widely used. There are many advantages of gesture-based interfaces such as small learning time, wide availability (if they done properly), and, in some cases, the lack of manipulators, which is important for mobile devices

Английский

2015-01-19

35.5 KB

0 чел.

Alexander Zyryanov

GESTURE-BASED INTERFACE: TECHNOLOGY AND APPLICATION

Department of Informatics and Processes Management, Ural State University, Ekaterinburg, Russia

  1.  Introduction

Recently gesture-based interfaces are becoming more widely used. There are many advantages of gesture-based interfaces such as small learning time, wide availability (if they done properly), and, in some cases, the lack of manipulators, which is important for mobile devices. However, gesture-based interfaces perceived by many as the entertainment-only technology, which is not suitable for serious work. In this article we will talk about our gesture-based interface and its possible applications.

  1.   «Flashlight interface»

We have developed gesture-based interface which uses ordinary flashlight and standard webcam for three-dimensional input. In addition to low cost and ease of use this technology has one important advantage: camera sees a flashlight not as a point, but as a circle. This feature allows us to calculate 3D position and orientation of flashlight using only one camera. Therefore, we don’t need to calibrate the system before using. Researches have shown that our interface is convenient for users, it works effectively in all kind of ambient light, and it has sufficient accuracy and speed for successful gaming and working. It’s possible to add buttons to the flashlight (they can change its color) for mouse emulation.

To create a rich interface it is not enough to determine the three dimensional position of the hands of the user. We must also be able to recognize user gestures - a trajectory of user’s hands movement. To solve this problem we’ve developed an algorithm that allows finding gestures in a continuous user input and their recognition. Since we want to interact with virtual objects in the same way as if the object is real, and since user’s real hand hold an object (a flashlight), user’s virtual hand should also hold an object. In other words, all manipulations with the objects must be performed with virtual instruments. This approach has many important advantages. It is convenient for the user, because interaction with virtual world is based on the real life experience. This approach is also convenient for the developer, since the use of the virtual instrument sets the context of possible action and thus facilitates the gesture recognition process (and makes it more accurate because we have to choose from a smaller number of patterns). It should also be noted that such gestures are associated exclusively with the instrument and therefore does not depend on the national culture of the user.

When one camera is not enough, our system allows the simultaneous use of multiple cameras. In this case, camera calibration is performed automatically and in real time (by our special algorithm) that makes such systems as easy to install as systems with only one camera.

We performed a comparative test.  The task was to move object in three dimensional space using classic mouse interface and flashlight interface. Time required to solve the problem by using one or the other interface was roughly equal, and two-thirds of the subjects said that the our interface is more convenient to the traditional one.

  1.  Application

To be useful and convenient, the dimension of the interface must be equal to the dimension of display and the dimension of the application. Say, moving three-dimensional objects using three-dimensional interface and two-dimensional display is inconvenient, and creating three-dimensional input device for typing text is practically meaningless.

Thus, three-dimensional gesture-based interfaces are best used for interaction with the three-dimensional space using three-dimensional displays. These include, primarily, CAVE-system, where such interfaces are already used extensively, and virtual reality systems, where such interfaces are rare, but quite successfully. However, the development of three-dimensional displays for home computers and a large number of three-dimensional applications (such as entertainment and business software) allows us to hope that the three-dimensional interfaces will not only useful but also necessary for the widest range of users in a very near future.


 

А также другие работы, которые могут Вас заинтересовать

26463. Морфофункциональная характеристика суставов 31.5 KB
  Морфофункциональная характеристика суставов Прерывный тип соединения сустав diartrosis articulatio Основное образование Добавочное образование cartilago articularis построен из волокнистой гиалиновой ткани отсутствуют кровеносные сосуды обеспечивает защиту уменьшает трение увеличивает размах движения в суставе. простой articulatio simplex в формировании сустава принимают участие только 2 суставные поверхности плечевой сложный articulatio composita в формировании сустава принимают участие 3 и более суставных...
26464. Общие закономерности артрологии 19.5 KB
  В сложных суставах кроме длинных боковых связок обязательно имеются: короткие боковые межрядовые межкостные крестовидные общие пальмарные и плантарные На суставах тазовой конечности связок больше чем на грудной. Закон расположения связок: связки всегда расположены перпендикулярно к оси вращения и по бокам. Толщина и количество связок зависят от объема движений в суставе.
26465. Понятие о норме, вариантах и аномалиях строения и развития органов 20.5 KB
  Понятие о норме вариантах и аномалиях строения и развития органов анатомическая норма построения органа вариант формы и строения органа свойственный каждому виду породе возрасту и полу здорового нормально функционирующего организма который наиболее часто встречаются у домашних животных 5060 Отклонения от установленной нормы средних величин не сопровождающегося нарушением функция вариант аномалия изменение формы размера расположения строения органа без влияния на его функцию. порок развития изменение формы строения...
26466. Понятие о фило-онтогенезе. Принципы филогенеза 27.5 KB
  геронтологический Основной биогенетический закон закон ГеккеляБэра пренатальный онтогенез кратко повторяет филогенез последовательно проходит стадии филогенетического развития Северцов дополнение: онтогенез является базой для филогенеза. Закон единства организма и внешней среды Живые системы открытые они постоянно обмениваются веществами и энергией со средой. Закон целостности и неделимости организма целостность живого поддерживается в процессе развития. Закон единства формы и функции форма и строение органа определяются его...
26467. Понятие об анатомии как о науке. Объекты и методы исследования 25.5 KB
  Макроскопическая анатомия определяет строение органов определяемое невооруженным глазом. Экспериментальноморфологический испытание лекарственных препаратов клетка  ткань  орган  система органов  организм цитология гистология анатомия Направления нормальной анатомии: системная анатомия сравнительная видовая объекты СА: лошадь домашняя Equis caballis КРС Bos taunus МРС Ovis carpa свинья домашняя Sus domestica собака домашняя Canis...
26468. Понятие об органе, системе и аппарате органов 25 KB
  Органы состоят из тканей tela; ткань система клеток и неклеточных структур характеризующаяся общим строением и происхождением. Система органов комплекс морфологически взаимосвязанных однородных органов органы системы имеют общее происхождение строение и функции. Костная система скелет твёрдый каркас организма Мышечная система скелетная мускулатуравспомагательный аппарат обеспечивает активное движение ОКП integumentim communnae защита Система органов пищеварения приём пищи измельчение переваривание всасывание...
26469. Роговые образования кожного покрова 37 KB
  Роговые образования кожного покрова МЯКИШИ torus упругие утолщения кожного покрова которые служат для опоры конечности о землю и обеспечивает амортизацию обладают большой чувствительностью осязание имеют хорошо развитый подкожный слой липоциты эласт. волокна располагаются на автоподиях Лошадь запястье пальмарно заплюсна плантарно каштаны пясть плюсна шоры пальцевый мякиш стрелка внутри копыта Собака на грудной запястные пястные пальцевые на тазовой плюсневые пальцевые Свинья КРС ...
26470. Фило-онтогенез кожного покрова 20 KB
  Филоонтогенез кожного покрова Филогенез: ланцетник однослойный цилиндрический эпителий рыбы появляются производные кожного покрова чешуя амфибии двуслойный эпителий 2ой слой соединительнотканный в связи с выходом на сушу рептилии 34слойный эпидермис в соединительной ткани коллагеновые и эластические волокна роговые образования птицы млекопитающие 5 слоёв эпителия 2слоя в дерме подкожный; роговые образования железы у птиц перья копчиковая железа онтогенез: У эмбриона кожа состоит из эпителия эктодермального...
26471. Фило-онтогенез скелета 25 KB
  Внутренний развивался в филогенезе как каркас опорная конструкция на которой закрепляются мягкие ткани. в промежуточном вве костной ткани кроме коллагеновых волокон и клеток откладываются мин. Пресмыкающиеся и тд скелет из пластинчатой костной ткани коллагеновые волокна расположены упорядоченно . ткани перепончатого скелета коллагеновые волокна расп.