21322

Жестовые методики ввода информации в интерактивных системах компьютерной визуализации

Научная статья

Информатика, кибернетика и программирование

Трёхмерность, особенно в случае использования средств виртуальной реальности или “больших” экранов (то есть экранов, диагональ которых измеряется метрами, а количество пикселей – десятками миллионов) требует и новые средства ввода и связанные с ними новые пользовательские интерфейсы

Русский

2015-01-19

41 KB

19 чел.

Жестовые методики ввода информации в интерактивных системах компьютерной визуализации

В.Л. Авербух, Г.С. Дернов, А.В.Зырянов, И.С. Стародубцев, Т.А. Флягина, А.А. Щербинин

ИММ УрО РАН, УрГУ, Екатеринбург

Трёхмерность, особенно в случае использования средств виртуальной реальности или “больших” экранов (то есть экранов, диагональ которых измеряется метрами, а количество пикселей – десятками миллионов) требует и новые средства ввода и связанные с ними новые пользовательские интерфейсы. Необходимо обеспечить естественный, надежный и точный интерфейс, что можно сделать при помощи интерфейса, основанного на жестах. Существует целый ряд технологий ввода жестов и подходов к созданию на их базе жестовых языков. Нами проведены исследования и опытные разработки, учитывающие различные подходы к вводу и распознаванию жестов и их использованию в интерфейсах для систем научной визуализации.

Под жестом в общем случае можно понимать любое физическое движение, которое цифровая система может распознать и реагировать без помощи традиционных устройств ввода, таких как мышь или стилус [1]. Однако можно различать жест-команду и жест-манипуляцию. Манипуляции зависят от контекста, то есть выполняется только на конкретном объекте (или объектах и в определенном месте). Как правило, их результат приводит к немедленной реакции. Имеет место прямая корреляция в причинно-следственной связи между действиями пользователя и действиями системы. То есть действия пользователя непосредственно влияют на работу системы, объект или вызывают какое-либо событие. Жесты-команды не зависят от контекста: они могут появляться произвольно и не зависят от места или объекта. Система ожидает серию событий, чтобы определить, как на них реагировать. Действия пользователя не влияют на работу систему непосредственно, они играют роль выражений некоторого языка. Жестовые интерфейсы за счет своей естественности могут применяться практически во всех областях человеко-компьютерного взаимодействия.

При проектировании жестового интерфейса необходимо построить компьютерную метафору жеста, связывающую глагол-действие и функциональную группу “реальных” жестов, а также спроектировать обратную связь, позволяющую понять, что жест распознан и, если необходимо, что это за жест и какие жесты допустимы.

Разработка приложений, реализующих жестовые интерфейсы на базе акселерометра (контроллера Wii Remote), а также на базе традиционной мыши, позволила проанализировать возможности этих устройств для организации взаимодействия пользователя с системой. Кроме того, были разработаны приложения, которые позволили рассмотреть возможности мультитач-жестов. В настоящее время эти жесты, как правило, реализуются на базе таких устройств, как разнообразные сенсорные панели, специализированные мыши, устройства с мультитач-экраном. Навигация при помощи мультитач-жестов является предпочтительной, хотя и имеет ряд ограничений.

Важное наблюдение было сделано при исследовании пользователей систем на базе виртуальной реальности. В ряде случаев пользователи, испытывая состояния присутствия в среде виртуальной реальности, пытались использовать традиционную мышь, как трехмерный жестовый манипулятор. Это может свидетельствовать о необходимости разработки средств жестового ввода на базе виртуальных инструментов для подобных сред визуализации.

Можно выдвинуть предположение о том, что взаимодействия с виртуальным объектом должны выполняться при помощи виртуальных инструментов. Должны существовать контекстно-зависимые палитры виртуальных инструментов, каждый из которых имеет собственный набор интерпретаций жестов. При этом, виртуальный инструмент должен принадлежать тому же пространству, что и объект, с которым он работает. В частности это означает, что инструмент должен поддерживать соответствующую размерность. При разработке манипулятора необходимо учитывать виртуальные инструменты, с которыми он будут использоваться. С другой стороны возможно наоборот (как это делается сейчас), проектировать виртуальные инструменты исходя из возможностей манипулятора. В любом случае необходимо учитывать контекст, в котором предполагается использование манипулятора.

В работах [2-3] была описана реализация манипулятора на базе обыкновенного карманного фонарика. При реализации “трехмерных” языков жестов задача распознавания жестов состоит из двух частей: выделение жеста в непрерывном пользовательском вводе и, собственно, вычислении расстояния. Необходимость выделять жест связана с тем, что на источниках света отсутствуют какие-либо кнопки, которые могли бы задавать режим работы (выполнение в данный момент: жеста или простое перемещения). На базе данного устройства создан расширяемый жестовый интерфейс, который позволяет взаимодействовать с виртуальным объектом так, как если бы перед нами находился его реальный аналог. Расширение осуществляется за счет программного добавления новых виртуальных инструментов, в качестве которых можно использовать хорошо известные объекты.

1. Saffer D. Designing Gestural Interfaces. O’Reilly. Sebastopol, CA, 2009.

2. В.Л. Авербух, А.В. Зырянов. Методы манипуляций объектами в трёхмерных визуальных средах. // Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов. 2009 г., Вып. 3, стр. 58-69.

3. Зырянов А.В. Самокалибрующаяся масштабируемая система ввода трёхмерных жестов // Системы управления и информационные технологии, 1.1(39), 2010 г., стр. 135-139.


 

А также другие работы, которые могут Вас заинтересовать

32952. РОЛЬ ЦЕННОСТЕЙ В СОЦ.-ГУМАНИТАРНОМ ПОЗНАНИИ 35.21 KB
  У каждой эпохи у каждого народа или отдельного человека свои ценности. Однако это не совсем так: ценности относительны они меняются в зависимости от изменения потребностей и интересов людей от формы господствующих в общве отношений уровня цивилизованности и др. ценности устойчивы ибо существуют определенное время. Более того есть ценности которые сохраняют свое значение на протяжении всего существования человечества жизнь благо имеющие абсолютное значение.
32953. СОВРЕМЕННЫЕ МЕТОДОЛОГИЧЕСКИЕ ПОИСКИ В СОЦ.-ГУМАНИТАРНЫХ НАУКАХ: ЭВРИСТИЧЕСКИЕ ВОЗМОЖНОСТИ СИНЕРГЕТИКИ И СИСТЕМНОГО МЕТОДА 18.31 KB
  Синергетика комплекс научных и методологических проблем самоорганизации с учетом новых results нелинейной динамики. Синергетика ядро постнеклассческой научной картины мира и метода изучения сложных систем. Синергетика имеет дело не со всеми системами а с открытыми которые взаимодействуют с окружающей средой обмениваясь с ней энергией и info. Синергетика не противостоит ни диалектическому ни системному подходу а продолжает эти традиции.
32954. СОЦ. ПОЗНАНИЕ С Т.З. КРИТИЧЕСКОГО РАЦИОНАЛИЗМА (К.ПОППЕР. ЛОГИКА СОЦ. НАУК) 18.53 KB
  НАУК Развитие научного знания это непрерывный процесс ниспровержения одних научных теорий и замены их др. Модель роста научного познания: Р1 ТТ ЕЕ Р2 Р1 исходная проблема ТТ пробная теории для ее решения ЕЕ процесс устранения ошибок Р2 появление новой более глубокой проблемы. Теорией научного знания и его роста является эпистемология которая в процессе своего формирования становится теорией решения проблем конструирования критического обсуждения оценки и критической проверки конкурирующих гипотез и теорий....
32955. СОЦ. ФАКТЫ И ОСОБЕННОСТИ ИХ ИССЛЕДОВАНИЯ (Э.ДЮРКГЕЙМ. МЕТОД СОЦИОЛОГИИ) 17.24 KB
  Соц. факт - разряд фактов, отличающихся специфическими св-вами; его составляют образы мыслей, действий и чувствований, находящиеся вне индивида и одаренные принудительной силой, вследствие которой он вынуждается к ним. Отсюда их нельзя смешивать ни с органическими явлениями,
32956. СОЦИОЛОГИЧЕСКИЕ ПОНЯТИЯ И ИХ ФУНКЦИИ В СОЦ. ПОЗНАНИИ (М.ВЕБЕР. ОСНОВНЫЕ СОЦИОЛОГИЧЕСКИЕ ПОНЯТИЯ) 15.56 KB
  СОЦИОЛОГИЧЕСКИЕ ПОНЯТИЯ И ИХ ФУНКЦИИ В СОЦ. ОСНОВНЫЕ СОЦИОЛОГИЧЕСКИЕ ПОНЯТИЯ естественные и соц. Предмет соц. познания это культурно значимая действительность = Соц.
32957. СПЕЦИФИКА НАУЧНОГО ЗНАНИЯ: ПРОБЛЕМА КРИТЕРИЕВ НАУЧНОСТИ 22.58 KB
  СПЕЦИФИКА НАУЧНОГО ЗНАНИЯ: ПРОБЛЕМА КРИТЕРИЕВ НАУЧНОСТИ СПЕЦИФИКА НАУЧНОГО ЗНАНИЯ ориентация науки на изучение объектов которые могут быть включены в деятть и их исследование как подчиняющихся объективным законам функционирования и развития отражает объекты природы не в форме созерцания а в форме практики. социокультурных факторов в процесс порождения научного знания. объективность и предметность научного познания. выработка наукой специального языка науки системность и обоснованность научного знания.
32958. СТАНОВЛЕНИЕ НОВОЕВРОПЕЙСКОЙ НАУКИ. ОСОБЕННОСТИ КЛАССИЧЕСКОГО ЭТАПА РАЗВИТИЯ НАУКИ 51.97 KB
  В его учении она приобрела окончательный харр что положило начало длительному периоду господства механических представлений о мире в науке. Томас Гоббс 1588 1679 Левиафан или Материя форма и власть госва церковного и гражданского: механический материализм: Природа совокупность тел dif. Госво искусственный человек т. Они вручили свои права судьбу и власть главе госва который в договоре не участвовал= ответственности перед договаривавшимися индивидами не несет.
32960. ТЕОРИЯ НЕРАВНОВЕСНЫХ СТРУКТУР И ПРОБЛЕМА ЕЕ ПРИМЕНИМОСТИ В СФЕРЕ СОЦ.-ГУМАНИТАРНОГО ЗНАНИЯ (И.ПРИГОЖИН. ФИЛОСОФИЯ НЕСТАБИЛЬНОСТИ) 16.32 KB
  ФИЛОСОФИЯ НЕСТАБИЛЬНОСТИ 1. понятие нестабильности было в некоем смысле идеологически запрещено т. феномен нестабильности естественным образом приводит к весьма нетривиальным серьезным проблемам: проблема предсказания проблема детерминизма проблема человек и природа 3. идея нестабильности не только потеснила детерминизм она позволила включить в поле зрения естествознания человеческую деятть дав возможность более полно включить человека в природу.