73732

Взаимодействие с виртуальными объектами

Научная статья

Информатика, кибернетика и программирование

Средства визуализации на базе расширенной и виртуальной реальности активно используются для анализа и интерпретации данных, полученных при компьютерном моделировании. Возникает задача создания соответствующих средств взаимодействия с виртуальными объектами и навигации в виртуальном пространстве.

Русский

2015-01-19

48 KB

0 чел.

Взаимодействие с виртуальными объектами

И.С. Стародубцев, В.Л. Авербух

УрФУ, ИММ УрО РАН.

Екатеринбург

Средства визуализации на базе расширенной и виртуальной реальности активно используются для анализа и интерпретации данных, полученных при компьютерном моделировании. Возникает задача создания соответствующих средств взаимодействия с виртуальными объектами и навигации в виртуальном пространстве.

Требования к разрабатываемому программно-аппаратному комплексу, позволяющему взаимодействовать с виртуальными объектами, сформулируем следующим образом:

1. Возможность работы с объектами в трёхмерном пространстве в реальном времени, когда задержка реакции системы на действия пользователя не превышает какого-то разумного промежутка времени.

2. Надёжность и отказоустойчивость

3. Удобство использования, в том числе и при решении специфических задач, когда использование оператором посторонних предметов недопустимо.

4. Отсутствие жесткой привязки к внешним условиям

5. Возможность интеграции с уже существующими решениями.

6. Удешевление, без ущерба для надёжности.

Кроме того, необходима разработка удобного языка взаимодействия  для работы с виртуальной реальностью. (Под языком взаимодействия в данном случае будем понимать некоторую систему команд и совершаемых оператором результативных действий.)

Наше решение основывается на методах захвата движений, что даёт возможность обеспечить взаимодействие в трёхмерном пространстве, а также разработать естественный язык для такого взаимодействия. В ряде случаев захват движений позволяет избавиться от необходимости использования оператором дополнительного оборудования.

Захват движений осуществляется на основе анализа карт глубины сцены. Такой подход позволяет эффективно решить задачу сегментации сцены. Возможно подключение различных датчиков глубины (в том числе сканирующих лазерных дальномеров и игровых датчиков типа PSDK - Kinect и XTion). Это, в свою очередь, обеспечивает независимость от конфигурации помещения и условий освещения.

Для решения второй задачи - создания удобного языка взаимодействия - система захвата жеста была разбита на две компоненты. Одна из компонент непосредственно поддерживает захват и сопровождение точек интереса, в качестве которых могут выступать руки оператора. Вторая отвечает за распознавание и обработку модификаторов состояния сопровождаемых точек. Сами модификаторы могут быть самыми различными: от простейших бинарных состояний (в таком случае получаем аналог трёхмерной мыши с кнопками) до сложных кистевых поз, аналогичных языку глухонемых, что позволяет добиться большей широты взаимодействия с виртуальным объектом. Однако, представляется, что при использовании такого языка в рамках систем компьютерной визуализации следует проводить последовательное упрощение модификаторов, используя лишь наиболее естественные позиции рук и отдельных пальцев, а также простые переходы между позициями.

Разрабатываются способы удобного конфигурирования и создания пользовательских словарей для языка на основе положения, траекторий и модификаторов сопровождаемых точек, что сделает язык наиболее гибким и учитывающим условия решаемой задачи.

Для разработки используются сторонние библиотеки с открытым кодом. В настоящее время уже разработаны и проходят этап тестирования модули ядра и захвата и обработки движений. Также начата разработка модуля для взаимодействия с системами трёхмерного вывода на устройства виртуальной реальности. (В настоящее время - очки  и шлем виртуальной реальности. Возможно также использование других сред, в частности, CAVE).

Кроме того начаты исследования и начальное проектирование модуля, позволяющего использовать движения рук для управления роботами.

Работа выполнена при поддержке программы Президиума РАН № 18 "Алгоритмы и математическое обеспечение для вычислительных систем  сверхвысокой производительности", а также проекта 12-П-1-1034 УрО РАН.


 

А также другие работы, которые могут Вас заинтересовать

10675. Проблема сознания в философии. Идеальное бытие сознания 99 KB
  Проблема сознания в философии. Идеальное бытие сознания. Наличие сознания разума уникальная человеческая черта. Его возможности принято считать безграничными. Именно благодаря разуму человечество сумело занять господствующее положение в биосфере. Но каким образ
10676. Основной вопрос и основные направления философии 43.5 KB
  Основной вопрос и основные направления философии 1. Общее понятие основного вопроса философии его стороны. Основным в философии традиционно считается вопрос об отношении мышления к бытию а бытия к мышлению сознанию. Важность данного вопроса заключается в том что
10677. Слово про похід Ігорів 15.4 KB
  Слово про похід Ігорів Як краще розповісти про похід Ігорів за зразком давнього співця Бояна чи за вимогами сучасності Ігор Святославович укріпив ум силою а серце вигострив мужністю й повів свої хоробрі полки на землю Половецьку за землю Руську. Ігор чекає свого бра
10678. Балада БОНДАРІВНА 14.55 KB
  Балада БОНДАРІВНА У містечку Богуславку Каньовського пана Там гуляла Бондарівна як пишная пава. У містечку Богуславку сидить дівок купка Межи ними Бондарівна як сива голубка. Прийшов до них пан Каньовський та й шапочку ізняв Обійняв він Бондарівну та й поцілував. Ой ...
10679. Історичні пісні. Ой Морозе, Морозенку 14.16 KB
  Ой Морозе Морозенку Історичні пісні Ой Морозе Морозенку Ти славний козаче За тобою Морозенку Вся Вкраїна плаче. Не так тая Україна Як та стара мати Заплакала Морозиха Та стоячи біля хати. Ой зза гори та зза кручі Буйне військо виступає. Попереду Морозенко Сивим ко...
10680. Пісня про Богдана Хмельницького Чи не той то Хміль 14.13 KB
  Чи не той то Хміль Пісня про Богдана Хмельницького Історичні пісні Чи не той то хміль Що коло тичин вється Ой той то Хмельницький Що з ляхами бється. Чи не той то хміль Що по пиві грає.. Ой той то Хмельницький Що ляхів рубає. Чи не той то хміль Що у пиві кисне Ой той...
10681. Енеїда - Котляревський Іван 16.48 KB
  Енеїда Котляревський Іван Після загибелі Трої Еней разом з товаришами відпливає у море. Еней був парубок моторний І хлопець хоть куди козак Удавсь на всеє зле проворний Завзятіший од всіх бурлак. Но греки як спаливши Трою Зробили з неї скирту гною Він взявши торбу т...
10682. Катерина - Шевченко Тарас 16.06 KB
  Катерина Шевченко Тарас Кохайтеся чорнобриві Та не з москалями Бо москалі чужі люди Роблять лихо з вами. Москаль любить жартуючи Жартуючи кине, Піде в свою Московщину А дівчина гине... Катерина закохується в москаля й виходить до нього ввечері в садочок не слухаюч...
10683. Гайдамаки - Шевченко Тарас - Поема 18.6 KB
  Гайдамаки Шевченко Тарас Поема Все йде все минає і краю немає. Куди ж воно ділось Відкіля взялось І дурень і мудрий нічого не знає. Живе... умирає... Одно зацвіло А друге завяло навіки завяло... Поет звертається до гайдамаків що колись гуляли Україною шукаючи волі ...