73732

Взаимодействие с виртуальными объектами

Научная статья

Информатика, кибернетика и программирование

Средства визуализации на базе расширенной и виртуальной реальности активно используются для анализа и интерпретации данных, полученных при компьютерном моделировании. Возникает задача создания соответствующих средств взаимодействия с виртуальными объектами и навигации в виртуальном пространстве.

Русский

2015-01-19

48 KB

0 чел.

Взаимодействие с виртуальными объектами

И.С. Стародубцев, В.Л. Авербух

УрФУ, ИММ УрО РАН.

Екатеринбург

Средства визуализации на базе расширенной и виртуальной реальности активно используются для анализа и интерпретации данных, полученных при компьютерном моделировании. Возникает задача создания соответствующих средств взаимодействия с виртуальными объектами и навигации в виртуальном пространстве.

Требования к разрабатываемому программно-аппаратному комплексу, позволяющему взаимодействовать с виртуальными объектами, сформулируем следующим образом:

1. Возможность работы с объектами в трёхмерном пространстве в реальном времени, когда задержка реакции системы на действия пользователя не превышает какого-то разумного промежутка времени.

2. Надёжность и отказоустойчивость

3. Удобство использования, в том числе и при решении специфических задач, когда использование оператором посторонних предметов недопустимо.

4. Отсутствие жесткой привязки к внешним условиям

5. Возможность интеграции с уже существующими решениями.

6. Удешевление, без ущерба для надёжности.

Кроме того, необходима разработка удобного языка взаимодействия  для работы с виртуальной реальностью. (Под языком взаимодействия в данном случае будем понимать некоторую систему команд и совершаемых оператором результативных действий.)

Наше решение основывается на методах захвата движений, что даёт возможность обеспечить взаимодействие в трёхмерном пространстве, а также разработать естественный язык для такого взаимодействия. В ряде случаев захват движений позволяет избавиться от необходимости использования оператором дополнительного оборудования.

Захват движений осуществляется на основе анализа карт глубины сцены. Такой подход позволяет эффективно решить задачу сегментации сцены. Возможно подключение различных датчиков глубины (в том числе сканирующих лазерных дальномеров и игровых датчиков типа PSDK - Kinect и XTion). Это, в свою очередь, обеспечивает независимость от конфигурации помещения и условий освещения.

Для решения второй задачи - создания удобного языка взаимодействия - система захвата жеста была разбита на две компоненты. Одна из компонент непосредственно поддерживает захват и сопровождение точек интереса, в качестве которых могут выступать руки оператора. Вторая отвечает за распознавание и обработку модификаторов состояния сопровождаемых точек. Сами модификаторы могут быть самыми различными: от простейших бинарных состояний (в таком случае получаем аналог трёхмерной мыши с кнопками) до сложных кистевых поз, аналогичных языку глухонемых, что позволяет добиться большей широты взаимодействия с виртуальным объектом. Однако, представляется, что при использовании такого языка в рамках систем компьютерной визуализации следует проводить последовательное упрощение модификаторов, используя лишь наиболее естественные позиции рук и отдельных пальцев, а также простые переходы между позициями.

Разрабатываются способы удобного конфигурирования и создания пользовательских словарей для языка на основе положения, траекторий и модификаторов сопровождаемых точек, что сделает язык наиболее гибким и учитывающим условия решаемой задачи.

Для разработки используются сторонние библиотеки с открытым кодом. В настоящее время уже разработаны и проходят этап тестирования модули ядра и захвата и обработки движений. Также начата разработка модуля для взаимодействия с системами трёхмерного вывода на устройства виртуальной реальности. (В настоящее время - очки  и шлем виртуальной реальности. Возможно также использование других сред, в частности, CAVE).

Кроме того начаты исследования и начальное проектирование модуля, позволяющего использовать движения рук для управления роботами.

Работа выполнена при поддержке программы Президиума РАН № 18 "Алгоритмы и математическое обеспечение для вычислительных систем  сверхвысокой производительности", а также проекта 12-П-1-1034 УрО РАН.


 

А также другие работы, которые могут Вас заинтересовать

54533. Народні звичаї і обряди 73 KB
  Мета: розширювати коло знань про звичаї і обряди українського народу, розвивати творчі здібності, позитивні риси характеру учнів, виховувати повагу і прищеплювати любов до народних традицій і звичаїв, рідної землі.
54534. НАРОДНА КУЛЬТУРА І СУЧАСНІ МЕТОДИ ВИХОВАННЯ 99.5 KB
  Її завдання виховувати людину гармонійною щоб вона була достойним представником Роду. Структура програми враховує завдання через ознайомлення з народною культурою допомогти учневі визначитись у виборі моральних орієнтирів життєвого шляху в загальнолюдському плані у формуванні усвідомленості та смисловій наповненості існування в усвідомленні своєї потрібності в цьому світі себе як ланки в ланцюгу поколінь ти не один ти частка РОДУ ти його продовження від тебе залежить МАЙБУТНЄ. Практичні завдання: Складання схеми родоводу....
54535. Множення чисел 1 і 0. Множення на 1 і 0. задачі на дві і три дії 52.5 KB
  Мета: ознайомити дітей з правилами множення чисел 0 і 1, а також на ці числа; розвивати логічне мислення та вміння розв’язувати задачі; вдосконалювати обчислювальні навички; дослідити святкування “Зустріч весни ” донести скарби традицій, звичаїв та обрядів старшого покоління до дитячих сердець; спонукати до пошуків культурної спадщини духовного життя свого краю; виховувати пізнавальну активність учнів, любов до рідного краю.
54536. Роль народознавства в системі навчально-виховного процесу 119.5 KB
  В умовах сучасності, коли матеріальні питання стають у житті людини приоритетними, духовність втрачає свою актуальність. Але виховання дитини не повинно бути бездуховним. Виховуючи чуйну, добру, відповідальну, чесну людину, яка буде гідним громадянином своєї країни, кожен педагог обирає свій шлях, найефективнішу методику із великої кількості існуючих.
54537. Народознавство на уроках української мови, літератури та в позакласній роботі 66.5 KB
  Мета: поглибити узагальнити й систематизувати знання учнів про складнопідрядні речення з підрядними обставинними; удосконалювати пунктуаційні навички уміння робити аналіз тексту синтаксичний та морфологічний розбір речення будувати складнопідрядні речення повторити правопис великої букви; розвивати культуру усного й письмового мовлення школярів мислення творчі навички...
54539. Роль насильства в історії 118 KB
  Мета уроку: сформувати в учнів цілісне розуміння суті різних форм насильства у історії; допомогти їм усвідомити наслідки війн та революцій в історії суспільства; розкрити роль насильства в історії та сформувати негативне ставлення до його застосування в наш час; визначити трагічні наслідки насильницького втручання в історію нашого народу; показати співвідношення революцій і реформ розкрити соціальні механізми реформування суспільства; допомогти учням усвідомити що лише шляхом цілеспрямованого здійснення соціальних реформ а не через...
54540. Сущность марксистского направления развития экономической теории 18.88 KB
  Важнейшей исторической предпосылкой формирования марксистского мировоззрения явилось то обстоятельство, что капитализм, одержавший победу над феодализмом в передовых странах Западной Европы, уже показал к тому времени не только свое экономическое преимущество над предшествующим способом производства
54541. Содержание экономической концепции маржинализма 18 KB
  Маржинализм, как новое экономическое учение, сформировался в 30-х годах XIX в. В научной литературе переоценку устоявшихся почти за двухсотлетнюю историю ценностей классической политэкономии характеризуют как «маржинальную революцию»