77342

МАНИПУЛЯТОРЫ ДЛЯ СИСТЕМ НАУЧНОЙ ВИЗУАЛИЗАЦИИ

Научная статья

Информатика, кибернетика и программирование

И если для средств вывода уже есть такие мощные средства как системы типа Cve стерео очки стерео мониторы и шлемы виртуальной и расширенной реальности то в области средств ввода или манипуляторов таких решений очень мало и не имеют большого распространения. Нами была поставлена задача разработать интерфейс для работы с виртуальными объектами в котором бы учитывались достоинства и недостатки уже существующих манипуляторов и который был бы максимально прост и естественен в использовании. Обзор существующих решений Был проведён критический...

Русский

2015-02-02

244.5 KB

0 чел.

МАНИПУЛЯТОРЫ ДЛЯ СИСТЕМ НАУЧНОЙ ВИЗУАЛИЗАЦИИ

И.С Стародубцев, В.Л. Авербух

Институт математики и механики Уральского отделения РАН, Уральский Федеральный Университет.

1. Введение

Вычислительные возможности персональных машин позволяет проводить ресурсоёмкие вычисления буквально в офисном помещении. Для полноценного взаимодействия с компьютерными моделями нужна их интерпритация. В большинстве случаев взаимодействие ведётся с помощью стандартных средств ввода-вывода, таких как клавиатура, мышь и монитор. Однако для работы с трёхмерными объектами эти средства, изначально двумерные, подходят слабо. И, если для средств вывода уже есть такие мощные средства как системы типа Cave, стерео очки, стерео мониторы и шлемы виртуальной и расширенной реальности, то в области средств ввода, или манипуляторов, таких решений очень мало и не имют большого распространения.

Нами была поставлена задача разработать интерфейс для работы с виртуальными объектами, в котором бы учитывались достоинства и недостатки уже существующих манипуляторов и который был бы максимально прост и естественен в использовании.

2. Обзор существующих решений

Был проведён критический анализ представленных на рынке манипуляторов и систем ввода. Все их можно условно разделить на следующие группы:

1. Контактно-механические (Phantom [1], SpaseNavigator [2])

Представителей этой группы манипуляторов можно описать как "джойстик с дополнительными степенями свободы". С одной стороны в этом их сильная сторона: классика, проверенная временем, но с другой - добавление дополнительных степеней свободы приводит к тому, что использование такого манипулятора становится делом весьма замысловатым и требующим обучения и тренировки. Также, от предшественника-джойстика им досталась и низкая пространственная мобильность. Однако, на сегодняшний день, только представители этой группы манипуляторов иногда используются в системах научной визуализации.

2. Системы гироскопов и акселерометров (Red Orb)

По сравнению с контактно-механическими манипуляторами, использование гироскопов даёт значительно большие возможности для перемещения в пространстве и, как следствие, бОльшее пространственное разрешение. Они более просты и естественны в использовании. Также в качестве плюса можно отметить относительно низкую стоимость. Однако так как задача определения пространственных координат только по вектору скорости/ускорения является некорректно поставленной обратной задачей, то точность как правило бывает невысока или достигается за счёт улучшения качества датчиков(повышение цены) и частых калибровок или за счёт использования дополнительной информации, например визуальной или радио триангуляцией(Hydra).

3. Смешанные визуально-электронные (PS Move [3], Wii [4], Razer Hydra [5])

Также, как и в предыдущем случае, эти системы используют акселерометры и гироскопы, однако здесь еще дополнительно имеются камера и источники света, позволяющие, вместе с данными акселерометров, получать более точный результат. Такие системы сочетают в себе лучшие качества оптических и электронных систем. Большинство изделий позиционируются как игровые манипуляторы.

4. Чисто визуальный поиск (активный и пассивный Motion capture, Интерфейс Фонарика [6])

Использование захвата движений в качестве средства ввода(а своего тела в качестве манипулятора) - достаточно новое направление, ставшее возможным только в последние годы, так как мощности, необходимые для обработки видеопотока в реальном времени стали доступными только сейчас. Поэтому еще не сложилось устойчивой группы методов и методик разработки и работы с данными типами интерфейсов. В качестве достоинства таких систем можно отметить отсутствие необходимости в использовании оператором каких-либо внешних манипуляторов кроме своего тела.

И тем не менее, при достаточно широком выборе, чаще всего продолжают использовать стандартные средства ввода - клавиатура и мышь. После проведения анализа было выявлено четыре основные причины такого положения дел:

Во-первых, это жесткие ограничения, накладываемые самими манипуляторами, которые не всегда можно и удобно выполнять, используя те или иные средства вывода или решая определённые задачи.

Во-вторых, многие манипуляторы разрабатываются в расчёте на использование со стандартными средствами вывода, что делает неудобным или вовсе невозможным их применение вместе с трёхмерными средствами вывода.

В-третьих, некоторые манипуляторы, для своего использования, требуют предварительного обучения и определённой практики.

И, наконец, подавляющее большинство манипуляторов рассчитаны на решение узкого круга задач и не имеют естественной возможности настройки для использования в других сферах.

3. Постановка задачи

После проведения анализа была поставлена задача разработки манипулятора или комплексной системы ввода/вывода, которая бы удовлетворяла следующим условиям:

1. Возможность работы с трёхмерными устройствами вывода.

2. Максимальная простота и интуитивность интерфейса.

3. Максимальное соответствие ментальной модели пользователя [7].

4. Наличие базы, возможности и инструментария для настройки интерфейса под конкретную задачу и/или пользователя.

5. Возможность интеграции с распространённым оборудованием и ПО.

6. Удешевление технологии

4. Предлагаемый подход к решению

После исследований, включавших в себя эксперименты с различными типами манипуляторов (P5 Data Glove, PS Move), поиском AR маркеров и безмаркерным Motion Capture, в качестве наиболее перспективного был выбран подход, использующий карту глубин сцены для захвата движения, положения и жестов кистей рук пользователя или предметов в них, с помощью которых и происходит взаимодействие с виртуальными объектами.

Такой подход должен реализовывать максимально интуитивно понятный интерфейс, как наиболее приближенный к ментальной модели естественного человеческого воздействия [8]. Кроме того, этот подход позволяет частично решить проблему отсутствия свободы перемещения и необходимости держать в руках посторонние предметы, что является критичным в задаче управления медицинским оборудованием во время операции. Также за счет своей естественности такой метод взаимодействия позволит максимально задействовать ресурсы театров виртуальной реальности или систем типа Cave, позволяя взаимодействовать с объектами не теряя эффекта присутствия или, используя средства расширенной реальности, взаимодействовать с объектами напрямую, минуя посредников.

5. Проблемы

 Юзабилити интерфейса.

Поскольку таких интерфейсов еще не было, то соответственно и не было исследований по удобности, экономичности и производительности работы при пользовании ими. К сожалению, проводить полноценные исследования имеет смысл только после завершения проекта, но уже сейчас изначально заложенные возможности тонкой настройки под конкретного пользователя и конкретную задачу дают повод рассчитывать на высокие результаты.

 Переход в 3D.

При решении задач распознавания в 2D существует целый ряд методов и алгоритмов, которые хорошо изучены и работают. Однако при переходе в 3D возникает проблема отсутствия такой базы. Алгоритмы приходится изобретать, так как аналогов в большинстве случаев или не существует или работают они крайне плохо, и соответственно никакой доказательной базы пока не существует.

 Hardware и Software совместимость.

На сегодняшний день этот вопрос является слабым местом практически всех современных трёхмерных интерфейсов, так как еще нет единого стандарта и хоть какого-то единообразия. В нашей системе этот вопрос обходится с использованием прослоек ROS [9] и URBI [10], которые позволяют обеспечить модульность, распределённость и универсализацию интерфейсов для модулей, что в свою очередь позволяет веси разработку модулей-плагинов для подключения к существующему ПО, а также производить замену аппаратной части, например датчиков глубины, без глобального изменения кода.

С другой стороны, можно надеяться на скорое появление неких стандартов. Так, например, многие продукты компании Autodesk имеют программную поддержку абстрактного трёхмерного манипулятора; компания PrimeSense заявляет о ведении разработок по созданию универсального жестового языка; Microsoft обнародовало SDK для камеры с датчиком глубины kinect и заявило её полную поддержку в windows 8; в ядро Linux 3 также включена поддержка kinect; компанией Asus в сотрудничестве с PrimeSense выпущен датчик глубины xtion и ведутся разработки по созданию интерфейса управления pc  с помощью жестов.

Всё это указывает на интерес в области разработки трёхмерных интерфейсов и манипуляторов как со стороны рыночных гигантов, так и со стороны конечных пользователей.

6. Заключение

На сегодняшний день разработка системы продолжается. Уже реализованы такие компоненты, как работа с облаком точек, получаемых с датчика глубин(возможна генерация глубин с помощью стерео камер) и работа с этим облаком, сегментация одного или нескольких пользователей(игроков) на основе связности по глубине и движению, поиск их "скелетов" и, наконец, выделение на основе этой информации облака точек, соответствующих кистям рук и различение их между собой. В ближайшее время будет добавлено выделение отдельных пальцев и ладони, что позволит осуществлять более тонкие манипуляции и даст возможность разработки жествого языка использующего в том числе и пальцевые жесты (наподобие языка глухонемых).

Также планируется разработка набора виртуальных инструментов, дающих возможность естественного взаимодействия с виртуальными объектами, и, возможно, API для самостоятельного создания таких инструментов [11].

Список литературы и ссылки

  1.  www.inition.co.uk
  2.  www.3dconnexion.com
  3.  us.playstation.com/ps3/playstation-move
  4.  wii.com
  5.  www.razerzone.ru
  6.  Зырянов А.В. Интерфейс фонарика. Ввод и распознавание трёхмерных жестов на основе фонарика и веб-камеры. Saarbrucken, Germany, LAP Lambert Academic Publishing. 2011.
  7.  Averbukh V.L., Bakhterev M.O., Baydalin A.Yu., Gorbashevskiy D. Yu., Ismagilov D.R., Kazantsev A.Yu., Nebogatikova P.V., Popova A.V., Vasev P.A., Searching and Analysis of Interface and Visualization Metaphors // Human-Computer Interaction, New Developments. / Edited by Kikuo Asai. Chapter 3, Vienna, In-teh, 2008. P. 49-84.
  8.  Hurtienne J. Blessing L. . Metaphors as Tools for Intuitive Interaction with Technology. metaphorik.de, 12, 2007. P. 21-52.
  9.  www.ros.org 
  10.  www.urbiforge.org
  11.   Авербух В.Л., Зырянов А.В. Методы манипуляций объектами в тр?хмерных визуальных средах // Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов.. 2009 r.. Вып. 3. стр. 58-69.


 

А также другие работы, которые могут Вас заинтересовать

29376. Принципы работы сканера 95.5 KB
  Синтаксис целых констант представляется: целое ::=цифра знак цифра целое цифра знак ::= Для представления грамматики состояния целых констант диаграмма имеет вид:Вершины соответствуют состояниям автомата и определяются нетерминальными символами. Построим диаграмму состояний для автомата который распознает лексемы трех типов: целые константы десятичные константы идентификаторы идентр ::=буква идентр буква идентр цифра десятичная константа: дес.число цифра смеше число цифра смеше число ::= целое целое ::=цифра знак цифра целое цифра...
29377. Нисходящий грамматический разбор с возвратами 83 KB
  Суть данного метода можно представить в виде следующей последовательности шагов выполнение которых повторяется в процессе чтения входной цепи символов. Если активная вершина помечена а T то сравнить его с очередным символом входной цепочки. Сравниваемые символы совпали тогда сделать активной вершиной дерева лист правее а и перейти к следующим символам входной цепочки. Символы не совпали то выполним возврат к предыдущему уровню дерева разбора и соответствующему символу входной цепочки.
29378. Грамматический разбор методом операторного предшествования 68.5 KB
  Метод операторного предшествованияДанный метод относится к классу восходящих методов синтаксического анализа.Дерево разбора:Идея метода: входная цепочка символов просматривается слева направо пока не будет найдено подвыражение имеющее более высокий уровень предшествования чем соседние операторы. Для реализации метода необходимо установить отношение предшествования между всеми парами операторов грамматики.
29379. Основные функции и построение семантического анализатора программ 43 KB
  При работе семантических программ широко используется набор данных с организацией в виде стека. Операнды переписываются в выходную строку а операторы заносятся в стек. В зависимости от приоритета операторов при записи в стек оператор может вытолкнуть из стека другой оператор который последовательно записывается в выходную строку. Работа со стеком организуется так:1.
29380. Семантическое дерево как форма представления программ в языковых процессорах САПР 38 KB
  Семантическое дерево 2 польская запись 3 список тетрад. Семантическое дерево СД – модифицированное дерево грамматического разбора из которого исключили вершины соответствующие нетерминальным символам.Пример: E→ET TT→TM MM→E a b cabcДерево разбора:При построении СД скобки не требуются т.
29381. Польская запись как форма представления программ в языковых процессорах САПР 24 KB
  операнды следуют в том же порядке что и в исходной записи.Пример: 1 ab – инфиксная форма записи; ab – польская запись постфиксная.2 abc – инфиксная форма записи abc – польская запись.Формально построение польской записи описывается следующим грамматическим правилом: операнд ::= константа идентификатор операнд операнд оператор оператор ::= – Если должны быть учтены операторы с одним операндом то грамматическое правило должно быть расширено с учётом введения таких операторов добавляется бинарный и унарный оператор.
29382. Качества полноценного навыка чтения и пути их формирования 44 KB
  Качества полноценного навыка чтения и пути их формирования Овладение учащимися полноценным навыком чтения является важнейшим условием успешного обучения в школе по всем предметам. Навык чтения – это автоматизированное умение по озвучиванию печатного текста предполагающее осознание идеи воспринимаемого произведения и выработку собственного отношения к читаемому. В методике наряду с термином навык чтения употребляется термин техника чтения. Техника чтения обозначает все три компонента процесса чтения: восприятие произнесение понимание.
29383. Этапы работы над литературным произведением в начальных классах 61 KB
  Этапы работы над литературным произведением в начальных классах Основываясь на литературоведческих закономерностях построения художественного произведения на психологии восприятия художественного произведения младшими школьниками а так же на собственно методических положениях о чтении художественного произведения в начальных классах современная методика чтения выделяет следующие этапы работы над художественным текстом: подготовка к восприятию художественного произведения первичное восприятие проверка первичного восприятия анализ...
29384. Научно-методические принципы изучения литературных произведений в начальных классах 50.5 KB
  Принцип целенаправленности Этот принцип гласит: изучение произведения в том числе и его анализ должны быть целенаправленным. Изучение произведения в начальной школе всегда преследует две группы целей. 1 Коррекция субъективного первичного восприятия произведения объективным смыслом текста углубление восприятия прочитанного постижение художественной идеи и авторской позиции – полноценное восприятие художественного текста. 1 Основная цель каждого урока литературы – освоение художественной идеи произведения.