22488

Навигация и интерфейс в средах виртуальной реальности

Дипломная

Информатика, кибернетика и программирование

Работа посвящена исследованию и сравнительному анализу сред навигации интерфейса в средах виртуальной реальности для систем компьютерной визуализации, предназначенных для представления больших и очень больших объемов информации, генерируемых при супервычислениях. В ходе работы будут предложены средства навигации и интерфейса для виртуальной среды.

Русский

2015-01-19

510 KB

5 чел.

Навигация и интерфейс в средах виртуальной реальности


РЕФЕРАТ

Мамзеров Д.В., наВИГАЦИЯ И ИНТЕРФЕЙС В СРЕДАХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ, дипломная работа.

Ключевые слова: КОМПЬЮТЕРНАЯ ВИЗУАЛИЗАЦИЯ, ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ, СРЕДА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ, ИНТЕРФЕЙС.

Работа посвящена исследованию и сравнительному анализу сред навигации интерфейса в средах виртуальной реальности для систем компьютерной визуализации, предназначенных для представления больших и очень больших объемов информации, генерируемых при супервычислениях. В ходе работы будут предложены средства навигации и интерфейса для виртуальной среды. В качестве одного из результатов работы предполагается разработка манипулятора на базе существующего интерфейса фонарика.


СОДЕРЖАНИЕ

  1.  ВВЕДЕНИЕ…………………………………………………………………4
  2.  Виртуальная реальность…………………………………………..………7
  3.  Навигация и интерфейс……………………………………….………….18
  4.  Постановка задачи…………………………………………………..……30
  5.  Манипуляторы типа «трёхмерная мышь». ………………………...…..32
  6.  Интерфейс фонарика.……………………………………………………..36
  7.  Модифицированный интерфейс фонарика………………………..……38
  8.  Аппаратное обеспечение исследования…………………………………40
  9.  Использование очков виртуальной реальности как инструмента навигации………………………………………………………………...42
  10.  Использование модифицированного интерфейса фонарика в качестве манипулятора в среде виртуальной реальности……………………….44
  11.  ЗАКЛЮЧЕНИЕ……………………………………………………...……46
  12.  Список литературы………………………………………….………..…..48

ВВЕДЕНИЕ

В силу исторически сложившихся причин взаимодействия человека и компьютера, как правило, носит знаковый (языковый) характер. Парадоксально, но виртуальная реальность - в некотором смысле является откатом на более примитивный уровень коммуникации - вторая сигнальная система (язык - одна из гордостей цивилизации) уступает место рецепторному контакту. Этот парадокс еще предстоит понять, но по-видимому, человеком делается неосознанная попытка устранить как раз “языковый барьер” между собой и компьютером (моделью) и в экстремальных ситуациях взять именно на себя интерпретацию (пока что более эффективную, адекватную, оперативную и т.п.) событий виртуальной среды, для чего необходимо приблизить взаимодействие человека с компьютером к обычному взаимодействию человека с внешним миром. Во всяком случае все последние годы ведутся интенсивные поиски в области, так называемого, "некомандного" интерфейса , и это привело к созданию того, что сегодня носит название "виртуальная реальность".

Теоретически, виртуальная реальность - это абсолютный интерфейс человека и компьютера; в нем используются все или почти все системы взаимодействия с внешним миром: зрительные, слуховые, тактильные, гравитационные и т.д. Интенсивность потока информации через этот интерфейс приближается к интенсивности потока информации через наши органы чувств (а он превосходит любые ожидаемые границы). Поэтому уже в настоящее время скорость передачи данных только через видео-канал систем виртуальной реальности преодолевает рубеж 1 Гб/сек. И, хотя зрительный канал человека является коммуникационным каналом с наибольшей пропускной способностью, мы стоим, скорее всего, только в начале пути развития человеко-машинного интерфейса нового поколения, характер и темпы развития которого сложно предугадать.

Среды виртуальной реальности являются развитием симуляторов и тренажеров, созданных еще в 60-ые и 70-ые годы XX столетия для летчиков и космонавтов. В конце 80-х — начале 90-х концепция виртуальной реальности приобрела большую популярность в массовой культуре, поскольку средства для создания виртуальной реальности начали применяться в индустрии развлечений. Это, с одной стороны, привело к широкой популяризации идеи, но, с другой стороны (во многом «благодаря» научно-фантастической литературе и кино), сформировало в массовом сознании не вполне правильное понимание этого явления. Постепенно ажиотаж спал, и массовое применение технологий виртуальной реальности в развлекательных целях сошло на нет. Однако, применение этих технологий в информационной и научной визуализации набирало обороты. В 2000-х объем рынка информационной визуализации с применением виртуальной реальности был уже сопоставим с рынком тренажеров и систем обучения, что является показателем. Практически все крупные корпорации и промышленные концерны имеют в своем распоряжении системы визуализации на основе сред виртуальной реальности, применяемые для работы с данными, получаемыми в ходе моделирования. В частности, подавляющее большинство автоконцернов перешли от испытаний в настоящей аэродинамической трубе к проведению тех же экспериментов в виртуальной среде. Аналогично в виртуальных трехмерных средах осуществляется разработка дизайна, компоновка узлов и агрегатов, расчеты по безопасности и моделирование результатов столкновений.

На сегодняшний день одним из самых важных вопросов в развитие виртуальной реальности является поиск оптимального способа взаимодействия человека с искусственным миром. Можно сказать по-другому: необходимы средства навигации и интерфейса в виртуальной среде, которые были бы удобны, универсальны, а по возможности просты в установке, и имели невысокую стоимость. Свои варианты решения данного вопроса попытались предложить многие корпорации и исследовательские институты. Все известные решения имеют схожие недостатки, они не удовлетворяют сформулированным нами требованиям (удобство, универсальность, простота, цена).

Целью данной работы являлось исследование и разработка средств навигации и интерфейса в средах виртуальной реальности для информационной и научной визуализации.

В качестве основных задач были выделены следующие:

  •  Исследование существующих решений задачи взаимодействия человека с виртуальной средой.
  •  Сравнение и выявление недостатков существующих решений.
  •  Создание собственного интерфейса (на базе существующего), который будет лишён основных выявленных недостатков существующих решений.
  •  Проведение исследований для выявления удобства предложенных в ходе работы средств навигации и интерфейса в среде виртуальной реальности.

Виртуальная реальность.

Технический прогресс, а в особенности развитие компьютерных технологий привнесли в лексикон людей множество новых слов. Сейчас словосочетание виртуальная реальность знает каждый школьник и, более того, даже наверняка сможет объяснить его смысл. И дело не в том, что принято с самого детства учить определение этого термина, просто виртуальная реальность – весьма широкое и глубокое понятие, и можно дать тысячи его определений. Более того, единого определения нет и в научном мире, например философы и математики понимают этот термин по-разному, а в литературной среде он имеет отличающийся от них обоих смысл. Вообще, термин виртуальная реальность был введен в 1989 году американским учёным Джароном Ланьером, а пионером в данном направление считается Майроном Крюгером, который еще в конце 1960х говорил об искусственной реальности.

ОПРЕДЕЛЕНИЕ.

В рамках данной работы мы будем рассматривать определение виртуальной реальности более близкое оригинальному, которое подразумевали Ланьер и Крюгер, нежели то, что видят под ним философы и писатели-фантасты. Итак, виртуальная реальность - совокупность средств, позволяющих создать у человека иллюзию нахождения в искусственно созданном мире путем подмены обычного восприятия окружающей действительности информацией, генерируемой компьютером. Виртуальная реальность - это новая технология неконтактного информационного взаимодействия, реализующая с помощью комплексных мультимедиа-операционных сред иллюзию непосредственного вхождения и присутствия в реальном времени в стереоскопически представленном пространстве с теми объектами и данными, с которыми он взаимодействует.

ТИПЫ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ.

  1.  Имитационные. Речь идет о разработке программ и технологий полноценной имитации различных действий или форм поведения, психологически для человека ничем не отличающихся от соответствующих реальных действий или ситуаций. Естественно, что имитировать и моделировать с помощью ВР - систем можно не только военные действия, но любые, поддающиеся описанию, операционализации и затем воплощению с помощью новой технологии.

Однако нельзя и преувеличивать современные возможности симуляции и имитации, эти технологии по признанию специалистов находятся пока еще в зачаточном состоянии, представляют собой главным образом демонстрационные модели. Движения симулированных объектов выглядят слегка плоскими и неравномерными. Тяжелые очки-видеофоны ограничивают движения головы. Качество изображения оставляет желать лучшего. Между командами и их исполнением наблюдаются неприятные задержки.

  1.  Условные. Вовсе необязательно пытаться строго моделировать реальный мир и ощущения человека в нем, чтобы эффективно решать многие задачи. Это обстоятельство, а также указанные выше трудности, возникающие при имитации обычной реальности, подсказали исследователям другое решение - создать виртуальные миры, которые бы по отношению к миру обычному выступали как схемы или модели. Подобные виртуальные реальности можно назвать "условными". Так, система "Максус", фиксирует все данные о состоянии рынка и выдает их пользователю в виде картинок, где в трехмерном пространстве цветные квадраты, обозначающие различные пакеты акций, передвигаются по диаграмме, в которой представлены различные сектора рынка и промышленности. В результате экран ПК непрерывно выдает самые последние данные о финансовой активности, и этот "документальный фильм" в каждую единицу времени в точности соответствует реальным событиям. В этом примере виртуальная реальность хотя и моделирует процессы, происходящие на рынке, не может рассматриваться как иллюзия рыночной реальности. Таким образом, хотя условные виртуальные реальности и моделируют определенные ситуации или действия, вовсе не требуется, чтобы события в них были похожи или неотличимы, от тех которые человек переживает и проживает в моделируемых реальностях.
  2.  Прожективные. К этому классу виртуальных реальностей относятся все реальности, созданные, спроектированные, исходя из некоторых идей. Это могут быть простые фантазии или напротив, идеи, основанные на определенных знаниях или теориях. Важно не то, чтобы виртуальная реальность напоминала собой чувственный мир и реальные переживания человека в нем, а чтобы соответствующие идеи были воплощены полноценно, чтобы человек оказался в мире, отвечающем этим идеям, каким бы странным он ни был.
  3.  Пограничные. Как правило, эти реальности представляют собой сочетание обычной реальности с виртуальной. Их создание позволяет "расширять сознание" специалиста, вооружая его "видением" и знаниями, которыми он актуально здесь и сейчас не может обладать. Например, компьютерные томографы и ультразвуковые сканеры показывают врачам объемные изображения внутренних органов в любом нужном ракурсе, условный цвет несет дополнительную информацию.

УРОВНИ ПОГРУЖЕНИЯ В ВР

  1.  Через окно. Стандартный монитор компьютера или проекционное устройство открывает 'окно' в Ваш виртуальный мир, который представляется лежащим по другую сторону экрана. Такое впечатление дают игры с имитацией полета или DOOM-подобные игры.
  2.  В помещении. Стереоскопический монитор или проектор создает объемное изображение, а Вы одеваете стерео очки. Виртуальный мир становится полноразмерным, кажется отступившим за экран и сошедшим с экрана на Вас, в Вашу комнату.
  3.  Полное погружение. В системах полного погружения используются специальные дисплеи, вмонтированные в надеваемый на голову шлем и дающие стереоскопический вид виртуального мира, который меняется при перемещении человека и поворотах головы. Отслеживая положение головы, система виртуальной реальности знает, куда смотрите, и подставляет соответствующее изображение.

НА ПУТИ К АБСОЛЮТНОМУ ИНТЕРФЕЙСУ ЧЕЛОВЕКА И МОДЕЛИ.

Имитационные модели сложных технических систем требуют исключительно мощных вычислительных средств и являются одной из основных сфер применения суперкомпьютеров. Это вызвано сложностью самих моделей, а также высокой степенью детализации моделируемых процессов и подсистем (глубиной моделирования). До того момента, когда такие модели создавались в расчете на их использование для научной и проектной деятельности с соответствующей формой представления результатов, для анализа и интерпретации этих результатов моделирования допускались затраты длительного времени и имела место практически разомкнутая схема взаимодействия исследователя и модели.

Положение, однако, кардинально изменяется, когда оператор управляет ходом имитации, взаимодействуя с моделью в режиме реального времени, или сам является звеном этой модели (например, в случае проведения отработки системы с использованием моделей, или в случае использования моделей в тренажерах).

В этих условиях потребовались поиcки интерфейса, позволяющего оператору воспринимать большие объемы информации в очень короткое время и успевать воздействовать на ход имитации.

В силу исторически сложившихся причин взаимодействия человека и компьютера (имитационной модели), как правило, носит знаковый (языковый) характер. В тренажерах (обычных), напротив, - взаимодействие модели и оператора имело, в основном, сенсорный характер. Парадоксально, но виртуальная реальность - в некотором смысле является откатом на более примитивный уровень коммуникации - вторая сигнальная система (язык - одна из гордостей цивилизации) уступает место рецепторному контакту. Этот парадокс еще предстоит понять, но по-видимому, человеком делается неосознанная попытка устранить как раз “языковый барьер” между собой и компьютером (моделью) и в экстремальных ситуациях взять именно на себя интерпретацию (пока что более эффективную, адекватную, оперативную и т.п.) событий виртуальной среды, для чего необходимо приблизить взаимодействие человека с компьютером к обычному взаимодействию человека с внешним миром. Во всяком случае все последние годы ведутся интенсивные поиски в области, так называемого, "некомандного" интерфейса [14], и это привело к созданию того, что сегодня носит название "виртуальная реальность" [15].

Теоретически, виртуальная реальность - это абсолютный интерфейс человека и компьютера; в нем используются все или почти все системы взаимодействия с внешним миром: зрительные, слуховые, тактильные, гравитационные и т.д. Интенсивность потока информации через этот интерфейс приближается к интенсивности потока информации через наши органы чувств (а он превосходит любые ожидаемые границы). Поэтому уже в настоящее время скорость передачи данных только через видео-канал систем виртуальной реальности преодолевает рубеж 1 Гб/сек. И, хотя зрительный канал человека является коммуникационным каналом с наибольшей пропускной способностью, мы стоим, скорее всего, только в начале пути развития человеко-машинного интерфейса нового поколения, характер и темпы развития которого сложно предугадать.

ПРОБЛЕМЫ РЕАЛИЗАЦИИ: ТЕХНИЧЕСКИЕ АСПЕКТЫ.

В простейшем случае система виртуальной реальности состоит из ЭВМ, на которой реализована модель виртуальной среды, дисплея и устройства слежения за положением оператора. Более полная система помимо широкоугольной стереоскопической системы визуализации включает также технические средства, реализующие звуковой, сенсорный и "силовой" интерфейсы, позволяющие оператору "погрузиться" в виртуальную среду модели и установить с нею обратную связь. В том случае, если несколько субъектов используют общую модель некоторой физической системы (среды), такая модель может быть реализована на специальном сервере, а клиентская часть обеспечивает интерфейс с оператором (включая обратную связь).

Одним из основных требований к компьютеру системы виртуальной реальности является суммарная скорость передачи данных через интерфейс с оператором. Эта преодолевает рубеж 1 Гбайт в секунду (для зрительного канала) и будет возрастать с задействованием других каналов взаимодействия субъекта с виртуальной реальностью.

Вторым требованием, влияющим на характеристики компьютера, является обеспечение режима реального времени: требуется немедленное реагирование системы на множество внешних событий, отражающих непрерывное изменение состояния оператора (перемещение, повороты головы, туловища, конечностей, движение пальцев кисти и т.п.), причем время реакции не должно превышать длительности латентной фазы, чтобы создать ощущение непрерывности хода событий (в частности, для зрительного канала - это, как известно, не менее 1/16 секунды - физиологического предела частоты отсутствия мельканий). Эти и другие требования приводят к тому, что даже для достаточно простых систем виртуальной реальности требуется вычислительная мощность на порядок и более превышающая производительность однопроцессорной RISC-станции и системная шина с пропускной способностью 1 Гбайт/сек. Более сложные системы виртуальной реальности в настоящее время имеют производительность, приближающуюся к суперкомпьютерам, и с неизбежностью являются многопроцессорными системами. Так, одна из наиболее мощных на сегодня систем виртуальной реальности компании Silicon Graphics - Reality Engine в полной конфигурации использует 353 независимых процессора.

Активные исследования в области виртуальной реальности привели к разработке и производству целого ряда специальных устройств. Все новые и новые уникальные приборы и устройства разрабатываются и испытываются в лабораторных условиях. Ряд фирм специализируются в промышленном изготовлении специальных устройств.

В качестве наиболее дешевого дисплея используется монитор компьютера и очки с жидкокристаллическим обтюратором. Изображение на экране меняется в зависимости от положения головы пользователя. Положение головы определяется следящим устройством, установленным на мониторе. [16].

Наиболее популярным средством для создания среды виртуальной реальности являются очки виртуальной реальности. Изначально использовался термин «шлем виртуальной реальности», однако современные технологии позволили снизить вес и габариты подобных устройств настолько, что их можно отнести уже к очкам.

Очки виртуальной реальности представляют собой устройство, надеваемое на голову таким же образом, как и традиционные очки, и содержащее встроенные в него специальные линзы, либо экраны, либо дополнительно оснащенные автоматическими затворами.

Самой первой технологией было анаглифное стерео, для которого использовались очки со стеклами разного цвета, чаще всего красного и синего. Разделение осуществлялось с помощью цветовой фильтрации, изображение содержало одновременно красные и синие участки, каждый из которых был лучше виден только «своим» глазом, что вызывало субъективное ощущение объемности за счет частичного разделения каналов. Плюсом технологии является простота и дешевизна. Минус — неполное разделение, нарушение цветопередачи и возможное ощущение дискомфорта, нарушение цветового восприятия у человека.

Другим вариантом является использование встроенных в очки дисплеев, каждый из которых показывает картинку только для «своего» глаза, что дает стопроцентное разделение изображения на левый и правый канал. При этом изображение трехмерной сцены рендерится поочередно с разных точек зрения (для этого используется специальный драйвер видеокарты). Уровень стереоразделения позволяет регулировать, насколько «виртуальные глаза» удалены друг от друга, что значительно влияет как на ощущение объема, так и на возможное возникновение побочных эффектов. Также основными характеристиками подобных очков являются:

-Поле зрения. Поле зрения человека (суммарное значение) составляет примерно 180 градусов по горизонтали, поле зрения стандартных очков виртуальной реальности значительно ниже (чаще всего в пределах 30-50 градусов, но до 145 у отдельных моделей). Общая тенденция — чем больше поле зрения, тем сильнее ощущается погружение, и тем больше вероятность побочных эффектов. Часто эта характеристика заменяется эквивалентным размером дисплея, если смотреть на него с указанного расстояния.

-Тип дисплея. Первые образцы имели дисплеи с электронно-лучевыми трубками, что крайне негативно сказывалось как на габаритах и весе, так и на качестве дисплея. Сейчас применяются жидкокристаллические, а также более перспективные светодиодные (LED) дисплеи.

-Разрешение. Поскольку очки данного типа имеют встроенные дисплеи, технологически идентичные традиционным полноформатным дисплеям, эта характеристика также применима и играет важную роль. Часто используется привычное указание разрешения как количество точек по горизонтали и вертикали (например 800х600), однако также может быть указана плотность пикселей. Разрешение в 60 пикселей на градус (или пиксель на одну угловую минуту) считается пределом разрешающей способности глаза; современные очки обычно имеют разрешение примерно 10-20 пикселей на градус, хотя развитие микродисплеев позволяет увеличить этот показатель.

-Зона перекрытия. Эта величина характеризует область изображения, которая будет общей для двух глаз. Благодаря перекрытию мы и воспринимаем стереоизображения и чувствуем глубину. В среднем зона перекрытия у человека — примерно 100 градусов (50 градусов левее носа, и 50 правее). Соответственно, чем большую зону перекрытия обеспечивают очки, тем лучше будет ощущаться стерео. Значение обычно указывается в градусах, либо в процентах, которые означают, какая часть поля зрения будет общей для двух глаз.

-Расстояние между оптическими осями. Это очень важная характеристика, которая позволяет приспосабливать очки под индивидуального пользователя, поскольку, в силу анатомических особенностей расстояние между оптическими осями двух глаз различно у разных людей, а несоответствие чревато сильными негативными явлениями.

Очки со встроенными дисплеями являются одной из трех технологий полного погружения, поскольку если ограничить поле зрения только этими дисплеями, то пользователь не будет видеть окружающий мир.

Плюсами данного решения являются качество стерео, качество изображения, относительная дешевизна такого решения, а к минусам можно отнести ограниченное разрешение, больший вес, дороговизну очков высокого разрешения, а также потребность в индивидуальной настройке.

В лабораторных условиях собираются целые установки для создания иллюзии пребывания и работы в синтетическом мире. Установка CAVE, разработанная в Иллинойском университете Чикаго, представляет собой комнату размером 3х3х3 метра, в которой три стены и пол являются экранами. На них проецируются изображения, генерируемые четырьмя рабочими станциями. Используются высокопроизводительные графические рабочие станции CRIMSON VGX фирмы Silicon Graphics Inc. Каждая станция имеет 256 Мбайт оперативной памяти и два диска по 1,6 Гбайт каждый.

Для имитации акустических эффектов (эхо, допплеровские эффекты, звуки, производимые трехмерной средой и объектами) используется система, содержащая 8 динамиков и MIDI синтезаторы. Объемное зрение обеспечивается с помощью очков с жидко-кристаллическими обтюраторами. Положение зрителя и направление его взгляда определяется с помощью электромагнитного передатчика смонтированного на очках.

Проект финансировался Национальным Научным Фондом (NSF), Агентством Перспективных Исследовательских Проектов Министерства обороны США (DARPA) и Национальным Институтом Здравоохранения (NIH). Вычислительное и проекционное оборудование было предоставлено фирмами. Проект был поддержан Арагоннской национальной лабораторией, Национальным центром суперкомпьютерных приложений и Иллинойским университетом.

Опуская другие технические детали, следует тем не менее отметить комплексность и новизну требований к техническим средствам виртуальной реальности.

Навигация и интерфейс.

ИНТЕРФЕЙС.

Интерфе́йс (от англ. interface — поверхность раздела, перегородка) — совокупность средств, методов и правил взаимодействия между элементами системы.

Этот термин используется практически во всех областях науки и техники. Его значение относится к любому сопряжению взаимодействующих сущностей. Под интерфейсом понимают не только устройства, но и правила (протокол) взаимодействия этих устройств.

В контексте отдельного элемента интерфейс элемента противоположен реализации элемента (внутреннему устройству и функционированию). Пользователю элемента незачем знать, как реализован используемый элемент, чтобы управлять им, но используемый элемент должен предоставить интерфейс управления. Например, водителю вовсе не обязательно знать, как устроен двигатель, чтобы управлять автомобилем, достаточно пользоваться интерфейсом автомобиля (рулем и педалями).

В рамках данной работы под понятием интерфейс будет пониматься интерфейс пользователя - разновидность интерфейсов, в котором одна сторона представлена человеком (пользователем), другая — машиной/устройством. Представляет собой совокупность средств и методов, при помощи которых пользователь взаимодействует с множеством различных, чаще всего сложных, элементов, машин и устройств.

Командная строка – это первый интерфейс, который не просто сохранился до настоящего времени, но и продолжает активно использоваться. Пользовательский ввод осуществляется путем набора текстовых команд; вывод – путём выдачи на экран текстовых сообщений. В качестве команд используются глаголы действия (copy, rename и прочее), предложения, содержащие такие глаголы (show ip route), либо просто названия (telnet). Подобный подход существенно облегчал жизнь тем, кто владел английским языком. Остальным же по-прежнему приходилось запоминать (ввод) и интерпретировать (вывод) непонятные последовательности символов.

В конце прошлого века на смену командной строке пришел графический интерфейс. Графические интерфейсы состоят из меньшего набора примитивов (кнопка, подпись и тому подобное против примитивов «имя команды»), а сами примитивы, за счет графической составляющей, отличаются друг от друга гораздо сильнее, чем одна команда от другой (скажем, remove и rename). Отсутствия языковой привязки и использование универсальных метафор (вроде папок с документами) делает графический интерфейс интернационально доступным языком.

Введем (согласно [2]) понятие когнитивного расстояния интерфейса. Когнитивное расстояние измеряет усилия пользователя, необходимые для преобразования действий по вводу данных и представлений выводимой информации в операции и объекты прикладной области. Выбранные для описания модельных объектов зрительные образы должны легко подходить для этого перевода и соответствовать естественным образам моделируемой прикладной области. Точно также, действия, необходимые для манипуляций с образами должны быть близки по смыслу к командам, применяемым при работе с модельными объектами. Важной задача проектирования интерфейса является уменьшение его когнитивного расстояния. В связи с этим следует обратить внимание на синтаксис языка действий и попытаться ответить на вопрос, каким образом следует реализовать связь между синтаксисом языка действий, определяемого порядком действий пользователя, применяющего различные физические и/или виртуальные устройства ввода, и семантикой операций над объектами вычислительной модели. Язык действий пользователя связывает набор операций над модельными объектами с конкретными действиями по вводу данных. В двумерном случае набор действий, практически, постоянен как из-за ограниченного набора устройств, так и из-за устойчивых привычек пользователей. (В этом случае важна, так называемая, мышечная память пользователя). Обычный набор действий здесь состоит из перемещения пиктограмм и иных объектов из окна в окно или в текущем окне, совмещения пиктограмм, указания на пиктограммы или другие объекты, отображающие интерактивную деятельность, различных манипуляций с мышью и пр.

В 90-ые годы выявилось сужение набора устройств ввода, используемых в массовом компьютинге. Вместо таких физических устройств как световое перо, джойстик, сенсорный экран, трэк бол, широко используемых в 70-ых и начале 80-ых годов, применялись почти исключительно клавиатура и мышь, причем в начале 90-ых даже наблюдалась тенденция вытеснения реальных алфавитно-цифровых и кнопочных клавиатур виртуальными устройствами. (В настоящее время джойстик, трэк бол и особенно сенсорный экран снова заняли свое место среди устройств “двумерного” ввода, хотя и все еще уступают в этом плане мыши, по крайней мере, для массовых персональных компьютеров.) Казалось бы, сужение набора физических устройств ввода должно ограничивать возможности пользователя, уменьшать сферу применения “безрежимного” интерфейса (то есть такого интерфейса, который не требует от пользователя все время отслеживать в каком режиме он работает, помнить особенности синтаксических правил, применяемых при каждом режиме работы). Однако, использование большого набора пиктограмм и визуальных объектов, отображающих ввод данных, обеспечивает четкое различение команд путем их реализации на разных виртуальных устройствах. Кроме этого, в связи с уменьшением числа устройств ввода увеличивалась однородность интерфейса. (См. ниже.)

Среди набора традиционных требований к языкам действий пользователя (таких, как обратимость действий, наличие контекста, который обеспечивает поддержку пользовательской ориентации, наглядности интерфейса, с минимальным доверием к памяти пользователя, наличия обратной связи почти для всех пользовательских операций, подтверждения потенциально разрушительных действий пользователя) выделяется требование совместимости и согласованности интерфейса. Именно совместимость и согласованность позволяют использовать способности пользователя интерпретировать действия на базе сходства с предшествующим опытом. При этом должны учитываться устойчивые, привычные ассоциации между визуальными образами и манипуляциями над ними в виртуальной реальности и объектами и действиями в реальном мире.

Рассматриваются три уровня совместимости интерфейса:

1. Семантический, который основывается на объектах и операциях над ними, имеющими одинаковый смысл;

2. Синтаксический, определяющий порядок и расположение визуальных объектов;

3. Физический, который определяется возможностями аппаратных средств.

Для оценки языков действий пользователя введем понятия диалоговой выразительности и однородности интерфейса. Диалоговая выразительность интерфейса может быть описана следующими характеристиками:

1. Минимальное число элементарных манипуляций устройствами, необходимых для получения результата;

2. Минимальное количество переключений с устройства на устройство, необходимых для получения результата;

3. Однозначность интерпретации действий по вводу данных;

4. Естественность данного действия пользователя для получения соответствующего результата.

Однородность интерфейса можно определить как степень однообразия физических манипуляций с реальными устройствами при операциях, несущих сходную смысловую нагрузку и реализованных на подобных виртуальных устройствах.

Повышение диалоговой выразительности и однородности интерфейса также как и увеличение визуальной выразительности должны служить для уменьшения когнитивного расстояния интерфейса.

ИНТЕРФЕЙС В СРЕДАХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ.

Суть виртуальной реальности состоит в содержащейся в ней зависимости между участником и виртуальной средой. При этом взаимодействие с пользователем организуется за счет непосредственного погружения в среду.

Можно сформулировать в случае сред виртуальной реальности требования к “хорошему” интерфейсу. Когнитивное расстояние интерфейса может быть уменьшено при разработке таких методик манипуляций с устройством ввода, которые с какой-то степенью точности соответствуют воздействию на виртуальный объект (к примеру, поворот манипулятора приводит к аналогичному повороту объекта). В частности, согласованность интерфейса в случае сред виртуальной реальности означает требование того, чтобы манипуляции с виртуальными объектами были подобными манипуляциям с исходным объектом в руках человека в реальном мире. Манипуляции в рамках систем научной визуализации часто связаны с сечениями, определениями изолиний и изоповерхностей, перемещениями в трехмерном пространстве и пр. Отсюда непосредственно вытекает то, что способ ввода должен быть трехмерным. Однородность интерфейса выглядит как минимизация набора виртуальных манипуляторов.

Перед разработчиком интерфейса возникают проблемы, связанные, во-первых, с выбором набора допустимых манипуляций с объектами, а, во-вторых, с поиском или разработкой устройств ввода удобных для осуществления выбранных взаимодействий.

Интерфейс должен быть простым с технической точки зрения (простота установки устройства ввода и легкость его повседневного использования) и, по возможности, недорогим. В этой связи при работе в рамках виртуальной реальности предпочтение следует отдать мало отвлекающим и не мешающим работать средствам, а не носимым на голове или теле громоздким и тяжелым конструкциям. Также мало приемлема организация взаимодействия с виртуальной средой при помощи специально выделенного оператора.

НАВИГАЦИЯ.

В течение многих веков термин навигация исключительно с судовождением. В XX веке, с развитием науки и техники, появлением воздушных судов, космических кораблей — новых объектов навигации, появились смысловые значения термина. Теперь, в общем смысле, навигация — процесс управления некоторым объектом (имеющим собственные методы передвижения) в определённом пространстве передвижения.

Применительно к виртуальной реальности под навигацией будем понимать управление виртуальным образом оператора для перемещения в виртуальной среде.

СРЕДСТВА «ТРЁХМЕРНОГО» ВВОДА.

Средства “трехмерного” ввода достаточно разнообразны. Часть таких систем являются просто расширением своих двумерных аналогов, но существуют и по-настоящему фантастические по своим идеям реализации, предназначенные, в том числе, и для сред виртуальной реальности. Именно к таким относятся аппаратура и программное обеспечение, позволяющее человеку управлять реальными и виртуальными объектами посредством мысли. Системы типа Brain-Computer Interface (BCI) основаны на психофизиологических эффектах. Взаимодействие идет за счет анализа потенциалов мозга (электроэнцефалограмм), связанных с подготовкой движения той или иной части тела. Эти потенциалы, индивидуальные у каждого человека, оцифровываются и распознаются. На первом этапе происходит обучение программы на примерах мысленной подготовки движения пользователем. Затем достаточно уверенно проводится управление реальными объектами, объектами на экране дисплея или объектами в виртуальной реальности [3],[4]. В настоящее время созданы системы мысленного управления движением в виртуальных средах, предназначенных для обучения инвалидов. Представляется, что BCI может также служить в качестве средства “трехмерного перемещения” (“виртуального полета”) пользователя в средах виртуальной реальности, предназначенных для визуализации абстрактных математических и информационных пространств. Работы в области BCI успешно продвигаются в целом ряде научных и лечебных организаций, включая и отечественные исследовательские центры. Однако пока системы на базе BCI не могут рассматриваться в качестве близкой перспективы как средства ввода в средах компьютерной визуализации. Причин много. Одна из них - мешающая работе пользователя сложность подключения аппаратуры съема потенциалов мозга. Другая – недостаточная устойчивость мысленного управления объектами. Требуется и много дополнительных исследований, например, изучение адаптации пользователя к условиям виртуального полета. Наконец, полная цена комплекса достаточно велика. Так что пока рассмотрим менее фантастические средства в области интерфейса.

Массово применяемые в системах научной визуализации, в том числе в системах на базе виртуальной реальности трехмерные устройства ввода можно грубо разбить на два класса:

1. Манипуляторы, действия которых отображаются на экране, трехмерной сцене или трехмерной поверхности (трехмерная мышь, двуручные джойстики, сенсорные сферы и т.п.)

2. Устройства, типа «захвата движения» (motion capture) разного уровня сложности, куда можно в принципе отнести и перчатки для ввода данных.

Многочисленные примеры трехмерных манипуляторов описаны опубликованных еще в прошлом десятилетии обзорах развития этой области. (См., например, [5].) Интерес для нас представляет в частности разделение средств ввода в рамках систем на базе виртуальной реальности на манипуляционные и навигационные, причем отмечается, что для задач манипуляции объектами в трехмерном пространстве необходимо обеспечивать 6 степеней свободы, тогда как средства навигации в трехмерном пространстве можно реализовать в несколько упрощенном виде.

В последние годы появляются новые (достаточно экзотические) манипуляторы, например, многопользовательский манипулятор на базе сенсорной сферы, созданный в исследовательском центре Microsoft [6] или в чем-то схожее (также сферическое) устройство “GlobeFish” [7], которое мы рассмотрим в качестве примера. Данное устройство представляет собой шар, который можно свободно вращать вокруг любой оси. Также, толкая шар с той или иной стороны, пользователь может осуществить ввод движения в любом направлении. Таким образом, GlobeFish является устройством ввода с шестью степенями свободы (три оси вращения и три оси перемещения). С помощью данного устройства очень удобно вращать виртуальный объект и удобно осуществлять перемещение виртуального объекта в пространстве. К сожалению, данное устройство не подходит для осуществления полезных в системах научной визуализации манипуляций с виртуальными объектами (например, сечения поверхности). Более того, для любого манипулятора можно найти такое важное в системах визуализации действие, совершать которое с помощью данного устройства оказывается крайне неудобно. Нужно найти более естественные с этой точки зрения средства интерфейса, связанные с реальными движениями, жестами и манипуляциями человека.

Устройства типа «захвата движения» удобно и даже естественно использовать в качестве средств навигации. Основные их недостатки это сложность развертывания, стоимость, неудобство в использовании. В свою очередь такие устройства также делятся на несколько видов.

  1.  Методы с использованием оптических камер и маркеров.

Ввод трёхмерных движений пользователя осуществляется благодаря наличию нескольких камер, обозревающих его с разных углов. Сопоставляя изображения, получаемые с камер, вычислительная система определяет трёхмерное положение всех закреплённых на теле пользователя маркеров, а следовательно, и положение самого тела пользователя в пространстве. Поскольку позиции и направления объективов камер известно (благодаря предварительной калибровке), для определения координат каждого маркера достаточно двух обозревающих его камер. Однако так как маркер может быть скрыт от камеры другой частью тела или другим человеком, требуется гораздо большее количество камер (обычно от 6 до 24, но может быть и значительно выше) [9].

Оптический Motion Capture, использующий маркеры, делится на три вида: с пассивными маркерами, с активными маркерами и с фоточувствительными маркерами. Рассмотрим каждую разновидность в отдельности.

В случае пассивных маркеров, рядом с каждой камерой располагается направленный источник инфракрасного света. Благодаря сферической форме закреплённых на теле пользователя маркеров, каждая камера видит световые пятна всех маркеров, находящихся в зоне прямой видимости. Специальное программное обеспечение анализирует двухмерные изображения, получаемые со всех камер, и, на основе информации о взаимном расположении камер, вычисляет трёхмерное положение каждой точки [9, 10].

В случае активных маркеров, свет испускается самими маркерами, причем каждый маркер загорается в строго определённый момент времени, что облегчает идентификацию отдельных точек. В отличие от пассивных маркеров, данная система более устойчива к помехам, наподобие внешней засветки, но сами маркеры при этом нуждаются в постоянном электропитании [9,11].

Фоточувствительные маркеры, наоборот, улавливают свет, который испускается расположенными вокруг инфракрасными проекторами. Свет различных проекторов отличается, что позволяет каждому маркеру определять своё трёхмерное положение, а также ориентацию в пространстве [12].

К сожалению, все эти методы сложны с технической точки зрения: требуется выделенная рабочая область, вокруг которой необходимо установить множество камер и произвести их калибровку. Использование системы также затруднительно, поскольку маркеры нужно закреплять на теле человека в строго определённых позициях. И, наконец, данные системы весьма дороги.

2. Безмаркерный оптический Motion Capture

Вокруг рабочей области располагается достаточно много оптических камер. В изображениях, получаемых с камер, выделяется контур, соответствующий телу человека (контур вычисляется как разность между текущим кадром и кадром, полученным до начала использования, т.е. без человека). На основании информации о взаимном расположении камер, восстанавливается трёхмерная оболочка человека. Вычисленная оболочка сопоставляется с анатомической моделью тела (задается предварительно), что позволяет получить скелетную анимацию. Данный метод не использует маркеры или специальные костюмы, единственное требование – одежда должна достаточно плотно прилегать к телу [13]. Для него также требуется выделенная рабочая область, вокруг которой необходимо установить множество камер и произвести их калибровку, однако использовать подобную систему значительно проще благодаря отсутствию маркеров. Стоимость подобного решения также существенно ниже (но, по-прежнему, достаточно велика).

3. Неоптические методы

Существуют несколько разновидностей неоптических (т.е. не использующих оптические камеры) методов: инерциальный, механический, электромагнитный и ультразвуковой. В каждом подходе вместо анализа изображений трёхмерное положение фиксируется самими датчиками (маркерами).

Инерциальные датчики содержат в себе трёхмерный акселерометр и гироскоп, что позволяет определить ориентацию датчика в пространстве и действующие на него ускорения. Зная начальную позицию (выбирается произвольно) и скорость (ноль), система может дважды проинтегрировать ускорение и вычислить текущее положение каждого датчика в пространстве [14].

Механические системы представляют собой каркас, который крепится к телу человека (к примеру, на руку одевается перчатка). Движение тела приводит к движению элементов каркаса, которые захватываются при помощи простых механических датчиков. Механический motion capture захватывает не положение узловых точек, а углы между скелетными элементами каркаса. Трёхмерные позиции частей тела, могут быть вычислены на основе углов, но лишь относительно друг друга. Перемещение всего тела в пространстве данная система фиксировать не способна .

Электромагнитные системы, по своей сути, являются аналогами оптических систем с фоточувствительными маркерами, только вместо инфракрасных проекторов используются электромагниты. Соответственно, датчики, фиксируя интенсивность электромагнитных полей, определяют своё трёхмерное положение и ориентацию в пространстве. Данный метод сильно подвержен помехам и потому практически не используется .

Ультразвуковые системы являются аналогами оптических систем с активными маркерами, только датчики испускают не свет, а звук. Соответственно, вместо камер используются микрофоны .

По простоте использования электромагнитные и ультразвуковые системы аналогичны оптическому “motion capture” с маркерами (правда, они несколько дешевле). Инерциальные и механические системы не требуют подготовки рабочей области и, за счет небольших требований к центральному компьютеру, имеют сравнительно небольшую стоимость. Однако для их использования требуется закреплять специальные датчики (которые тяжелее маркеров для оптических систем), а механические каркасы, помимо прочего, ещё и не универсальны (должны соответствовать росту и размеру человека).

Постановка задачи.

На сегодняшний день существуют множество средств для работы со средами виртуальной реальности. Поэтому несколько ограничим области нашего исследования, более подробный обзор можно прочитать в [5], [6], [7], [8].

Для погружения в виртуальную реальность будем использовать очки виртуальной реальности, снабженные акселерометрами, позволяющими определять положение головы оператора.

Исходя из несовершенства и дороговизны современных технологий, было решено использовать манипулятор в качестве способа взаимодействия с объектами виртуального пространства. История развития «двухмерных» манипуляторов показала, что наиболее универсальным и удобным из них является мышь. Это обусловлено как её удобством и простотой, так и низкой стоимостью. Применительно к виртуальной реальности, а, следовательно, и трёхмерным интерфейсам, логично было бы применять некую «трёхмерную» мышь. Разработкой таких манипуляторов занимаются многие институты и корпорации, в одном из последующих разделов будет рассмотрено несколько наиболее интересных из них.

В 2011 году аспирантом Кафедры информатики и процессов управления Александром Зыряновым была защищена кандидатская диссертация на тему «Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода». В рамках этой диссертации Александром был предложен «интерфейс фонарика», как новый язык человеко-компьютерного взаимодействия основанного на жестах. Бесспорное преимущество данного подхода – его простота и дешевизна. Мы отойдём от жестовой составляющей предложенного интерфейса и попытаемся «скрестить» его с обычной мышью.

Использование очков виртуальной реальности даёт возможность использовать преимущества бинокулярного зрения человека, благодаря которому появляется возможность оценивать расстояния и размеры предметов, а так же видеть сквозь мелкие предметы. Постараемся реализовать виртуальную среду в которой получилось бы использовать данные преимущества.

Манипуляторы типа «трёхмерная мышь».

  1.  SUMA

Коллектив исследователей из компании Cambridge Consultants разработал сжимаемое устройство ввода, реагирующее на сжатие. По своему внешнему виду оно напоминает привычную всем мышь и управляет перемещением в трехмерном пространстве.

Устройство получило название Suma, созвучное названию мандарина сорта сацума, - сообщил Данкен Смит, руководитель подразделения Cambridge Consultants, которое отвечает в компании за разработку потребительских товаров и выдачу производителям лицензий на право выпуска инновационных продуктов.

В компании Cambridge Consultants были созданы несколько вариантов Suma. В январе 2010 года они были представлены на выставке Consumer Electronics Show, в Лас-Вегасе.

Внутри эластичного корпуса Suma находятся легкие приводные механизмы, окружающие ядро датчиков. В момент сжатия устройства или его движения датчики регистрируют изменение давления и перемещение. Сигналы обрабатываются встроенным программным обеспечением, а соответствующая информация пересылается активному приложению.

Разница между Suma и контроллером Nintendo Wii заключается в том, что последний реагирует только на перемещение объектов, а не на изменение их формы. Таким образом, своим появлением Suma создает условия для появления целого нового класса приложений.

Теперь вы можете одним движением руки менять всю картину происходящего, - отметил Смит.

Открывается, в частности, возможность одновременно смотреть на события как глазами пользователя, так и с позиции объекта, находящегося в фокусе внимания пользователя. Контроллерам, имеющимся сегодня, такое не под силу.

Разработчики интегрировали в свое устройство акселерометр, обеспечивающий дополнительные возможности управления. Смит утверждает, что программное обеспечение для Suma может разрабатывать кто угодно, а члены его команды представили специальную игру для привыкания, которая запускается на платформе Linux и позволяет лучше познакомиться с возможностями нового устройства.

Недостатками данного подхода является сравнительно высокая стоимость, а также «неестественность манипулирования объектами», кроме того ограниченный диапазон положений при сжатие манипулятора.

  1.  Мышь Elecom M-3D1UR.

Новинка построена на технологиях, разработанных фирмой Sandio Technology Corporation. Посредством мыши, как сообщает Bios Magazine, можно осуществлять перемещение и вращение объектов по осям абсцисс, ординат и аппликат. Достигается это за счёт дополнительных органов управления, размещённых на боковой панели корпуса мыши в области большого пальца и на верхней панели над колесом прокрутки.

Мышь Elecom M-3D1UR снабжена высокоточным лазерным сенсором с разрешением, регулируемым в диапазоне от 400 до 1600 dpi (точек на дюйм). Новинка должна заинтересовать дизайнеров, архитекторов, инженеров, а также любителей трёхмерных игр.

Возможности трехмерной лазерной мыши Elecom M-3D1UR демонстрировались на выставке Tokyo Game Show. На прилавки японских магазинов новинка должна поступила по цене около 12800 иен (примерно 110 долларов США). Появится ли модель M-3D1UR на территории Российской Федерации, пока не известно.

К недостаткам этого устройства можно отнести опять же стоимость и ограниченность действий.

  1.  SpaceNavigator Пожалуй самый распространенный и интересный вариант трёхмерной мыши. Является эволюцией Space Mouse которая на данный момент не производится.По заявлению разработчиков: «Этот 3D манипулятор предназначен для начинающих архитекторов, художников и тех, кто просто хочет насладиться новым опытом. Он идеально подходит для приложений Google Earth и Google SketchUp. При использовании манипулятора SpaceNavigator от фирмы 3Dconnexion в этих программах, Вы ощутите все прелести естественно-интуитивного перемещения в трехмерном виртуальном пространстве. Также легко происходит работа с трехмерными объектами в приложениях для трехмерного моделирования».

Поставляемое с 3D манипулятором программное обеспечение распознает множество различных программ и для каждой из них соответствующим образом конфигурирует устройство, избавляя пользователя от необходимости делать это вручную. SpaceNavigator имеет две настраиваемые кнопки, которые позволяют еще более ускорить работу. По умолчанию они настроены на команды "Fit" (Подогнать под размер экрана) и "Panel" (Панель управления). Команда "Fit"быстро центрирует Вашу модель или чертеж на экране и изменяет масштаб так, чтобы Вы могли полностью увидеть изображение. Команда "Panel" вызывает панель настройки устройства, в которой можно изменить параметры работы манипулятора. 

Очевидным недостатком данного манипулятора является то, что он не самостоятельный, т.е. применяется в сочетании с обычной мышью, и занимает вторую руку пользователя, которая обычно занята клавиатурой.

Интерфейс фонарика.

Главной сложностью при использовании оптических систем захвата движения является необходимость установки нескольких камер вокруг рабочей области и проведение процесса калибровки. Даже с учётом того, что необходимо осуществлять лишь захват движений рук, с учётом того, что руки пользователь держит перед собой (т.е. они всегда видны), требуется использовать как минимум две камеры. Выходом может являться закрепление камер на некотором жёстком каркасе, но можно поступить гораздо проще: сделать источник света не точечным, а протяжённым. Это позволить вычислять расстояние до маркера, опираясь на изменение видимых размеров источника света, а значит, для определения трёхмерного положения достаточно использовать всего одну камеру. Единственную же камеру можно размещать совершенно произвольно, не выполняя при этом какой-либо калибровки.

В качестве дешёвого протяжённого источника света был выбран

обыкновенный карманный фонарик. В качестве датчика света используется стандартная веб-камера. Поскольку веб-камера и фонарик работают в видимом оптическом диапазоне, в кадре может находиться множество других источников света, таких как окна, лампы, экраны компьютеров.

Чтобы облегчить выделение светового пятна фонарика в изображении, на фонарик одевается цветная бумага (что, кстати, предотвращает ослепление фонариком веб-камеры и других людей). Автором использовалась бумага красного цвета, хотя это и не имеет принципиального значения. В случае захвата движения двух рук используются идентичные фонарики, прикрытые бумагой одинакового цвета.

Интерфейс фонарика является недорогим (менее $30), простым в установке (единственная камера устанавливается произвольным образом) и простым в использовании. Процесс подготовки к работе ограничивается выставлением яркости камеры на минимальное значение (благодаря чему становится различим цвет источников света, а прочие объекты превращаются в чёрные силуэты). Однако, несмотря на простоту и примитивность, данная система способна не только определять трёхмерное положение фонарика, но и вычислять его ориентацию в пространстве (т.е. вектор, в направлении которого смотрит фонарик) [1].

Более подробное описание и результаты исследования касательно интерфейса фонарика можно прочитать в [9].

Модифицированный интерфейс фонарика.

Оригинальный интерфейс фонарика, предложенный Александром Зыряновым, был несколько изменен, а именно:

  •  Мы отказались от идеи использовать язык жестов для взаимодействия с объектами.
  •  Было решено остановиться на использовании одного фонарика в качестве манипулятора (автор как один из вариантов предлагал использование двух фонариков).
  •  Фонарик был соединен с обычной мышью. Для нашего исследования использовался фонарик небольших размеров и беспроводная мышь для ноутбука. Оба манипулятора были соединены липкой лентой в один, так чтоб его было удобно держать в руке и нажимать кнопки мыши и кнопку включения фонарика.
  •  Было решено задействовать кнопку включения/выключения фонарика, для внесения дополнительных преимуществ манипулирования.

Остановимся подробнее на последнем изменении. Одним из достоинств мыши, являлось то что, при достижение манипулятором края коврика (стола) его можно было поднять, перенести на удобное место, и продолжить перемещение объекта (курсора), получив, таким образом, неограниченную амплитуду манипуляций. Последнее изменение в работе фонарика позволяет получить то же самое преимущество, только вместо поднятия мыши теперь нужно отключать фонарик.

В итоге получаем манипулятор обладающий достоинствами первоначального варианта интерфейса фонарика (простота установки и дешевизна), а также достоинствами компьютерной мыши (универсальность и удобство). Такие характеристики как точность и быстрота отклика полностью совпадают с интерфейсом фонарика, подробнее можно прочитать в [9].

Получившейся манипулятор лишён основных недостатков его конкурентов, описанных выше, однако имеет несколько своих:

  •  При работе с интерфейсом фонарика рука оператора всегда должна находится навесу, что делает невозможным длительную работу с ним.
  •  Данный интерфейс в значительной мере уступает в точности устройствам, описанным выше.


Аппаратное обеспечение исследования.

Исследование проводилось с использованием очков виртуальной реальности Emagin Z800 3D Visor. Это очки с двумя встроенными жидкокристаллическими дисплеями, изображение с которых через линзы направляется на глаза, вследствие чего они отличаются достаточно компактным размером.

Краткие характеристики:

Разрешение экранов: 800х600

Горизонтальный угол зрения: 32 градуса

Вертикальный угол зрения: 24

Зона перекрытия: 32 градуса

Угловое разрешение: 25 пикселей/градус

Стоимость (по состоянию на 2006 год): 549 долларов США

Очки представляют собой модель начального уровня. На сегодняшний день они сняты с производства. К недостаткам данной модели можно отнести то, что они не полностью закрывают поле зрения пользователя, поэтому периферическим зрением могут быть видны окружающие объекты реального мира. Чтобы скомпенсировать этот недостаток, во время работы они применялись в изолированном помещении, и во время работы в очках выключалось освещение.

Для исследования использовался ноутбук, который применялся для подключения очков виртуальной реальности и был оснащен видеокартой NVidia GeForce 7300. Наличие GPU фирмы Nvidia являлось важным аппаратным требованием, поскольку на момент начала исследования только специальные драйвера для видеокарт NVidia имели встроенную поддержку стереорежима.

Использование очков виртуальной реальности как инструмента навигации.

Как говорилось ранее, погружение в виртуальную среду происходит за счёт подмены обычного восприятия окружающей действительности информацией, генерируемой компьютером. В рамках нашего исследования замещалась, главным образом, информация, поступающая через зрительный канал. В реальном мире человек в качестве способа навигации в пространстве использует поворот головы, поэтому естественно бы было применить данный способ в виртуальной среде.

Используемые очки снабжены встроенным гироскопическим трекером, с акселерометром оси X, Y, Z, позволяющим определять положение головы оператора. Разработчики заявили следующие характеристики:

Вес встроенного трекера: Менее 15 г

Отслеживаемый угол поворота: 360 градусов

Частота опросов трекера: 125 раз в секунду

Время отклика трекера: Менее 4мс

Допустимое отклонение точности трекера: Менее 1 градуса за 5 минут

Разрешение трекера: 1 градус

Для проверки эффективности данного трекера в качестве способа навигации в виртуальной среде был спланирован и проведён небольшой эксперимент. Суть эксперимента заключалась в погружение испытуемого в виртуальную среду, сначала без применения трекера, навигация осуществлялась при помощи мыши и клавиатуры, а затем с ним. При подведении результатов оценивалось субъективное мнение испытуемых, а так же визуально наблюдение за ходом эксперимента.

В качестве искусственной реальности были выбраны виртуальные среды известных трёхмерных компьютерных игр. Этот выбор был обусловлен высокой реалистичностью в плане графики и физической модели. В разное время принять участие в эксперименте предлагалось 25 человекам, являющимися опытными пользователями компьютеров, и раннее знакомых с выбранными играми. Выбор данной тестовой группы был обусловлен желанием получить оценку именно способности очков служить способом навигации, а не качества виртуального мира игры, т.к. важным критерием было субъективное мнение испытуемого.

В ходе эксперимента, был выявлен существенный недостаток используемого оборудования. Несмотря на заявленные технические данные о погрешности трекера, уже через 5 минут погружения в виртуальную реальность, отклонение от первоначального положения составляло более 90 градусов. Однако на данный недостаток испытуемые практически не обратили внимания, внешне он проявлялся в необходимости менять положение тела на стуле и, как следствие, устройства ввода (клавиатура, мышь) оставались сбоку испытуемого.

Несмотря на описанное выше неудобство, абсолютно все испытуемые отметили, что движения головой воспринимаются очень естественно, и даже столь значительная погрешность, осталась для них практически незаметной.

В результате, можно сделать вывод, что данный способ навигации является удобным и естественным для пользователя, выявленный же недостаток мог быть следствием того, что использовалась устаревшая модель очков, а также, возможно, вследствие несовершенства драйверов предлагаемых производителем.

Использование модифицированного интерфейса фонарика в качестве манипулятора в среде виртуальной реальности.

Одна из ключевых идей данной работы – использование манипулятора типа «трёхмерная мышь» как средство взаимодействия с объектами виртуального мира. В качестве данного манипулятора был выбран модифицированный интерфейс фонарика. Основные его преимущества это

  •  простота в развёртывании
  •   схожая с мышью а, следовательно, интуитивно-простая система управления объектами.
  •  Цена

Для проверки возможностей данного интерфейса был спланирован эксперимент. Суть эксперимента заключается в том, чтобы предоставить испытуемому задачу, которая бы реализовывала преимущества виртуальной реальности над двухмерными интерфейсами, и предложить для выполнения модифицированный интерфейс фонарика.

Для достижения наших целей была разработана следующая задача: в глубокой комнате, с разным уровнем пола, на произвольно генерируемом отдалении от оператора, на полу появляются квадраты разных размеров (также произвольно выбираемые компьютером), и кубики соответствующих размеров. Цель – расставить кубики по соответствующим квадратам. В данной задаче должно являться преимуществом использование бинокулярного зрения, а также использоваться ключевые возможности модифицированного интерфейса фонарика.

Для проведения эксперимента была разработана виртуальная сцена. При разработке использовался пакет для работы с трёхмерной графикой 3D studio MAX, для создания сцены использовалась Visual Studio 2008 (VB), для работы с трёхмерными объектами был задействован engine OGRE. Выбор данных средств реализации обусловлен изначальным использованием данных продуктов для реализации интерфейса фонарика.

На сегодняшний день разработаны все необходимые компоненты для эксперимента, но требуется их состыковка. Поэтому ещё проведён не был.

ЗАКЛЮЧЕНИЕ

В ходе исследования были изучены существующие методы взаимодействия человека со средой виртуальной реальности. Были выявлены их основные недостатки, а именно:

  •  Отсутствие универсальности (ограниченные возможности манипуляций)
  •  Сложность в развёртывании и использовании.
  •  Высокая стоимость.

На базе созданного Александром Зыряновым интерфейса фонарика был создан «Модифицированный интерфейс фонарика», преимуществами данного интерфейса являются:

  •  Простота в установке: требуется только одна веб-камера и карманный фонарик, а также отсутствует необходимость калибровки.
  •  Удобство и универсальность использования, за счет схожести с обычной компьютерной мышью.
  •  Низкая стоимость (менее 600 рублей).

В качестве способа навигации было предложено использовать встроенный в очки виртуальной реальности трекер. Был спланирован и проведен эксперимент по применению данного метода. В результате был выявлен существенный недостаток этого подхода, связанный с особенностями используемого оборудования. Тем не менее, эксперимент показал, что использование встроенного трекера в качестве инструмента навигации в виртуальной среде является удобным и естественным. Абсолютно все принимавшие участие в эксперименте высказали мнение, что данный способ навигации гораздо удобнее стандартных (с помощью клавиатуры и мыши).

Для исследования модифицированного интерфейса фонарика, был подготовлен программный комплекс реализующий задачу в виртуальной реальности, цель которой определить манипулятивные возможности интерфейса фонарика, а также попытаться использовать преимущества виртуальной среды. На данный момент элементы комплекса разработаны, но требуют дополнительной состыковки, поэтому эксперимент проведён не был.

В качестве ближайших перспектив дальнейшего исследования можно выделить следующие задачи:

  •  Проведение разработанного эксперимента, и оценка результатов.
  •  Необходимая доработка модифицированного интерфейса фонарика исходя из результатов эксперимента.
  •  Переведение интерфейса на многоплатформенный уровень.

Список литературы.

1. Авербух В.Л., Байдалин А.Ю., Бахтерев М.О., Васёв П.А., Зырянов А.В., Казанцев А.Ю., Манаков Д.В. К обоснованию проекта изуализационной компоненты виртуального испытательного стенда //Параллельные ычислительные технологии (ПаВТ'2010): Труды международной научной конференции (Уфа 29 марта - 2 апреля 2010 г.).. Челябинск. : Издательский центр ЮУрГУ. стр. 378-386.

2. Jacob R.J.K. Direct Manipulation // Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, (Atlanta, GA, 1986), N.Y. 1986. V.1, pp. 384-389.

3. Guger Ch. Real-Time Data Processing under Windows for an EEGbased Brain-Computer Interface // Dissertation vorgelegt an der Technischen Universität Graz zur Erlangung des akademischen Grades “Doktor der Technischen Wissenschaften” (Dr. Techn.) September 1999.

4. Piccione F.; Priftis K., Silvoni S., Piron L., Merico A., Tonin P., Vidale D., Furlan R. Integration of a P300 Brain Computer Interface into Virtual Environment // Virtual Rehabilitation, 2007. 27-29 Sept. 2007, P.88.

5. Jacob R.J.K. Human-computer interaction: input devices // ACM Computing Surveys. Volume 28. Issue 1 (March 1996), Pages: 177-179.

6. Benko, H., Wilson, A., and Balakrishnan, R. Sphere: Multi-Touch Interactions on a Spherical Display // Proc. User Interface Software and Technology (UIST '08). Monterey, CA. 2008. pp. 77-86.

  1.  Froehlich B., Hochstrate J., Skuk V., Huckauf A. The GlobeFish and the GlobeMouse: two new six degree of freedom input devices for graphics applications // Proceedings of the SIGCHI conference on Human Factors in computing systems, Montreal, Quebec, Canada, 2006, pp. 191-199.

8. В.Л. Авербух, А.В. Зырянов, Методы манипуляции объектами в трехмерных визуальных средах // Вопросы атомной науки и техники. Серия: Математическое моделирование физических процессов. 2009. Выпуск 3. Стр. 58-69.

9. А.В. Зырянов, Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода. // Диссертация на соискание ученой степени кандидата технических наук, УрГУ, 2010.

10. Optical Motion Capture Systems

(http://www.metamotion.com/motion-capture/optical-motion-capture-1.htm)

11. Maletsky L., Junyi Sun, Morton Ni. Accuracy of an optical active-marker system to track the relative motion of rigid bodies // Journal of Biomechanics 2007, vol. 40. No 3, pp. 682-685.

12. Raskar R., Nii H., deDecker B., Hashimoto Y., Summet J., Moore D., Zhao Y., Westhues J., Dietz P., Barnwell J., Nayar Sh., Inami M., Bekaert Ph., Noland M., Branzoi V., Bruns E. Prakash: lighting aware motion capture using photosensing markers and multiplexed illuminators // ACM Transactions on Graphics (TOG) Volume 26, Issue 3 (July 2007). Proceedings of the 2007 SIGGRAPH Conference. Article No. 36, 2007.

13. Литвак И.И., Ломов Б.Ф., Соловейчик И.Е. Основы построения аппаратуры отображения в автоматизированных системах.-М.: Советское радио, 1975.

14. Communications of the ACM. Non command user interfaces (future user uterfaces) (GUIs: The Next Generation).-April 1993, v.10.

15. PC Week. Virtual Reality emerging as a key computing tool.-Jan. 11, 1993, v.10, P.110.

16. Семочкин П.Н., Зарецкий А.А. Развитие компьютерных и телевизионных систем последовательного типа,  Москва: Вопросы Кибернетики, 1995.

Манипулятор SUMA

Рис 1.

Манипулятор Elecom M-3D1UR

Рис 2.

Манипулятор SpaceNavigator

Рис 3.

Интерфейс фонарика

Рис 4.

Очки Emagin Z800 3D Visor

Рис 5.

Сцена для эксперимента

Рис 6.


 

А также другие работы, которые могут Вас заинтересовать

83279. Відтворювання цілого з частин. «Збери картинку», «Шматочок» 145 KB
  Активізувати пізнавальну діяльність учнів; сприяти розвитку пам’яті учнів, уяви, мислення, мови, моторики. Формувати в учнів просторові уявлення, привчати їх до самостійного творчого мислення. Розширювати кругозір, розвивати прагнення бути активним у виконанні колективних творчих вправ.
83280. Осінь щедра, прощавай! 82.5 KB
  Мета: вчити бачити красу рідного краю, милуватися її дарами. Розвивати спостережливість, творчі здібності. Виховувати любов до праці, шанобливе ставлення до хліба, повагу до традицій рідного краю.
83281. Розквітни красою на щастя, на долю, моя Україно 573 KB
  Обладнання: книга - Усний журнал із оформленням сторінок карта України символіка народні символи: кетяги калини барвінок чорнобривці вишиті рушники образ Матері Божої вінок із квітів – символів колоски пшениці дитячі малюнки із краєвидами фотоматеріали міста дитячі журнали Моя країна...
83282. Про доброту і милосердя 51.5 KB
  Ще з давніх часів доброта і милосердя були в традиціях нашого народу. Природним вважалося допомогти знедоленому, нещасному,поділитися шматком хліба, дати притулок бездомному, захистити старість,немічність, скривдженого. Добро виховується в наших душах і серцях старанням і бажанням його творити.
83283. Україно, ти моя молитва… Літературно-музичне свято 56 KB
  Юнак. Україна! Одне тільки слово – і ми входимо у світи сивої, мов жито, історії і барвінкової юності, у світи трагедійного епосу і поетичного відродження, у світи героїчних діянь і неповторної краси. Дівчина. Україно! Про тебе сиві кобзарі співали, що ти обездолена чайка-небога...
83284. Україна – наш спільний дім 317 KB
  Мета: Узагальнити та систематизувати знання учнів про Україну її історію державні та народні символи. На уроках ви співали пісні й декламували вірші знайомились з державною символікою знаходили на карті її ріки міста і гори засвоювали мову звичаї і традиції читали оповідання з історії.
83285. Україна та її історія на уроках зарубіжної літератури 121.5 KB
  Мета: Поглибити знання учнів про життя і творчість зарубіжних письменників, пов’язаних з Україною, її історією та культурою; сприяти творчо – асоціативній діяльності, розвивати дослідницькі та комунікативні навички.
83286. Вірю в майбутнє твоє, Украіно! 49 KB
  А я вважаю, що кожен народ має право на самобутність, свою мову, свою культуру. І той, хто не поважає свою мову, свій народ,- той не поважає,перш за все,себе. Хіба англійці соромляться своєї мови, а французи говорять китайською? Хіба ми гірші за інші народи?
83287. Слава синам України – українським повстанцям 965.5 KB
  Цілі: знайомити учнів з героїчними сторінками минулого України, розкрити діяльність Української Повстанської Армії з 1942р. по 1959р., як армії ІІ світової війни; забезпечити розуміння основних термінів, фактів; пробуджувати високі почуття патріотизму: формувати вміння розповідати...