Научная статья

Информатика, кибернетика и программирование

The paper is devoted to the design and development of gesture interface for use in surgery applications. The approaches to the gesture recognition for real use in angiographic systems are considered. The model of the angiographic systems, control techniques, gesture language for control, as well as their realizations are described. Possibilities of further development are discussed.



711.5 KB

8 чел.

Vladimir Averbukh1,2, Ilya Starodubtsev2, Dmitriy Tobolin3 


1IMM UrB RAS, 2Urals Federal University, 3AngioSystems Ltd.,

Ekaterinburg, Russia.

(Averbukh@imm.uran.ru, StarodubtsevIS@ya.ru, Dimato@mail.ru)


The paper is devoted to the design and development of gesture interface for use in surgery applications. The approaches to the  gesture recognition  for real use in angiographic systems are considered. The model of the angiographic systems,  control techniques, gesture language for control, as well as their realizations are described. Possibilities of  further development are discussed.

Key word: Angiographic system, gesture, hand, non-contact control, remote control, depth-based vision.


The paper is devoted to the design and development of gesture interface for using during surgery  intervention and angiographic examinations. Large langiographic systems  are equipped with controls that the surgeon use via  special sterile overlays. However mechanized angiographic C-ARM systems usually lack for remote controls. And so the assistant is required to help in the innervation process. In this paper we attempt to use the system of gesture interface in a case when the surgeon's hands are being in a sterile area for remote control of angiographic equipment. Such control system would help to get rid of the assistant and would allow to get control the system from the surgeon directly.

Related works

 There are the wide range of researches and developments devoted to problems of the gesture recognition since 80-th of XX century. Now much attention is paid to gesture recognition for medicine applications. In [1-4] the very interesting approaches to gesture recognition for the control of surgery equipment are described. The realization of such control is depended upon supporting of sterility during surgical manipulations. The examples of gestures describing in [1-4] are connected with manipulations of images on screen display. Our purpose is to support the specialized gesture interaction for control of angiographic systems. In this connection we need particular requirements to the system of gestures for surgical operations.


The model angiographic system is considered as a tube which is capable of rotation in two directions and the movement up or down to the plane of the table. The tube is modeled as a cylinder moving relative to the plane which is the angiographic table (Pic. 1).

The tube has the following degrees of freedom (Pic. 2):

- The tube can move up and down to the plane of the table

- The tube can be rotated in two directions

- The tube has two states: on and off X-rays (indicated by color).


System of control

For the different conditions, the different systems is most convenient for systems of control. So several control types were implemented, with the ability to switch, if necessary, at the most appropriate mode at the moment.

Digital-mode control system

In this mode the virtual non-contact touch screen is created, which displays a numeric keypad (or full keyboard), which is used to specify the offset angle in degrees and the distance to the table in metric units.

Free-mode control system

In this mode, the control of tube is using gestures in a free mode in a real time. For convenience, two way were implemented.

1. In the first way the following system of gestures is implemented:

- Move hand to the left / right: rotate tube in frontal plane anticlockwise / clockwise (Pic. 7, 8).

- Move hand to the forward / reverse: rotate tube in sagittal plane anticlockwise / clockwise (Pic. 9, 10).

- Move hand up / down: tube move up / down to the table plane (Pic. 11, 12).

 Also this gestures commands are modified by (see State section):

- hand postures (Pic. 13, 14):

 Close hand: start interaction;

 Open hand: finish interaction;


 - manipulation area (Pic. 15, 16): gesture analyzed only in the specified area in space.


2. In second way scaling factor of scene is selected and the end of the tube is attached to the position of the hand in space considering the scale (Pic. 17, 18, 19).


Depth-map based gesture recognition

We distinguish three basic concepts: the activation, tracking, and state.

The activation is a special gesture, posture or position of the operator in the space, which allow the objects are be captured in program (most often, but not necessarily, it is the operator's hand) as a three-dimensional cursor. The tracking - is the phase of the algorithm, when three-dimensional trajectory and position of objects is analysis of depending on their changing state.

System Implementation


There are different approaches to activate and capture the object in focus. However in any cases efforts of system operators should be not too much. These efforts should  not make high demands on precision, psychological and physical stress. It is also necessary to avoid accidental actuation.

The three different approaches were implemented:

1. Characteristic gesture.

The scene is continuously analyzed and three-dimensional motion vector field and optical flow is calculated for search of simplest gestures, like as "back and forth," "left-right" and "up and down”. The object that performs these motion is captured in the focus.

2. “Touch” the virtual object.

In this case, an any object, trapped in a neighborhood of a virtual “target”, is captured in the focus. Variety geometric primitives in space, such as point, area, length, line or plane may be used as a “target” object. In the case the plane is used as “target”, a virtual non-contact touch screen is directly obtained.


3. Manipulative area. 

Some spatial area was allocated, within which any object will be handled, and beyond which any activity will be ignored.


The capturing object appears as a point in the system. At the stage of tracking three-dimensional coordinates of the object in focus are recalculated. For this purpose the problem of the scene segmentation presented in the form of three-dimensional cloud of points  is solved and new coordinates of the tracked object are calculated with using the matrix of proximity. Also at this stage, the noises are filtered. As high-pass filters the linear filter with infinite memory, and three-dimensional version of the discrete Kalman filter are implemented ([5],[6],[7], [8]). Next the current point is adding into the corresponding trajectory`s memory stack. Stacks are analyzed depending on the state of modifier points to preselected depth for gesture recognition and implementation of events described by the user logic, such as response to the appropriate gestures or generate the control signal.


State is a special modifier, attached to an each tracked point. It is affects to the interpretation of recognizable gestures. Thus a state modifier is enhancing the convenience and flexibility of the interface. It can be specified as:

- specific gestures (for example, the same gestures that are used to activate or it may be more complex trajectories, defined by the user),

- positions in space (for example, the gestures and trajectories are analysed of only within the manipulative space and are tracked without analysis outside (Pic. 20, 21) or emulation of pressing and releasing the mouse button when touching the virtual non-contact touch screen),


- recognition of specific hand postures (for example, the respective object is captured when the hand is closed and released, when the hand is open (Pic. 13, 14) or posture is being some equivalent of symbols of sign language (like in Pic. 22)).

Hardware interfaces, methods and algorithms

The designed gesture-based interface system was written on C++ with using computer vision library OpenCV1. The main feature of the system is to capture and recognition of the operator`s gestures in three-dimensional space, which becomes possible by analyzing the scene depth maps obtained from the depth sensors. At the moment, the system uses the driver OpenNI2, which allow the use of such sensors as a Microsoft Kinect3, PrimeSensor4 and Asus XTion5, but the system architecture is designed so that the sensor can be replaced by any other. For example, when necessary, it is possible to connect the various hardware sensors such as stereo cameras, 3D scanners, or time-of-flight cameras that provide a depth map.

Discussion and perspectives

The proposed model of angiographic system control allows to research the applicability of gestures control. The applicability of the gestures as a method of contactless angiographic equipment control is shown. The simple gesture language is designed, which allows the system operator to carry out manipulations similar to manipulation that the operator “angiografist” need to do in the operating room.

In addition to the angiographic equipment, contactless work with the screen can afford to control other equipment installed in the operating room such as monitors, electrophysiological systems and the nonfluoroscopic heart mapping systems.

In the future, this research is planned to create full three-dimensional model which allows to directly manipulate a variety of equipment using hand movements at great distances. It is allow to use the system gestures control to various robotic systems for remote control operations.


  1.  C. Graetzel, T. Fong, S. Grange, C. Baur. (2003) A Non-Contact Mouse for Surgeon-Computer Interaction. Institut de production et robotique Ecole Polytechnique Federale de Lausanne CH-1015 Lausanne, Switzerland
  2.  H. Stern, J.P. Wachs. Y. Edan. (2008) Designing Hand Gesture Vocabularies for Natural Interaction by Combining Psycho-Physiological and Recognition Factors. Int. Journal of Semantic Computing. 2008. Vol. 2, No. 1, pp. 137-160.
  3.  J. Wachs, H. Stern, Y. Edan, M. Gillam, C. Feied, M. Smith, and J. Handler. (2008) A hand gesture sterile tool for browsing MRI images in the OR. Journal of the American Medical Informatics Association. Volume 15, Issue 3.
  4.  J. Wachs, H. Stern, Y. Edan, M. Gillam, C. Feied, M. Smith, and J. Handler. (2008) A Real-Time Hand Gesture Interface for a Medical Image Guided System.  International Journal of Intelligent Computing in Medical Sciences and Image Processing. Vol. 1, No. 3, Issue 1, pp. 175-185.
  5.  Kalman, R.E.; Bucy, R.S. (1961). New Results in Linear Filtering and Prediction Theory.
  6.  Kalman, R.E. (1960). "A new approach to linear filtering and prediction problems". Journal of Basic Engineering 82 (1): 35–45.
  7.  Chui, Charles K.; Chen, Guanrong (2009). Kalman Filtering with Real-Time Applications. Springer Series in Information Sciences. 17 (4th ed.). New York: Springer. pp. 229. ISBN 9783540878483.
  8.  Liu, W.; Principe, J.C. and Haykin, S. (2010). Kernel Adaptive Filtering: A Comprehensive Introduction. John Wiley.


Pic. : Model angiographic system was considering like a tube which is capable of rotation and the movement up or down.

Pic. : Tube`s degree of freedom

Pic. : Interaction with virtual non-contact touch screen in 3D space



Pic. : Hand in the area

Pic. : Free-mode

Pic. : Close hand

Pic. : Open hand

Pic. : The hand in the area is analyzed

Pic.  The hand outside the area is not analyzed








Pic. : Hand outside the area


Pic. : "Victory" pose


1  opencv.willowgarage.com

2  www.openni.org

3  www.xbox.com/Kinect

4  www.primesense.com

5  www.asus.com/Multimedia/Motion_Sensor/Xtion_PRO


А также другие работы, которые могут Вас заинтересовать

78460. Синдром легочной гипертензии (ЛГ). Пульмональные и кардиоваскулярные причины ЛГ. Принципы дифференциального диагноза острой и хронической ЛГ 83.5 KB
  Легочная гипертензия ЛГ это состояние являющееся возможным следствием целого ряда заболеваний или имеющее идиопатическую природу которое характеризуется постепенным повышением легочного сосудистого сопротивления и давления в легочной артерии что приводит к развитию правожелудочковой недостаточности и гибели пациентов. Диагноз ЛГ определяется при среднем давлении в легочной артерии более 25 мм. Патогенез: Вазоконстрикция Редукция легочного сосудистого русла Снижение эластичности легочных сосудов Облитерация легочных сосудов...
78461. Кровохарканье и легочные кровотечения. Дифференциальный диагноз. Тактика ведения больных с кровохарканьем и легочным кровотечением 84.5 KB
  Кровохарканье появление в мокроте крови в виде прожилок или равномерной примеси яркокрасного цвета. Отхаркивание большого количества крови и наличие примеси крови в каждом плевке мокроты свидетельствуют о легочном кровотечении. Кровохарканье и легочное кровотечение могут быть обусловлены: аррозией сосудов опухоли каверны бронхоэктазы; разрывом сосудистой стенки артериовенозные аневризмы телеангиэктазии легочная форма болезни ОслераРандю; излиянием крови в альвеолы из бронхиальных артерий инфаркт легкого; диапедезным...
78462. Синдром легочно-сердечной недостаточности (ЛСН, «легочное сердце»). Тромбоэмболия легочных артерий (ТЭЛА) 85.5 KB
  Классификация: Острое лёгочное сердце клинический симптомокомплекс возникающий прежде всего вследствие развития тромбоэмболии лёгочной артерии а также при ряде заболеваний сердечнососудистой и дыхательной систем. Основные причины: массивная тромбоэмболия в системе лёгочной артерии; клапанный пневмоторакс; тяжёлый затяжной приступ бронхиальной астмы; распространённая острая пневмония.; 3Васкулярные болезни первичная лёгочная гипертензия тромбоэмболия в системе лёгочной артерии васкулиты аллергический облитерирующий...
78463. Синдром дыхательной недостаточности. Основные причины ДН, клинические и функциональные критерии. Классификации различных видов ДН 128.5 KB
  Дыхательная недостаточность ДН – тяжелое нарушение обмена дыхательных газов или состояние характеризующееся ограничением способности легких обеспечивать нормальный газовый состав артериальной крови. Факторы снижающие вентиляторное обеспечение: Нарушение механики дыхания обструкция ВП: Бронхиальная астма ХОБЛ; Деформация грудной клетки: Кифосколиоз травмы грудной клетки; Уменьшение объема легких: Пневмония интерстициальные поражения легких большой плевральный выпот; Нарушение функции диафрагмальных нервов: Синдром...
78464. Рестриктивный тип дыхательной недостаточности. Клинические и функциональные признаки, характерные для ДН рестриктивного типа 70 KB
  Рестриктивный тип ДН – вариант вентиляционной (гиперкапнической) ДН, характеризующийся снижением способности легких, грудной клетки или плевры к расправлению во время вдоха.
78465. Обструктивный тип дыхательной недостаточности. Клинические и функциональные признаки, характерные для ДН обструктивного типа 85 KB
  Встречается при: Хронический бронхит; Бронхиальная астма; Эмфизема; ХОБЛ; Синдром бронхиальной обструкции; Стенозы трахеи и крупных бронхов; Бронхоэктатическая болезнь; Причины сужения просвета бронхов: бронхоспазм; аллергический отёк; воспалительный отёк; инфильтрация слизистой оболочки бронхов; закупорка бронхов мокротой; склероз бронхиальных стенок; деструкция каркаса бронхиальных стенок; Патогенез: Сужение просвета бронхов является причиной роста сопротивления потоку воздуха в бронхах что в свою очередь приводит к снижению...
78466. Дыхательная недостаточность по смешанному типу. Клинические и функциональные признаки, характерные для ДН смешанного типа 86.5 KB
  Пневмосклероз различной этиологии; Обструктивный тип ДН: Хронический бронхит; Бронхиальная астма; Эмфизема; ХОБЛ; Синдром бронхиальной обструкции; Стенозы трахеи и крупных бронхов; Бронхоэктатическая болезнь; Развивается при длительном течении сердечнолегочных заболеваний; Диагностика: признаки ДН клиника; исследование ФВД характеризуется снижением практически всех показателей...
78467. Тяжелое течение острой дыхательной недостаточности: астматический статус. Принципы диагностики и лечения 98.5 KB
  Возросшее сопротивление воздухоносных путей преодолевается за счет больших колебаний внутриплеврального давления чрезмерно низкого на вдохе и очень высокого на выдохе что приводит к резкому увеличению работы быстрому утомлению и снижению функции дыхательной мускулатуры; Клиника: I стадия относительной компенсации: выраженный приступ удушья не купирующийся ранее эффективными ЛС; мучительный приступообразный кашель без мокроты; вынужденное положение больного; диффузный цианоз; потливость; возбуждение больного; перкуторно:...
78468. Тяжелое течение острой дыхательной недостаточности: острый респираторный дистресс-синдром взрослых (ОРДСВ). Причины ОРДСВ 124 KB
  Острый респираторный дистресссиндром ОРДС – особая форма дыхательной недостаточности возникающая при острых повреждениях легких различной этиологии и характеризуется образованием в обоих легких диффузных легочных инфильтратов резким нарушением растяжимости легочной ткани развитием некардиогенного отека легких и выраженной гипоксемии резистентности к кислородотерапии.; При остром повреждении легкого происходит воспаление = Скопление активированных лейкоцитов и тромбоцитов = Протеолитические ферменты Простагландины Активные...