64390

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ДЛЯ МОДЕЛЮВАННЯ ТА РОЗПІЗНАВАННЯ МІМІЧНИХ ПРОЯВІВ ЕМОЦІЙ НА ОБЛИЧЧІ ЛЮДИНИ

Автореферат

Информатика, кибернетика и программирование

Методи і алгоритми аналізу й синтезу емоційного стану обличчя людини є складовою частиною систем і засобів штучного інтелекту спрямованих на дослідження створення та впровадження алгоритмічних та програмноапаратних систем і комплексів...

Украинкский

2014-07-05

26.74 MB

6 чел.


2

PAGE   \* MERGEFORMAT 2

Державний університет інформатики і штучного інтелекту

ЄФІМОВ Геннадій Миколайович

УДК 004.942

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ

ДЛЯ МОДЕЛЮВАННЯ ТА РОЗПІЗНАВАННЯ

МІМІЧНИХ ПРОЯВІВ ЕМОЦІЙ НА ОБЛИЧЧІ ЛЮДИНИ

05.13.23 – системи та засоби штучного інтелекту

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Донецьк 2010


Дисертацією є рукопис.

Робота виконана в Інституті кібернетики ім. В.М. Глушкова НАН України.

Науковий керівник:

доктор фізико-математичних наук,

заслужений діяч науки і техніки України,

академік НАН України

Кривонос Юрій Георгійович,

Інститут кібернетики ім. В.М. Глушкова

НАН України, заступник директора.

Офіційні опоненти:

доктор фізико-математичних наук, професор

Онопчук Юрій Миколайович,

Інститут кібернетики ім. В.М. Глушкова

НАН України, завідувач відділу моделювання інформаційно-функціональних систем,

кандидат технічних наук, доцент

Муригін Кирило Валерійович,

Інститут проблем штучного інтелекту, завідувач відділу розпізнавання зорових образів.

Захист відбудеться " 12" листопада 2010 р. о 1300  годині на засіданні спеціалізованої вченої ради  К 11.243.01 при Державному університеті інформатики і штучного інтелекту за адресою:

83050, м. Донецьк, проспект Богдана Хмельницького, 84.

З дисертацією можна ознайомитися в науковій бібліотеці Державного університету інформатики і штучного інтелекту за адресою:

83050, м. Донецьк, проспект Богдана Хмельницького, 84.

Автореферат розісланий   " 12 "    жовтня    2010 р.

Учений секретар

спеціалізованої вченої ради                                                          І.В. КАЧУР


ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Методи і алгоритми аналізу й синтезу емоційного стану обличчя людини є складовою частиною систем і засобів штучного інтелекту, спрямованих на дослідження, створення та впровадження алгоритмічних та програмно-апаратних систем і комплексів з елементами штучного інтелекту на основі моделювання інтелектуальної діяльності людини. Моделювання та розпізнавання емоцій, як одного з каналів невербальної сигнальної та регулятивної комунікації, що відтворює динаміку актуальних переживань людини, є актуальним і важливим напрямком досліджень з метою створення систем комп’ютерного розпізнавання і синтезу зорових образів. Невербальна, мімічна передача інформації людиною стала предметом інтенсивних досліджень. Проведені дослідження дозволили виділити деякі підходи до формалізації емоцій: моделі емоцій у психології, еволюційна теорія емоцій Дарвіна, «асоціативна» теорія Вундта, «периферична» теорія Джемса Ланге, теорія Кеннона Барда, психоаналітична теорія емоцій, судинна теорія виразу емоцій Уейнбаума та її модифікація, біологічна теорія емоцій Анохіна, фрустраційні теорії емоцій, когнітивістські теорії емоцій, інформаційна теорія емоцій Симонова, теорія диференційних емоцій Ізарда, система кодування станів обличчя або FACS система запропонована Екманом та ін. В результаті було зроблено важливий крок на шляху строгого експериментального дослідження відображення експресії і поставлена проблема диференційованості сприйняття міміки обличчя. Якщо міміогенні зони відносно незалежні одна від одної, то чи всі вони вносять однаковий внесок у загальний ефект сприйняття експресії? Як відтворюються їх зв’язки і відношення? Чи інваріантні зони міміки щодо модальності емоції? Недостатня розробленість питання про диференційованість сприйняття міміки обличчя, великі практичні застосування (безпека, криміналістика, віртуальна реальність, людино-комп’ютерний інтерфейс тощо), ініціювали проведення цих досліджень.

Засоби аналізу й синтезу людського обличчя, емоцій на ньому досліджуються і розробляються в провідних наукових організаціях світу, зокрема, в Масачусетському технологічному інституті, Оксфордському, Кембріджському, Станфордському, Московському, Санкт-Петербургському університетах тощо. В Україні дослідженням таких проблем займаються в інституті проблем штучного інтелекту м. Донецьк, Інституті кібернетики ім. В.М.Глушкова, Міжнародному науково-навчальному центрі інформаційних технологій і систем, Київському національному університеті імені Тараса Шевченка та інших установах.

У даній дисертаційній роботі формальна модель емоцій, запропонована психологами, розширена для мімічних відображень емоційних станів людини. Результати цього дослідження можуть бути використані для моделювання інтелектуальної діяльності людини, для застосування в системах штучного інтелекту, а також для створення високоінтелектуальних мультимедійних технологій і засобів для систем штучного інтелекту.

Для вирішення поставлених задач запропоновано нову інформаційну комп’ютерну технологію для моделювання та розпізнавання мімічних проявів емоцій на зображеннях обличчя людини.

Зв’язок роботи з науковими програмами, планами, темами. Дисертаційну роботу виконано в рамках наукових досліджень Інституту кібернетики ім.В.М.Глушкова НАН України, в яких автор брав безпосередню участь як виконавець відповідних розділів: „Розробити нові високоефективні математичні засоби інтелектуального інтерфейсу людини з комп’ютерним середовищем” (№ держреєстрації 0107U004766, ВК115.17), „Розробити нові математичні засоби аналізу, синтезу, виявлення та розпізнавання прихованих образів у сигналах та зображеннях” (№ держреєстрації 0106U005636, ВК115.12).

Мета і завдання дослідження. Метою дослідження є розробка методів, моделей та алгоритмів для моделювання та розпізнавання мімічних проявів емоцій на фотографічних зображеннях обличчя людини. Для досягнення поставленої мети та розробленого підходу, сформульовані задачі дисертаційного дослідження:

  •  на основі аналізу існуючих психологічних моделей емоційних станів запропонувати психологічну формальну модель, яка оперує формальними позначеннями емоційних станів;
  •  для психологічної формальної моделі емоційних станів розробити формальну модель мімічних проявів цих емоційних станів;
  •  дослідити перехід від феноменологічного визначення характеристичних мімічних ознак до їх формалізації за допомогою гнучких шаблонів;
  •  розробити загальну формальну модель мімічних проявів емоційних станів у вигляді векторного простору ознак, визначити базис цього простору;
  •  створити нову мультимедійну технологію та засіб штучного інтелекту для аналізу мімічних проявів емоцій.

Об’єкт дослідження фотографічне зображення обличчя людини з різними мімічними проявами емоцій.

Предмет дослідження. Модель, алгоритм та програмне забезпечення для синтезу та наступного аналізу мімічних проявів емоцій на фотографічному зображенні обличчя людини.

Методи дослідження. Для вирішення поставлених у дисертаційній роботі завдань використовувалися існуючі підходи для формалізації та класифікації психологічних складових емоцій, підходи для аналізу мімічних проявів емоцій, підходи для розпізнавання елементів обличчя на зображеннях, нерівномірні раціональні базисні сплайни у якості механізму моделювання біологічних об’єктів, сучасні технології створення програмних систем.

Наукова новизна отриманих результатів. Основні результати роботи, що відображають наукову новизну та виносяться на захист такі:

  •   дістала подальший розвиток формальна психологічна модель емоційних станів: для уникнення двозначностей при їх феноменологічному описі, зроблено перехід до ситуацій, в яких ці емоції виникають – замість назви емоції введено формальне позначення;
  •   уперше для психологічної формальної моделі емоційних станів запропоновано формальну модель мімічних проявів цих емоційних станів, тобто зроблено перехід від простору ознак, які описують базові емоції з точки зору ситуацій, в яких вони виникають, до простору ознак, які характеризують візуальну, мімічну складову для базових емоційних станів;
  •   уперше для переходу від феноменологічного визначення характеристичних мімічних ознак до певної їх формалізації, запропоновано використати NURBS-криві, а саме, виходячи з того, що керуючі точки NURBS-кривої однозначно визначають саму криву – запропоновано в якості координат простору моделі брати тільки координати керуючих точок;
  •   уперше запропоновано загальну формальну модель мімічних проявів емоційних станів у вигляді простору ознак, визначений базис цього простору;
  •   уперше запропонована нова мультимедійна технологія та засіб штучного інтелекту для аналізу мімічних проявів емоцій.

Практичне значення отриманих результатів. Наукові результати дисертаційного дослідження дозволили:

  1.  змоделювати інтелектуальну діяльність людини для синтезу та аналізу мімічних проявів емоцій з метою застосування отриманих результатів у системах штучного інтелекту;
  2.  створити засіб для використання у системах інтелектуалізації комп’ютерних інтерфейсів;
  3.  розробити алгоритми та програмні засоби для систем комп’ютерного розпізнавання зорових образів, сенсорних інтелектуальних систем розпізнавання (аналіз мімічних проявів емоцій на обличчі людини);
  4.  створити мультимедійну технологію та засіб штучного інтелекту для синтезу та аналізу мімічних проявів емоцій на обличчі людини.

Створене, на основі результатів дисертаційного дослідження, програмне забезпечення можливе для використання державними та приватними структурами, у Міністерстві з надзвичайних ситуацій для контролю за роботою операторів диспетчерських систем. Результати дисертаційного дослідження використано для розробки промислового програмного забезпечення у ПП „ Комп’ютерна техніка”.

Отримані результати використовуються у навчальному процесі на факультеті кібернетики Київського національного університету імені Тараса Шевченка і на факультеті інженерії та комп’ютерних технологій Таврійського державного агротехнологічного університету.

Особистий внесок здобувача. Основні наукові та практичні результати дисертації отримані автором особисто та опубліковані в наукових фахових виданнях. У роботах [1, 612] автором запропонована модель міміки емоційних станів людини як опукла комбінація деяких базових станів; запропоновано дану формальну модель використовувати як для синтезу мімічних образів емоційних станів, так i для їх розпізнавання; введена i досліджена множина з двадцяти однієї емоції, які можна отримати в результаті розкладу по базису простору характеристичних ознак; проведено аналіз впливу кожної характеристичної ознаки при розкладі на базові емоції у побудованому просторі; у роботах [2, 13] автором запропоновано новий пiдхiд до побудови простору мімічних проявів емоційних станів людини – використання методу гнучких моделей, які деформуються. Довільна емоція людини зображується як опукла комбінація станів базису цього векторного простору; у роботах [3, 5, 14, 16] автором наведено цiлiсну iнформацiйну технологію для аналізу мімічних проявів емоцій на обличчі людини. Мiмiка емоційних станів людини описана у вигляді лінійної комбінації деяких базових станів. Параметри моделі отримуються за допомогою методу гнучких шаблонів з використанням NURBS-кривих. Довільна емоція конкретної людини розпізнається як опукла комбінація станів запропонованого базового простору.

Апробація результатів дисертації. Основні положення та результати досліджень подані та розглянуті на міжнародних конференціях: «Искусственный интеллект. Интеллектуальные системы» (Таганрог, 2006; Донецк, 2007); «Математичне та програмне забезпечення інтелектуальних систем» (Дніпропетровськ, 2006, 2007, 2008); «Інтелектуальні системи прийняття рішень та  прикладні аспекти інформаційних технологій» (Євпаторія, 2007); «Питання оптимізації обчислень» (Кацивелі, 2007); «Dynamіcal Systems Modelіng and Stabіlіty Іnvestіgatіon» (Київ, 2007, 2009); «Дискретна та глобальна оптимізація» (Київ, 2008); «Сучасна інформаційна Україна: інформатика, економіка, філософія» (Донецьк, 2009), «Інформаційні і моделюючі технології» (Черкаси, 2009).

Публікації. Основні результати дисертаційної роботи опубліковано в 17 друкованих наукових працях, у тому числі 5 [1–5] у виданнях, що входять до переліків ВАК України, та 12 публікацій є тезами у збірниках міжнародних та всеукраїнських конференцій.

Структура та обсяг роботи. Дисертаційна робота складається із вступу, чотирьох розділів, висновків, дев’яти додатків (на 58 сторінках) та списку використаних джерел (140 найменувань). Загальний обсяг роботи 193 сторінки, у тому числі 135 сторінок основного тексту, 31 рисунок, 21 таблиця.

Автор вдячний професору Ю.В. Краку та доценту О.В. Бармаку за допомогу і співпрацю при обговоренні постановок задач та методів їх вирішення.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі розкрито суть і стан проблеми, обґрунтована актуальність теми дисертації та необхідність проведення досліджень, наведено відомості про зв’язок обраного напрямку досліджень з державними науковими програмами, викладено мету роботи, особистий внесок здобувача, практичне значення отриманих результатів та наукову новизну, коротко розкритий зміст дисертаційної роботи.

У першому розділі здійснено огляд вітчизняної та зарубіжної літератури, методів, алгоритмів та програмних реалізацій з питань, пов’язаних з темою дисертаційної роботи.

У другому розділі, розглянуто моделювання мімічних проявів емоцій на основі формальної психологічної моделі. У підрозділі 2.1 дістала подальшого розвитку формальна психологічна модель емоційних станів. Для формалізації емоцій, щоб уникнути неоднозначностей при їх феноменологічному описі, перейдено до вивчення ситуацій, в яких ці емоції виникають. Розрізняється назва емоції і її позначення. Під позначенням розуміється вектор (Em) (тобто абстрактне поняття) з наступними ознаками:

,                                                 (1)

де ξ – бінарні ознаки, які класифікують емоції: ξ1 – ознака яка визначає знак емоції – позитивна (1) емоція чи негативна (0). Емоція є позитивною, якщо вона виникає у зв’язку з задоволенням потреби або досягненням мети, і, відповідно, негативною – у зв’язку з незадоволенням потреби або недосягненням мети; ξ2 – ознака, яка визначає час виникнення емоції щодо події (передбачаюча (0) та констатуюча (1) емоції). Передбачаючі емоції виникають до події пов’язаної з досягненням (недосягненням) мети, передують їй; ξ3 – ознака, яка визначає направленість емоції. За цією ознакою є емоції направлені на себе (1) та – на зовнішні об’єкти, на інших людей (0).

Комбінуючи три описані бінарні ознаки отримано 8 різних варіантів. Введемо четверту ознаку (). Ця ознака описує групи емоцій за джерелом їх походження:  – пов’язані з задоволенням (незадоволенням) особистих потреб людини;  – виникають в результаті порівняння деякого об’єкта, самого себе або своїх дій зі своїми правилами, стандартами, переконаннями;  – виникають в результаті порівняння об’єкта з суспільними правилами та нормами;  –  які виникають у зв’язку з потребами інших людей;  – виникають в результаті взаємних відношень з іншою людиною;  –  які виникають на основі презирства.

Сполученням чотирьох даних ознак описуються 48 якісно різних емоцій. Підібрані назви емоцій, які найбільш точно задовольняють набору класифікуючих ознак. Після призначення кожній емоції чотирьох класифікуючих ознак, цей набір стає її визначенням, після чого, наприклад, під терміном «горе» розуміється не те, що феноменологічно кожна людина собі уявляє, а емоція, яка має зазначений набір ознак. Отже, після формалізації емоцій таким методом, вони стають абстрактними об’єктами і з ними можна оперувати у відповідності з їх означенням.

Використовуючи запропонований опис, означено емоції для першої групи (емоції, які виникають на основі особистих потреб, ). Горе – . Під горем розумітимемо емоцію, яка виникає при втраті деяких цінностей. Радість – . Емоція, яка виникає у результаті задоволення деякої особистої потреби у широкому сенсі. Страх – . Ця емоція виникає у результаті передчуття втрати можливості задоволення деякої особистої потреби. Надія – . Емоція, яка виникає у результаті передчуття задоволення особистої потреби. Гнів –. Ця емоція виникає у результаті незадоволення деякої особистої потреби, що стимулює людину на подолання перешкоди, яка заважає її задоволенню. Задоволення – . Емоція, яка виникає у результаті досягнення деякої мети, пов’язаної з особистою потребою, і направлена на припинення дій за досягненням цієї мети. Інтерес – . Ця емоція виникає до об’єкта, з допомогою якого людина планує задовольнити свою потребу. Зневага – . Виникає в передчутті того, що об’єкт не задовольнить деяку потребу. Якщо людина повела себе неправильно, то робиться висновок про її нездатність дати те, що потрібно, і можемо відчути до неї зневагу.

Запропонований набір векторів-емоцій () вважається базовим для подання емоцій з такими властивостями. Використовуючи означені вектори емоцій, побудовано векторну модель емоцій за наступним алгоритмом:

  1.  означуємо емоції через різноманітні поєднання 4-х ознак ситуацій, в яких вони виникають; кожній емоції поставимо у відповідність деякий елемент векторного простору; 2) з допомогою визначень через ознаки ситуацій, між векторами вводиться операція додавання; 3) множення на позитивне число моделює існування щодо більш сильних та більш слабких однакових емоцій; 4) множення на від’ємне число відображає факт існування протилежних емоцій.

Довільна емоція подається у вигляді опуклої комбінації двох емоцій із вже розглянутих (). Виходячи з цього

            (2)

де  – i-та емоція для ознаки η;  – емоція при  для формування зсуву при генерації емоцій для інших ;  – емоція при , яка знаходиться на тій же вершині, що й емоція, яка генерується (тобто емоція яка генерується має такі ж ,  і , що й емоція при  і вона має більшу вагу ніж  (тому )).

Для емоцій, пов’язаних з особистими нормами та правилами (), емоцією зсуву при  є емоція задоволення ().

Провина– задоволення (своїми принципами) + горе (від необхідності нести відповідальність за порушення принципів. Повага () – задоволення + задоволення (від того, що інша людина відповідає цим принципам). Самоповага () – задоволення + радість (від відповідності самого себе цим принципам). Презирство - задоволення + гнів (направлений на подолання ситуації невідповідності цим принципам). Симпатія () – задоволення + інтерес (до людини, яка можливо, буде задовольняти потреби індивіда). Антипатія () – задоволення + зневага (до людини, яка можливо, не буде задовольняти потреби індивіда). Почуття відповідальності () – задоволення + надія (на те, що індивід сам буде відповідати своїм нормам). Безвідповідальність () – задоволення + страх (невідповід-ність своїм нормам).

Аналогічним чином означено і емоції для інших . Для емоцій, які виникають в результаті відповідності (невідповідності) чиїмось або суспільним стандартам, нормам, правилам (), емоцією зсуву при  є емоція поваги (). Емоції, які виникають у зв’язку з чужими потребами (), мають емоцію зсуву – захоплення (). Емоціям, які виникають на основі взаємних відносин з іншими людьми (), зсувом 1-го куба слугує емоція подяки (). Емоції на основі презирства () використовують для зсуву емоцію презирства ().

У підрозділі 2.2 уперше для психологічної формальної моделі емоційних станів запропонована формальна модель мімічних проявів цих емоційних станів, тобто зроблено перехід від простору ознак, які описують базові емоції з точки зору ситуацій, в яких вони виникають, до простору ознак, які характеризують візуальну, мімічну складову для базових емоційних станів.

Для пошуку векторного простору характеристичних ознак, побудови базису цього простору, відтворення похідних емоційних станів, виконано наступне:

  •   створена множина фотографічних зображень, на якій акторами відтворювались ситуації , в яких виникають базові емоції, та описана міміка, притаманна цим емоціям;
  •   проаналізована отримана множина з метою виявлення областей, які містять характеристичні ознаки емоцій та їх опис (використовуючи анатомічні ознаки та методику FACS);
  •   створено у просторі характеристичних ознак базис для наступного розкладу по ньому довільних векторів мімічних проявів емоційних станів;
  •   проаналізовано отримані характеристичні ознаки та відранжовано за ступенем впливу в рамках запропонованого базису.

У табл. 1 наведений результат досліджень – описи ситуацій, у яких виникають базові емоції, відповідні їм фотографічні зображення та опис міміки, яка характеризує ці стани.

Таблиця 1. Фотоеталони базових емоцій

Базова емоція (1)

Психологічна ситуація в якій виникає емоція

1, ξ2, ξ3)

Зображення емоції

Опис міміки в розрізі зон обличчя (1 - область чола й брів; 2 - область очей; 3 - нижня частина обличчя)

Горе

ξ1=0 – неможливість задоволення потреби;

ξ2=1 – виникає після того як відбулася неприємна подія;

ξ3=1 – є переживанням втрати.

1. Внутрішні кутики брів підняті вверх;

2. Внутрішні кутики верхніх повік припідняті;

3. Рот закритий, кутики губ опущені.

Радість

ξ1=1 – потреба досягнута;

ξ2=1 – виникає після задоволення потреби;

ξ3=1 – є переживання результату задоволення потреби.

1. Брови та чоло спокійні;

2. Верхні повіки спокійні, нижні повіки припідняті, але не напружені; під нижніми повіками зморшки. У зовнішнього краю кутиків очей зморшки - «гусячі лапки»;

3. Рот закритий, кутики губів відтягнуті в сторони та припідняті. Від носа до зовнішнього краю губів тягнуться зморшки.

Страх

ξ1=0 – передчуття незадоволення потреби;

ξ2=0 – передчуття втрати;

ξ3=1 – боязнь за себе і свої потреби.

1. Брови підняті та зведені. Зморшки тільки в центрі чола;

2. Верхні повіки підняті так, що видно склеру, а нижні припідняті та напружені;

3. Рот розкритий, губи розтягнуті та напружені.

Надія

ξ1=1 – протилежна страху;

ξ2=0 – є передчуття задоволення особистої потреби (передчуття радості);

ξ3=1 – направлена на себе.

1. Верхні кутики брів підняті вверх;

2. Верхні повіки припідняті;

3. – .

Гнів

ξ1=0 – негативна емоція;

ξ2=1 – виникає після події яка привела до незадоволення потреби;

ξ3=0 – направлений на об’єкт, який заважає досягненню мети.

1. Брови опущені і зведені, між бровами вертикальні зморшки;

2. Верхні повіки напружені, нижні повіки напружені і припідняті;

3. Рот закритий, губи затиснуті.

Задоволення

ξ1=1 – протилежне гніву за знаком;

ξ2=1 – виникає після події;

ξ3=0 – сигналізує, що потреба задоволена з допомогою конкретного об’єкта.

1. – ;

2. – ;

3. Кутики губ відтягнуті в сторони та припідняті.

Інтерес

ξ1=1 – задоволення потреби;

ξ2=0 – передчуття задоволення потреби;

ξ3=0 – направлений на об’єкт.

1. Брови припідняті, на лобі зморшка;

2. Повіки трохи розширені;

3. – .

Зневага

ξ1=0 – невдоволення потреби;

ξ2=0 – передчуттям незадоволення потреби;

ξ3=0 – направлена на об’єкт.

1. Брови припідняті;

2. –;

3. Кутики губ опущенні. Обличчя витягнуте, голова піднесена, наче людина дивиться на когось згори;  вона як би відсторонюється від співрозмовника.

У ході дослідження отримано 21 характеристичну ознаку, комбінація яких утворює базис мімічних проявів емоцій (табл. 2).

Таблиця 2. Мімічні прояви для формування базових емоцій

ознака

Опис мімічних проявів у розрізі областей обличчя

Базис емоційних станів

Область обличчя

Мімічний прояв

Радість

Горе

Надія

Страх

Задоволення

Гнів

Інтерес

Зневага

μ1

Область чола і брів

Чоло

Зморшки в центрі чола

0

0

0

1

0

0

0

0

μ2

Одна горизонтальна зморшка

0

0

0

0

0

0

1

0

μ3

Між бровами горизонтальна зморшка

0

0

0

0

0

1

0

0

μ4

Брови

Внутрішні кутики підняті вверх

0

1

1

0

0

0

0

0

μ5

Опущені та зведені

0

0

0

0

0

1

0

0

μ6

Припідняті

0

0

0

0

0

0

1

1

μ7

Підняті та зведені

0

0

0

1

0

0

0

0

μ8

Область очей (очі, повіки, основа носа)

Верхні повіки

Внутрішні кутики підняті

0

1

0

0

0

0

0

0

μ9

Напружені

0

0

0

0

0

1

0

0

μ10

Підняті (видно склеру)

0

0

0

1

0

0

0

0

μ11

Припідняті

0

0

1

0

0

0

1

0

μ12

Нижні повіки

Припідняті та ненапружені

1

0

0

0

0

0

1

0

μ13

Припідняті та напружені

0

0

0

1

0

1

0

0

μ14

Зморшки

"Гусячі лапки" біля зовнішніх кутиків

1

0

0

0

0

0

0

0

μ15

Зморшка під повіками

1

0

0

0

0

0

0

0

μ16

Нижня частина обличчя (ніс, щоки,

рот)

Рот

Закритий, губи стиснуті

0

0

0

0

0

1

0

0

μ17

Розкритий

0

0

0

1

0

0

0

0

μ18

Губи (лінія, кутики)

Кутики губ відтягнуті в сторони та припідняті

1

0

0

0

1

0

0

0

μ19

Розтягнуті та напружені

0

0

0

1

0

0

0

0

μ20

Кутики губ опущені

0

1

0

0

0

0

0

1

μ21

Зморшки

Зморшка від носа до кутиків губ

1

0

0

0

0

0

0

0

Мімічні вирази емоції (Em) були подані у вигляді вектора:

,                                                   (3)

де  – характеристична мімічна ознака (при μ = 0 – немає ознаки, а при μ = 1 вплив ознаки максимальний).

Отриманий набір восьми векторів утворює базис  векторного простору мімічних проявів емоційних станів.

Таким чином, довільний вектор , визначений шляхом аналізу зображення з певним емоційним станом, розкладається за базисом  і отримується опис емоції, як опуклої комбінації:

,                                                        (4)

де  – базисна матриця емоційних станів (табл. 2);  – транспонована матриця ;  b – вектор мімічного прояву довільного емоційного стану; , де  – коефіцієнти () для кожної з базових емоцій.

У запропонованій у підрозділі 2.2 формальній моделі базис простору мімічних ознак емоційних станів будується на основі апріорного досвіду експериментатора, вимагає певної кваліфікації і, відповідно, дає неоднозначний результат – констатація одного і того ж емоційного м’язового прояву в різних людей розрізняється. Для того, щоб перейти від феноменологічного визначення характеристичних мімічних ознак до певної їх формалізації, у підрозділі 2.3 запропоновано використати власну модифікацію методу моделей, які деформуються. В якості параметричних кривих, для виділення характерних ознак рис обличчя, запропоновано моделі які задаються з допомогою нерівномірних раціональних базисних сплайнів – NURBS-кривих:

,                                                     (5)

де , функція, визначена на інтервалі , така, що є достатньо гладкою та проходить, у певному значенні, близько до опорних точок .

Функція  визначається рекурсивними функціями Кокса-де Бура:

,                    (6)

де  –  послідовність вузлів, така що:.

Переваги при моделюванні контуру обличчя за допомогою NURBS-кривих заключаються в тому, що: 1) розмірність зменшується на порядки; 2) деформації кривих (для імітації мімічних рухів емоцій) більш плавні – подібні до деформацій реальних облич. Зменшення розмірності випливає з того, що здійснюється перехід від піксельного простору фотографічного зображення (тисячі точок) з допомогою (5) до простору керуючих точок NURBS-кривих () (десятки точок). Плавна деформація NURBS-кривих випливає із їх властивостей.

У рамках проведених дисертаційних досліджень побудована модель, яка складається з шаблонів – NURBS-кривих, що відповідають контурам брів, очей та роту. Отримана раніше 21 характеристична ознака, подається за допомогою NURBS-кривих (табл. 3). Виходячи з того, що опорні точки NURBS-кривої однозначно визначають саму криву – до розгляду брались тільки вектори опорних точок. Для побудови базису використані наступні вектори опорних точок (табл. 3).

                                   Таблиця 3. Мімічні прояви для формування базових емоцій

ознака

Опис мімічних проявів у розрізі областей обличчя

Для брів, очей та роту – вектори опорних точок

Для зморшок –  (при μ=0 – немає зморшки, а при μ=1 зморшка максимальна)

Область обличчя

Мімічний прояв

μ1

Область чола і брів

Чоло

Зморшки в центрі чола

μ2

Одна горизонтальна зморшка

μ3

Між бровами вертикальна зморшка

μ4

Брови

Внутрішні кутики підняті вверх

Ліва брова

μ5

Опущенні та зведені

μ6

При підняті

μ7

Підняті та зведені

μ8

Область очей (очі, повіки, основа носа)

Верхні повіки

Внутрішні кутики підняті

Ліва верхня повіка

μ9

Напружені

μ10

Підняті (видно склеру)

μ11

При підняті

μ12

Нижні повіки

Припідняті та ненапружені

Ліва нижня повіка

μ13

Припідняті та напружені

μ14

Зморшки

"Гусячі лапки" біля зовнішніх кутиків

μ15

Зморшка під повіками

μ16

Нижня частина обличчя (ніс, щоки, рот)

Рот

Закритий, губи стиснуті

Губи

μ17

Розкритий

μ18

Губи (лінія, кутики)

Кутики губ відтягнуті в сторони та припідняті

μ19

Розтягнуті та напружені

μ20

Кутики губ опущені

μ21

Зморшки

Зморшки від носа до кутиків губ

У дисертаційній роботі створені моделі, які відображають стан міміки обличчя для восьми базових емоційних станів конкретної людини (рис 1). Проаналізовані множини базових моделей для підтвердження можливості відображення отриманого простору керуючих точок NURBS-кривих у створений простір характеристичних ознак. В ході досліджень було отримане таке підтвердження.

Задоволення

Радість

Горе

Надія

Гнів

Інтерес

Зневага

Страх

Рис. 1. Подання базових емоцій у контурному вигляді за допомогою
NURBS- кривих для конкретного актора

Відобразивши на графіку певний елемент моделі (наприклад, ліву брову) та порівнявши результат з відповідними рядками базису емоційних станів (табл. 1) можна побачити, що, наприклад, для брови у базисі існують (крім стану спокою) чотири положення: внутрішні кутики підняті вверх (μ4), напружені (μ5), припідняті (μ6), підняті та зведені (μ7). І на відповідному графіку видно ті ж п’ять положень (рис. 2). Аналогічна картина спостерігається і для інших елементів моделі.

Таким чином, у другому розділі запропонована загальна формальна модель мімічних проявів емоційних станів у вигляді векторного простору ознак. Визначений базис цього простору.

У третьому розділі, з використанням: алгоритмів перетворення над зображеннями, алгоритмів оконтурення та скелетизації зображень, модифікації методу контурних моделей, які деформуються (методу гнучких шаблонів), -сплайн апроксимації кривих, розробленої та описаної у другому розділі формальної моделі мімічних проявів емоцій – запропонована нова інформаційна технологія для аналізу мімічних проявів емоцій. Основна ідея запропонованої технології полягає в алгоритмі автоматичного отримання гнучких шаблонів (на базі NURBS-кривих) контурів брів, очей та роту, для чого використовується оконтурення, скелетизація зображень та перетворення точкових кривих за допомогою -сплайн апроксимації на гнучкі шаблони – NURBS-криві.

Рис. 2. Положення лівої брови базових емоційних станів

У підрозділі 3.1, виходячи з проведеного аналізу існуючих методів та підходів, для виділення особливостей міміки на обличчі запропоновано використовувати метод контурних моделей які деформуються. У підрозділі 3.2 для отримання на зображенні точкових кривих, які відповідають контурам брів, очей та роту, пропонується застосувати метод оконтурення зображення, який імітує роботу зорових рецепторів ока людини. У підрозділі 3.3, для цілей автоматичного деформування точкових кривих, використовується апроксимація за допомогою -сплайн кривих. Задача - сплайн апроксимації є задачею підгонки -сплайн кривої з K опорними точками  до точкової кривої , де M>K (зазвичай M>>K) для значень параметра . Така задача апроксимації приводить до перевизначеної системи лінійних рівнянь :

,                                  (7)

де  – - сплайн базисна функція.

Одним з шляхів отримання рішення перевизначеної системи лінійних рівнянь (7) є  , звідки, за умови , маємо:.

У підрозділі 3.4 для аналізу мімічних проявів емоцій запропонована наступна цілісна інформаційна технологія:

  1.  для конкретної людини отримується множина із восьми фотографічних зображень обличчя, на якому відтворена мімічна реакція на ситуації, які відповідають базовим емоціям: радість, горе, надія, страх, задоволення, гнів, інтерес, зневага;
  2.  у відповідному програмному забезпечені нормуються фотографічні зображення (за  відстанню між центрами очей);
  3.  за допомогою відомих технологій оконтурення та скелетування зображень, отримуються контури наступних частин обличчя: зморшки в області чола, брови, верхні повіки, нижні повіки, зморшки «гусячі лапки» біля зовнішніх кутиків очей, зморшки під повіками, рот, зморшки від носа до кутиків губ;
  4.  використовуючи гнучкі шаблони у вигляді NURBS-кривих та - сплайн апроксимацію, отримуються множини опорних точок NURBS-кривої для шаблонів, які характеризують кожну з восьми базових емоцій (табл. 1):

                                               (8)

– шаблон лівої брови для восьми емоційних станів;

                                              (9)

– шаблон лівої верхньої повіки для восьми емоційних станів;

                                              (10)

– шаблон лівої нижньої повіки для восьми емоційних станів;

                                       (11)

– шаблон губів для восьми емоційних станів;

та для опису зморшок отримуються деякі характеристичні мімічні ознаки (табл. 1):

                               (12)

– характеристичні мімічні ознаки (табл.1);

  1.  з восьми отриманих множин опорних точок NURBS-кривих (шаблонів) та вектора характеристичних мімічних ознак для зморшок, будується базис емоційних станів () конкретної людини:

                                                            (13)

де  для

У подальшому, для аналізу довільного зображення обличчя цієї людини: повторюються пункти 1)–4) для зображення довільної емоції та отримується вектор:

,                                            (14)

де  для .

Розкладемо його за побудованим базисом  (13), коефіцієнти розкладу отримаємо у вигляді (4).

Значення коефіцієнтів розкладу  використовуватимемо для визначення вкладу кожної з восьми базових емоцій у довільну емоцію b.

Отже, у третьому розділі запропонована нова інформаційна технологія для аналізу мімічних проявів емоцій.

У четвертому розділі розглянуто реалізацію запропонованої у попередніх розділах технології для синтезу та аналізу мімічних проявів емоцій на обличчі людини. Було створене відповідне програмне забезпечення для відображення простору фотографічних зображень облич з емоційним забарвленням у простір параметрів моделі (рис.3). Для аналізу (у побудованому просторі) викорис-товувались електронні таблиці Microsoft Excel та надбудова, яка реалізує функції матричної та лінійної алгебри Matrix and Linear Algebra for Excel. У підрозділі 4.1 описане програмне забезпечення для побудови векторного простору ознак з фотографічних зображень обличчя людини. У підрозділі 4.2 для реалізації технології аналізу мімічних проявів емоцій запропоновано наступний алгоритм:

  1.  для конкретної людини отримується множина із восьми фотографічних зображень обличчя, на якому відтворена мімічна реакція на ситуації, які відповідають базовим емоціям: радість, горе, надія, страх, задоволення, гнів, інтерес, зневага;
  2.  обробляються отримані фотографічні зображення за допомогою схеми описаної у підрозділі 3.4, тобто отримуємо множину керуючих точок NURBS-кривих для шаблонів, які характеризують кожну з восьми базових емоцій;
  3.  обробляється фотографічне зображення з довільною емоцією та також отримується множина керуючих точок NURBS-кривих для цієї емоції;
  4.  застосовуємо описану в підрозділі 3.4 технологію аналізу мімічних проявів емоцій:
    1.  отримуємо множину опорних точок NURBS-кривої для шаблонів, які характеризують кожну з восьми базових емоцій (8–12):
    2.  використовуючи (13), за допомогою отриманих множин будуємо базис емоційних станів конкретної людини – ;
    3.  

використовуючи (14) та отриману множину для довільної емоції, будуємо вектор b;

  1.  використовуючи (4), розкладемо отриманий век-тор за побудованим базисом.

Коефіцієнти розкладу  будуть вказувати на конкретний вклад кожної з восьми базових емоцій у довільну емоцію b.

Як приклад реалізації інформаційної технології, на рис. 3 відтворена ситуація, в якій виникає емоція „провина”.

Таким чином, у четвер-тому розділі розглянуто реалі-зацію запропонованої у попе-редніх розділах технології для синтезу та аналізу мімічних проявів емоцій на обличчі людини.

ВИСНОВКИ

У дисертаційній роботі розроблено мультимедійну технологію (методи, моделі та алгоритми) для моделювання (синтезу) та розпізнавання (аналізу) мімічних проявів емоцій на фотографічних зображеннях обличчя людини. Аналіз отриманих результатів дає підставу зробити висновки.

  1.  Дістала подальшого розвитку формальна психологічна модель емоційних станів: для уникнення двозначностей при їх феноменологічному описі, зроблено перехід до ситуацій, в яких ці емоції виникають – замість назви емоції введено формальне позначення.
  2.  Уперше для психологічної формальної моделі емоційних станів запропонована формальна модель мімічних проявів цих емоційних станів, тобто зроблено перехід від простору ознак, які описують базові емоції, з точки зору ситуацій в яких вони виникають, до простору ознак, які характеризують візуальну, мімічну складову для базових емоційних станів.
  3.  Уперше для переходу від феноменологічного визначення характеристичних мімічних ознак до певної їх формалізації, запропоновано використати NURBS-криві, а саме, виходячи з того, що керуючі точки NURBS-кривої однозначно визначають саму криву – запропоновано в якості координат простору моделі брати тільки координати керуючих точок.
  4.  Уперше запропонована загальна формальна модель мімічних проявів емоційних станів у вигляді певного простору ознак, визначений базис цього простору.
  5.  Уперше запропонована мультимедійна технологія для аналізу й синтезу мімічних проявів емоцій.

Результати дисертації були застосовані для розробки промислового програмного забезпечення та впровадженні у навчальний процес. Створене програмне забезпечення можливе для використання державними та приватними організаціями для контролю за роботою операторів диспетчерських систем.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

  1.  Крак Ю.В. Синтез мімічних виразів емоцій на основі формальної моделі / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Штучний інтелект. – 2007. – № 2. – C. 22–31.
  2.  Крак Ю.В. Використання контурних моделей для побудови базису простору мімічних виразів емоцій / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Штучний інтелект. – 2007. – № 4. – C. 288–296.
  3.  Крак Ю.В. Інформаційна технологія розпізнавання емоційної міміки на обличчі людини / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Вісник Київського національного університету імені Тараса Шевченка. Серія: Кібернетика, 2008. – C. 37–41.
  4.  Єфімов Г.М. Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини / Г.М. Єфімов // Штучний інтелект. – 2009. – № 3. – C. 532–542.
  5.  Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г. Кривонос, Ю.В. Крак, Г.М. Єфімов [та ін.] // Доповіді НАН України. – 2008. – № 12. – С. 51–55.
  6.  Крак Ю.В. Інформаційна система аналізу та синтезу голосових та візуальних образів людини / Ю.В. Крак, О.В. Бармак, Г.М. Єфимов [та ін.] // Искусственный интеллект. Интеллектуальные и многопроцессорные системы – 2006: VII Междунар. науч.-техн. конф., 25–30 сен. 2006 г.: тез. докл. – Таганрог, 2006. – Т. 2. – С. 346-348.
  7.  Крак Ю.В. Формальна модель та шляхи візуалізації мімічних проявів емоційних станів людини / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2006): IV Міжнар. наук.-практ. конф., 15-17 лис. 2006: тези доп. – Дніпропетровськ, 2006. – С. 11.
  8.  Крак Ю.В. Аналіз і синтез мовних сигналів та віртуальних зображень голови людини / Ю.В. Крак, Ю.Г. Кривонос, Г.М. Єфімов [та ін.] // Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій (ISDMIT-2007): наук.-практ. конф., 14–18 трав. 2007 р.: тези доп. – Херсон, 2007. – С. 151–152.
  9.  Кривонос Ю.Г. Аналіз та синтез голосових і візуальних образів людини / Ю.Г. Кривонос, Ю.В. Крак, М.Ф. Кириченко [та ін.] // Питання оптимізації обчислень (ПОО–ХХХІІІ) пам’яті академіка В.С. Михалевича: міжнар. конф., 23–28 вересня 2007: праці. – К.: Ін-т кібернетики ім. В.М. Глушкова НАН України. – 2007. – С. 147.
  10.  Крак Ю.В. Моделювання голосових сигналів та зображень голови людини / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов [та ін.] // Dynamіcal Systems Modelіng and Stabіlіty Іnvestіgatіon (DSMSІ’2007): міжнар. конф., 22–25 травня 2007: тези доп. – К:Вісн. Київ. національного університету імені Тараса Шевченка. – 2007. – С. 378.
  11.  Крак Ю.В. Використання контурних моделей для побудови базису простору мімічних виразів емоцій / Ю.В. Крак, О.В. Бармак, Г.М. Єфiмов // Искусственный интеллект. Интеллектуальные системы (ИИ–2007): VIII Междунар. науч.-технич. конф., 24–29 сен. 2007 г.: тезисы докл. – Донецк, 2007. – С. 218–221.
  12.  Бармак О.В. Використання контурних моделей для побудови базису простору мімічних виразів емоцій / О.В. Бармак, Ю.В. Крак, Г.М. Єфімов // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2007): V Міжнар. наук.-практ. конф., 14–16 лист. 2007 р.: тези доп. – Дніпропетровськ, 2007. – С. 17–18.
  13.  Kryvonos Iu.G. Some Problems of Data Smooth Approximation for Rеalistic Models Analysis and Synthesis / Iu.G. Kryvonos, Iu.V. Krak, G.M. Efimov [та ін.] // Дискретна та глобальна оптимізація: тези доп. – Київ, 2008. – С. 20.
  14.  Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г.Кривонос, Ю.В. Крак, Г.М. Єфімов [та ін.] // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2008): VI Міжнар. наук.-практ. конф., 12–14 лист. 2008 р.: тези доп. – Дніпропетровськ, 2008. – С. 197–198.
  15.  Ефимов Г.Н. Исследование эмоциональных состояний на лице человека / Г.Н. Ефимов // Сучасна інформаційна Україна: інформатика, економіка, філософія: III міжнар. наук.-практ. конф.,14–15 трав. 2009р.: матеріали доп.–Донецьк, 2009.– С.193–194.
  16.  Кривонос Ю.Г. Моделювання, аналіз й синтез мімічних проявів емоцій на обличчі людини / Ю.Г. Кривонос, Ю.В. Крак, Г.М. Єфімов // Інформаційні і моделюючі технології (ІМТ-2009): II Міжнар. наук.-техн. конф., 21–24 трав. 2009 р.: матеріали доп. – Черкаси, 2009. – С. 34–35.
  17.  Єфімов Г.М. Моделювання та аналіз мімічних проявів емоцій / Г.М. Єфімов // Dynamіcal Systems Modelіng and Stabіlіty Іnvestіgatіon (DSMSІ’2009): міжнар. конф., 27–29 травня 2009: тези доп. – К.: – 2009. – С. 328.

АНОТАЦІЯ

Єфімов Г.М. Інформаційна технологія для моделювання та розпізнавання мімічних проявів емоцій на обличчі людини. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – системи та засоби штучного інтелекту. – Державний університет інформатики і штучного інтелекту, Донецьк, 2010.

У дисертації вирішена актуальна науково-практична задача синтезу та аналізу мімічних проявів емоцій на зображенні обличчя людини. На основі формальної психологічної моделі емоційних станів, запропонована формальна модель мімічних проявів цих емоційних станів – зроблено перехід від простору ознак, які описують базові емоції з точки зору ситуацій, в яких вони виникають, до простору ознак, які характеризують візуальну, мімічну складову для базових емоційних станів. Для уникнення неоднозначностей при аналізі, зроблено перехід від феноменологічного визначення характеристичних мімічних ознак до певної їх формалізації за допомогою NURBS-кривих. Запропонована загальна формальна модель мімічних проявів емоційних станів у вигляді простору ознак, визначений базис цього простору. Запропонована нова мультимедійна технологія та засіб штучного інтелекту для аналізу мімічних проявів емоцій.

Ключові слова: мімічні прояви емоцій, синтез та аналіз, мультимедійна технологія, засіб штучного інтелекту.

АННОТАЦИЯ

Ефимов Г.Н. Информационная технология для моделирования и распознавания мимических проявлений эмоций на лице человека. – Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 – системы и средства искусственного интеллекта. – Государ-ственный университет информатики и искусственного интеллекта, Донецк, 2010.

В диссертации решена актуальная научно-практическая задача синтеза и анализа мимических проявлений эмоций на изображении лица человека. Методы и алгоритмы анализа и синтеза эмоционального состояния лица человека являются составляющей частью систем и средств искусственного интеллекта, направленных на исследование, создание и внедрение алгоритмических и программно-аппаратных систем и комплексов с элементами искусственного интеллекта на основе моделирования интеллектуальной деятельности человека.

В диссертационной работе создана мультимедийная технология (методы, модели и алгоритмы) для моделирования (синтеза) и распознавания (анализа) мимических проявлений эмоций на фотографических изображениях лица человека.

Для психологической формальной модели эмоциональных состояний предложена формальная модель мимических проявлений этих эмоциональных состояний, то есть, сделано переход от пространства признаков, описывающих базовые эмоции с точки зрения ситуаций, в которых они возникают, к пространству признаков, которые характеризируют визуальную, мимическую составляющую для базовых эмоциональных состояний. Для поиска векторного пространства характеристических признаков, построения базиса этого пространства, воссоздания производных эмоциональных состояний, сделано следующее: а) создано множество фотографических изображений, на которых актерами воссоздавались ситуации, в которых возникают базовые эмоции, и описана мимика, свойственная этим эмоциям; б) проанализировано и описано полученное множество с целью выявления областей, которые содержат характеристические признаки; в) создан в пространстве характеристических признаков базис для последующего разложения по нему произвольных векторов мимических проявлений эмоциональных состояний.

В процессе исследования было получено 21 характеристический признак, комбинация которых создает базис мимических проявлений эмоций. Таким образом, произвольный вектор, полученный путем анализа изображения с некоторым эмоциональным состоянием, раскладывается по базису и получается описание эмоции, как выпуклой комбинации.

Для перехода от феноменологического определения характеристических мимических признаков к их формализации, предложено использовать NURBS-кривые (неравномерные рациональные -сплайны) – исходя из того, что управляющих точки NURBS-кривой однозначно определяют саму кривую – предложено в качестве координат пространства модели брать только координаты управляющих точек. Преимущества при моделировании контура лица с помощью NURBS-кривых заключаются в том, что: 1) размерность уменьшается на порядки; 2) деформации кривых (для имитации мимических движений эмоций) более плавные – подобные к деформации реальных лиц. В рамках проведенных диссертационных исследований построена модель, которая состоит из шаблонов – NURBS-кривых, которые отвечают контурам бровей, глаз и рта. Полученный раньше 21 характеристический признак, представляется с помощью NURBS-кривых.

Предложена общая формальная модель мимических проявлений эмоциональных состояний в виде пространства признаков, определен базис этого пространства. В диссертационном исследовании, с использованием: алгоритмов преобразования изображений, алгоритмов оконтуривания и скелетизации изображений, модификации метода деформируемых контурных, -сплайн аппроксимации кривых, созданной модели проявлений эмоций – предложена новая информационная технология для анализа мимических проявлений эмоций.

В диссертации реализована технология для синтеза и анализа мимических проявлений эмоций на лице человека. Создано программное обеспечение для отображения пространства фотографических изображений лиц с эмоциональным содержанием в пространство параметров модели. Результаты диссертации были использованы для разработки программного обеспечения и в учебном процессе.

Ключевые слова: мимические проявления эмоций, синтез и анализ, мультимедийная технология, средство искусственного интеллекта.

ABSTRACT

Efimov G.M. Information technology for modeling and recognition of emotions mimics display on the human face. – Manuscript.

Thesis for the degree of candidate of technical sciences, speciality 05.13.23 – systems and facilities of artificial intelligence. – State University of Informatics and Artificial Intelligence, Donetsk, 2010.

There was solved actual theoretical and practical task of synthesis and analysis of mimic demonstrations of emotions on person’s image face in this dissertation. Basing on a formal psychological model of emotional states, there was suggested the formal model of mimic demonstrations of emotions of these emotional states – there was made transition from the space of features, which describe basic emotions in terms of situations they are arising, to the space of features, which define visual, mimic component for the basic emotional states. To avoid ambiguities during analysis, there was made transition from the phenomenological description of characteristic mimic features to the determinate formalization using NURBS-curves. There were offered general formal model of mimic demonstrations of emotional states in a space of features and defined basis of this space.

New multimedia technology and facilities of artificial intelligence for analysis of mimic demonstrations of emotions were offered.

Key-words: mimic display of emotions, synthesis and analysis, multimedia technology, facilities of artificial intelligence.


Підп. до друку 07.10.2010. Формат 60x84/16. Папір офс.

Офс. друк. Ум. друк . арк. 1,16.Ум. фарбо- відб. 1,28.

Обл.-вид. арк. 1,0. Зам. 89. Тираж 100 прим.

Редакційно - видавничий відділ з поліграфічною дільницею

Інститут кібернетики імені В.М. Глушкова НАН України

03680, МСП, Київ-187,  проспект  Академіка  Глушкова, 40


 

А также другие работы, которые могут Вас заинтересовать

24987. Волновые свойства света. Электромагнитная теория света 38.5 KB
  Электромагнитная теория света План ответа 1. Законы преломления и отражения света. Наиболее наглядно волновые свойства света обнаруживаются в явлениях интерференции и дифракции.
24988. Опыты Резерфорда по рассеянию α-частиц. Ядерная модель атома 23.5 KB
  Ядерная модель атома План ответа 1. Ядерная модель атома. Рассеяние αчастиц Резерфорд объяснил тем что положительный заряд не распределен равномерно в шаре радиусом 1010 м как предполагали ранее а сосредоточен в центральной части атома атомном ядре. Так ведут себя частицы имеющие одинаковый заряд следовательно существует центральная положительно заряженная часть атома в которой сосредоточена значительная масса атома.
24989. Квантовые постулаты Бора. Испускание и поглощение света атомами. Спектральный анализ 24.5 KB
  Спектр излучения или поглощения это набор волн определенных частот которые излучает или поглощает атом данного вещества. Сплошные спектры излучают все вещества находящиеся в твердом или жидком состоянии. Линейчатые спектры излучают все вещества в атомарном состоянии. Как у каждого человека свои личные отпечатки пальцев так и у атома данного вещества свой характерный только ему спектр.
24990. Фотоэффект и его законы. Уравнение Эйнштейна для фотоэффекта и постоянная Планка. Применение фотоэффекта в технике 28.5 KB
  Уравнение Эйнштейна для фотоэффекта и постоянная Планка. Применение фотоэффекта в технике Плав ответа 1. Законы фотоэффекта. Применение фотоэффекта.
24991. Состав ядра атома. Изотопы. Энергия связи ядра атома. Цепная ядерная реакция, условия ее осуществления. Термоядерные реакции 26 KB
  Энергия связи ядра атома. Состав ядра атома. Энергия связи атомного ядра.
24992. Механическое движение Относительность движения, Система отсчета, Материальная точка, Траектория. Путь и перемещение. Мгновенная скорость. Ускорение. Равномерное и равноускоренное движение 33 KB
  Мгновенная скорость. Скорость векторная физическая величина характеризующая быстроту перемещения тела численно равная отношению перемещения за малый промежуток времени к величине этого промежутка. Промежуток времени считается достаточно малым если скорость в течении этого промежутка не менялась. Измеряют скорость спидометром.
24993. Взаимодействие тел. Сила. Второй закон Ньютона 39 KB
  Сила. Сила. В простейших случаях взаимодействия количественной характеристикой является сила. Сила причина ускорения тел по отношению к инерциальной системе отсчета или их деформации.
24994. Импульс тела. Закон сохранения импульса в природе и технике 137.5 KB
  Импульс тела. Простые наблюдения и опыты доказывают что покой и движение относительны скорость тела зависит от выбора системы отсчета; по второму закону Ньютона независимо от того находилось ли тело в покое или двигалось изменение скорости его движения может происходить только при действии силы т. в результате взаимодействия с другими телами.
24995. Закон всемирного тяготения. Сила тяжести. Вес тела. Невесомость 52.5 KB
  Вес тела. Вес тела перегрузки. Исаак Ньютон выдвинул предположение что между любыми телами в природе существуют силы взаимного притяжения. гравитационная постоянная равна силе с которой притягиваются два тела по 1 кг на расстоянии 1 м.