21706

Методы экспертного оценивания

Лекция

Информатика, кибернетика и программирование

5] Анализ компетентности экспертов по взаимооценкам [0.6] Анализ компетентности экспертов по оценкам объектов [0. Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий производимое группой экспертов. Например для 3х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

Русский

2013-08-03

136 KB

11 чел.

Методы экспертного оценивания

[0.1] Проблема группового выбора

[0.2] Некоторые затруднения

[0.3] Основные этапы экспертизы

[0.4] Анализ результатов оценки объектов

[0.5] Анализ компетентности экспертов по взаимооценкам

[0.6] Анализ компетентности экспертов по оценкам объектов

[0.7] Обработка результатов парных сравнений

Проблема группового выбора

Под групповым выбором понимается выработка согласованного группового решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.

Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий, производимое группой экспертов.

В простейшем случае предпочтение может быть задано упорядочением (ранжированием) объектов по убыванию их предпочтительности. Если же поддается оценке и относительная интенсивность предпочтительности каждого объекта , то предпочтение задается функцией , отображающей множество объектов в множество чисел.

Например, для 3-х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких как, например, эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат.

Некоторые затруднения

Если, например, индивидуальные оценки надежны и устойчивы, то в качестве групповой оценки можно взять среднее арифметическое (например, при оценивании участников соревнования по фигурному катанию).

Но реальные ситуации группового выбора могут отличаться от оценки выступлений спортсменов по крайней мере в двух отношениях:

  1.  Члены жюри могут придерживаться существенно разных и даже противоположных точек зрения в своих оценках. Например, оценки первого и второго экспертов, соответственно:

, , ; , , .

Наилучший средний результат - !

Для устранения таких расхождений на практике прибегают к различным процедурам обмена мнениями. При этом либо удается придти к какому-либо единому мнению, либо такие процедуры усиливают решимость экспертов остаться при своем мнении, тогда побеждают интересы руководства.

  1.  Вторая причина затруднений при групповом выборе связана с проблемой соизмерения предпочтений различных индивидуумов. В этом случае предлагают приводить все предпочтения к единому масштабу и началу отсчета. Например, наименее предпочтительному объекту ставят в соответствие 0, наиболее предпочтительному - 1, так что новые оценки будут иметь вид , где и - наибольшее и наименьшее .

Основные этапы экспертизы

Под экспертизой понимается проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения. Причем, в качестве приборов выступают люди. В основе всех методик лежит неявное предположение, что существует единое мнение.

В задачи экспертной комиссии часто входит не только оценка имеющихся объектов, но и построение самих объектов или их характеристик.

Экспертными комиссиями решаются 3 типа задач:

  1.  Оценка имеющихся объектов (например, оценка потребительского качества образцов промышленных изделий, рассмотрение проектов, участвующих в конкурсе, оценка того, может ли данный письменный текст принадлежать определенному лицу). Причем, оценка может быть скалярной и векторной.
  2.  Построение объектов. К задачам этого типа относятся, например, разработка "сценариев мирного развития" или конструирование системы признаков для оценки поведения человеческого коллектива.
  3.  Построение объектов и их оценка. Сюда входит разработка системы признаков для оценки систем некоторого типа и оценка весомости каждого признака.

После того как оцениваемые объекты зафиксированы, возникает проблема формирования экспертной комиссии. Особых научных рекомендаций здесь нет, поэтому пользуются соображениями здравого смысла в зависимости от целей, преследуемых организаторами экспертизы.

Обычно, когда речь идет о формировании "непредвзятого" мнения, привлекают наиболее квалифицированных специалистов из всех "конкурирующих" организаций.

Оценить квалификацию эксперта можно, предложив ему решить простую тестовую задачу. Но чаще решение о привлечении эксперта основывается на изучении его профессиональных характеристик, стажа, качества работы в данной области или же на основе оценок его компетентности другими.

Однако даже самый квалифицированный эксперт может проявить себя некомпетентным в данной конкретной экспертизе как из-за причин случайного характера, так и из-за отсутствия стимулов проявлять свою квалификацию в данной экспертизе.

После того, как экспертная комиссия сформирована, фиксируется процедура ее работы, т. е. способ экспертного оценивания и способ выражения экспертами своих оценок.

Процедура работы экспертной комиссии включает 2 крайних способа: анонимный опрос и устное обсуждение группой экспертов всех оценок.

После произведенной оценки производится обработка и анализ результатов экспертизы.

Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то экспертная комиссия свою задачу выполнила.

При сильно расходящихся мнениях в задачу анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки.

Если полученные результаты не дают возможности принять решение, то экспертиза повторяется после разъяснения имеющихся разногласий (обычно для "сходимости" достаточно 3-х туров).

При анализе точек зрения экспертов следует иметь в виду, что применение среднего бала нивелирует различия во мнениях экспертов. Средние оценки выражают общее мнение и не делают различий в индивидуальном опыте отдельных экспертов. Часто общие результаты тривиальны, например, усредненные оценки группы профанов совпадают с усредненными оценками группы специалистов. Поэтому, прежде необходимо выявить "некомпетентных" экспертов. Далее для изучения точек зрения экспертов можно в качестве показателя компетентности использовать характеристику того, насколько хорошо эксперт различает разные стороны оцениваемого качества объекта. Далее рассматриваются оценки основного показателя, данные оставшимися "компетентными" экспертами.

Пусть - вектор оценок - го эксперта. В - мерном пространстве можно составить группы близких векторов.

При этом у части экспертов близкие оценки, т.е. они придерживаются единой точки зрения, для определения которой производится анализ взаимосвязей оценок экспертов и общего показателя и оценок частных признаков. Среднее арифметическое оценок всех экспертов из данного класса представляет их точку зрения на оцениваемый объект. Принимающий решение может использовать как компетентную оценку, так и содержательную характеристику точек зрения.

Анализ результатов оценки объектов

Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их. На практике широко применяются два крайних типа оценок:

  1.  Когда эксперт сравнивает по предпочтительности все объекты одновременно.
  2.  Когда эксперт производит одновременное сравнение только 2-х объектов.

Рассматриваем, например, 1-й случай.

Простейший способ групповой оценки - вычисление средних баллов , - оценка -го объекта -м экспертом. Если учесть реальное "неравенство" экспертов, то , - показатели компетентности, отражающие насколько близки оценки к "истинным". Их определяют на основе само и взаимооценок.

Часто для оценки сложного показателя для облегчения работы экспертов его расчленяют.

Если - оценка весомости -го признака, определенная -м экспертом, а - весовые коэффициенты, показывающие, насколько сильно -й признак "выражает" измеряемый общий показатель, то

, ,

где - оценка -го объекта по каждому -ому признаку -м экспертом.

Анализ компетентности экспертов по взаимооценкам

Пример:

- матрица выигрышей 5 команд (0 - проигрыш, 1 - ничья, 2 - выигрыш).

Распределение очков: . Кажется несправедливым. что первая команда, выигравшая у лидера, находится на последнем месте.

Если к очкам каждой прибавить очки тех, с кем у нее была ничья, и удвоить количество очков победителю, то . Продолжая процедуру, получим итерационный процесс , где - матрица самооценок и взаимных оценок. Начиная с некоторого шага распределение мест стабилизируется.

Определение. - разложимая матрица, если : , . Это означает, что все эксперты из считаются некомпетентными экспертами из . Это недопустимо при работе экспертной комиссии.

Теорема. Неотрицательная неразложимая матрица обязательно имеет вещественное положительное собственное число , превосходящее модули всех остальных ее собственных чисел; ему соответствует собственный вектор - положительный, и любой другой собственный вектор имеет отрицательную компоненту.

Для неотрицательной неразложимой матрицы к этому вектору сходится итерационный процесс

, , => ,
, , .

соответствующий рассмотренной процедуре

Анализ компетентности экспертов по оценкам объектов

Пример:

(номера столбцов соответствуют номерам экспертов, строк - объектов).






,
- нормированный
,
или

Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункти, условия его сходимости те же

Обработка результатов парных сравнений

Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:

  1.  Просто факт предпочтительности по сравнению с .
  2.  Балльную оценку этой предпочтительности.
  3.  Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
  4.  Во сколько раз объект предпочтительнее объекта .

1 - 3 типы можно свести к 4-му.

Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,

=>

=>

Матрица для которой выполняется условие (*) называется сверхтранзитивной.

Утверждение. Матрица является сверхтранзитивной тогда и только тогда, когда существует положительный вектор такой, что .

Элементы , определяющие элементы матрицы , можно трактовать как оценки степени предпочтительности объектов . Тогда выражает, во сколько раз предпочтительнее .

, где может быть или для любого .


 

А также другие работы, которые могут Вас заинтересовать

61892. Художники и зрители 50.5 KB
  Перед вами картина известного французского художника Ван Гога. Перед вами картина известного русского художника Михаила Врубеля. Вот такая картина рисуется в воображении благодаря искусному изображению художника. Вот ещё одна картина.
61893. Цели и задачи уроков права 66 KB
  ОБУЧАЮЩИЕ: знакомить учащихся с наиболее распространенными и доступными понятиями и формировать у них элементарных представлений об обществе в целом и их малом сообществе Дать: представления о различных источниках благосостояния представление о различных способах размещения и использования ресурсов и об их влиянии на состояние человека общества и окружающей среды; учащимся специальные знания Научить: понимать необходимость существования в обществе различных норм и законов их функции и значения; почему различные ситуации...
61894. Виховна година: “Цигарка - ворог, зброя проти неї - ваша воля” 47.5 KB
  На думку одного психіатра люди палять не тому що хочуть палити а тому що не можуть перестати. Як можна відмовитися від паління перестати палити Насамперед треба спробувати розірвати коло дуже міцних рефлекторних звязків.
61895. Разработка стратегии вывода нового для рынка России товара компании Christ в интересах получения эксклюзивного дилерства в условиях ограниченного инвестиционного ресурса 3.64 MB
  В советское время развитие конного спорта находилось под государственным контролем и управлялось централизованно. Для широкой массы не представлялось возможнымприобрести лошадь и заниматься любительским конным спортом, так как государство ограничивало права иметь лошадь в частной собственности. Таким образом, рынок коневодства и конного спорта отсутствовал полностью. Культура конного спорта не развивалась в принципе.
61896. ОПЕРАТОРИ ЦИКЛУ 93.5 KB
  Призначення операторів циклу. Кожний з трьох засобів організації циклу має свої особливості для кожного засобу є своє коло задач які найбільш природно вирішуються саме з його допомогою.
61897. 33 игры для развития глагольного словаря дошкольников 1005.17 KB
  Образовывать глаголы сначала от звукоподражаний, а затем и при помощи приставок; Использовать в речи различные глагольные формы (совершенный и несовершенный вид, прошедшее, настоящее и будущее время); согласовывать глаголы с существительным и т.д.
61898. Состав числа 8 48 KB
  Что вы знаете о числах от 1 до 10 на слайде 3 утёнка Сколько здесь утят Какой цифрой обозначаем С помощью каких двух слагаемых можно получить число 3 Это называется состав числа 3. Упражнения на ориентацию в пространстве слайд Сколько на рисунке детей Сколько мальчиков Девочек...
61899. В. Сухомлинський «Горбатенька». В. Нестайко «Руденький» 62.5 KB
  Нестайка розрізні слова ілюстрації до тексту завдання уроку пересувна дошка ілюстрації адвоката прокурора судді запис словникової роботи підручник О. а ланцюжкове читання тексту як це все було без мене б вибіркове читання тексту...