21706

Методы экспертного оценивания

Лекция

Информатика, кибернетика и программирование

5] Анализ компетентности экспертов по взаимооценкам [0.6] Анализ компетентности экспертов по оценкам объектов [0. Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий производимое группой экспертов. Например для 3х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

Русский

2013-08-03

136 KB

10 чел.

Методы экспертного оценивания

[0.1] Проблема группового выбора

[0.2] Некоторые затруднения

[0.3] Основные этапы экспертизы

[0.4] Анализ результатов оценки объектов

[0.5] Анализ компетентности экспертов по взаимооценкам

[0.6] Анализ компетентности экспертов по оценкам объектов

[0.7] Обработка результатов парных сравнений

Проблема группового выбора

Под групповым выбором понимается выработка согласованного группового решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.

Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий, производимое группой экспертов.

В простейшем случае предпочтение может быть задано упорядочением (ранжированием) объектов по убыванию их предпочтительности. Если же поддается оценке и относительная интенсивность предпочтительности каждого объекта , то предпочтение задается функцией , отображающей множество объектов в множество чисел.

Например, для 3-х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких как, например, эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат.

Некоторые затруднения

Если, например, индивидуальные оценки надежны и устойчивы, то в качестве групповой оценки можно взять среднее арифметическое (например, при оценивании участников соревнования по фигурному катанию).

Но реальные ситуации группового выбора могут отличаться от оценки выступлений спортсменов по крайней мере в двух отношениях:

  1.  Члены жюри могут придерживаться существенно разных и даже противоположных точек зрения в своих оценках. Например, оценки первого и второго экспертов, соответственно:

, , ; , , .

Наилучший средний результат - !

Для устранения таких расхождений на практике прибегают к различным процедурам обмена мнениями. При этом либо удается придти к какому-либо единому мнению, либо такие процедуры усиливают решимость экспертов остаться при своем мнении, тогда побеждают интересы руководства.

  1.  Вторая причина затруднений при групповом выборе связана с проблемой соизмерения предпочтений различных индивидуумов. В этом случае предлагают приводить все предпочтения к единому масштабу и началу отсчета. Например, наименее предпочтительному объекту ставят в соответствие 0, наиболее предпочтительному - 1, так что новые оценки будут иметь вид , где и - наибольшее и наименьшее .

Основные этапы экспертизы

Под экспертизой понимается проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения. Причем, в качестве приборов выступают люди. В основе всех методик лежит неявное предположение, что существует единое мнение.

В задачи экспертной комиссии часто входит не только оценка имеющихся объектов, но и построение самих объектов или их характеристик.

Экспертными комиссиями решаются 3 типа задач:

  1.  Оценка имеющихся объектов (например, оценка потребительского качества образцов промышленных изделий, рассмотрение проектов, участвующих в конкурсе, оценка того, может ли данный письменный текст принадлежать определенному лицу). Причем, оценка может быть скалярной и векторной.
  2.  Построение объектов. К задачам этого типа относятся, например, разработка "сценариев мирного развития" или конструирование системы признаков для оценки поведения человеческого коллектива.
  3.  Построение объектов и их оценка. Сюда входит разработка системы признаков для оценки систем некоторого типа и оценка весомости каждого признака.

После того как оцениваемые объекты зафиксированы, возникает проблема формирования экспертной комиссии. Особых научных рекомендаций здесь нет, поэтому пользуются соображениями здравого смысла в зависимости от целей, преследуемых организаторами экспертизы.

Обычно, когда речь идет о формировании "непредвзятого" мнения, привлекают наиболее квалифицированных специалистов из всех "конкурирующих" организаций.

Оценить квалификацию эксперта можно, предложив ему решить простую тестовую задачу. Но чаще решение о привлечении эксперта основывается на изучении его профессиональных характеристик, стажа, качества работы в данной области или же на основе оценок его компетентности другими.

Однако даже самый квалифицированный эксперт может проявить себя некомпетентным в данной конкретной экспертизе как из-за причин случайного характера, так и из-за отсутствия стимулов проявлять свою квалификацию в данной экспертизе.

После того, как экспертная комиссия сформирована, фиксируется процедура ее работы, т. е. способ экспертного оценивания и способ выражения экспертами своих оценок.

Процедура работы экспертной комиссии включает 2 крайних способа: анонимный опрос и устное обсуждение группой экспертов всех оценок.

После произведенной оценки производится обработка и анализ результатов экспертизы.

Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то экспертная комиссия свою задачу выполнила.

При сильно расходящихся мнениях в задачу анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки.

Если полученные результаты не дают возможности принять решение, то экспертиза повторяется после разъяснения имеющихся разногласий (обычно для "сходимости" достаточно 3-х туров).

При анализе точек зрения экспертов следует иметь в виду, что применение среднего бала нивелирует различия во мнениях экспертов. Средние оценки выражают общее мнение и не делают различий в индивидуальном опыте отдельных экспертов. Часто общие результаты тривиальны, например, усредненные оценки группы профанов совпадают с усредненными оценками группы специалистов. Поэтому, прежде необходимо выявить "некомпетентных" экспертов. Далее для изучения точек зрения экспертов можно в качестве показателя компетентности использовать характеристику того, насколько хорошо эксперт различает разные стороны оцениваемого качества объекта. Далее рассматриваются оценки основного показателя, данные оставшимися "компетентными" экспертами.

Пусть - вектор оценок - го эксперта. В - мерном пространстве можно составить группы близких векторов.

При этом у части экспертов близкие оценки, т.е. они придерживаются единой точки зрения, для определения которой производится анализ взаимосвязей оценок экспертов и общего показателя и оценок частных признаков. Среднее арифметическое оценок всех экспертов из данного класса представляет их точку зрения на оцениваемый объект. Принимающий решение может использовать как компетентную оценку, так и содержательную характеристику точек зрения.

Анализ результатов оценки объектов

Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их. На практике широко применяются два крайних типа оценок:

  1.  Когда эксперт сравнивает по предпочтительности все объекты одновременно.
  2.  Когда эксперт производит одновременное сравнение только 2-х объектов.

Рассматриваем, например, 1-й случай.

Простейший способ групповой оценки - вычисление средних баллов , - оценка -го объекта -м экспертом. Если учесть реальное "неравенство" экспертов, то , - показатели компетентности, отражающие насколько близки оценки к "истинным". Их определяют на основе само и взаимооценок.

Часто для оценки сложного показателя для облегчения работы экспертов его расчленяют.

Если - оценка весомости -го признака, определенная -м экспертом, а - весовые коэффициенты, показывающие, насколько сильно -й признак "выражает" измеряемый общий показатель, то

, ,

где - оценка -го объекта по каждому -ому признаку -м экспертом.

Анализ компетентности экспертов по взаимооценкам

Пример:

- матрица выигрышей 5 команд (0 - проигрыш, 1 - ничья, 2 - выигрыш).

Распределение очков: . Кажется несправедливым. что первая команда, выигравшая у лидера, находится на последнем месте.

Если к очкам каждой прибавить очки тех, с кем у нее была ничья, и удвоить количество очков победителю, то . Продолжая процедуру, получим итерационный процесс , где - матрица самооценок и взаимных оценок. Начиная с некоторого шага распределение мест стабилизируется.

Определение. - разложимая матрица, если : , . Это означает, что все эксперты из считаются некомпетентными экспертами из . Это недопустимо при работе экспертной комиссии.

Теорема. Неотрицательная неразложимая матрица обязательно имеет вещественное положительное собственное число , превосходящее модули всех остальных ее собственных чисел; ему соответствует собственный вектор - положительный, и любой другой собственный вектор имеет отрицательную компоненту.

Для неотрицательной неразложимой матрицы к этому вектору сходится итерационный процесс

, , => ,
, , .

соответствующий рассмотренной процедуре

Анализ компетентности экспертов по оценкам объектов

Пример:

(номера столбцов соответствуют номерам экспертов, строк - объектов).






,
- нормированный
,
или

Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункти, условия его сходимости те же

Обработка результатов парных сравнений

Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:

  1.  Просто факт предпочтительности по сравнению с .
  2.  Балльную оценку этой предпочтительности.
  3.  Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
  4.  Во сколько раз объект предпочтительнее объекта .

1 - 3 типы можно свести к 4-му.

Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,

=>

=>

Матрица для которой выполняется условие (*) называется сверхтранзитивной.

Утверждение. Матрица является сверхтранзитивной тогда и только тогда, когда существует положительный вектор такой, что .

Элементы , определяющие элементы матрицы , можно трактовать как оценки степени предпочтительности объектов . Тогда выражает, во сколько раз предпочтительнее .

, где может быть или для любого .


 

А также другие работы, которые могут Вас заинтересовать

60514. Meet My Friends. Мої друзі та я 128.5 KB
  We shall speak about English and Ukrainian schools once more. As a result you’ll write a project about your favourite school and the best friend at school.
60515. Мій найкращий товариш і я 135.5 KB
  Мета уроку: практична: актуалізувати лексичний та граматичний матеріал за темами; учбова: продовжувати формувати комунікативні вміння в говорінні та письмі...