21706

Методы экспертного оценивания

Лекция

Информатика, кибернетика и программирование

5] Анализ компетентности экспертов по взаимооценкам [0.6] Анализ компетентности экспертов по оценкам объектов [0. Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий производимое группой экспертов. Например для 3х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

Русский

2013-08-03

136 KB

10 чел.

Методы экспертного оценивания

[0.1] Проблема группового выбора

[0.2] Некоторые затруднения

[0.3] Основные этапы экспертизы

[0.4] Анализ результатов оценки объектов

[0.5] Анализ компетентности экспертов по взаимооценкам

[0.6] Анализ компетентности экспертов по оценкам объектов

[0.7] Обработка результатов парных сравнений

Проблема группового выбора

Под групповым выбором понимается выработка согласованного группового решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.

Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий, производимое группой экспертов.

В простейшем случае предпочтение может быть задано упорядочением (ранжированием) объектов по убыванию их предпочтительности. Если же поддается оценке и относительная интенсивность предпочтительности каждого объекта , то предпочтение задается функцией , отображающей множество объектов в множество чисел.

Например, для 3-х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких как, например, эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат.

Некоторые затруднения

Если, например, индивидуальные оценки надежны и устойчивы, то в качестве групповой оценки можно взять среднее арифметическое (например, при оценивании участников соревнования по фигурному катанию).

Но реальные ситуации группового выбора могут отличаться от оценки выступлений спортсменов по крайней мере в двух отношениях:

  1.  Члены жюри могут придерживаться существенно разных и даже противоположных точек зрения в своих оценках. Например, оценки первого и второго экспертов, соответственно:

, , ; , , .

Наилучший средний результат - !

Для устранения таких расхождений на практике прибегают к различным процедурам обмена мнениями. При этом либо удается придти к какому-либо единому мнению, либо такие процедуры усиливают решимость экспертов остаться при своем мнении, тогда побеждают интересы руководства.

  1.  Вторая причина затруднений при групповом выборе связана с проблемой соизмерения предпочтений различных индивидуумов. В этом случае предлагают приводить все предпочтения к единому масштабу и началу отсчета. Например, наименее предпочтительному объекту ставят в соответствие 0, наиболее предпочтительному - 1, так что новые оценки будут иметь вид , где и - наибольшее и наименьшее .

Основные этапы экспертизы

Под экспертизой понимается проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения. Причем, в качестве приборов выступают люди. В основе всех методик лежит неявное предположение, что существует единое мнение.

В задачи экспертной комиссии часто входит не только оценка имеющихся объектов, но и построение самих объектов или их характеристик.

Экспертными комиссиями решаются 3 типа задач:

  1.  Оценка имеющихся объектов (например, оценка потребительского качества образцов промышленных изделий, рассмотрение проектов, участвующих в конкурсе, оценка того, может ли данный письменный текст принадлежать определенному лицу). Причем, оценка может быть скалярной и векторной.
  2.  Построение объектов. К задачам этого типа относятся, например, разработка "сценариев мирного развития" или конструирование системы признаков для оценки поведения человеческого коллектива.
  3.  Построение объектов и их оценка. Сюда входит разработка системы признаков для оценки систем некоторого типа и оценка весомости каждого признака.

После того как оцениваемые объекты зафиксированы, возникает проблема формирования экспертной комиссии. Особых научных рекомендаций здесь нет, поэтому пользуются соображениями здравого смысла в зависимости от целей, преследуемых организаторами экспертизы.

Обычно, когда речь идет о формировании "непредвзятого" мнения, привлекают наиболее квалифицированных специалистов из всех "конкурирующих" организаций.

Оценить квалификацию эксперта можно, предложив ему решить простую тестовую задачу. Но чаще решение о привлечении эксперта основывается на изучении его профессиональных характеристик, стажа, качества работы в данной области или же на основе оценок его компетентности другими.

Однако даже самый квалифицированный эксперт может проявить себя некомпетентным в данной конкретной экспертизе как из-за причин случайного характера, так и из-за отсутствия стимулов проявлять свою квалификацию в данной экспертизе.

После того, как экспертная комиссия сформирована, фиксируется процедура ее работы, т. е. способ экспертного оценивания и способ выражения экспертами своих оценок.

Процедура работы экспертной комиссии включает 2 крайних способа: анонимный опрос и устное обсуждение группой экспертов всех оценок.

После произведенной оценки производится обработка и анализ результатов экспертизы.

Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то экспертная комиссия свою задачу выполнила.

При сильно расходящихся мнениях в задачу анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки.

Если полученные результаты не дают возможности принять решение, то экспертиза повторяется после разъяснения имеющихся разногласий (обычно для "сходимости" достаточно 3-х туров).

При анализе точек зрения экспертов следует иметь в виду, что применение среднего бала нивелирует различия во мнениях экспертов. Средние оценки выражают общее мнение и не делают различий в индивидуальном опыте отдельных экспертов. Часто общие результаты тривиальны, например, усредненные оценки группы профанов совпадают с усредненными оценками группы специалистов. Поэтому, прежде необходимо выявить "некомпетентных" экспертов. Далее для изучения точек зрения экспертов можно в качестве показателя компетентности использовать характеристику того, насколько хорошо эксперт различает разные стороны оцениваемого качества объекта. Далее рассматриваются оценки основного показателя, данные оставшимися "компетентными" экспертами.

Пусть - вектор оценок - го эксперта. В - мерном пространстве можно составить группы близких векторов.

При этом у части экспертов близкие оценки, т.е. они придерживаются единой точки зрения, для определения которой производится анализ взаимосвязей оценок экспертов и общего показателя и оценок частных признаков. Среднее арифметическое оценок всех экспертов из данного класса представляет их точку зрения на оцениваемый объект. Принимающий решение может использовать как компетентную оценку, так и содержательную характеристику точек зрения.

Анализ результатов оценки объектов

Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их. На практике широко применяются два крайних типа оценок:

  1.  Когда эксперт сравнивает по предпочтительности все объекты одновременно.
  2.  Когда эксперт производит одновременное сравнение только 2-х объектов.

Рассматриваем, например, 1-й случай.

Простейший способ групповой оценки - вычисление средних баллов , - оценка -го объекта -м экспертом. Если учесть реальное "неравенство" экспертов, то , - показатели компетентности, отражающие насколько близки оценки к "истинным". Их определяют на основе само и взаимооценок.

Часто для оценки сложного показателя для облегчения работы экспертов его расчленяют.

Если - оценка весомости -го признака, определенная -м экспертом, а - весовые коэффициенты, показывающие, насколько сильно -й признак "выражает" измеряемый общий показатель, то

, ,

где - оценка -го объекта по каждому -ому признаку -м экспертом.

Анализ компетентности экспертов по взаимооценкам

Пример:

- матрица выигрышей 5 команд (0 - проигрыш, 1 - ничья, 2 - выигрыш).

Распределение очков: . Кажется несправедливым. что первая команда, выигравшая у лидера, находится на последнем месте.

Если к очкам каждой прибавить очки тех, с кем у нее была ничья, и удвоить количество очков победителю, то . Продолжая процедуру, получим итерационный процесс , где - матрица самооценок и взаимных оценок. Начиная с некоторого шага распределение мест стабилизируется.

Определение. - разложимая матрица, если : , . Это означает, что все эксперты из считаются некомпетентными экспертами из . Это недопустимо при работе экспертной комиссии.

Теорема. Неотрицательная неразложимая матрица обязательно имеет вещественное положительное собственное число , превосходящее модули всех остальных ее собственных чисел; ему соответствует собственный вектор - положительный, и любой другой собственный вектор имеет отрицательную компоненту.

Для неотрицательной неразложимой матрицы к этому вектору сходится итерационный процесс

, , => ,
, , .

соответствующий рассмотренной процедуре

Анализ компетентности экспертов по оценкам объектов

Пример:

(номера столбцов соответствуют номерам экспертов, строк - объектов).






,
- нормированный
,
или

Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункти, условия его сходимости те же

Обработка результатов парных сравнений

Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:

  1.  Просто факт предпочтительности по сравнению с .
  2.  Балльную оценку этой предпочтительности.
  3.  Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
  4.  Во сколько раз объект предпочтительнее объекта .

1 - 3 типы можно свести к 4-му.

Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,

=>

=>

Матрица для которой выполняется условие (*) называется сверхтранзитивной.

Утверждение. Матрица является сверхтранзитивной тогда и только тогда, когда существует положительный вектор такой, что .

Элементы , определяющие элементы матрицы , можно трактовать как оценки степени предпочтительности объектов . Тогда выражает, во сколько раз предпочтительнее .

, где может быть или для любого .


 

А также другие работы, которые могут Вас заинтересовать

28329. Доверенность по гражданскому праву 15.53 KB
  Доверенность по гражданскому праву. Доверенность это документ выдаваемый представителю в целях определения характера и объема предоставляемых ему полномочий. Общая доверенность определяет полномочия на совершение разнообразных сделок и иных юридических действий на управление имуществом гражданина руководителю филиала юридического лица. Специальная доверенность необходима для совершения однородных действий на распоряжение вкладом на вождение автомобиля на ведение судебных и арбитражных дел.
28330. Защита гражданских прав: понятие, предмет и форма защиты 14.21 KB
  Защита гражданских прав: понятие предмет и форма защиты. Защита гражданских прав выражается в действиях субъектов права а также уполномоченных органов по предупреждению правонарушения или восстановлению нарушенных прав. Право на защиту выражается в применении мер имущественного характера и направлено на компенсацию восстановление существующего положения и реализуется в исковой форме в судебном порядке. Защита гражданских прав в административном порядке осуществляется лишь в случаях предусмотренных законом.
28331. Основные способы защиты гражданских прав 15.58 KB
  Выбор того или иного способа защиты определяется сущностью нарушенного права и характером нарушения. Признание права применяется в тех случаях когда необходимо устранить неопределенность в существовании субъективного права. В основном используется для защиты абсолютных прав права собственности авторства. Восстановление положения существовавшего до нарушения права применяется когда субъективное право в результате нарушения не прекратило своего существования например истребование собственником имущества из чужого незаконного владения.
28332. Самозащита гражданских прав 14.5 KB
  Самозащита гражданских прав. Под самозащитой гражданских прав понимается совершение управомоченным лицом действий фактического порядка направленных на защиту нарушенного права. В статье 12 ГК РФ самозащита определяется как способ защиты гражданских прав однако это форма защиты которая может осуществляться различными способами. Применение мер самозащиты допускается в основном для защиты абсолютных личных и имущественных прав жизни здоровья права собственности.
28333. Меры оперативного воздействия на нарушителя гражданских прав 16.7 KB
  Меры оперативного воздействия на нарушителя гражданских прав. Под мерами оперативного воздействия понимаются такие юридические средства которые применяются к нарушителю непосредственно управомоченной стороной гражданского правоотношения в одностороннем порядке без обращения за содействием к компетентным органам. Юрисдикционная форма защиты осуществляется различными управомоченными государством субъектами в судебном и административном порядке. Судебный порядок наиболее приспособлен к защите прав основанных на равенстве участников...
28334. Гражданско-правовая ответственность: понятие, особенности и виды 19.27 KB
  Среди мер защиты выделяют меры ответственности. Меры гражданскоправовой ответственности применяются при нарушении гражданских прав в большинстве случаев при неисполнении или ненадлежащем исполнении обязательств. Ответственности за нарушение обязательств посвящена гл. Меры ответственности отличаются от других мер защиты тем что они связаны с дополнительными обсеменениями для правонарушителя.
28335. Гражданско-правовая ответственность за неисполнение денежных обязательств 16.2 KB
  Статья 395 ГК РФ не применяется к отношениям сторон если они не связаны с использованием денег в качестве средства платежа средства погашения денежного долга см. В частности не являются денежными обязательства в которых денежные знаки используются не в качестве средства погашения денежного долга обязанности клиента сдавать наличные деньги в банк по договору на кассовое обслуживание обязанности перевозчика перевозящего денежные знаки и т. Проценты за пользование чужими средствами взимаются начиная со дня следующего за последним днем...
28336. Основание и условия ответственности по гражданскому праву 14.43 KB
  Для этого необходимо установить наличие определенных обстоятельств условий являющихся общими типичными для гражданских правонарушений. К числу таких общих условий гражданскоправовой ответственности относятся: 1 противоправный характер поведения действий или бездействия лица на которое предполагается возложить ответственность либо наступление иных специально предусмотренных законом или договором обстоятельств; 2 наличие у потерпевшего лица вреда или убытков; 3 причинная связь между противоправным поведением нарушителя и...
28337. Основания освобождения от гражданско-правовой ответственности. Случай и непреодолимая сила 14.98 KB
  Основания освобождения от гражданскоправовой ответственности. Правило о вине как условии ответственности предусмотренное в ст. В сфере предпринимательской деятельности обстоятельством освобождающим от ответственности является непреодолимая сила т. Еще одним общим условием освобождения от гражданскоправовой ответственности является умысел потерпевшего при наличии которого согласно п.