21706

Методы экспертного оценивания

Лекция

Информатика, кибернетика и программирование

5] Анализ компетентности экспертов по взаимооценкам [0.6] Анализ компетентности экспертов по оценкам объектов [0. Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий производимое группой экспертов. Например для 3х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

Русский

2013-08-03

136 KB

10 чел.

Методы экспертного оценивания

[0.1] Проблема группового выбора

[0.2] Некоторые затруднения

[0.3] Основные этапы экспертизы

[0.4] Анализ результатов оценки объектов

[0.5] Анализ компетентности экспертов по взаимооценкам

[0.6] Анализ компетентности экспертов по оценкам объектов

[0.7] Обработка результатов парных сравнений

Проблема группового выбора

Под групповым выбором понимается выработка согласованного группового решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.

Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий, производимое группой экспертов.

В простейшем случае предпочтение может быть задано упорядочением (ранжированием) объектов по убыванию их предпочтительности. Если же поддается оценке и относительная интенсивность предпочтительности каждого объекта , то предпочтение задается функцией , отображающей множество объектов в множество чисел.

Например, для 3-х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких как, например, эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат.

Некоторые затруднения

Если, например, индивидуальные оценки надежны и устойчивы, то в качестве групповой оценки можно взять среднее арифметическое (например, при оценивании участников соревнования по фигурному катанию).

Но реальные ситуации группового выбора могут отличаться от оценки выступлений спортсменов по крайней мере в двух отношениях:

  1.  Члены жюри могут придерживаться существенно разных и даже противоположных точек зрения в своих оценках. Например, оценки первого и второго экспертов, соответственно:

, , ; , , .

Наилучший средний результат - !

Для устранения таких расхождений на практике прибегают к различным процедурам обмена мнениями. При этом либо удается придти к какому-либо единому мнению, либо такие процедуры усиливают решимость экспертов остаться при своем мнении, тогда побеждают интересы руководства.

  1.  Вторая причина затруднений при групповом выборе связана с проблемой соизмерения предпочтений различных индивидуумов. В этом случае предлагают приводить все предпочтения к единому масштабу и началу отсчета. Например, наименее предпочтительному объекту ставят в соответствие 0, наиболее предпочтительному - 1, так что новые оценки будут иметь вид , где и - наибольшее и наименьшее .

Основные этапы экспертизы

Под экспертизой понимается проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения. Причем, в качестве приборов выступают люди. В основе всех методик лежит неявное предположение, что существует единое мнение.

В задачи экспертной комиссии часто входит не только оценка имеющихся объектов, но и построение самих объектов или их характеристик.

Экспертными комиссиями решаются 3 типа задач:

  1.  Оценка имеющихся объектов (например, оценка потребительского качества образцов промышленных изделий, рассмотрение проектов, участвующих в конкурсе, оценка того, может ли данный письменный текст принадлежать определенному лицу). Причем, оценка может быть скалярной и векторной.
  2.  Построение объектов. К задачам этого типа относятся, например, разработка "сценариев мирного развития" или конструирование системы признаков для оценки поведения человеческого коллектива.
  3.  Построение объектов и их оценка. Сюда входит разработка системы признаков для оценки систем некоторого типа и оценка весомости каждого признака.

После того как оцениваемые объекты зафиксированы, возникает проблема формирования экспертной комиссии. Особых научных рекомендаций здесь нет, поэтому пользуются соображениями здравого смысла в зависимости от целей, преследуемых организаторами экспертизы.

Обычно, когда речь идет о формировании "непредвзятого" мнения, привлекают наиболее квалифицированных специалистов из всех "конкурирующих" организаций.

Оценить квалификацию эксперта можно, предложив ему решить простую тестовую задачу. Но чаще решение о привлечении эксперта основывается на изучении его профессиональных характеристик, стажа, качества работы в данной области или же на основе оценок его компетентности другими.

Однако даже самый квалифицированный эксперт может проявить себя некомпетентным в данной конкретной экспертизе как из-за причин случайного характера, так и из-за отсутствия стимулов проявлять свою квалификацию в данной экспертизе.

После того, как экспертная комиссия сформирована, фиксируется процедура ее работы, т. е. способ экспертного оценивания и способ выражения экспертами своих оценок.

Процедура работы экспертной комиссии включает 2 крайних способа: анонимный опрос и устное обсуждение группой экспертов всех оценок.

После произведенной оценки производится обработка и анализ результатов экспертизы.

Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то экспертная комиссия свою задачу выполнила.

При сильно расходящихся мнениях в задачу анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки.

Если полученные результаты не дают возможности принять решение, то экспертиза повторяется после разъяснения имеющихся разногласий (обычно для "сходимости" достаточно 3-х туров).

При анализе точек зрения экспертов следует иметь в виду, что применение среднего бала нивелирует различия во мнениях экспертов. Средние оценки выражают общее мнение и не делают различий в индивидуальном опыте отдельных экспертов. Часто общие результаты тривиальны, например, усредненные оценки группы профанов совпадают с усредненными оценками группы специалистов. Поэтому, прежде необходимо выявить "некомпетентных" экспертов. Далее для изучения точек зрения экспертов можно в качестве показателя компетентности использовать характеристику того, насколько хорошо эксперт различает разные стороны оцениваемого качества объекта. Далее рассматриваются оценки основного показателя, данные оставшимися "компетентными" экспертами.

Пусть - вектор оценок - го эксперта. В - мерном пространстве можно составить группы близких векторов.

При этом у части экспертов близкие оценки, т.е. они придерживаются единой точки зрения, для определения которой производится анализ взаимосвязей оценок экспертов и общего показателя и оценок частных признаков. Среднее арифметическое оценок всех экспертов из данного класса представляет их точку зрения на оцениваемый объект. Принимающий решение может использовать как компетентную оценку, так и содержательную характеристику точек зрения.

Анализ результатов оценки объектов

Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их. На практике широко применяются два крайних типа оценок:

  1.  Когда эксперт сравнивает по предпочтительности все объекты одновременно.
  2.  Когда эксперт производит одновременное сравнение только 2-х объектов.

Рассматриваем, например, 1-й случай.

Простейший способ групповой оценки - вычисление средних баллов , - оценка -го объекта -м экспертом. Если учесть реальное "неравенство" экспертов, то , - показатели компетентности, отражающие насколько близки оценки к "истинным". Их определяют на основе само и взаимооценок.

Часто для оценки сложного показателя для облегчения работы экспертов его расчленяют.

Если - оценка весомости -го признака, определенная -м экспертом, а - весовые коэффициенты, показывающие, насколько сильно -й признак "выражает" измеряемый общий показатель, то

, ,

где - оценка -го объекта по каждому -ому признаку -м экспертом.

Анализ компетентности экспертов по взаимооценкам

Пример:

- матрица выигрышей 5 команд (0 - проигрыш, 1 - ничья, 2 - выигрыш).

Распределение очков: . Кажется несправедливым. что первая команда, выигравшая у лидера, находится на последнем месте.

Если к очкам каждой прибавить очки тех, с кем у нее была ничья, и удвоить количество очков победителю, то . Продолжая процедуру, получим итерационный процесс , где - матрица самооценок и взаимных оценок. Начиная с некоторого шага распределение мест стабилизируется.

Определение. - разложимая матрица, если : , . Это означает, что все эксперты из считаются некомпетентными экспертами из . Это недопустимо при работе экспертной комиссии.

Теорема. Неотрицательная неразложимая матрица обязательно имеет вещественное положительное собственное число , превосходящее модули всех остальных ее собственных чисел; ему соответствует собственный вектор - положительный, и любой другой собственный вектор имеет отрицательную компоненту.

Для неотрицательной неразложимой матрицы к этому вектору сходится итерационный процесс

, , => ,
, , .

соответствующий рассмотренной процедуре

Анализ компетентности экспертов по оценкам объектов

Пример:

(номера столбцов соответствуют номерам экспертов, строк - объектов).






,
- нормированный
,
или

Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункти, условия его сходимости те же

Обработка результатов парных сравнений

Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:

  1.  Просто факт предпочтительности по сравнению с .
  2.  Балльную оценку этой предпочтительности.
  3.  Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
  4.  Во сколько раз объект предпочтительнее объекта .

1 - 3 типы можно свести к 4-му.

Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,

=>

=>

Матрица для которой выполняется условие (*) называется сверхтранзитивной.

Утверждение. Матрица является сверхтранзитивной тогда и только тогда, когда существует положительный вектор такой, что .

Элементы , определяющие элементы матрицы , можно трактовать как оценки степени предпочтительности объектов . Тогда выражает, во сколько раз предпочтительнее .

, где может быть или для любого .


 

А также другие работы, которые могут Вас заинтересовать

30506. Процессы и потоки. Объекты межпроцессной синхронизации. Понятие гонок и взаимной блокировки 56.12 KB
  Понятие гонок и взаимной блокировки Доска Ответ В компьютерных науках поток выполнения англ. Реализация потоков выполнения и процессов в разных операционных системах отличается друг от друга но в большинстве случаев поток выполнения находится внутри процесса. Несколько потоков выполнения могут существовать в рамках одного и того же процесса и совместно использовать ресурсы такие как память тогда как процессы не разделяют этих ресурсов. В частности потоки выполнения разделяют инструкции процесса его код и его контекст значения...
30507. Процессы и потоки. Объекты межпроцессорной синхронизации. Понятие гонок и взаимной блокировки 24.85 KB
  Несколько потоков выполнения могут существовать в рамках одного и того же процесса и совместно использовать ресурсы такие как память тогда как процессы не разделяют этих ресурсов. dedlock ситуация в многозадачной среде или СУБД при которой несколько процессов находятся в состоянии бесконечного ожидания ресурсов занятых самими этими процессами. Процессы в текущий момент удерживают полученные ранее ресурсы могут делать запросы на получение новых ресурсов. Условие отсутствия принудительного освобождения ресурсов англ.
30508. Сравнение компонентно-объектной модели, среды .NET и Java. Их преимущества и недостатки 25.5 KB
  Идеология .NET заключается в максимально полном использовании ресурсов платформы, на которой работает среда выполнения .NET. В результате возможности Java ограничены усредненным набором функций API виртуальной машины, и программистам на Java недоступны все функции той или иной платформы, на которой выполняются приложения
30510. Определение иерархической и реляционной модели, их достоинства и недостатки. Основные операции реляционной алгебры. Общий процесс преобразования ER-диаграммы в реляционную схему 87.94 KB
  Пример табличной формы представления отношения Номер зачетной книжки Дисциплина Оценка C12298 Программирование 5 C1229891 Дискретная математика 4 C14407 Программирование 3 . Элементы отношения называют кортежами или записями. Каждый кортеж отношения соответствует одному экземпляру сущности определённого типа. Операции реляционной алгебры ВЫБОРКАНа входе используется одно отношение результат новое отношение построенное по той же схеме содержащее подмножество кортежей исходного отношения удовлетворяющих условию выборки.
30511. Структурированный язык запросов SQL. История создания языка SQL. Подмножество SQL - Data Definition Language (DDL). Модификация схем базы данных . Стандартные типы данных. Вычисляемые столбцы. Подмножество SQL - Data Query Language (DQL) 65.5 KB
  Модификация схем базы данных . Стандартные типы данных. Доска то что выделено курсивом устно Язык SQL имеет два основных компонента: язык DDL Dt Definition Lnguge предназначенный для определения структур базы данных; язык DML Dt Mnipultion Lnguge предназначенный для выборки и обновления данных. Для определения данных символьного типа используется следующий формат: CHRCTER [VRYING] [length] Битовые данные тип bit Битовый тип данных используется для определения битовых строк т.
30512. Синтаксис оператора SELECT. Обзор его подразделов (списка выборки, секций FROM, WHERE, GROUP BY, HAVING, OREDER BY).. Способы упорядочивания итогового набора в секции OREDER BY 23.79 KB
  SELECT селект оператор DML языка SQL возвращающий набор данных выборку из базы данных удовлетворяющих заданному условию. При формировании запроса SELECT пользователь описывает ожидаемый набор данных: его вид набор столбцов и его содержимое критерий попадания записи в набор группировка значений порядок вывода записей и т. Синтаксис оператора SELECT SELECT column_list FROM tble_nme [WHERE условие] [GROUP BY условие] [HVING условие] [ORDER BY условие] SELECT Ключевое слово которое сообщает базе данных о том что оператор является...
30513. Разделение ресурса 68.3 KB
  Способы решения проблемы гонок: Локальная копия Синхронизация Метод блокирующей переменной Метод строгого чередования Алгоритм Деккера Алгоритм Петерсона Комбинированный способ Локальная копия Самый простой способ решения копирование переменной x в локальную переменную. В общем виде алгоритм выглядит следующим образом: Поток: while stop { synchronizedSomeObject { {criticl_section} } } Метод блокирующей переменной Суть метода состоит в том что если значение этой переменной равно например 1 то ресурс занят другим...