21706

Методы экспертного оценивания

Лекция

Информатика, кибернетика и программирование

5] Анализ компетентности экспертов по взаимооценкам [0.6] Анализ компетентности экспертов по оценкам объектов [0. Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий производимое группой экспертов. Например для 3х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

Русский

2013-08-03

136 KB

11 чел.

Методы экспертного оценивания

[0.1] Проблема группового выбора

[0.2] Некоторые затруднения

[0.3] Основные этапы экспертизы

[0.4] Анализ результатов оценки объектов

[0.5] Анализ компетентности экспертов по взаимооценкам

[0.6] Анализ компетентности экспертов по оценкам объектов

[0.7] Обработка результатов парных сравнений

Проблема группового выбора

Под групповым выбором понимается выработка согласованного группового решения о порядке предпочтения рассматриваемых объектов на основе индивидуальных мнений членов группы.

Типичные ситуации группового выбора: распределение конкурсной комиссией поощрений; обсуждение и согласование нескольких альтернативных законопроектов; ранжирование по перспективности внедрения образцов новых промышленных изделий, производимое группой экспертов.

В простейшем случае предпочтение может быть задано упорядочением (ранжированием) объектов по убыванию их предпочтительности. Если же поддается оценке и относительная интенсивность предпочтительности каждого объекта , то предпочтение задается функцией , отображающей множество объектов в множество чисел.

Например, для 3-х объектов предпочтение одного из экспертов или он может количественно выразить интенсивность ; ; .

В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов, таких как, например, эмоциональное состояние членов экспертной комиссии во время выработки решения. Даже порядок выступлений в дискуссии может существенно повлиять на результат.

Некоторые затруднения

Если, например, индивидуальные оценки надежны и устойчивы, то в качестве групповой оценки можно взять среднее арифметическое (например, при оценивании участников соревнования по фигурному катанию).

Но реальные ситуации группового выбора могут отличаться от оценки выступлений спортсменов по крайней мере в двух отношениях:

  1.  Члены жюри могут придерживаться существенно разных и даже противоположных точек зрения в своих оценках. Например, оценки первого и второго экспертов, соответственно:

, , ; , , .

Наилучший средний результат - !

Для устранения таких расхождений на практике прибегают к различным процедурам обмена мнениями. При этом либо удается придти к какому-либо единому мнению, либо такие процедуры усиливают решимость экспертов остаться при своем мнении, тогда побеждают интересы руководства.

  1.  Вторая причина затруднений при групповом выборе связана с проблемой соизмерения предпочтений различных индивидуумов. В этом случае предлагают приводить все предпочтения к единому масштабу и началу отсчета. Например, наименее предпочтительному объекту ставят в соответствие 0, наиболее предпочтительному - 1, так что новые оценки будут иметь вид , где и - наибольшее и наименьшее .

Основные этапы экспертизы

Под экспертизой понимается проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения. Причем, в качестве приборов выступают люди. В основе всех методик лежит неявное предположение, что существует единое мнение.

В задачи экспертной комиссии часто входит не только оценка имеющихся объектов, но и построение самих объектов или их характеристик.

Экспертными комиссиями решаются 3 типа задач:

  1.  Оценка имеющихся объектов (например, оценка потребительского качества образцов промышленных изделий, рассмотрение проектов, участвующих в конкурсе, оценка того, может ли данный письменный текст принадлежать определенному лицу). Причем, оценка может быть скалярной и векторной.
  2.  Построение объектов. К задачам этого типа относятся, например, разработка "сценариев мирного развития" или конструирование системы признаков для оценки поведения человеческого коллектива.
  3.  Построение объектов и их оценка. Сюда входит разработка системы признаков для оценки систем некоторого типа и оценка весомости каждого признака.

После того как оцениваемые объекты зафиксированы, возникает проблема формирования экспертной комиссии. Особых научных рекомендаций здесь нет, поэтому пользуются соображениями здравого смысла в зависимости от целей, преследуемых организаторами экспертизы.

Обычно, когда речь идет о формировании "непредвзятого" мнения, привлекают наиболее квалифицированных специалистов из всех "конкурирующих" организаций.

Оценить квалификацию эксперта можно, предложив ему решить простую тестовую задачу. Но чаще решение о привлечении эксперта основывается на изучении его профессиональных характеристик, стажа, качества работы в данной области или же на основе оценок его компетентности другими.

Однако даже самый квалифицированный эксперт может проявить себя некомпетентным в данной конкретной экспертизе как из-за причин случайного характера, так и из-за отсутствия стимулов проявлять свою квалификацию в данной экспертизе.

После того, как экспертная комиссия сформирована, фиксируется процедура ее работы, т. е. способ экспертного оценивания и способ выражения экспертами своих оценок.

Процедура работы экспертной комиссии включает 2 крайних способа: анонимный опрос и устное обсуждение группой экспертов всех оценок.

После произведенной оценки производится обработка и анализ результатов экспертизы.

Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то экспертная комиссия свою задачу выполнила.

При сильно расходящихся мнениях в задачу анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки.

Если полученные результаты не дают возможности принять решение, то экспертиза повторяется после разъяснения имеющихся разногласий (обычно для "сходимости" достаточно 3-х туров).

При анализе точек зрения экспертов следует иметь в виду, что применение среднего бала нивелирует различия во мнениях экспертов. Средние оценки выражают общее мнение и не делают различий в индивидуальном опыте отдельных экспертов. Часто общие результаты тривиальны, например, усредненные оценки группы профанов совпадают с усредненными оценками группы специалистов. Поэтому, прежде необходимо выявить "некомпетентных" экспертов. Далее для изучения точек зрения экспертов можно в качестве показателя компетентности использовать характеристику того, насколько хорошо эксперт различает разные стороны оцениваемого качества объекта. Далее рассматриваются оценки основного показателя, данные оставшимися "компетентными" экспертами.

Пусть - вектор оценок - го эксперта. В - мерном пространстве можно составить группы близких векторов.

При этом у части экспертов близкие оценки, т.е. они придерживаются единой точки зрения, для определения которой производится анализ взаимосвязей оценок экспертов и общего показателя и оценок частных признаков. Среднее арифметическое оценок всех экспертов из данного класса представляет их точку зрения на оцениваемый объект. Принимающий решение может использовать как компетентную оценку, так и содержательную характеристику точек зрения.

Анализ результатов оценки объектов

Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их. На практике широко применяются два крайних типа оценок:

  1.  Когда эксперт сравнивает по предпочтительности все объекты одновременно.
  2.  Когда эксперт производит одновременное сравнение только 2-х объектов.

Рассматриваем, например, 1-й случай.

Простейший способ групповой оценки - вычисление средних баллов , - оценка -го объекта -м экспертом. Если учесть реальное "неравенство" экспертов, то , - показатели компетентности, отражающие насколько близки оценки к "истинным". Их определяют на основе само и взаимооценок.

Часто для оценки сложного показателя для облегчения работы экспертов его расчленяют.

Если - оценка весомости -го признака, определенная -м экспертом, а - весовые коэффициенты, показывающие, насколько сильно -й признак "выражает" измеряемый общий показатель, то

, ,

где - оценка -го объекта по каждому -ому признаку -м экспертом.

Анализ компетентности экспертов по взаимооценкам

Пример:

- матрица выигрышей 5 команд (0 - проигрыш, 1 - ничья, 2 - выигрыш).

Распределение очков: . Кажется несправедливым. что первая команда, выигравшая у лидера, находится на последнем месте.

Если к очкам каждой прибавить очки тех, с кем у нее была ничья, и удвоить количество очков победителю, то . Продолжая процедуру, получим итерационный процесс , где - матрица самооценок и взаимных оценок. Начиная с некоторого шага распределение мест стабилизируется.

Определение. - разложимая матрица, если : , . Это означает, что все эксперты из считаются некомпетентными экспертами из . Это недопустимо при работе экспертной комиссии.

Теорема. Неотрицательная неразложимая матрица обязательно имеет вещественное положительное собственное число , превосходящее модули всех остальных ее собственных чисел; ему соответствует собственный вектор - положительный, и любой другой собственный вектор имеет отрицательную компоненту.

Для неотрицательной неразложимой матрицы к этому вектору сходится итерационный процесс

, , => ,
, , .

соответствующий рассмотренной процедуре

Анализ компетентности экспертов по оценкам объектов

Пример:

(номера столбцов соответствуют номерам экспертов, строк - объектов).






,
- нормированный
,
или

Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункти, условия его сходимости те же

Обработка результатов парных сравнений

Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:

  1.  Просто факт предпочтительности по сравнению с .
  2.  Балльную оценку этой предпочтительности.
  3.  Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
  4.  Во сколько раз объект предпочтительнее объекта .

1 - 3 типы можно свести к 4-му.

Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,

=>

=>

Матрица для которой выполняется условие (*) называется сверхтранзитивной.

Утверждение. Матрица является сверхтранзитивной тогда и только тогда, когда существует положительный вектор такой, что .

Элементы , определяющие элементы матрицы , можно трактовать как оценки степени предпочтительности объектов . Тогда выражает, во сколько раз предпочтительнее .

, где может быть или для любого .


 

А также другие работы, которые могут Вас заинтересовать

74897. Складання і розв’язування прикладів на додавання та віднімання. Урок-винахідник 80.5 KB
  Урок дає можливість розвивати творчу уяву учнів логічне мислення винахідливість та вміння співпрацювати в групах парах та індивідуально викликає великий інтерес до опереджувального навчання. Лісова школа Зайчику 1 група розвязати приклади на 1 дію Їжачку 2 група розвязати приклади в яких більше ніж одна дія...
74898. Сложение вида 46+4. Решение составных задач. Геометрический материал. Урок математики, 2-й класс 88 KB
  Учитель проводит математический диктант учащиеся записывают полученные выражения в тетради. Дальше по лесу идём и встречаем зайчика который не может решить пример. Кто из вас поможет ему решить такой пример учащиеся в группах находят решение этого примера а затем спикер из любой группы объясняет решение этого примера у доски. Из каких геометрических фигур он состоит учащиеся называют...
74899. Сложение двузначных чисел без перехода через десяток 55.5 KB
  Оборудование: снежинки на которых написаны этапы уроков Дед Мороз карточки наглядность для устного счёта. Ребята какой долгожданный всеми любимый праздник скоро наступит Новый год Вот к нам на урок и заглянул Дед Мороз. Интересно какие задания приготовил для нас Дед Мороз. Ну что посмотрим Проверка домашнего задания Снежинка №1 Дед Мороз желает узнать как мы выполнили домашнее задание.
74900. Узагальнена таблиця додавання і віднімання одноцифрових чисел. Задачі на дві дії 162.5 KB
  Учитель: Любі діти У наш клас Завітали гості щирі Привітайте в добрий час Гостей посмішкою й миром Девіз нашого уроку: Працюй наполегливо швидко старанно щоб жодна хвилинка не тратилась марно ІІ. Сьогодні діти ми з детективом у мандрівку вирушаємо Узагальнюючу таблицю додавання і віднімання одноцифрових чисел вивчаємо. Діти ведуть очима. Але нитка обірвалась біля дерева на якому сидить працьовитий дятел Діти хто з вас знає чому дятел стукає по дереву Як називають...
74901. Вправи та задачі на додавання круглих десятків. Задачі на знаходження третього доданка 44 KB
  Сьогодні у нас незвичайний урок і тому я хочу щоб ви: Слайд Не просто слухали а чули Не просто дивилися а бачили Не просто відповідали а міркували Дружно й плідно працювали. Слайд Отже нашого героя звуть Капітошка. Слайд 1 краплинка нам пропонує Усний рахунок. Робота з фішками Яку дію потрібно робити щоб знайти суму Різницю Зменшити на Збільшити на Слайд 2 краплинка принесла Математичний диктант Записати числа: 3 дес.
74902. Множення і ділення на 2-9. Розв`язання текстових задач 37.5 KB
  Перевірка домашнього завдання. В ній наше домашнє завдання. Який кінцевий результат Який порядок дій у виразах з дужками Молодці Ви гарно справилися із завданням. Завдання наступної папки потребує вашої уваги і так як цей матеріал опрацьований нами зовсім недавно то вам потрібна буде і взаємодопомога.
74903. Складання таблиці множення числа 3. Приклади і задачі на дві дії різного ступеня 71.5 KB
  З цим завданням ви справились і ось розквітла перша квіточка на нашій конвалії. Ось у нас зявилась ще одна квіточка на конвалії. Ось зявилась ще одна квіточка на конвалії. Зявилась ще одна квіточка.
74904. Тиждень – сім діб. Дні тижня. Розв’язування прикладів і задач. Математика. 2 клас 66.5 KB
  І щоб ліс чарівний зимовий впустив нас до себе вам потрібно відповісти на такі питання: Скільки мам у кожної дитиниодна Скільки очей у людейдвоє Скільки вогників у світлофоратроє Скільки пальців на руціпять Скільки ніг у бджілкишість Скільки кольорів у веселкиСім Скільки різних використовується для запису чисел 2. Яка 3 Порахуйте скільки цифр 3 зображено на малюнку і покажіть їх. Скільки всього грошей стало у бджілки Короткий запис задачі: Мама 15 грн.
74905. Закріплення прийому загального випадку віднімання двоцифрових чисел. Творча робота над задачею 59.5 KB
  Закріпити вивчені прийоми додавання і віднімання двоцифрових чисел з переходом через 10. Розвивати вміння аналізувати і розв’язувати задачі. Продовжувати формувати обчислювальні навички дітей. Розвивати логічне мислення. Виховувати бережливість.