22187

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

Лекция

Информатика, кибернетика и программирование

Групповая экспертная оценка объектов при непосредственном оценивании. В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи: построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов; построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов; определение относительных весов взаимосвязи объектов; определение зависимостей между ранжировками; определение согласованности мнений экспертов; оценка надежности обработки...

Русский

2013-08-04

310 KB

69 чел.

ЛЕКЦИЯ №6

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

1. Задачи обработки.

2. Групповая экспертная оценка объектов при непосредственном оценивании.

3. Обработка парных сравнений.

4. Определение обобщенных ранжировок.

1. Задачи обработки.

В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:

  1.  построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;

построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;

определение относительных весов взаимосвязи объектов;

определение зависимостей между ранжировками;

определение согласованности мнений экспертов;

оценка надежности обработки результатов.

При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.

Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения - различные цели, а объекты сравнения - средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.

2. Групповая экспертная оценка объектов при непосредственном оценивании.

Существует множество подходов к решению данной задачи. С целью иллюстрации рассмотрим один из простейших. Пусть m экспертов провели оценку n объектов по l показателям. Результаты оценивания представлены величинами , где i - номер объекта, j - номер эксперта, h - номер показателя. Величины , полученные методам непосредственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.

В качестве групповой оценки для каждого из объектов можно принять среднее взвешенное значение его оценки

                                   (6)

где qh - коэффициенты весов показателей сравнения объектов,  kj - коэффициенты компетентности экспертов. Величины qh и kj являются нормированными, то есть

.

Коэффициенты qh могут быть определены экспертным путем, как средний коэффициент веса h-ого показателя по всем экспертам, то есть

.

Возможность получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:

аксиом теории полезности фон Неймана-Моргенштерна для индивидуальных и групповых оценок [3];

и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [4].

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность эксперта должна оцениваться по степени согласованности его оценок с групповой оценкой объектов.

Для упрощения дальнейшего изложения, ограничимся рассмотрением случая h=1. То есть когда групповое оценивание объектов проводится на основе только одного показателя. Алгоритм вычисления групповых оценок и коэффициентов компетентности экспертов для этого случая имеет вид:

а) начальные условия при t=0

,

т.е. начальное значение коэффициентов компетентности для всех экспертов принимается одинаковым и равным.

б) рекуррентные соотношения для t=1,2,3 ...

- групповая оценка для i-ого объекта на t-ом шаге на основе индивидуальных оценок xij.

- нормировочный коэффициент

- коэффициенты компетентности j-ого эксперта на t-ом шаге

- коэффициенты компетентности  m-ого эксперта из условия нормировки.

в) признак окончания итерационного процесса

.

Сходимость данной итерационной процедуры доказана в литературе для случая, когда индивидуальные оценки неотрицательны, а эксперты и объекты не распадаются на отдельные группы (то есть когда каждая группа экспертов не оценивает объекты своей группы). В большинстве практических задач эти условия выполняются, что доказывает сходимость алгоритма [5].

Пример. Три эксперта (m=3) оценили значение двух мероприятий (n=3) по степени их влияния на решение одной из проблем (l=1). Результатами экспертизы явились нормированные оценки мероприятий x1j+x2j=1, j=1,2,3.

xij

Эксперт 1

Эксперт 2

Эксперт 3

Мероприятие 1

0,3

0,5

0,2

Мероприятие 2

0,7

0,5

0,8

Вычислим групповые оценки мероприятий, приводящих к решению проблемы и коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е=0,001.

Средние оценки объектов первого приближения (при t=1) будут равны:

      x1 =(0,333;0,667)

Вычислим нормировочный коэффициент 1 :

Значение коэффициентов компетентности первого приближения примут значения:

и тогда   k1 =(0,34;0,30;0,36)

Вычисляя групповые оценки второго и т.д. приближения, получим:

 

Результат третьего шага удовлетворяет условию окончания итерационного процесса  и за значение групповой оценки принимается x  x3 = (0,3235; 0,6765).

3. Обработка парных сравнений.

При установлении причинно-следственных зависимостей между объектами предметной области, экспертам в ряде случаев сложно выразить их численно. То есть трудно установить количественно степень влияния той или иной причины (объекта) на конкретное следствие. Особенно психологически это сложно, если таких объектов много.

Вместе с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперт устанавливает предпочтения объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все возможные пары объектов, в каждой из них устанавливает ту причину, которая по его мнению оказывает большое влияние на следствие. Возникает вопрос, как получить оценку всей совокупности объектов на основе результатов парного сравнения, выполненного группой экспертов.

Пусть каждый из m экспертов производит оценку влияния на результат всех пар объектов, давая числовую оценку

 

где h=1,2,...m - номер эксперта, i,j=1,2,...n - номера объектов, исследуемых при экспертизе. Т. е. по результатам экспертизы имеем m-таблиц (матриц) вида (рис.7):

Rm

O1

...

Oj

...

On

R2

O1

...

Oj

...

On

O1

...

Oj

...

On

K

R1

O1

...

Oj

...

On

O1

K1

O1

...

...

...

Oi

xij=M[rij]

Ki

Oi

rij1

...

...

...

On

Kn

On

m

Рис.7. Последовательность обработки парных сравнений

Как следует из рис.7 последовательность обработки парных сравнений заключается в том, что на основании таблиц парных сравнений  m-экспертов  строится матрица математических ожиданий оценок всех пар объектов. Затем по этой матрице вычисляется вектор коэффициентов относительной важности объектов.

Если при оценке пары Oij из общего количества экспертов mi высказались в пользу предпочтение Oi , mj экспертов в пользу Oj , а mp считает эти объекты равноправными, то оценка математического ожидания дискретной случайной величины rij будет равна:

.

Т.к. общее количество экспертов, то определяя отсюда mp и подставляя его в вышеприведенное выражение, получим

.

Очевидно, что хij + хji = 1. Совокупность величин хij образуют матрицу Х=||хij|| размерности n x n, на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор

k = [k1, k2, ... kn]T

Одним из способов определения значений элементов вектора К является итерационный алгоритм вида:

а) начальное условие t=0

 

б) рекуррентные соотношения

 

где Х - матрица математических ожиданий оценок пар объектов, kt - вектор

коэффициентов относительной важности объектов порядка t.

 - условие нормировки.

в) признак окончания  ||kt - kt-1||<E.

Если матрица Х неотрицательна и неразложима (то есть путем перестановки строк и столбцов ее нельзя привести к треугольному виду), то при увеличении порядка t   величина t сходится к максимальному собственному числу матрицы Х, то есть

.

Это утверждение следует из теоремы Перрона-Фробениуса и доказывает сходимость приведенного выше алгоритма [6].

Пример. Предположим, что в результате опроса трех (m=3) экспертов о степени влияния на результат трех (n=3) различных факторов (объектов) получены следующие таблицы парных сравнений:

Экспетр 1(R1)   Эксперт 2(R2)  Эксперт 3(R3)

О1

О2

О3

О1

О2

О3

О1

О2

О3

О1

0,5

1

1

О1

0,5

0,5

0,5

О1

0,5

1

0,5

О2

0

0,5

0

О2

0,5

0,5

0,5

О2

0

0,5

0

О3

0

1

0,5

О3

0,5

0,5

0,5

О3

0,5

1

0,5

Для получения групповой оценки степени влияния каждого из объектов на результат, построим матрицу математических ожиданий оценок каждой из пар объектов, которая для рассматриваемого примера будет иметь вид:

О1

О2

О3

О1

3/6

5/6

4/6

О2

1/6

3/6

1/6

О3

2/6

5/6

3/6

Значения элементов этой матрицы получены из следующих выражений:

Воспользуемся вышеописанным алгоритмом для получения вектора относительной важности объектов. Для наглядности, каждый из шагов представим в виде:

шаг 0:

шаг 1:

шаг 2:

Продолжая итерационный процесс до тех пор, пока норма оценки не будет меньше заданной ( (|Kit - Kit-1|) < 0,001) получим

На четвертом шаге выполняется условие выхода, что позволяет за групповую оценку степени влияния на результат принять вектор коэффициентов относительной важности объектов вида:

4. Определение обобщенных ранжировок.

При групповой экспертной оценке каждому i-ому объекту каждый из j-ых экспертов присваивает rij . В результате проведения экспертного оценивания получается матрица рангов || rij || размерности n x m, где n - число объектов (), а m - число экспертов ().

Самый простейший способ получения обобщенной ранжировки заключается в ранжировании объектов по величине сумм рангов, полученных каждым объектов от всех экспертов. В этом случае для матрицы ранжировок || rij || вычисляются суммы:

.

Далее объекты упорядочиваются по цепочке неравенств rk < rl < . . .<rq, где , , ... , . Отсюда следует обобщенная ранжировка объектов

Ok  Ol  ...  Oq.

Для учета компетентности экспертов достаточно умножить i-ю ранжировку на коэффициенты компетентности j-го эксперта 0  kj  1. В этом случае вычисление суммы рангов для i-ого объекта производится по формуле

,

что позволяет упорядочить объекты по цепочке неравенств. Следует отметить, что построение таких обобщенных ранжировок является корректной процедурой только в том случае, если ранги назначаются как места объектов в виде натуральных чисел 1,2,...,n.

Однако ранги объектов определяют только порядок расположение объектов по показателям сравнения. Ранги как числа не дают возможность сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если ранг 3, то отсюда не следует делать вывод о том, что объект, с рангом 1, в три раза предпочтительнее, чем объект, имеющий ранг, равный трем.

Вместе с тем для использования в ЭС знаний, полученных от экспертов, необходимо не только упорядочение или ранжирование объектов по степени их влияния или воздействия на какой-либо результат, но и определение количественной оценки степени влияния каждого из объектов на результат.

Простейшим методом для реализации этой задачи является подход, основанный на построении обобщенной ранжировки путем перехода от матрицы ранжировок к матрице парных сравнений. Для этого на основе матрицы || rij || строится m матриц парных сравнений Rj (j=1,2,...,m), где m - число экспертов. Элементы этих матриц определяются следующим образом:

 

где j - номер эксперта, i и k - номера сравниваемых объектов.

Затем к полученным матрицам парных сравнений всех экспертов применяется рассмотренный ранее метод обработки парных сравнений. Его итерационная процедура позволяет получить коэффициенты относительной важности объектов по степени их влияния на результат. Проиллюстрируем применение этого подхода на примере.

Пример. Пусть три эксперта (m=3) провели ранжировку трех объектов (n=3) по степени их влияния на какой-либо результат и таблица ранжировок имеет вид:

Объект Оi

Эксперт 1

Эксперт 2

Эксперт 3

О1

1

1

2

О2

2

3

1

О3

3

2

3

На основе этой таблицы матрица парных сравнений для первого эксперта будет иметь вид:

Аналогичные матрицы парных сравнений для второго и третьего эксперта будут иметь вид:

;

Используя метод обработки парных сравнений получим последовательность векторов коэффициентов относительной важности объектов:

Шаг

К1

К2

К3

0

1,0

1,0

1,0

1

0,481

0,330

0,185

2

0,489

0,346

0,156

3

0,5

0,348

0,152

4

0,5

0,349

0,151

Итерационная процедура с заданной точностью (Е=0,001) является сходящейся на четвертом шаге к значениям:

,

что позволяет оценить количественно степень влияния каждого объекта на результат, полученный на основе исходного ранжирования экспертов.

3.5. Замечания к определению групповых оценок.

Все рассмотренные методы получения групповых оценок позволяют получить достоверные результаты в случае хорошо подобранной группы экспертов и согласованности их мнений. Если это не так, то встает задача определения количественной оценки степени согласованности экспертов. Получение количественной меры позволяет более обоснованно интерпретировать причины в расхождении мнений.

Для оценки меры согласованности мнений группы экспертов используют, в частности, дисперсионный и энтропийный коэффициенты конкордации [5]. Кроме этого, при обработке результатов ранжирования могут возникать задачи:

определения зависимости между ранжировками двух экспертов;

связи между достижением двух различных целей при решении одной и той же совокупности проблем;

взаимосвязи между признаками (объектами).

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена [5] и Кендалла [5].


 

А также другие работы, которые могут Вас заинтересовать

24358. Постпозитивизм. Характеристика взглядов К.Поппера (принцип фальсификации); И.Лакатоса (роль научной программы); Т.Кун (парадигма и революции в науке); Г.Фейерабенд (принцип пролиферации); М.Полани (2 типа знаний, личное знание) 130 KB
  Понимание предмета философии науки в критическом рационализме К. С точки зрения критического рационализма предметом философии науки является изучение не высказываний а наука как целостная динамичная развивающая система. А это значит что философия не только оказывает стимулирующее негативное или позитивное воздействие на науку но философские положения органически входят в тело науки.Поппер исходил из предпосылки что законы науки не выражаются аналитическими суждениями и в то же время не сводимы к наблюдениям.
24359. Проблема интернализма и экстернализма в понимании механизмов научной деятельности 54.5 KB
  60 Движущие силы развития научного познания: интернализм и экстернализм а Интернализм Что является движущими силами развития научного знания При ответе на этот вопрос исследователь сталкивается с двойственным характером существования и движения научного знания. Они развиваются по внутренней логике: вытекают одна из другой обосновывают друг друга и образуют единую систему знания. С другой стороны исследователь не может не учитывать того обстоятельства что производит эти знания конкретный субъект ученый научное сообщество и что их...
24360. Предмет философии науки: общие закономерности научного познания в его историческом развитии и изменяющемся социокультурном контексте 54.5 KB
  Функции науки культурная технологическая наука как фактор соц регуляции проективно конструктивная экологическая Научное познание процесс получения объективного истинного знания направленного на отражение закономерности действительности. 9 Предмет и структура философии науки Специфика предмета науки определяется в ходе исследовательской деятельности. Поэтому представление о предмете философии науки в истории развития этой отрасли знания существенно меняется.
24361. Наука и культура. Традиционалистический и техногенный тип цивилизации. Ценность научной рациональности 53.5 KB
  Тема соотношения науки и культуры обширна здесь много деталей но общий механизм их взаимодействия таков: наука выявляя законы изменения природных и социальных процессов становится необходимым условием их управления воздействует на потребности общества помогает человечеству в выборе жизненных стратегий поиске путей культурного развития. Надежность влияния культуры на науку подчеркивает хотя бы тот факт что не всякая культура способна продуцировать науку: многие культуры в истории человечества в частности культура майя обходились без...
24362. Соотношение науки и философии 100.5 KB
  Первые пять вопросов получили впоследствии в философии название онтологических или метафизических первый смысл этого понятия проблем. Шестой вопрос гносеологические вопросы философии: философия вырабатывает положения являющиеся базисными для познающего мир о глобальности и абсолютности материи о постоянном развитии мира в целом и отдельных его частей о сотканности мира из противоречий о маятникообразности всех процессов относительно положения равновесия о несводимости закона целого к законам его частей и др. И если на какомто...
24363. Единство и различие науки и искусства 60 KB
  Он же положил начало тенденции рассматривать поэзию в качестве главной составляющей искусства. Белинский утверждал что наука живая современная наука сделалась пестуном искусства и без нее немощно вдохновение бессилен талант. Новый виток обсуждения взаимоотношений науки и искусства связан с огромными достижениями науки и искусства XX столетия.
24364. Наука и обыденное познание 52 KB
  Наряду с научным художественным философским существует обыденное сознание познание. Эксперты отмечают сложность четкой структуризации понятия обыденное знание. К обыденным знаниям относят: практические знания необходимые человеку для решения повседневных задач основанные на здравом смысле умения навыки социальный опыт; исторически первый способ идеального отражения в форме мифологического знания; обыденное массовое сознание в форме стихийного массового опыта и др.
24365. Наука и религия в современной культуре 62 KB
  Научное и религиозное познание Для целей нашего исследования представляет определенный интерес и сопоставление научного и религиозного познания. В общественном сознании россиян под влиянием атеистической критики религии сложилось представление о противоположности и даже несовместимости науки и религии религиозного и научного познания. В рамках данного раздела мы не имеем возможности исследовать все эти грани а сконцентрируем преимущественное внимание на сопоставлении специфики научного и религиозного познания. И именно эта специфичность...
24366. Роль науки в современном образовании и формировании личности 32.5 KB
  Образовательный процесс выступает в качестве исходной территории на которой происходит встреча индивида и науки подготовка его к жизнедеятельности в данном обществе и формирование зрелой личности. Образование необходимая ступень социализации личности. Образование подразумевает не только процесс передачи знания но и процесс окультурования личности самого учащихся.