22187

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

Лекция

Информатика, кибернетика и программирование

Групповая экспертная оценка объектов при непосредственном оценивании. В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи: построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов; построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов; определение относительных весов взаимосвязи объектов; определение зависимостей между ранжировками; определение согласованности мнений экспертов; оценка надежности обработки...

Русский

2013-08-04

310 KB

69 чел.

ЛЕКЦИЯ №6

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

1. Задачи обработки.

2. Групповая экспертная оценка объектов при непосредственном оценивании.

3. Обработка парных сравнений.

4. Определение обобщенных ранжировок.

1. Задачи обработки.

В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:

  1.  построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;

построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;

определение относительных весов взаимосвязи объектов;

определение зависимостей между ранжировками;

определение согласованности мнений экспертов;

оценка надежности обработки результатов.

При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.

Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения - различные цели, а объекты сравнения - средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.

2. Групповая экспертная оценка объектов при непосредственном оценивании.

Существует множество подходов к решению данной задачи. С целью иллюстрации рассмотрим один из простейших. Пусть m экспертов провели оценку n объектов по l показателям. Результаты оценивания представлены величинами , где i - номер объекта, j - номер эксперта, h - номер показателя. Величины , полученные методам непосредственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.

В качестве групповой оценки для каждого из объектов можно принять среднее взвешенное значение его оценки

                                   (6)

где qh - коэффициенты весов показателей сравнения объектов,  kj - коэффициенты компетентности экспертов. Величины qh и kj являются нормированными, то есть

.

Коэффициенты qh могут быть определены экспертным путем, как средний коэффициент веса h-ого показателя по всем экспертам, то есть

.

Возможность получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:

аксиом теории полезности фон Неймана-Моргенштерна для индивидуальных и групповых оценок [3];

и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [4].

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность эксперта должна оцениваться по степени согласованности его оценок с групповой оценкой объектов.

Для упрощения дальнейшего изложения, ограничимся рассмотрением случая h=1. То есть когда групповое оценивание объектов проводится на основе только одного показателя. Алгоритм вычисления групповых оценок и коэффициентов компетентности экспертов для этого случая имеет вид:

а) начальные условия при t=0

,

т.е. начальное значение коэффициентов компетентности для всех экспертов принимается одинаковым и равным.

б) рекуррентные соотношения для t=1,2,3 ...

- групповая оценка для i-ого объекта на t-ом шаге на основе индивидуальных оценок xij.

- нормировочный коэффициент

- коэффициенты компетентности j-ого эксперта на t-ом шаге

- коэффициенты компетентности  m-ого эксперта из условия нормировки.

в) признак окончания итерационного процесса

.

Сходимость данной итерационной процедуры доказана в литературе для случая, когда индивидуальные оценки неотрицательны, а эксперты и объекты не распадаются на отдельные группы (то есть когда каждая группа экспертов не оценивает объекты своей группы). В большинстве практических задач эти условия выполняются, что доказывает сходимость алгоритма [5].

Пример. Три эксперта (m=3) оценили значение двух мероприятий (n=3) по степени их влияния на решение одной из проблем (l=1). Результатами экспертизы явились нормированные оценки мероприятий x1j+x2j=1, j=1,2,3.

xij

Эксперт 1

Эксперт 2

Эксперт 3

Мероприятие 1

0,3

0,5

0,2

Мероприятие 2

0,7

0,5

0,8

Вычислим групповые оценки мероприятий, приводящих к решению проблемы и коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е=0,001.

Средние оценки объектов первого приближения (при t=1) будут равны:

      x1 =(0,333;0,667)

Вычислим нормировочный коэффициент 1 :

Значение коэффициентов компетентности первого приближения примут значения:

и тогда   k1 =(0,34;0,30;0,36)

Вычисляя групповые оценки второго и т.д. приближения, получим:

 

Результат третьего шага удовлетворяет условию окончания итерационного процесса  и за значение групповой оценки принимается x  x3 = (0,3235; 0,6765).

3. Обработка парных сравнений.

При установлении причинно-следственных зависимостей между объектами предметной области, экспертам в ряде случаев сложно выразить их численно. То есть трудно установить количественно степень влияния той или иной причины (объекта) на конкретное следствие. Особенно психологически это сложно, если таких объектов много.

Вместе с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперт устанавливает предпочтения объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все возможные пары объектов, в каждой из них устанавливает ту причину, которая по его мнению оказывает большое влияние на следствие. Возникает вопрос, как получить оценку всей совокупности объектов на основе результатов парного сравнения, выполненного группой экспертов.

Пусть каждый из m экспертов производит оценку влияния на результат всех пар объектов, давая числовую оценку

 

где h=1,2,...m - номер эксперта, i,j=1,2,...n - номера объектов, исследуемых при экспертизе. Т. е. по результатам экспертизы имеем m-таблиц (матриц) вида (рис.7):

Rm

O1

...

Oj

...

On

R2

O1

...

Oj

...

On

O1

...

Oj

...

On

K

R1

O1

...

Oj

...

On

O1

K1

O1

...

...

...

Oi

xij=M[rij]

Ki

Oi

rij1

...

...

...

On

Kn

On

m

Рис.7. Последовательность обработки парных сравнений

Как следует из рис.7 последовательность обработки парных сравнений заключается в том, что на основании таблиц парных сравнений  m-экспертов  строится матрица математических ожиданий оценок всех пар объектов. Затем по этой матрице вычисляется вектор коэффициентов относительной важности объектов.

Если при оценке пары Oij из общего количества экспертов mi высказались в пользу предпочтение Oi , mj экспертов в пользу Oj , а mp считает эти объекты равноправными, то оценка математического ожидания дискретной случайной величины rij будет равна:

.

Т.к. общее количество экспертов, то определяя отсюда mp и подставляя его в вышеприведенное выражение, получим

.

Очевидно, что хij + хji = 1. Совокупность величин хij образуют матрицу Х=||хij|| размерности n x n, на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор

k = [k1, k2, ... kn]T

Одним из способов определения значений элементов вектора К является итерационный алгоритм вида:

а) начальное условие t=0

 

б) рекуррентные соотношения

 

где Х - матрица математических ожиданий оценок пар объектов, kt - вектор

коэффициентов относительной важности объектов порядка t.

 - условие нормировки.

в) признак окончания  ||kt - kt-1||<E.

Если матрица Х неотрицательна и неразложима (то есть путем перестановки строк и столбцов ее нельзя привести к треугольному виду), то при увеличении порядка t   величина t сходится к максимальному собственному числу матрицы Х, то есть

.

Это утверждение следует из теоремы Перрона-Фробениуса и доказывает сходимость приведенного выше алгоритма [6].

Пример. Предположим, что в результате опроса трех (m=3) экспертов о степени влияния на результат трех (n=3) различных факторов (объектов) получены следующие таблицы парных сравнений:

Экспетр 1(R1)   Эксперт 2(R2)  Эксперт 3(R3)

О1

О2

О3

О1

О2

О3

О1

О2

О3

О1

0,5

1

1

О1

0,5

0,5

0,5

О1

0,5

1

0,5

О2

0

0,5

0

О2

0,5

0,5

0,5

О2

0

0,5

0

О3

0

1

0,5

О3

0,5

0,5

0,5

О3

0,5

1

0,5

Для получения групповой оценки степени влияния каждого из объектов на результат, построим матрицу математических ожиданий оценок каждой из пар объектов, которая для рассматриваемого примера будет иметь вид:

О1

О2

О3

О1

3/6

5/6

4/6

О2

1/6

3/6

1/6

О3

2/6

5/6

3/6

Значения элементов этой матрицы получены из следующих выражений:

Воспользуемся вышеописанным алгоритмом для получения вектора относительной важности объектов. Для наглядности, каждый из шагов представим в виде:

шаг 0:

шаг 1:

шаг 2:

Продолжая итерационный процесс до тех пор, пока норма оценки не будет меньше заданной ( (|Kit - Kit-1|) < 0,001) получим

На четвертом шаге выполняется условие выхода, что позволяет за групповую оценку степени влияния на результат принять вектор коэффициентов относительной важности объектов вида:

4. Определение обобщенных ранжировок.

При групповой экспертной оценке каждому i-ому объекту каждый из j-ых экспертов присваивает rij . В результате проведения экспертного оценивания получается матрица рангов || rij || размерности n x m, где n - число объектов (), а m - число экспертов ().

Самый простейший способ получения обобщенной ранжировки заключается в ранжировании объектов по величине сумм рангов, полученных каждым объектов от всех экспертов. В этом случае для матрицы ранжировок || rij || вычисляются суммы:

.

Далее объекты упорядочиваются по цепочке неравенств rk < rl < . . .<rq, где , , ... , . Отсюда следует обобщенная ранжировка объектов

Ok  Ol  ...  Oq.

Для учета компетентности экспертов достаточно умножить i-ю ранжировку на коэффициенты компетентности j-го эксперта 0  kj  1. В этом случае вычисление суммы рангов для i-ого объекта производится по формуле

,

что позволяет упорядочить объекты по цепочке неравенств. Следует отметить, что построение таких обобщенных ранжировок является корректной процедурой только в том случае, если ранги назначаются как места объектов в виде натуральных чисел 1,2,...,n.

Однако ранги объектов определяют только порядок расположение объектов по показателям сравнения. Ранги как числа не дают возможность сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если ранг 3, то отсюда не следует делать вывод о том, что объект, с рангом 1, в три раза предпочтительнее, чем объект, имеющий ранг, равный трем.

Вместе с тем для использования в ЭС знаний, полученных от экспертов, необходимо не только упорядочение или ранжирование объектов по степени их влияния или воздействия на какой-либо результат, но и определение количественной оценки степени влияния каждого из объектов на результат.

Простейшим методом для реализации этой задачи является подход, основанный на построении обобщенной ранжировки путем перехода от матрицы ранжировок к матрице парных сравнений. Для этого на основе матрицы || rij || строится m матриц парных сравнений Rj (j=1,2,...,m), где m - число экспертов. Элементы этих матриц определяются следующим образом:

 

где j - номер эксперта, i и k - номера сравниваемых объектов.

Затем к полученным матрицам парных сравнений всех экспертов применяется рассмотренный ранее метод обработки парных сравнений. Его итерационная процедура позволяет получить коэффициенты относительной важности объектов по степени их влияния на результат. Проиллюстрируем применение этого подхода на примере.

Пример. Пусть три эксперта (m=3) провели ранжировку трех объектов (n=3) по степени их влияния на какой-либо результат и таблица ранжировок имеет вид:

Объект Оi

Эксперт 1

Эксперт 2

Эксперт 3

О1

1

1

2

О2

2

3

1

О3

3

2

3

На основе этой таблицы матрица парных сравнений для первого эксперта будет иметь вид:

Аналогичные матрицы парных сравнений для второго и третьего эксперта будут иметь вид:

;

Используя метод обработки парных сравнений получим последовательность векторов коэффициентов относительной важности объектов:

Шаг

К1

К2

К3

0

1,0

1,0

1,0

1

0,481

0,330

0,185

2

0,489

0,346

0,156

3

0,5

0,348

0,152

4

0,5

0,349

0,151

Итерационная процедура с заданной точностью (Е=0,001) является сходящейся на четвертом шаге к значениям:

,

что позволяет оценить количественно степень влияния каждого объекта на результат, полученный на основе исходного ранжирования экспертов.

3.5. Замечания к определению групповых оценок.

Все рассмотренные методы получения групповых оценок позволяют получить достоверные результаты в случае хорошо подобранной группы экспертов и согласованности их мнений. Если это не так, то встает задача определения количественной оценки степени согласованности экспертов. Получение количественной меры позволяет более обоснованно интерпретировать причины в расхождении мнений.

Для оценки меры согласованности мнений группы экспертов используют, в частности, дисперсионный и энтропийный коэффициенты конкордации [5]. Кроме этого, при обработке результатов ранжирования могут возникать задачи:

определения зависимости между ранжировками двух экспертов;

связи между достижением двух различных целей при решении одной и той же совокупности проблем;

взаимосвязи между признаками (объектами).

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена [5] и Кендалла [5].


 

А также другие работы, которые могут Вас заинтересовать

34338. Пр-во азотных мин.удобрений и их классификация 30.5 KB
  Прво азотных мин. Большинство азотных удобрений получают нейтрализацией кислот щёлочами.глубину потери 225; поглощается по типу обменной адсорбции Карбамид мочевина 2NH3CO2=NH2COONH4= =CONH22H2O 2000C; 20 МПа 466 Лучшее удобрение для внекорневой подкормки растений Аммиачная селитра NH3HNO3=NH4NO3Q 3435 Закисляет почву гигроскопична слеживается взрывоопасна Сульфат аммония 2NH3H2SO4=NH42SO4Q 20521 Эффективен под орошаемые культуры рис хлопчатник Среди азотных удобрений самая большая массовая доля азота в...
34339. Фосфорная кислота 24 KB
  Н3РО4 безводная фосф кислота представляет собой бесцветное вещество плавящиеся при температуре 42. Однако на практике имеют дело с жидкой Н3РО4 что объясняется склонностью Н3РО4 к переохлаждению при темп 121С При небольшом переохлаждении она представляет собой густую сиропоподобную жидкость плотностью 188 г см^3 При нагревании водные растворы ортофосф кислоты теряют воду образуя пирафосфорная а затем метофосф кислота. Безводная ортофосф кислота очень агрессивна.
34340. Особенности производства калийных удобрений 29 KB
  Выделение хлористого калия из сильвинитовых руд может быть основано на различии механических физических или химических свойств составляющих компонентов. Переработка сильвинитов для получения хлористого калия по галургическому методу основана на физикохимических особенностях системы NCl КС1 Н2О. Эта особенность системы NCl КС1 Н2О используется для производства хлористого калия из сильвинитов по галургическому методу. Рационально построенная схема производства хлористого калия из сильвинита должна учитывать следующие технологические...
34341. Фосфорные минеральные удобрения 24 KB
  Фосфорные минеральные удобрения Фосф. К фосфорным удобрениям относятся простой и двойной суперфосфат принадлежащие к классу водорастворимых удобрений и комплексные удобрения. Фосфор вносят в почву и с помощью сложного удобрения аммофоса. Фосфорные удобрения получают как физическими так и химическими методами.
34342. Технология производства и экономическая эффективность выпуска и использования пластмасс 30.5 KB
  Технология производства и экономическая эффективность выпуска и использования пластмасс. Изделия из пластмасс наиболее часто получают методами горячего прессования литья под давлением экструзии выдувания обработки резанием. Прессование применяется главным образом для переработки термореактивных пластмасс. термореактивная смола переводится в плавкое состояние при котором и происходит вторая стадия процесса формование; затем происходит реакция поликонденсации и пластмасса отверждается становясь неплавкой и нерастворимой.
34343. Сырьевые материалы и основы производства резины 28 KB
  Резину изготавливают с помощью вулканизации. В результате вулканизации каучук превращается в прочную эластичную упругую массу резину. В результате вулканизации молекулы каучука сливаются между собой дисульфидными мостиками в одну трехмерную макромолекулу. Большую роль играют так называемые ускорители вулканизации органические соединения содержащие серу или азот меркаптобензтиазол дифенилгуанидин и др.
34344. Основные свойства и назначения природных и искусственных строительных материалов 21 KB
  Основные свойства и назначения природных и искусственных строительных материалов. Основные свойства строительных материалов можно разделить на несколько групп. К 1ой группе относятся физические свойства материалов: плотность и пористость. Ко 2й свойства характеризующие устойчивость материала к воздействию воды и низких температур: водопоглощение влажность влагоотдача гигроскопичность водопроницаемость водо морозостойкость.
34345. Классификация и свойства керамических материалов 21.5 KB
  Классификация и свойства керамических материалов Керамические строительные материалы это искусственные каменные изделия получаемые из глиняных масс с добавками или без добавок других материалов путем формования и последующего обжига. Керамические материалы и изделия классифицируются по различным признакам. В зависимости от структуры керамические материалы разделяют на две основные группы: Плотные спекшиеся имеющие блестящий раковистый излом не пропускающие воду с водопоглощением менее 5 клинкерный кирпич для мощения дорог плитки для...
34346. Технология производства керамического кирпича 23 KB
  Технология производства керамического кирпича Несмотря на обширный ассортимент разнообразие форм и свойств керамических изделий основные этапы их производства являются общими и включают следующие стадии: Карьерные работы добыча транспортирование и хранение запаса глин подготовку глиняной массы формование изделий сушку отформованных изделий обжиг высушенных изделий обработку изделий глазурование ангобирование и прочее и упаковку. Формование изделий осуществляется преимущественно на прессах: при первом способе подготовке глиняной...