Method for evaluating and improving of the expert estimates consistency in group decision-making
| Autor: | Tsyganok, Vitaliy V., Roik, Pavlo D. |
|---|---|
| Jazyk: | ukrajinština |
| Rok vydání: | 2018 |
| Předmět: |
підтримка прийняття групових рішень
експертне оцінювання індекс узгодженості експертних оцінок спектральний підхід поріг узгодженості зворотний зв'язок з експертом group decision making expert estimation index of consistency of expert estimates spectral approach consistency threshold expert feedback поддержка принятия групповых решений экспертное оценивание индекс согласованности экспертных оценок спектральный подход порог согласованности обратная связь с экспертом |
| Zdroj: | Системні дослідження та інформаційні технології; № 3 (2018); 110-121 Системные исследования и информационные технологии; № 3 (2018); 110-121 System research and information technologies; № 3 (2018); 110-121 |
| ISSN: | 1681-6048 2308-8893 |
| Popis: | Розглянуто проблему визначення рівня узгодженості оцінок під час групової експертизи. Завданням дослідження є розроблення методу визначення узгодженості експертних оцінок, позбавленого ряду ключових недоліків, притаманних наявним методам. Запропоновано індекс узгодженості визначати з використанням спектрального підходу, відповідно до якого оцінки експертів відображуються у вигляді спектра на обмеженій, безперервній або дискретній шкалі. Індекс обчислено як нормоване значення суми відстаней між оцінками експертів для всіх можливих пар оцінок. Індекс узгодженості досліджено також для функції квадрата попарних різниць у парах оцінок. Проведений аналіз засвідчив, що функція відстані більш придатна для ґрунтовного практичного визначення узгодженості експертних оцінок. Проведено імітаційне моделювання та запропоновано визначення порогового значення узгодженості, вище якого стає допустимою агрегація експертних оцінок. Для підвищення рівня узгодженості запропоновано процедуру зворотного зв’язку з експертом за умови неспричинення будь-якого тиску на нього. Рассмотрена проблема определения уровня согласованности оценок при групповой экспертизе. Задачей исследования является разработка метода определения уровня согласованности экспертных оценок, лишенного ряда ключевых недостатков, присущих имеющимся методам. Предложен индекс согласованности определять с использованием спектрального подхода, согласно которому оценки экспертов отображаются в виде спектра на ограниченной, непрерывной или дискретной шкале. Индекс вычислен как нормированное значение суммы расстояний между оценками экспертов для всех возможных пар оценок. Индекс согласованности исследован также для функции квадрата попарных разностей в парах оценок. Проведенный анализ подтвердил, что функция расстояния более пригодна для основательного практического определения согласованности экспертных оценок. Проведено имитационное моделирование и предложено определение порогового значения согласованности, выше которого становится допустимой агрегация экспертных оценок. Для улучшения уровня согласованности предложена процедура обратной связи с экспертом при условии непричинения какого-либо давления на него. The issue of the assessment of an expert estimates consistency level for group decision making is considered. An analysis of bibliographic sources testifies that despite the availability of multiple practical tools and solutions for assessing the consistency index, all such methods have considerable shortcomings affecting significantly the accurateness of research results. The goal of this research paper is the development of a method for assessing the consistency between expert estimates, with the elimination of a number of key shortcomings of existing methods. It is suggested to calculate the consistency index using a spectral approach, under which expert estimates are presented as a spectrum on a bounded, continuous or discrete scale. The index is calculated as the normalized value of the sum of distances between expert estimates for all possible estimate pairs. This formula for calculating the consistency index has been tested for the function of squared pairwise differences in estimate pairs. The conducted analysis shows that the function of distance fits better for a detailed practical analysis of consistency between expert estimates. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. In order to make it possible to raise the level of consistency, a procedure for gathering feedback from an expert is proposed, provided that no pressure is put on him or her. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|