Сравнительный анализ результатов оценивания компетентности технических экспертов методами анализа иерархий и с применением модели Раша

Autor: Velychko, Oleh, Gordiyenko, Tetyana
Jazyk: angličtina
Rok vydání: 2018
Předmět:
Zdroj: Eastern-European Journal of Enterprise Technologies; Том 3, № 3 (93) (2018): Control processes; 14-21
Восточно-Европейский журнал передовых технологий; Том 3, № 3 (93) (2018): Процессы управления; 14-21
Східно-Європейський журнал передових технологій; Том 3, № 3 (93) (2018): Процеси управління; 14-21
ISSN: 1729-3774
1729-4061
Popis: Known scales (criteria) for assessing the competence of experts in the field of technical regulation using the method of analytical hierarchy process (AHP) and Rasch model are investigated. The main features of constructing the mathematical Rash model are presented. The results of the analysis of scales for assessing the competence of experts in the field of technical regulation on a specific example of questioned specialists in measurement of time and frequency were considered. The results were processed using the specialized software “Competence MAI 1.1” (Ukraine) and MINISTEP 4.0.1 (USA).A comparative analysis of the results was carried out in order to determine the effectiveness of the assessment scales. The obtained results showed the possibility of applying the Rasch model for the analysis of the scale of expert assessment in the field of technical regulation. The analysis of the results obtained on the multidimensional Rasch model showed that the chosen criteria scale for experts corresponds to the requirements set by the Rash model. The obtained measurement data for this model allow you to calculate the established statistics for both the criteria and for the evaluated experts.A comparative analysis of the results obtained with the use of AHP and Rasch model showed convergence, suitability and correlation of the obtained values for experts. Only two out of twenty one (9.5 %) evaluated experts have data that are unsuitable for the analysis by the Rasch model, which indicates a low level of competence. AHP to a lesser extent allows for the consideration of less competent experts than with the use of the Rash model. This is evidenced by a lower coefficient of competence for the AHP than in the application of the Rasch model. AHP and Rasch model should be used in various fields of activity as a useful tool for comparative assessment of the competence of technical experts on the basis of objective data according to established criteria.
Досліджено відомі шкали (критерії) для оцінювання компетентності експертів у сфері технічного регулювання із застосуванням метода аналітичної ієрархії (МАІ) і моделі Раша. Представлено основні особливості побудови математичної моделі Раша. Розглянуто результати аналізу шкал для оцінювання компетентності експертів у сфері технічного регулювання на конкретному прикладі анкетованих фахівців з вимірювання часу і частоти. Результати опрацьовано за допомогою спеціалізованих програмних засобів “Компетентність МАІ 1.1” (Україна) і MINISTEP 4.0.1 (США).Проведено порівняльний аналіз результатів з метою визначення ефективності шкал оцінювання. Отримані результати показали можливість застосування моделі Раша для аналізу шкали оцінювання компетентності експертів у сфері технічного регулювання. Аналіз отриманих за багатомірною моделлю Раша результатів показав, що обрана шкала критеріїв для експертів відповідає встановленим до моделі Раша вимогам. Отримані дані вимірювань за цією моделлю дозволяють розрахувати встановлені статистики як для критеріїв, так і для експертів, що оцінені.Порівняльний аналіз результатів, отриманих за допомогою МАІ та за моделлю Раша, показав збіжність, придатність та наявність кореляції отриманих значень за експертами. Лише два з двадцяти одного (9,5 %) оцінених експертів має дані, які непридатні для аналізу за моделлю Раша, що свідчить про низьку компетентність. МАІ у меншій ступені дозволяє враховувати думки менш компетентних експертів, ніж із застосуванням моделі Раша. Про це свідчить менший коефіцієнт компетентності для МАІ, ніж при застосуванні моделі Раша. МАІ та модель Раша доцільно застосувати в різних сферах діяльності як корисний інструмент для порівняльної оцінки компетентності технічних експертів на основі об’єктивних даних за встановленими критеріями
Исследованы известные шкалы (критерии) для оценки компетентности экспертов в сфере технического регулирования с применением метода аналитической иерархии (МАИ) и модели Раша. Представлены основные особенности построения математической модели Раша. Рассмотрены результаты анализа шкал для оценки компетентности экспертов в сфере технического регулирования на конкретном примере анкетируемых специалистов по измерению времени и частоты. Результаты обработаны с помощью специализированных программных средств "Компетентность МАИ 1.1" (Украина) и MINISTEP 4.0.1 (США).Проведен сравнительный анализ результатов с целью определения эффективности шкал оценивания. Полученные результаты показали возможность применения модели Раша для анализа шкалы оценивания компетентности экспертов в сфере технического регулирования. Анализ полученных с многомерной моделью Раша результатов показал, что выбранная шкала критериев для экспертов соответствует установленным модели Раша требованиям. Полученные данные измерений по этой модели позволяют рассчитать установленные статистики как для критериев, так и для оцененных экспертов.Сравнительный анализ результатов, полученных с помощью МАИ и по модели Раша, показал сходимость, пригодность и наличие корреляции полученных значений по экспертам. Только два из двадцати одного (9,5%) оцененных экспертов располагают данными, которые непригодны для анализа по модели Раша, что свидетельствует о низкой компетентности. МАИ в меньшей степени позволяет учитывать мнения менее компетентных экспертов, чем с применением модели Раша. Об этом свидетельствует меньший коэффициент компетентности для МАИ, чем при применении модели Раша. МАИ и модель Раша целесообразно применять в различных сферах деятельности как полезный инструмент для сравнительной оценки компетентности технических экспертов на основе объективных данных по установленным критериям
Databáze: OpenAIRE
Externí odkaz: