2.3.6. Отбор экспертов и их характеристика

Процедура отбора специалистов в группы экспертов включает три эта­па: определение числа экспертов, составление списка экспертов, получение согласия экспертов на участие в работе [68].

Для определения числа экспертов члены группы управления выявляют области знаний, связанные с решаемой проблемой. На основе рассмотрения содержания проблемы составляется перечень областей знаний, по которым необходимо привлечь специалистов. Для каждой области знаний определяет­ся минимальное и максимальное число экспертов, исходя из приемлемой достоверности результатов экспертизы с учетом роли каждой области знаний в решении проблемы. После определения минимального и максимального числа экспертов по каждой области суммированием определяется общее ми­нимальное и максимальное число экспертов.

Достоверность экспертизы зависит от числа экспертов в группе, доле­вого состава различных специалистов в группе, квалификации экспертов. Для проблем с высоким уровнем информационного потенциала знаний уве­личение числа экспертов в группе обычно приводит к монотонному возрас­танию достоверности экспертизы.

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. В этот список включают лиц, компе­тентных в предметной области. При составлении списка кандидатов в экс­перты проводится анализ качеств экспертов, определяются возможности уча­стия выбранных специалистов в экспертизе.

После составления списка экспертов им направляется соответствующее сообщение, объясняется цель проведения экспертизы, ее сроки, порядок про­ведения, приводятся поясняющие примеры, необходимые примечания. К со­общениям могут прилагаться специальные анкеты для самооценки компе­тентности.

После получения ответов экспертов и обработки данных составляется окончательный список группы экспертов.

Основные характеристики экспертов. Для описания экспертов с точки зрения оценки качества решения проблемы используются следующие основ­ные характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, коллективизм, самокри­тичность и др.

Перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик могут быть введены количественные оценки.

Компетентность – это степень квалификации эксперта в определенной области знаний. Так как компетентность является очень сложным свойством, ее измере­ние реально может быть осуществлено только людьми. Поэтому на практи­ке оценка компетентности часто проводится путем самооценки эксперта.

Для оценки этой характеристики эксперта введен числовой показатель – коэффициент компетентности [68]:

,

где – коэффициент информированности по проблеме, устанавливаемый на основе самооценки (но балльной шкале); –­ коэффициент аргумента­ции, получаемый в результате суммирования баллов но эталонной таблице.

Существуют и другие, более эффективные методики оценивания компетен­тности экспертов. Например, согласно методике, основанной на вычислении относительных коэффициентов компетентности, ряду специалистов предлага­ется высказать суждения о включении лиц в экспертную группу для решения определенной проблемы, и по результатам проведенного опроса составляется матрица оценки компетентности экспертов (табл. 2.2).

Таблица 2.2

Результаты опроса по оценке компетентности экспертов

			…
			…
…	…	…	…
			…

Элементы матрицы:

Для каждого эксперта относительные коэффициенты компетентности t-го порядка определяются по формуле

где t – номер порядка коэффициента компетентности.

Коэффициенты компетентности нормированы так, что их сумма равна единице:

По формуле (1) можно непосредственно вычислять значения коэф­фициентов компетентности для различных порядков. Например, коэффи­циент компетентности для первого порядка рассчитывают по формуле (1) при :

Смысл формулы (2) состоит в том, что вычисляется сумма , единиц (число голосов), поданных за i-го эксперта, и делится на общую сумму всех голосов Таким образом, коэффициент компетентности первого по­рядка определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Коэффициент компетентности второго порядка ( ) представляет со­бой относительное количество голосов, взвешенных коэффициентами компетент­ности первого порядка.

Креативность – это способность решать творческие задачи. Данная характеристика оценивается на основе суждений о деятельности эксперта.

Отношение к экспертизе – эту характеристику необходимо учитывать для принятия решения о привлечении специалиста к экспертизе. Здесь оце­нивается негативное или пассивное отношение специалиста к решению кон­кретной проблемы, занятость и другие факторы, влияющие на выполнение специалистом функций эксперта.

Конформизм – это подверженность влиянию авторитетов. Данное свойство проявляется в виде неустойчивости собственного мнения эксперта.

Коллективизм – это свойство должно учитываться при проведении от­крытых дискуссий. Этика поведения человека в коллективе экспертов во многих случаях существенно влияет на создание определенного психологи­ческого климата.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решений по рассматриваемой про­блеме.

Часть характеристик эксперта, как правило, является положительной, а часть – отрицательной. В связи с этим возникает задача согласования харак­теристик между собой. Для этого необходимо сформулировать какую-то обобщенную характеристику эксперта, учитывающую его важнейшие каче­ства, с одной стороны, и допускающую непосредственное измерение, с дру­гой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет эксперта как «измерительный при­бор». Однако применение такой обобщенной характеристики требует ин­формации о прошлом опыте участия эксперта в решении проблем, а такая информация не всегда имеется.

Количественно достоверность эксперта оценивают по формуле

где — число случаев, когда i-й эксперт дал решение, приемлемость кото­рого подтвердилась практикой; — общее число случаев участия i -го экс­перта в решении проблемы.

Относительная достоверность, учитывающая вклад каждого эксперта в достоверность группы,

где – средняя достоверность группы экспертов.