Методика отбора экспертов реферат

Обновлено: 02.07.2024

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.

Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций. ), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.

В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены. Необходимо подчеркнуть, что подбор экспертов в конечном счете функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

2. ПРАКТИЧЕСКАЯ ЧАСТЬ

Задача на принятие решений в условиях риска

Компания рассматривает три альтернативы закупки оборудования: А, В, С. Условия выплаты для каждой альтернативы зависят от экономических условий в течение будущего года. Рассматриваются три возможных экономических ситуации: медленный рост, нормальный рост, быстрый рост.

Проведенный экономический прогноз оценивает следующие вероятности: медленный рост - 30%, нормальный рост - 40%, быстрый - 30%. Условия выплат по каждой альтернативе в зависимости от различных условий показаны ниже в таблице. Какое оборудование необходимо закупить?

Рассчитаем возможные выплаты по оборудованию в условиях различных экономических условий:

-200 000 * 0,3 + 150 000 * 0,4 + 200 000 * 0,3 = 60 000

-40 000 * 0,3 + 100 000 * 0,4 + 80 000 * 0,3 = 52 000

-100 000 * 0,3 + 50 000 * 0,4 + 150 000 * 0,3 = 35 000

Необходимо закупить оборудование А, так как выплаты будут максимальными.

Задача на принятие решений в условиях неопределенности

Компания по производству компьютеров рассматривает три альтернативных вида компьютера для производства. Прибыль от реализации компьютеров зависит от изменения величины доходов населения в течение будущего года, Условия выплат по каждой альтернативе приведены в таблице. Требуется выбрать один из вариантов производства.

Альтернатива	Доходы населения в следующем году
Альтернатива	Уменьшаются	Без изменений	Увеличиваются
Элитный компьютер	- 200 000	150 000	200 000
Домашний компьютер	- 40 000	100 000	80 000
Офисный компьютер	- 100 000	50 000	150 000

В условиях полной неопределенности выплаты составят:

(- 200 000 + 150 000 + 200 000) * 0,333 = 49 950

(- 40 000 + 100 000 + 80 000) * 0,333 = 46 620

(-100 000 + 50 000 + 150 000) * 0,333 = 33 300

Следовательно, в условиях полной неопределенности необходимо выбрать элитный компьютер.

В условиях пессимистического настроя необходимо выбрать компьютер домашний компьютер (по принципу максимина).

В условиях оптимистического настроя необходимо выбрать элитный компьютер (по принципу максимакса).

3. ЛАБОРАТОРНАЯ ЧАСТЬ

У компании имеется 5 вариантов инвестирования. Финансовых ресурсов компании хватает для инвестирования только одного предприятия. На основе оценки экспертов руководству компании известно, какой будет прибыль (убыток) в зависимости от выбранного предприятия и сложившейся экономической ситуации. Кроме того, известны вероятности наступления той или иной экономической ситуации. Необходимо выбрать инвестируемое предприятие.

Альтернативы. Экономическая ситуация в стране, вероятность ее наступления

Альтернативы	Экономическая ситуация в стране, вероятность ее наступления
Альтернативы	р =0,2	р = 0,1	р = 0,3	р = 0,2	р = 0,2
Аэрофлот	42352	7651	-8762	9873	-3454
Газпром	76544	9800	-7053	98212	-56751
Далькомбанк	-45606	87649	76234	-90871	61291
ВАЗ	9,0	54388	8755	-3240	76421
Хабэнерго	82916	76907	-100766	67439	-81766

PROGRAM: Decision Making Under Risk

***** INPUT DATA ENTERED*****

Alternative p = 0.20 p = 0.10 p = 0.30 p = 0.20 p = 0.20

1 42352.00 7651.00 -8762.00 9873.00 -3454.00

2 76544.00 9800.00 -7053.00 98212.00 -56751.00

3 -45606.00 87649.00 76234.00 -90871.00 61291.00

4 9.00 54388.00 8755.00 -3240.00 76421.00

5 82916.00 76907.00% - 100766.00 67439.00-81766.00

Alternative Expected Value

* indicates optimal solution

Вывод: выбираем альтернативу 4 (ВАЗ), т.к. выплата по данной альтернативе максимальная и составит 22703,3.

Задача 2

Рассчитать, какую альтернативу необходимо выбрать для получения максимум при следующих условиях:

Альтернативы
Альтернативы	р =0,1	р = 0,2	р = 0,4	р = 0,1	р = 0,2
А	4235	765	-876	987	-345
Б	7654	980	-705	9821	-6751
В	-4560	8764	7623	-9087	1291
Г	9,0	5438	875	-324	6421
Д	8921	7690	-10076	6743	1766
Е	90543	-6543290	765432	-543287	43298

PROGRAM: Decision Making Under Risk

***** INPUT DATA ENTERED*****

Alternative p = 0.10 p = 0.20 p = 0.40 p = 0.10 p = 0.20

1 4235.00 765.00 -876.00 987.00 -345.00

2 7654.00 980.00 -705.00 9821.00 -6751.00

3 -4560.00 8764.00 7623.00 -9087.00 1291.00

4 9.00 5438.00 875.00 -324.00 6421.00

5 9821.00 7690.00-10076.00 6743.00 1766.00

Alternative Expected Value

* indicates optimal solution

Вывод: выбираем альтернативу 4, т.к. выплата по данной альтернативе максимальная и составит 2690,3.

Задача 3

Молодая компания вступает на рынок ценных бумаг. По имеющимся у нее капиталам, она способна закупить акции одной из представленных ниже компаний. В стране ожидаются политические изменения – предстоят президентские выборы. Аналитики предсказали, как изменятся курсы акций и шансы на президентский пост каждого кандидата. Требуется предложить вариант покупки акций, обосновав его.

Акции предприятий	Кандидаты на пост президента
	Путин	Зюганов	Явлинский	Чубайс	Немцов	Ишаев	Кириенко
	Р = 0,4	Р = 0,2	Р = 0,1	Р = 0	Р = 0,1	Р = 0,1	Р = 0,1
РАО ЕЭС	24	-375	-278	657	54	0	-122
Внешторгбанк	12	-412	0	0	310	412	0
Аэрофлот	234	782	100	-56	25	44	38
Чайна-таун	0	150	-38	-42	210	-361	98
Кристалл	120	0	-360	22	9	79	-26
Хабэнерго	-63	-45	122	-324	-28	520	0

PROGRAM: Decision Making Under Risk

***** INPUT DATA ENTERED*****

Alternative p = 0.40 p = 0.20 p = 0.10 p = 0.00 p = 0.10 p = 0.10 p = 0.10

1 24.00 -375.00 -278.00 657.00 54.00 0.00 -122.00

2 12.00 -412.00 0.00 0.00 310.00 412.00 0.00

3 234.00 782.00 100.00 -56.00 25.00 44.00 38.00

4 0.00 150.00 -38.00 -42.00 210.00 -361.00 98.00

5 120.00 0.00 -360.00 22.00 9.00 79.00 -26.00

6 -63.00 -45.00 122.00 -324.00 -28.00 520.00 0.00

Alternative Expected Value

* indicates optimal solution

Вывод: выбираем альтернативу 3 (Аэрофлот), т.к. этот вариант покупки акций наиболее выгодный и составляет 270,70.

Задачи на принятие решений в условиях неопределенности

Фирма занимается продажей компьютерных процессоров. Известно, что в зависимости от курса доллара цены на процессоры будут изменяться (как расти, так и падать). Поскольку фирма может приобрести лицензию на торговлю одним видом процессоров, требуется предложить директору фирмы несколько вариантов выбора лицензии, обосновав каждый.

При выборе экспертов должны быть поставлены следующие обязательные условия:

Еще одним весьма важным критерием отбора является наличие у эксперта высоких моральных качеств. Ясно, что это очень трудно оценить, однако очевидно, что без должного морального уровня эксперта остальные его качества могут оказаться бесполезными, способными лишь увеличить опасность получения псевдопрогноза.

Методы отбора экспертов

Методы отбора экспертов сводятся к двум основным подходам – объективному и субъективному. Объективный подход имеет, в свою очередь, два варианта – документальный и экспериментальный.

Документальный метод предусматривает подбор экспертов на основе анкетных и социально-демографических данных. Экспериментальный метод проводится на основе испытания, тестирования кандидата в эксперты, либо по результатам эффективности его прежней экспертной деятельности.

Оба методических приема требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Кроме того, валидность и надежность тестов нередко вызывает сомнения. Субъективный подход также распадается на несколько приемов. Один из них – аттестация, когда подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы с отводом тех из них, кто не набрал определенного минимума голосов. Здесь могут использоваться методики с расширяющимися кругами экспертов в несколько туров. В первом туре круг экспертов составляет списки кандидатов в эксперты. Туры повторяются до тех пор, пока состав кандидатов в эксперты не стабилизируется. Затем проводится расчет коэффициентов компетентности экспертов в зависимости от числа включений в списки.

Сам по себе этот прием достаточно эффективен, но лишь при условии, что члены будущей группы хорошо знают друг друга и обладают высокой добросовестностью. В противном случае возникает опасность отвода по случайным, непринципиальным мотивам.

Другой прием – метод взаимной оценки будущих экспертов (в баллах или ранжированием) – является по существу разновидностью первого со всеми его особенностями и ограничениями.

Третий прием – метод самооценки степени компетентности и объективности. Здесь, правда, имеется опасность завышенных самооценок. Но практика показывает, что серьезные эксперты, напротив, склонны несколько занижать свои оценки и стремятся не принимать участие в экспертизах, выходящих за рамки их интересов.

На практике часто применяется способ, когда каждый эксперт оценивает компетентность всех членов экспертной группы, в том числе и свою собственную, используя заранее установленную балльную шкалу, например такую, как в табл.35, где используются следующие числовые значения: 1 – слабая компетентность в рассматриваемой области, 2 – удовлетворительная компетентность, 3 – хорошая компетентность, 4 – высокая компетентность в этой области.

Таблица 35. Балльная шкала компетентности экспертов в рассматриваемой области

Ф.И.О. эксперта	No эксперта	Слабая компетентность	Удовлетворительная компетентность	Хорошая компетентность	Высокая компетентность
	1
	2
	3

На практике численность экспертной группы большей частью составляет примерно 5 – 7, максимально 10 – 15 человек при очных опросах и 20 – 30, максимально 60 – 80 человек при заочных опросах, в зависимости от характера экспертизы. За этими пределами увеличение числа экспертов не дает существенного прироста новой информации ни в деталях, ни, главное, по качеству.

Кроме того, требуется разумное сочетание экспертов различного возраста, темперамента, различного служебного положения, производственного и жизненного опыта.

1) объективные данные о самом эксперте (возраст, образование, профессия, стаж работы, ученое звание, узкая специализация и т.п.);

2) характеристики, позволяющие оценить мотивы, которыми руководствуется эксперт при оценке исследуемой проблемы;

3) основные вопросы, касающиеся существа исследуемой проблемы.

По форме вопросы могут быть открытыми, закрытыми, прямыми и косвенными.

Основным преимуществом открытых вопросов является то, что с их помощью можно обнаружить новый, совершенно неожиданный для аналитиков аспект проблемы. Основными недостатками являются возможная несопоставимость данных опроса и сложность анализа.

В специальной литературе рассматривается целый ряд методов статистической обработки информации, позволяющих решить сформулированные задачи. К наиболее распространенным методам относятся расчет коэффициентов ассоциации, метод ранговой корреляции, расчет коэффициентов конкордации и др.

во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?").

Необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте.

Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.
В качестве основных критериев отбора можно назвать следующие:
1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

- уровень и профиль образования;
- профиль работы (связь с данной предметной областью);

-опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области);
- уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы);
- количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.

2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
- коммуникативные навыки,
- способность к совместному творчеству,
- гибкость ума и "незашоренность" взгляда,
- нонконформизм (стремление индивида придерживаться и отстаивать установки, мнения, результаты восприятия, поведение и так далее, прямо противоречащие тем, которые господствуют в данном обществе или группе).

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:
1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации.

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

1.
^ Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2.
^ Мозговой штурм.Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3.
Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4.
^ Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

6.
^ Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.

7.
^ Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

8.
^ Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

10.
"Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

11.
"Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

12.
^ Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо".

4.
^ Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

1.
Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

2.
Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

3.
Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.

5.
^ Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, - это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);
правило авторитета - выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан "вес", учитывающий его уровень компетентности);
правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые "узкие места". Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1.
Сложность организации экспертизы: отбора экспертов в достаточном количестве и "качестве" и проведения опроса.

2.
Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.

3.
Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.

4.
Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).

5.
Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.

1. креативность , то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;

2. эвристичность , то есть способность видеть или создавать неочевидные проблемы;

3. интуиция – способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;

4. предикаторность , то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта;

5. независимость , то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;

6. всесторонность , то есть способность видеть проблему с различных точек зрения.

Критерии и методы подбора экспертов. В экспертном опросе не применяется метод случайного отбора респондентов. В качестве экспертов выступают люди, обладающие определенными характеристиками.

Основной критерий отбора – компетентность в исследуемой области. По мнению некоторых авторов, специалист, привлекаемый в качестве эксперта должен являться человеком, который сам пережил трудности проблемных ситуаций, сложившихся в той предметной области социальной действительности, где он занят, который имеет суждения относительно того, какова природа этих проблемных ситуаций, и что, по его мнению, необходимо делать, чтобы разрешить их.

В зависимости от целей исследования, компетентность может включать в себя как теоретические знания , так и практические навыки . Здесь важно отметить, что в профессиональном сознании следует различать зону компетентности – узкую предметную область, в которой непосредственно работает эксперт и зону некомпетентности, составляющую его более широкий профессиональный кругозор.

Кроме того, необходимо, чтобы эксперт был готов делиться с интервьюером имеющимися знаниями. На это оказывают влияние многие факторы, начиная от коммуникативных характеристик (коммуникабельность, креативность) потенциального эксперта, до специфики его должностной позиции, которая способствует или препятствует откровенному высказыванию собственного мнения.

Как правило, эксперт не должен быть лицом, принимающим решения по исследуемой проблеме.

Численность группы экспертов, как правило, составляет 7 – 15 человек при очном опросе; 20 – 70 человек при заочном опросе. Важной проблемой при формировании групп экспертов является вопрос об их составе. Считается, что в группах с однородным составом (по должностному, образовательному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В разнородных группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Методы подбора экспертов:

I. Объективные методы:

2) экспериментальный метод — более дорогостоящий, проводится на основе испытания, тестирования кандидата в эксперты или по результатам его прошлой экспертной деятельности. Применение тестов целесообразно использовать в том случае, если отобранным экспертам в дальнейшем придется многократно решать однотипные узкоспециальные задачи.

Читайте также: