Метод экспертной оценки в психологии кратко

Обновлено: 05.07.2024

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез , важности целей, значений признаков и показателей, предпочтений решений).

Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциал ом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.

Подбор экспертов

Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:

уяснение решаемой проблемы;
определение перечня областей деятельности, связанных с решаемой проблемой;
определение долевого состава экспертов по каждой области деятельности;
определение количества и предварительного состава экспертов в группе;
анализ квалификации экспертов и уточнение списка экспертов в группе;
получение согласия экспертов на участие в работе;
составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.

Компетентность - степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.

Креативность - это способность решать творческие задачи.

Конформизм - это подверженность влиянию авторитетов.

Конструктивность мышлени я - это способность формировать решения, обладающие свойством практичности (прагматизм).

Коллективизм - этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.

Самокритичность эксперта проявляется при самооценке своей компетентности.

Отношение к экспертизе - негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.

Опрос экспертов

Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.

Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.

Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

АНКЕТИРОВАНИЕ

Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.

По содержанию вопросы делятся на три группы:

ИНТЕРВЬЮИРОВАНИЕ

МЕТОД ДЕЛЬФЫ

Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров - по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.

ДИСКУССИЯ

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.

Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.

МОЗГОВАЯ АТАКА (ШТУРМ)

Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

определение компетентности экспертов и обобщенной оценки объектов,
построение обобщенной ранжировки объектов;
определение согласованности мнений экспертов;
определение зависимостей между ранжировками.

Об авторе:
Этот материал взят из источника в свободном доступе интернета. Вся грамматика источника сохранена.

Чем важнее ген, тем реже он мутирует
Изучение большого массива данных по мутагенезу у модельного растения Arabidopsis thaliana показало, что в разных участках генома мутации возникают с разной частотой. В результате получается, что частота возникновения новых мутаций связана обратной зависимостью с функциональной важностью данного участка генома и с силой действующего на него очищающего отбора. Иначе говоря, в наиболее важных участках новые мутации не только активнее вычищаются отбором, но и реже возникают.

— метод психодиагностики, опирающийся на мнение экспертов, хорошо знающих оцениваемое явление и способных дать ему достоверную оценку. Предполагает изучение и обобщение мнений всех участвующих экспертов. Широко применяется в психологии личности. В качестве экспертов могут выступать компетентные лица, хорошо знающие испытуемых: воспитатели, классные руководители, руководители коллективов и пр. Оценки экспертные целесообразно проводить не в виде описания качественных проявлений свойств — это лучше сделать в последующей беседе с экспертами, а в виде количественной оценки выраженности этих свойств иди элементов поведения. Эксперты должны фиксировать выраженность более или менее дробных, частных элементов поведения, однозначно понятных. Обобщение этих элементов — дело самого исследователя.

Словарь практического психолога. — М.: АСТ, Харвест . С. Ю. Головин . 1998 .

Смотреть что такое "метод оценки экспертной" в других словарях:

метод коллективной экспертной оценки — Метод прогнозирования, основанный на выявлении обобщённой оценки экспертной группы путём обработки индивидуальных независимых оценок, вынесенных экспертами, входящими в группу … Политехнический терминологический толковый словарь

метод индивидуальной экспертной оценки — Метод прогнозирования, основанный на использовании в качестве источника информации оценки одного эксперта … Политехнический терминологический толковый словарь

метод внутригрупповой экспертной взаимооценки — взаимный опрос членов группы (экспертов) для оценки личностных качеств, поведения, статуса друг друга в значимых ситуациях общения и совместной деятельности … Энциклопедический словарь по психологии и педагогике

метод интервью — Метод индивидуальной экспертной оценки, основанный на беседе прогнозиста с экспертом по схеме вопрос ответ … Политехнический терминологический толковый словарь

метод отнесённой оценки — метод коллективной генерации идей; метод отнесённой оценки; метод мозговой атаки ; отрасл. конференция идей Метод экспертной оценки, основанный на стимулировании творческой деятельности экспертов путём совместного обсуждения конкретной проблемы,… … Политехнический терминологический толковый словарь

метод коллективной генерации идей — метод коллективной генерации идей; метод отнесённой оценки; метод мозговой атаки ; отрасл. конференция идей Метод экспертной оценки, основанный на стимулировании творческой деятельности экспертов путём совместного обсуждения конкретной проблемы,… … Политехнический терминологический толковый словарь

метод мозговой атаки — метод коллективной генерации идей; метод отнесённой оценки; метод мозговой атаки ; отрасл. конференция идей Метод экспертной оценки, основанный на стимулировании творческой деятельности экспертов путём совместного обсуждения конкретной проблемы,… … Политехнический терминологический толковый словарь

МЕТОД, ДЕЛЬФИЙСКИЙ — метод экспертной оценки будущего. Этот метод разработан американской исследовательской корпорацией РЭНД. Суть его состоит в организации систематического сбора мнений специально подобранных экспертов, их математическо статистические обработки,… … Большой экономический словарь

метод эвристического прогнозирования — Метод прогнозирования, основанный на построении и последующем усечении дерева поиска экспертной оценки с использованием эвристических приёмов и логического анализа прогнозной модели … Политехнический терминологический толковый словарь

метод экспертных комиссий — Метод экспертной оценки, основанный на объединении в единый документ экспертных оценок прогнозов отдельных аспектов объекта, разработанных соответствующими экспертными группами … Политехнический терминологический толковый словарь

1. Бешелев С. Д., Гуревич Ф. Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974. - 159 с.

2. Готтсданкер Р. Основы психологического эксперимента / Пер. с англ. под ред. Ю.Б.Гиппенрейтер. М.: МГУ, 1982. - 463 с.

6. Орлов А.И. Проверка согласованности мнений экспертов в модели независимых парных сравнений. В сб.: Экспертные оценки в системном анализе. Вып.4. М.: ВНИИСИ, 1979. С.37-46.

7. Черепанов B.C. Экспертные оценки в педагогических исследованиях. -М.: Педагогика, 1989.

СУЩНОСТЬ МЕТОДА ЭКСПЕРТНЫХ ОЦЕНОК

1.1. Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

Экспертное оценивание — процедура получения оценки изучаемого явления на основе группового мнения специалистов в данной предметной области (экспертов). При этом исходят из предположения, что совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов.

Процедура экспертного оценивания предполагает согласованность с другими этапами исследования. Данный метод должен органично сочетаться с другими исследовательскими приемами и соответствовать целям и задачам проекта.

Этапы экспертного оценивания

Метод экспертных оценок имеет логически взаимосвязанные этапы, которые являются основными этапами экспертизы.

Процедуру ЭОТ.В. Корнилова разбивает на следующие этапы:

1. Определение цели и разработка процедуры исследования.

2. Подготовка информационных материалов, бланков анкет, модератора процедуры.

3. Подбор экспертов, специалистов по статистическому анализу и аналитиков.

4. Проведение экспертизы.

5. Статистический анализ результатов.

6. Подготовка отчета с результатами экспертного оценивания.

Этапы экспертизы по Крулехту

Начальный этап (организация экспертизы) включает:

Определение цели и задачи экспертизы, постановку проблемы.
Определение меры ответственности, прав и полномочий рабочей группы экспертов.
Установление сроков проведения экспертизы.
Подбор экспертов, формирование экспертных групп (при необходимости определение их компетентности)

Основной этап - сбор данных, проведение исследования экспертная оценка, анализ материала.

Технология экспертизы, использование совокупности методов и критериев оценки зависят от характера экспертизы, области ее применения.

Экспертная оценка является результатом аналитической деятельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные решения.

Завершающий этап – опрос экспертов: (индивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление отчета, принятие экспертного заключения.

О.С. Анисов и Г.А. Мкртычянпредлагают следующие этапы:

Фиксация сведений о новом опыте.
Его феноменально-концептуальная реконструкция
Построение исходной абстракции как средства экспертизы
Конкретизация абстракции как средства экспертизы
Конкретизация абстракции с последующим контрольным сопоставлением концептуальной реконструкции с феноменально-процессуальной.

Рисунок 1. Схема этапов экспертной деятельностипо О.С. Анисову

Характерные особенности метода экспертных оценок

• научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,
• применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Особой разновидностью метода экспертной оценки является экспертный опрос (разновидность опроса, в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности).

Эксперт- это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Применение метода ЭО

В психологии метод экспертных оценок применяется для анализа профессиональной деятельности, для оценки специалистов, для формирования рабочей модели исследуемого явления и т.п.

1.4.1. В практике психологических исследований метод ЭО используется для:
• прогноза развития того или иного явления;
• оценки существующего состояния какого-либо явления;
• сбора предварительной информации о проблеме исследования (зондаж);
• оценки психологических характеристик членов группы;
• оценки коллектива;
• аттестации персонала.

Экспертные оценки наиболее целесообразно проводить не в виде описания качественных проявлений свойств (это гораздо эффективнее сделать в последующей беседе с экспертами), а в виде количественной оценки степени того или иного свойства или элемента поведения.

Эксперты должны фиксировать выраженность более или менее дробных элементов поведения, не связанных с обобщениями. Обобщения – дело исследователя, а не эксперта.

Метод ЭО подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

1.4.2. Метод экспертов применить не удастся, когда:
• исходная статистическая информация недостаточно достоверна;
• некоторая часть информации имеет качественный характер и не поддается количественной оценке;
• в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;
• существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Метод экспертных оценок предполагает опрос специалиста об элементах его трудовой деятельности, его поведении в определенной ситуации с целью составления заключения.

При использовании экспертного метода нет определенности в выборе конкретного метода, чаще всего они используются в комплексе. Экспертная оценка может быть индивидуальной и групповой.

Самым распространенным методом групповой оценки является метод обобщения независимых характеристик. Суть данного метода заключается в том, что описываются профессионально важные качества конкретного специалиста, при этом источники информации о личности разные, т. е. это могут быть руководители, подчиненные, коллеги, родственники и т. д. Эксперты, примерно 5–7 человек, оценивают и описывают определенную особенность личности работника по предварительно составленной шкале. Использование данного метода не требует каких-то дополнительных знаний и навыков от эксперта, так как всю необходимую информацию по методу и интерпретацию дает сам психолог. Все полученные баллы от каждого эксперта усредняются путем подсчета среднеарифметической оценки.

Еще один экспертный метод, применяемый только в психологии труда, – метод критических инцидентов. Смысл метода заключается в приведении профессионалами своего дела реальных примеров сложившихся когда-то ситуаций, путей их разрешения и самое главное – указаний на поведение специалистов в той или иной ситуации. При этом говорят не только об эффективной деятельности, но также затрагивают и отрицательные стороны. Приводятся лишь те примеры, при которых поведение зависит только от самой личности, а не от окружающих. Чаще всего это примеры критических инцидентов, каждый такой пример содержит в себе описание ситуации, предпосылки поведения, описание поведения личности, зависимость поведения личности от нее самой или же от внешних факторов и т. д.

Критические инциденты формируются экспертами по результатам наблюдения, опроса. Количество полученных инцидентов зависит от сложности оцениваемой деятельности. В простых видах их может насчитываться от 50 до 100, а в более сложных – до нескольких сотен.

Все собранные инциденты получают определенную классификацию в зависимости от цели исследования. При проведении данного метода получают результаты, которые позволяют формулировать критерии успешности той или иной профессии, составлять задачи для проверки профессиональной деятельности, совершенствовать профессиональное обучение и т. д. Этот метод в основном применяется для выявления профессионально важных качеств работника и критериев составления и подбора тестов при профессиональном отборе.

Данный текст является ознакомительным фрагментом.

Продолжение на ЛитРес

55. Кодирование тестовых оценок. Шкальные оценки

55. Кодирование тестовых оценок. Шкальные оценки Кодирование тестовых оценок – элемент процедуры обработки данных психодиагностического обследования. Применяется в многопараметровых тестовых батареях, личностных опросниках, других методиках, предусматривающих

Глава 4. Хорошие намерения, плохая наука: замкнутый круг клинических оценок

8. Метод анкетирования. Метод тестирования. Методы оценки эффективности труда работника

8. Метод анкетирования. Метод тестирования. Методы оценки эффективности труда работника Метод анкетирования является наиболее дешевым способом, который может охватить большую группу людей и большую территорию. Основным плюсом является запас времени, предоставляемый

Метод

Метод Куэ

Метод Куэ Разработан метод французским аптекарем Эмилем Куэ. Каждый день, общаясь с покупателями лекарств, Куэ сделал важный вывод: лечебный эффект медикаментов зачастую обусловлен не столько его фармакологическим действием, сколько верой больного в исцеление. Куэ

Без оценок

Без оценок Фиксация, на что вы действительно тратите свое время, многим портит настроение и убивает всякое желание собирать этот ужас дальше. Я предложу другой взгляд: ведя учет времени, вы совершаете подвиг и должны этим гордиться.Ведите хронометраж, фиксируя только

Метод

Метод В процессе клинической работы Шульц постепенно разработал ряд употребимых вербальных формул, которые в соответствии с тем, на что они больше ориентированы — на тело или на разум, — сформировали две базовые серии мысленных упражнений: стандартные и

МЕТОД

МЕТОД Установив цель или последовательность целей, терапевт должен избрать метод, наиболее подходящий для достижения этих целей. Начинающий обычно заимствует методы, с которыми познакомился во время обучения индивидуальной терапии, такие, как психоаналитический

Оценок не надо

Оценок не надо Как и любой агент, я всегда даю собеседнику возможность сохранить лицо. Особенно если конфликт обостряется и общение идет словно по тонкому льду. Судить – не мое дело и, конечно же, не ваше. Каждый раз, когда мы даем уничижительную оценку другому человеку –

Читайте также: