Методы организации сложных экспертиз реферат

Обновлено: 18.04.2024

В современном мире компьютерные технологии приобретают всё большее распространение. Вычислительные системы применяются для решения самых разнообразных задач, что требует их постоянного усовершенствования. Для этой цели были разработаны, а в наше время активно применяются различные методики оценивания компьютерных систем.

Цель работы – провести анализ современных методов организации сложных экспертиз компьютерных систем и разработать модуль электронного учебника по теме "Методы организации сложных экспертиз компьютерных систем".

Объект – процесс создания и экспертизы компьютерных систем.

Предмет – теоретические основы проведения сложных экспертиз компьютерных систем.

Провести анализ современных методов сложных экспертиз компьютерных систем.

Разработать модуль электронного учебника по теме "Методы организации сложных экспертиз компьютерных систем".

Практическая значимость исследования заключается в том, что разработанный модуль электронного учебника по теме "Методы организации сложных экспертиз компьютерных систем" может быть использован для создания электронных учебников по дисциплинам информатики.

Глава 1. Методы сложных экспертиз компьютерных систем

Теоретические положения системного анализа определенное время рассматривались только как некая философия инженера и поэтому при решении задач создания искусственных систем иногда не учитывались. Однако развитие техники привело к тому, что без системного анализа, одним из результатов которого являются концептуальные модели, исследование функционирования систем становится невозможным.

Первоначально компьютер отождествлялся с центральным процессором, основной и понятной характеристикой которого было быстродействие, измеряемое числом команд в единицу времени. Поэтому традиционные методики оценки (benchmarks) отражают только возможности центрального процессора. В основе такой оценки лежит понятие производительности. При этом выделяют так называемое "чистое" процессорное время - период работы собственно процессора при выполнении внутренних операций и время ответа, включающее выполнение операций ввода-вывода, работу ОС и т.д.

Есть два показателя производительности процессоров по "чистому" времени:

1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second - миллион машинных команд в секунду) - отношение числа команд в программе к времени ее выполнения;

2) показатель производительности процессоров на операциях с данными вещественного типа (float point) MFLOPS (миллион арифметических операций над числами с плавающей точкой в секунду).

С понятием MIPS связывалась ранее и другая метрика, основанная на производительности вычислительной системы DEC VAX 11/780. Еще одно определение MIPS используется пользователями и производителями техники IBM, когда за норму выбирается одна из моделей RS/6000. При этом 1 MIPS IBM = 1.6 MIPS DEC.

При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем быстрее выполняется программа) его использование затруднено вследствие нескольких причин:

Процессоры разной архитектуры (особенно RISC) имеют различный набор команд. Так, совмещенная операция умножения и сложения векторов в процессоре POWER 2 существенно сокращает число операций. Кроме того, можно выделить "быстрые" (например, сложение, вычитание) и "медленные" (например, деление) операции, а в результате рейтинг MFLOPS для разных программ окажется разным.

Применение математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность системы, однако рейтинг MIPS может уменьшиться, так как время выполнения команд для операций над данными с плавающей точкой значительно больше и за единицу времени может быть выполнено меньшее число команд, нежели при выполнении соответствующих этим командам подпрограмм.

Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные – с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.

Ещё более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (Symmetric MultiProcessing – симметричная мультипроцессорная обработка) к МРР(Massively Parallel Processing - обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию ряда тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.

1.1 Тесты DHRYSTONE, LINPACK и "ЛИВЕРМОРСКИЕ ЦИКЛЫ"

Для работы с показателями MIPS и MFLOPS чаще всего используются системы тестов Dhrystone, LINPACK и "Ливеморские циклы".

Тестовая смесь Dhrystone состоит из 100 команд: 53 - операторы присвоения, 32 - управления и 15 - вызова функций. Результатом работы этого теста является число Dhrystone в секунду. При этом на системе DEC VAX 11/780 результат составлял 1757 Dhrystone, и поэтому считалось, что 1 DEC MIPS равен 1757 Dhrystone. Сейчас Dhrystone практически не применяется.

Тесты LINPACK и "Ливерморские циклы" появились в середине 60-х гг.

"Ливерморские циклы" состоят из фрагментов программ для решения численных задач на языке Фортран, имеющих реальное хождение в Ливерморской национальной лаборатории им. Лоуренса в США. В этих фрагментах используются различные вычислительные алгоритмы: сеточные, последовательные, волновые, что существенно относительно соответствия вычислительных и аппаратных структур. Соответствие этих структур друг другу должно обеспечить максимальную эффективность вычислений. При проведении тестовых испытаний может использоваться либо набор из 14 циклов (малый набор), либо набор их 24 циклов (большой набор). При использовании векторных и параллельных машин важным фактором, определяющим эффективность работы для конкретного приложения, является коэффициент векторизуемости алгоритма. На "Ливерморских циклах" этот коэффициент составляет от 0 до 100 % , что подтверждает возможность их применения для широкого круга вычислительных систем.

LINPACK включает набор программ на Фортране, предназначенных для решения систем линейных алгебраических уравнений. Важность этого тестового набора, так же как и "Ливерморских циклов", определяется практической значимостью и применимостью этих алгоритмов для решения реальных задач. В основе используемых в LINPACK алгоритмов лежит метод декомпозиции: исходная матрица представляется в виде произведения двух матриц стандартной структуры, к которому собственно и применяется алгоритм нахождения решения. Важная особенность системы LINPACK - ее структурированность. В частности, выделяется базовый уровень системы, обеспечивающий реализацию элементарных операций над векторами, куда входят подпрограммы умножения векторов на скаляр и сложения векторов, а также скалярного произведения векторов. Этот уровень называется BLAS (Basic Linear Algebra Subprograms). Все операции выполняются над вещественными числами двойной точности, а результат измерения выражается в М FLOPS.

В настоящее время используются два уровня теста: LINPACK DP - для исходной матрицы размером 100x100 и LINPACK ТРР - для матрицы размером 1000x1000. Для многих современных вычислительных систем первый уровень этого теста может дать заведомо превосходящие возможности системы результаты за счет того, что исходная матрица размером 100x100 может быть целиком размещена в кэш-памяти. Использование теста LINPACK ТРР пока снимает эту проблему, однако даже и этот тест для систем с массовым параллелизмом не может быть использован. Для таких систем рекомендуется тест LINPACK HPC (Highly Parallel Computing), который позволяет полностью загрузить вычислительные ресурсы МРР-системы, увеличивая размеры матрицы. При этом следует иметь в виду, что для параллельных систем (SMP и МРР) применяются специальные варианты этого теста, обеспечивающие распараллеливание вычислений.

1.2 Методика SPEC

Основным набором в SPEC был тест SPECint89 для оценки процессора на операциях с данными целочисленного типа и SPECfp89 для оценки при работе с данными вещественного типа. Появление в начале 90-х гг. нового поколения RISC-процессоров (PowerPC, РА-7200, MIPS, Rxxxx) сделало невозможным использование этого набора из-за резкого уменьшения времени выполнения и влияния на производительность оптимизирующих компиляторов. Тестовый набор был преобразован в смеси SPECint92 и SPECfp92, учитывающие эффективность работы с памятью. Производительность тестируемой системы измерялась в условных единицах относительно базовой DEC VAX 11/780.

Комплексный показатель качества по методике SPEC определяется как среднегеометрическое времени выполнения программ, входящих в тестовую смесь. При этом использовалось среднее значение дли всех тестов, образуемых SPECint92 и SPECfp92. С разработкой нового поколения оптимизирующих компиляторов для RISC-процессоров консорциум SPEC в 1994 г. внес новые поправки-требования к используемым компиляторам. Тесты получили название SPECbase_int92 и SPECbase_fp92 и применялись для оценки работы в однозадачном режиме. Известно, что некоторые однопроцессорные системы способны выполнить одну задачу быстрее многопроцессорных, однако этот факт не дает полной картины интегрального поведения системы в целом, так как многопроцессорные комплексы могут выполнять больше заданий в единицу времени, поэтому в режиме многозадачности оценка производительности основана не на вычислении времени выполнения тестовой смеси, а на пропускной способности системы, измеряемой количеством заданий выполненных за единицу времени.

Если один процессор за минуту выполняет одну работу, а система из четырех процессоров делает это за две, то многопроцессорная система работает в два раза медленнее, но имеет загрузку в два раза больше, чем однопроцессорная. Загрузка находится в прямой зависимости от размера кэш-памяти, скорости шины емкости оперативной памяти.

Набор тестовых программ для оценки пропускной способности SPECrate полностью аналогичен наборам SPECint92 и SPECftp92 - это те же программы, но размноженные на несколько одновременно запускаемых копий. Результирующее значение по методике SPECrate вычисляется по формуле:

SPECrate = число_копий * ref_const * cpu_const / общее_время.

Число одновременно выполняемых задач может выбираться произвольным образом. Очевидное решение - число, равное количеству процессоров, однако для каждой конкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время - время завершения последней из всех запущенных работ.

В методике используется принцип одноразрядной загрузки (тестовая смесь SPECint92 и SPECftp92), а в качестве конечного результата выступает среднее значение по всем тестам. При работе в мультипрограммной системе может варьироваться количество запускаемых копий, а время фиксироваться по завершении выполнения последней копии. Оценки по данной методике называются SPECrate_int92 и SPECrate_ftp92.

C октября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 - для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова. Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу— ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95.

В табл. 3.1 приведены результаты тестирования некоторых процессоров.

Таблица 3.1 Результаты тестирование микропроцессоров

Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, использование которого является обязательным;

• средства оценки, основанные на вычислении среднего времени из серии запусков, исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В отчете присутствует "базовое" время (References time) — время выполнения теста на эталонной машине, в качестве которой используется SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению со временем отработки тестов на эталонной машине; Эта оценка является основной для данного набора;

• автоматическое формирование отчета, в котором должно присутствовать полное описание конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.

Оценка производительности проводится по двум частным показателям:

• скорости выполнения теста с оптимизированным (SPECint_95 и SPECftp_95) и неоптимизированным (SPECint_base_95 и SPECftp_base_95) режимами компиляции;

• пропускной способности системы для многопроцессорных архитектур и/или для многозадачного режима работы в оптимизированном (SPECint_rate95 и SPECftp_rate95) и неоптимизированном (SPECint_rate_base95 и SPECftp_rate_basefp95) режимах работы.

Смесь SPECint_95 включает 8, a SPECftp_95 - 10 программ. Перечень, программ, время их выполнения на эталонной машине, прикладная область и характеризующие ее спецификации показаны в табл. 3.2. Набор целочисленных программ написан на языке Си, а для работы с плавающей арифметикой - на Фортране.

Как видно из табл. 3.2, в тестовый набор включены программы, используемые в различных прикладных областях. Это допускает проведение не только комплексного сравнения по итоговому рейтингу, но и узкоориентированного - до конкретной программе, в случае если предполагаемое использование вычислительной системы соответствует выбранной предметной области.

В комплект официальной поставки тестового набора входят исходные тексты программ тестового набора, инструментальные средства для компиляции, запуска, сравнения результатов и формирования отчета, описание правил запуска тестов и формирования отчета. В отчете указывается время прогона на тестируемой системе, относительное время по каждой программе и их файловой системе, используемые флаги и ключи.

Ливерморские циклы" состоят из фрагментов программ для решения численных задач на языке Фортран, имеющих реальное хождение в Ливерморской национальной лаборатории им. Лоуренса в США. В этих фрагментах используются различные вычислительные алгоритмы: сеточные, последовательные, волновые, что существенно относительно соответствия вычислительных и аппаратных структур. Соответствие этих структур друг… Читать ещё >

Методы организации сложных экспертиз компьютерных систем ( реферат , курсовая , диплом , контрольная )

Кафедра информатики и вычислительной техники Курсовая работа по информатике на тему:

Методы организации сложных экспертиз компьютерных систем.

Введение

Глава 1. Методы сложных экспертиз компьютерных систем.

1.2 Методика SPEC.

1.3 Тест ICOMP 2.0 для оценки эффективности микропроцессоров INTEL.

1.4 МЕТОДИКА AIM.

1.5 МЕТОДИКА ОЦЕНКИ СКОРОСТИ ОБРАБОТКИ ТРАНЗАКЦИЙ.

1.6 МЕТОДИКА ОЦЕНКИ ГРАФИЧЕСКИХ ВОЗМОЖНОСТЕЙ.

1.7 МЕТОДИКА ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ СУПЕРКОМПЬЮТЕРОВ.

1.8 МЕТОДИКА ОЦЕНКИ КОНФИГУРАЦИЙ WEB.

2.1 Понятие и требования к электронному учебнику.

2.2 Структура и содержание учебника Заключение Библиографический список Приложение.

Объект — процесс создания и экспертизы компьютерных систем.

Предмет — теоретические основы проведения сложных экспертиз компьютерных систем.

1. Провести анализ современных методов сложных экспертиз компьютерных систем.

Глава 1. Методы сложных экспертиз компьютерных систем.

1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second — миллион машинных команд в секунду) — отношение числа команд в программе к времени ее выполнения;

Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные — с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.

Ещё более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (Symmetric MultiProcessing — симметричная мультипроцессорная обработка) к МРР (Massively Parallel Processing — обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию ряда тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.

1.1 Тесты DHRYSTONE, LINPACK и " ЛИВЕРМОРСКИЕ ЦИКЛЫ" .

Тестовая смесь Dhrystone состоит из 100 команд: 53 — операторы присвоения, 32 — управления и 15 — вызова функций. Результатом работы этого теста является число Dhrystone в секунду. При этом на системе DEC VAX 11/780 результат составлял 1757 Dhrystone, и поэтому считалось, что 1 DEC MIPS равен 1757 Dhrystone. Сейчас Dhrystone практически не применяется.

В настоящее время используются два уровня теста: LINPACK DP — для исходной матрицы размером 100×100 и LINPACK ТРР — для матрицы размером 1000×1000. Для многих современных вычислительных систем первый уровень этого теста может дать заведомо превосходящие возможности системы результаты за счет того, что исходная матрица размером 100×100 может быть целиком размещена в кэш-памяти. Использование теста LINPACK ТРР пока снимает эту проблему, однако даже и этот тест для систем с массовым параллелизмом не может быть использован. Для таких систем рекомендуется тест LINPACK HPC (Highly Parallel Computing), который позволяет полностью загрузить вычислительные ресурсы МРР-системы, увеличивая размеры матрицы. При этом следует иметь в виду, что для параллельных систем (SMP и МРР) применяются специальные варианты этого теста, обеспечивающие распараллеливание вычислений.

1.2 Методика SPEC.

Набор тестовых программ для оценки пропускной способности SPECrate полностью аналогичен наборам SPECint92 и SPECftp92 — это те же программы, но размноженные на несколько одновременно запускаемых копий. Результирующее значение по методике SPECrate вычисляется по формуле:

SPECrate = число_копий * ref_const * cpu_const / общее_время.

Число одновременно выполняемых задач может выбираться произвольным образом. Очевидное решение — число, равное количеству процессоров, однако для каждой конкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время — время завершения последней из всех запущенных работ.

C октября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 — для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова. Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу— ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95.

В табл. 3.1 приведены результаты тестирования некоторых процессоров.

Таблица 3.1 Результаты тестирование микропроцессоров.

К ним относятся методы организации индивидуальных экспертиз, когда обращаются к квалифицированному специалисту в исследуемой области – эксперту. В этой методике выделяются группы критериев оценки и рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцированно, а весовые коэффициенты – повышают объективность результирующих оценок.

Козлов, В. Н. Системный анализ, оптимизация и принятие решений: учебное пособие. – М.: Проспект, 2012. – 176 с.

Морфологические методы

Основная идея морфологического подхода – систематически находить все возможные варианты решения проблемы путем комбинирования выделенных элементов или их признаков. В систематизированном виде метод морфологического анализа был впервые предложен Ф. Цвикки и часто так и называется "метод Цвикки". Известны три основные схемы метода:

- метод систематического покрытия поля, основанный на выделении так называемых опорных пунктов знаний в исследуемой области и использование для заполнения поля некоторых сформулированных принципов мышления;

- метод отрицания и конструирования, который заключается в формулировке некоторых предположений и замене их на противоположные с последующим анализом возникающих несоответствий;

- метод морфологического ящика, который состоит в определении всех возможных параметров, от которых может зависеть решение проблемы. Выявленные параметры формируют матрицы, содержащие все возможные сочетания параметров по одному из каждой строки с последующим выбором наилучшего сочетания.

На рисунке 3 приведена когнитивная карта про морфологические методы.

Андрейчиков А. В., Андрейчикова О. Н. Системный анализ и синтез стратегических решений в инноватике. Математические, эвристические и интеллектуальные методы системного анализа и синтеза инноваций /.— Изд. 2-е .— М.: Книжный дом "ЛИБРОКОМ", 2013 .— 304 с.

Методы структуризации

Для успешной подготовки решений особенно важно то, что метод структуризации позволяет расчленять сложную, трудноразрешимую задачу на совокупность относительно простых, для решения которых существуют проверенные приемы и методы.

Термин "дерево" предполагает использование иерархической структуры, полученной путем разделения общей цели на подцели. Для случаев, когда древовидный порядок строго по всей структуре не выдерживается, В. И. Глушков ввел понятие "прогнозного графа". Метод "дерева целей" ориентирован на получение относительно устойчивой структуры целей проблем, направлений. Для достижения этого при построении первоначального варианта структуры следует учитывать закономерности целеобразования и использовать принципы формирования иерархических структур.

Первоначально метод "Дельфи" был предложен как одна из процедур при проведении мозговой атаки и должен был помочь снизить влияние психологических факторов и повысить объективность оценок экспертов. Затем метод стал использоваться самостоятельно. Его основа – обратная связь, ознакомление экспертов с результатами предшествующего тура и учет этих результатов при оценке значимости экспертов.

Козлов, В. Н. Системный анализ, оптимизация и принятие решений: учебное пособие. – М.: Проспект, 2012. – 176 с.

- помощь в выявлении общих закономерностях развития системы;

- анализ внешних и внутренних факторов, влияющих на развитие системы и формулирование целей;

- анализ источников научно-технической информации;

- создание вспомогательных информационных фондов, способствующих решению имеющейся проблемы.

Баринов, В.А. Теория систем и системный анализ в управлении организациями: Справочник: Учебное пособие / В.А. Баринов, Л.С. Болотова; Под ред. В.Н. Волкова, А.А. Емельянов. – М.: ФиС, ИНФРА-М, 2012. – 848 c.

Общие условия выбора системы дренажа: Система дренажа выбирается в зависимости от характера защищаемого.

Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰).

Механическое удерживание земляных масс: Механическое удерживание земляных масс на склоне обеспечивают контрфорсными сооружениями различных конструкций.

Поперечные профили набережных и береговой полосы: На городских территориях берегоукрепление проектируют с учетом технических и экономических требований, но особое значение придают эстетическим.

Цель работы: освоить процедуру принятия решения с использованием экспертного метода Дельфи.

Задачи работы:

- с привлечением экспертной группы сформировать банк вариантов решений поставленной задачи (не менее 20);

- на основе применения метода Дельфи определить оптимальные решения и сделать выводы по результатам проделанной работы.

Предмет и объект работы определяются в соответствии с вариантом задания.

Перечень и характеристика оборудования и материалов. Для выполнения лабораторной работы используется персональный компьютер с установленным офисным программным обеспечением. Оформление работы может быть выполнено с использованием средств Microsoft Word и Microsoft Excel.

Литература: /3/, гл.8, /7/, с.85, 261-266, 305-317, /22/, п.4.4, /26/, гл.3, 4, /34/, гл.5.

Краткое изложение основных теоретических и методических аспектов предмета лабораторной работы:

В развитых вариантах Дельфи-процедура представляет собой программу последовательных индивидуальных опросов с использованием методов анкетирования. Вопросники от тура к туру уточняются. Экспертам присваиваются весовые коэффициенты значимости их мнений (коэффициенты компетентности), вычисляемые на основе предшествующих опросов, также уточняемые от тура к туру и учитываемые при получении обобщенных результатов опроса. Для снижения таких факторов, как внушение или приспосабливаемость к мнению большинства, иногда требуется, чтобы эксперты обосновывали свою точку зрения, но это не всегда приводит к желаемому результату, а, напротив, может усилить эффект приспосабливаемости, так называемой эффект Эдипа.

Балльное оценивание при принятии решения. Оценка согласованности мнений экспертов.

Для выбора лучшего варианта решения часто применяют балльное оценивание. Возможны два подхода. При первом из них каждому члену группы даются 10 или 20 баллов, которые ему предлагается распределить между рассматриваемыми вариантами в соответствии с его системой предпочтений. После чего вариант, получивший от всех членов группы наибольшую сумму баллов, и выбирается группой как наилучший. Указанный подход иллюстрируется таблицей 1.

Балльное оценивание. Подход 1

Варианты	эксп.1	эксп.2	эксп.3	эксп.4	эксп.5	Сумма баллов	Коллективная ранжировка
A	4–5
B
C	4–5
D
E
F
G

Как видно из представленного в таблице 1 примера, эксперты вольны приписывать каждому варианту любое количество баллов из имеющихся в их распоряжении 20. А некоторые варианты могут вообще не получить ни одного балла. В данной задаче вариант E набрал наибольшую сумму баллов (35) и выбирается как наилучший. Рассмотренная методика может применяться и в два этапа. На первом из них из всего количества вариантов для дальнейшего анализа отбирается несколько наиболее предпочтительных. Для этого заранее оговаривается, что ко второму этапу будут допущены только варианты, набравшие не менее определенной суммы баллов. Например, если в рассматриваемом примере эта контрольная сумма устанавливается в 15 баллов, то ко второму этапу будут допущены варианты E, D и B. На втором этапе вся процедура балльного оценивания повторяется, но теперь только для выделенных трех вариантов, в результате чего и находится лучший из них.

Применять указанную методику для нахождения лучшего варианта нецелесообразно, поскольку при ее использовании мнения экспертов далеко не всегда оказываются согласованными. Эксперты зачастую отдают все 20 баллов предпочитаемому ими варианту и, таким образом, сравнения вариантов практически не происходит. Рекомендуемая область применения этой методики – отбраковка наименее предпочтительных вариантов и формирование множества вариантов, из которых и будет впоследствии находиться наилучший.

При втором подходе каждый вариант оценивается, например, по 10 балльной шкале, а затем по наибольшей сумме баллов определяется лучший из них. Процедура иллюстрируется примером, помещенным в таблице 2.

Балльное оценивание. Подход 2

Варианты	эксп.1	эксп.2	эксп.3	эксп.4	эксп.5	Сумма баллов	Коллективная ранжировка
A
B
C
D
E
F
G

Из приведенного примера видно, что эксперты лучшим вариантом признали вариант E, набравший наибольшую сумму баллов (44).

Проблема проверки согласованности мнений экспертов существует и при балльном оценивании. Решается она следующим образом. Вначале для каждого варианта решения (их в рассматриваемом примере 7) определяется среднее арифметическое из оценок всех экспертов. Так, для варианта E (см. таблицу 2), оно равно X_ср = (10+9+8+9+8):5 = 44:5 = 8,8. Затем рассчитывается среднее квадратическое отклонение по формуле

где X – оценки экспертов, m – число экспертов.

Для нашего примера имеем:

Далее подсчитывается коэффициент вариации по формуле

K = s/X_ср =0,84/8,8 = 0,095.

Мнения экспертов по каждому из вариантов решения считаются согласованными, если коэффициент вариации не превосходит величины 0,25. Для варианта решения E в рассматриваемом примере получаем К = 0,095

Читайте также: