Инструментальные средства тестирования реферат
Обновлено: 06.07.2024
- Для учеников 1-11 классов и дошкольников
- Бесплатные сертификаты учителям и участникам
Кафедра информатики и вычислительной техники
По проектированию информационно образовательной среды
Онлайн тестирование – конструирование тестов
студентка 2 курса группы МДМ-216 ______________________ А.А.Буянова
канд. физ. мат. наук, доцент ________________________ Т. В. Кормилицына
1. Общая характеристика тестов. 4
2. Специфика компьютерного тестирования и его формы. 7
3. Online -тестирование, его применение в дистанционном обучении. 13
Список использованных источников . 18
Тестирование (англ. test - испытание, проверка) - экспериментальный метод психодиагностики, применяемый в эмпирических социологических исследованиях, а также метод измерения и оценки различных психологических качеств и состояний индивида.
Возникновение тестологических процедур было обусловлено потребностью сопоставления (сравнения, дифференциации и ранжирования) индивидов по уровню развития или степени выраженности различных психологических качеств.
Основоположники тестирования - Ф.Гальтон, Ч.Спирман, Дж.Каттел, А.Бине, Т.Симон. Сам термин "умственный тест" придумал Кеттел в 1890 г. Начало развития современной тестологии массового применения тестов на практике связано с именем французского врача Бине, разработавшего в соавторстве с Симоном метрическую шкалу умственного развития, известную под названием "тест Бине-Симона".
Широкому распространению, развитию и совершенствованию тестов способствовал целый ряд преимуществ, которые дает этот метод. Тесты позволяют дать оценку индивида в соответствии с поставленной целью исследования; обеспечивают возможность получения количественной оценки на основе квантификации качественных параметров личности и удобство математической обработки; являются относительно оперативным способом оценки большого числа неизвестных лиц; способствуют объективности оценок, не зависящих от субъективных установок лица, проводящего исследование; обеспечивают сопоставимость информации, полученной разными исследователями на разных испытуемых.
1. Общая характеристика тестов
Тесты предъявляют требования:
- строгая формализация всех этапов тестирования,
- стандартизация заданий и условий их выполнения,
- квантификация полученных результатов и их структурирование по заданной программе,
- интерпретации результатов на основе предварительно полученного распределения по изучаемому признаку.
Каждый тест, соответствующий критериям надежности, кроме набора заданий включает в себя следующие компоненты:
1) стандартная инструкция для испытуемого о цели и правилах выполнения заданий,
2) ключ шкалирования - соотнесение пунктов заданий со шкалами измеряемых качеств, указывающее, какой пункт заданий к какой шкале относится,
3) кодировочный ключ, позволяющий подсчитать, сколько баллов вносит в шкалу тот или иной вариант ответа,
4) ключ интерпретации полученного индекса, представляющий собой данные нормы, с которыми соотносится полученный результат.
Разработка теста состоит из четырех этапов.
- На первом этапе развивается исходная концепция с формулировкой основных пунктов испытания или основных вопросов, носящих предварительный характер;
- на втором - производится отбор предварительных пунктов испытания с из последующей селекцией и приведением к окончательному виду, осуществляется одновременно оценка по качественным критериям надежности и валидности;
- на третьем этапе тест проверяется повторно на той же самой популяции;
- на четвертом - калибруется по отношению к возрасту, уровню образования и другим признакам популяции.
На всех этапах разработки теста необходимо учитывать:
а) диагностируемое свойство личности (размер, положение, индикатор) или только наблюдаемые его проявления (например, способности, уровень знаний, темперамент, интересы, установки);
б) связанную с этим валидизацию метода , т.е. определение того, насколько он измеряет требуемое свойство;
в) величину выборки из популяции, на которой должна проводиться оценка метода;
г) стимулирующий материал (таблички, изображения, игрушки, фильмы);
е) условия ситуации;
ж) такие формы поведения испытуемого, которые свидетельствуют об измеряемом свойстве;
з) шкалиpование релевантных форм поведения;
к) формулировку результатов в нормированной шкале оценок.
Одним из вариантов теста может быть опросник, но при условии, что он отвечает требованиям, предъявляемым к тестам. Опросник - это сборник вопросов, которые выбираются и располагаются по отношению друг к другу в соответствии с требуемым содержанием. Опросники используются, например, в целях психодиагностики, когда от испытуемого требуется самооценка его поведения, привычек, мнений и т.д. При этом испытуемый, отвечая на вопросы, выражает свои положительные и отрицательные предпочтения. С помощью опросников можно измерять у испытуемых и оценки ими других людей. Задание обычно выступает, как прямая реакция на вопросы, на которые надо ответить путем сожаления или опровержения. Возможности для ответа в большинстве случаев заданы и требуют лишь отметки в виде крестика, кружочка и т.п. Недостаток опросника состоит в том, что испытуемый может симулировать или диссимулировать те или иные свойства личности. Преодолеть указанный недостаток (хотя и не полностью) исследователь может посредством контрольных вопросов, контрольных шкал, шкал "лжи". Опросники применяются преимущественно для диагностики характера, диагностики личности (например, экстраверсии - интроверсии, интересов, установок, мотивов).
Диагностика личности - совокупность методов, позволяющих распознать ее в неинтеллектуальные свойства, носящие характер относительно устойчивых диспозиций. Для таких свойств личности, как экстраверсия - интроверсия, доминирующий мотив, заторможенность, возбудимость, ригидность, разработан ряд диагностических методов (опросники и проективные тесты), с помощью которых можно определить выраженность этих свойств. При конструировании таких методов, как правило, пользуются факторным анализом (Г. Айзенк, Дж.Каттел, Дж. Гилфорд) и конструктивной валидизацией.
На современном этапе в прикладной социологии чаще всего используются тестовые методики, заимствованные из социальной психологии, касающиеся изучения качеств личности. Появляются тесты, специально разработанные социологами. Эти тесты часто используются в социологических анкетах.
2. Специфика компьютерного тестирования и его формы
Общие представления о компьютерном тестировании.
С начала XXI в. в образовании тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление – компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.
Этап генерации тестов технологически может протекать по–разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.
Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которые до сих пор не выявлены по полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.
Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников отдельных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.
Формы осуществления компьютерного тестирования.
Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест (рис.1) часть из них пока не получили специального названия в литературе по тестовой проблематике.
Рис.1. Формы компьютерного тестирования
Первая форма – самая простая. Готовый тест, стандартизированный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.
Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию бланка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3—4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.
Третья форма – компьютерное адаптивное тестирование – базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений, или гарантированно не справится в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.
Достоинства и недостатки компьютерного тестирования.
Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестирование, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ. Предъявление вариантов теста на компьютере позволяет сэкономить средства, рекомендуемые обычно на печать и транспортировку бланковых тестов.
Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличивается за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической постановки проблем с помощью мультимедийных средств и др.
Благодаря компьютерном тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не доступных заданий теста.
Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков, которые представлены на рис.2.
Рис.2 Проблемы, возникающие при компьютерном тестировании
Типичные психологические и эмоциональные реакции учащихся на компьютерном тестировании.
Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдачи заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.
Воздействие на выполнение теста предшествующего уровня компьютерного опыта.
Влияние интерфейса пользователя на результаты компьютерного тестирования.
Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, отражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.
Тестирование – дорогой и трудоемкий этап разработки программных систем. Поэтому создан широкий спектр инструментальных средств для поддержки процесса тестирования, которые значительно сокращают расходы на него.
На рис. 20.14 показаны возможные инструментальные средства тестирования и отношения между ними. Перечислим их.
1. Организатор тестов. Управляет выполнением тестов. Он отслеживает тестовые данные, ожидаемые результаты и тестируемые функции программы.
2. Генератор тестовых данных. Генерирует тестовые данные для тестируемой программы. Он может выбирать тестовые данные из базы данных или использовать специальные шаблоны для генерации случайных данных необходимого вида.
3. Оракул. Генерирует ожидаемые результаты тестов. В качестве оракулов могут выступать предыдущие версии программы или исследуемого объекта. При тестировании параллельно запускаются оракул и тестируемая программа и сравниваются результаты их выполнения.
4. Компаратор файлов. Сравнивает результаты тестирования с результатами предыдущего тестирования и составляет отчет об обнаруженных различиях. Компараторы особенно важны при сравнении различных версий программы. Различия в результатах указывают на возможные проблемы, существующие в новой версии системы.
5. Генератор отчетов. Формирует отчеты по результатам проведения тестов.
6. Динамический анализатор. Добавляет в программу код, который подсчитывает, сколько раз выполняется каждый оператор. После запуска теста создает исполняемый профиль, в котором показано, сколько раз в программе выполняется каждый оператор.
7. Имитатор. Существует несколько типов имитаторов. Целевые имитаторы моделируют машину, на которой будет выполняться программа. Имитатор пользовательского интерфейса – это программа, управляемая сценариями, которая моделирует взаимодействия с интерфейсом пользователя. Имитатор ввода-вывода генерирует последовательности повторяющихся транзакций.
Рис. 20.14. Инструментальные средства тестирования
Требования, предъявляемые к процессу тестирования больших систем, зависят от типа разрабатываемого приложения. Поэтому инструментальные средства тестирования неизменно приходится адаптировать к процессу тестирования конкретной системы.
Для создания полного комплекса инструментального средства тестирования, как правило, требуется много сил и времени. Весь набор инструментальных средств, показанных на рис. 20.14, используется только при тестировании больших систем. Для таких систем полная стоимость тестирования может достигать 50% от всей стоимости разработки системы. Вот почему выгодно инвестировать разработку высококачественных и производительных CASE-средств тестирования.
КЛЮЧЕВЫЕ ПОНЯТИЯ
• При тестировании систем прежде всего тестируются наиболее часто используемые части системы, а затем части, используемые реже.
• Области эквивалентности входных данных являются одним из способов представления сценариев тестирования. Часто значения, которые с наибольшей вероятностью ведут к результативному тестированию, лежат на границе областей эквивалентности.
• При тестировании методом черного ящика не требуется доступ к исходному коду. Тестовые данные получают на основе программной спецификации.
• Во время тестирования системной сборки исследуются взаимодействия между компонентами системы и интерфейсами компонентов.
• Дефекты интерфейса часто возникают из-за ошибок, сделанных при интерпретации спецификации требований. Тестирование интерфейсов должно обнаруживать дефекты в интерфейсах объектов и модулей.
• При тестировании классов объектов следует так проектировать тесты, чтобы проверить все методы, ассоциированные с классами, определить и оценить все свойства объектов и протестировать объект во всех возможных состояниях.
20.1. Обсудите различия между тестированием методом черного ящика и структурным тестированием. Подумайте, каким образом можно совместно использовать эти методы в процессе тестирования дефектов.
20.2. Какие проблемы тестирования могут возникнуть в программах, которые обрабатывают как очень большие, так и очень малые числа?
20.3. Разработайте набор тестовых данных для следующих компонентов:
• программа сортировки массивов целых чисел;
• программа, которая вычисляет количество символов (отличных от пробелов) в текстовых строках;
• программа, которая проверяет текстовые строки и заменяет последовательности пробелов одним пробелом;
• объект, реализующий символьные строки разной длины. Среди операций, ассоциированных с этим объектом, должны быть операция конкатенации, операция определения длины строки и операция выбора подстроки.
20.4. Напишите код для первых трех перечисленных выше программ, используя любой язык программирования. Для каждой программы рассчитайте цикломатическое число.
20.5. На примере небольшой программы покажите, почему практически невозможно полностью протестировать программу.
20.6. Для проверки созданных вами программ, разработайте контрольные тесты в дополнение к тем, которые уже были рассмотрены. Выявил ли анализ кода упущения в первоначальных наборах тестовых данных?
20.7. Реализуйте (на языке Java или C++) класс объектов SYMBOL_TABLE, который будет использоваться как часть системы компиляции. Этот класс должен иметь следующие методы: добавление имени и типа данных в таблицу идентификаторов, удаление имени, изменение информации, связанной с именем, и поиск по таблице. Организуйте инспектирование кода этого объекта (см. главу 19) и сделайте подсчет обнаруженных ошибок. Протестируйте объект методом черного ящика и сравните ошибки, выявленные при тестировании и при инспектировании.
20.8. Объясните, почему методы нисходящего и восходящего тестирования не подходят для объектно-ориентированных систем.
20.9. Создайте сценарии тестирования состояний микроволновой печи, модель состояний которой показана на рис. 7.5.
Под верификацией понимается процесс определения, в какой степени программные средства выполняют наложенные на них требования. Функции, выполняемые верификацией, определены в стандарте “ISO 12207” (SoftWare LifeCycle Processes. Процессы жизненного цикла программных средств).
В соответствии с требованиями стандарта “ISO 12207” процессы верификации программного средства включают в себя следующие задачи:
Во-первых, в том, что поставщик имеет возможность удовлетворить требования контракта;
Во-вторых, в том, что требования непротиворечивы и покрывают все нужды пользователя;
В-третьих, в том, что предусмотрены адекватные процедуры для регулирования изменений требований и возрастающих проблем;
В-четвертых, в том, что предусмотрены процедуры и их приложение на сотрудничество между сторонами, включая право собственности, гарантию, авторское право и конфиденциальность;
В-пятых, в том, что предусмотрены критерии и процедуры приемки результатов разработки согласно требованиям.
Во-первых, в том, что требования проектного планирования адекватны и скоординированы во времени;
Во-вторых, в том, что процессы, выбранные для проекта, адекватны, реализуемы, выполняются, как запланировано и соответствуют контракту;
В-третьих, в том, что стандарты, процедуры и область функционирования адекватны для проектных процедур;
В-четвертых, в том, что проект укомплектован ресурсами, и персонал обучен, как требуется по контракту.
Во-первых, в том, что требования системы непротиворечивы, выполнимы и проверяемы;
Во-вторых, в том, что требования системы распределены между компонентами аппаратных средств, компонентами программного средства и ручными операциями согласно критериям проекта;
В-третьих, в том, что требования к программному средству последовательны, выполнимы, тестируемы и точно отражают требования системы;
В-четвертых, в том, что требования к программному средству, связанные с безопасностью, защитой и критичностью правильны, как показано соответствующими точными методами анализа.
Во-первых, в том, что проект корректен и не противоречит исходным требованиям контракта;
Во-вторых, в том, что проект реализует правильный ход событий, вводов, выводов, интерфейсов, логического потока, распределения временных и вычислительных ресурсов, определения ошибок, их обнаружения и восстановления работоспособности программного средства;
В-третьих, в том, что выбранный проект полностью исходит от требований;
В-четвертых, в том, что проект реализует безопасность, защищенность и другие критические требования, правильно, как показано соответствующими точными методами анализа.
Во-первых, в том, что текст программы удовлетворяет проекту и требованиям, тестируем, корректен и соответствует стандартам программирования;
Во-вторых, в том, что программа отражает истинный ход событий, последовательные интерфейсы, правильные данные и управляющий поток, завершенность, размещение временных и вычислительных ресурсов, определение ошибок, их обнаружение и восстановление работоспособности программного средства;
В-третьих, в том, что программа исходит из проекта и требований контракта;
В-четвертых, в том, что программа обеспечивает безопасность, защищенность и другие критические требования корректно, как показано соответствующими точными методами анализа.
Во-первых, в том, что компоненты программного средства и элементы каждого компонента программного средства полностью и правильно интегрированы в комплекс программ;
Во-вторых, в том, что компоненты аппаратных средств, компоненты программного средства и ручные операции полностью и правильно интегрированы в информационную систему;
В-третьих, в том, что интеграционные задачи выполнены согласно интеграционному плану.
Во-первых, в том, что документация адекватна, полна и последовательна;
Во-вторых, в том, что подготовка документации выполнена своевременно;
В-третьих, в том, что схема управления документами следует определенным плановым процедурам.
Для повышения эффективности затрат при реализации проекта, верификация должна быть выполнена как можно раньше.
Тестирование является одним из видов верификации и направлено на определение того, соответствует ли программное обеспечение требованиям спецификации.
Тестированием называется процесс выполнения программного изделия с целью определения содержащихся в нём ошибок. Определение процесса тестирования исходит из того, что всякое программное изделие содержит ошибки. Задача тестирования сводится к обнаружению, как можно большего числа ошибок. В соответствии с определением тестирования, хорошим считается тест, который имеет высокую вероятность обнаружения еще не выявленных ошибок.
Тестовый прогон, приведший к обнаружению ошибки, является удачным. Прогон теста, в результате которого ошибка не была обнаружена, является не удачным прогоном. Тест, который с самого начала демонстрирует отсутствие ошибок, как правило, недостаточно хорошо разработан.
Осуществляя тестирование необходимо исходить из следующей закономерности. Вероятность наличия необнаруженных ошибок на конкретном участке программы пропорциональна числу ошибок, уже обнаруженных на данном участке. Указанная закономерность отражает неравномерность распределения ошибок на различных участках программы. Поэтому, если первые результаты тестирования позволяют выявить наиболее уязвимые участки программы, то на эти участки при дальнейшем тестировании необходимо обратить особое внимание.
Выполняя тестирование необходимо, во-первых, проверить, делает ли данный программный продукт то, для чего он предназначен; во-вторых, проверить, не делает ли данный программный продукт, то, что он не должен делать.
При тестировании необходимо проверять возможность наличия неправильных и непредусмотренных входных данных. Тесты, представляющие некорректные входные данные, обладают большой обнаруживающей способностью.
При разработке тестов необходимо исходить из того, что исчерпывающее тестирование для всех входных данных невозможно. Поэтому каждый тест должен давать максимальную отдачу по сравнению с произведенными затратами. Отдача теста измеряется вероятностью того, что тест выявит не обнаруженную прежде ошибку. Затраты измеряются стоимостью подготовки теста, стоимостью его выполнения, и стоимостью анализа результатов теста.
При рассмотрении эффективности теста, учитывается в какой степени, данный тест обнаруживает ошибки, наибольшим образом снижающие надежность программы.
Разработка тестов должна соответствовать международным и российским стандартам. Можно выделить следующие стандарты:
Стандарт ISO 12119 (“ Пакеты программ. Требования к качеству и тестирование”). Данный стандарт содержит раздел, который кратко определяет порядок тестирования программного продукта на соответствие данного программного продукта требованиям к качеству. Данные указания охватывают как тестирование для характеристик, присущих всем аналогичным продуктам, так и тестирование для особых характеристик, декларированных в описании данного программного продукта.
В стандарте ANSI/IEEE 1008 (“Тестирование программных модулей и компонентов ПС”) рассмотрена методика отладки отдельных модулей и небольших групп программ. Целями данного стандарта являются создание единого подхода к тестированию компонентов программного средства, который может быть использован на практике в качестве основы для получения эффективных ПС, а также описание концепций и допущений, принимаемых при тестировании.
Эффективная организация тестирования должна основываться на соблюдении следующей совокупности принципов.
Принцип сегментации основан на разделении сложной задачи на ряд небольших подзадач, которые в последующем рассматриваются как самостоятельные.
Принцип проектирования тестирования. Данный принцип требует рассмотрения вопросов тестирования на всех этапах проектирования программного обеспечения.
Принцип моделирования. Данный принцип предусматривает предварительное построение моделей. Моделирование позволяет обеспечить разработку и проверку тестов до разработки основных элементов программного обеспечения.
Принцип выборочного контроля. Тестирование не может быть исчерпывающим, поэтому для контроля выбирают определенную совокупность данных.
Принцип стандартизации. Стандартизация важна как средство для упрощения проблем тестирования и развития методологии получения надежных средств программного обеспечения.
При разработке тестов исходят из невозможности создать тест, обеспечивающий всестороннее тестирование. Задача сводится к созданию максимально эффективного теста, обеспечивающего обнаружение ошибок наибольшим образом снижающих надежность программ.
Можно выделить два вида тестирования:
Во-первых, структурное тестирование;
Во-вторых, функциональное тестирование.
Структурное тестирование означает тестирование, управляемое логикой программы. В этом случае, осуществляется тщательный анализ алгоритма программы и предусматривается разработка теста, обеспечивающего наиболее эффективным образом проверку различных участков программы. Структурное тестирование характеризуется степенью покрытия логики программы.
Полное покрытие всей логики программы, т.е. исчерпывающее тестирование, предполагает выполнение программы по всем маршрутам передач управления. Если программа содержит цикл, то полное тестирование предполагает необходимость расчета по каждому из вариантов цикла. Например, если циклически повторяется обработка записей трех наборов данных, каждый из которых может содержать до 10 тысяч записей, то полное тестирование предполагает создание, по меньшей мере 10000*10000*10000 тестов. Если алгоритм будет содержать логическую обработку, то количество необходимых тестов при полном тестировании многократно возрастает. Поэтому при тестировании путем покрытия логики программы при создании теста ориентируются не на полный тест, а на тест, отвечающий требуемому критерию. Для создания тестов при структурном тестировании могут быть использованы следующие методы:
Функциональное тестирование предусматривает тестирование с управлением по данным. При использовании этой стратегии не учитываются знания о внутренней структуре программы. При данном подходе определяется поведение программы, которое не соответствует спецификации данной программы. Функциональное тестирование предполагает задание различных вариантов наборов входных данных в соответствии со спецификацией программы.
Полное тестирование с использованием управления по данным предполагает: во-первых, задание всех возможных корректных сочетаний входных данных; во-вторых, задание всех возможных не корректных сочетаний входных данных. Данное число тестов будет являться бесконечно большим.
Реальное тестирование с применением управления по данным ограничивается использованием небольшого подмножества всех возможных данных. Тесты, которые позволяют обнаружить ошибки одного типа, объединяются в классы эквивалентности.
Можно выделить следующие методы функционального тестирования:
При выделении классов различают правильные классы эквивалентности и неправильные классы эквивалентности. Правильные классы эквивалентности представляют правильные входные данные программы. Неправильные классы эквивалентности представляют ошибочные входные данные.
Отличительные особенности анализа граничных значений заключаются в следующем:
Во-первых, в том, что элементы в класс эквивалентности выбираются таким образом, чтобы проверить тестом каждую границу класса эквивалентности;
Во-вторых, при разработке тестов рассматриваются не только входные, но и выходные классы эквивалентности.
Следует отметить следующие особенности функционального тестирования:
Во-первых, функциональное тестирование не заканчивается после передачи прикладного программного обеспечения. Каждый пользователь выполняет функциональное тестирование для своей конкретной ситуации. Иногда, производители прикладного программного обеспечения обговаривают, что предлагаемая версия программного продукта предполагает тестирование пользователями (бета версия).
Во-вторых, основные подходы функционального тестирования, в той или иной мере, могут эффективно использоваться не только при разработке прикладного программного обеспечения. Основные идеи функционального тестирования изложены в библии. В библии сказано, что отличать пророков от лжепророков следует по результатам их деятельности. Очевидно, что принципы функционального тестирования выполняет любой покупатель бытовой техники. В развитых странах по результатам деятельности политических партий осуществляется голосование избирателей. Данный подход также можно рассматривать, как функциональное тестирование.
Рассмотренные методы тестирования прикладного программного обеспечения. отличаются целевыми задачами тестирования, проверяемыми компонентами программы и методами оценки результатов. В связи с этим, только совместное применение различных методов тестирования позволяет достигать высокое качество функционирования программных средств.
Тестирование представляет собой дорогой и трудоемкий этап разработки программных систем. Поэтому создан широкий спектр инструментальных средств для поддержки процесса тестирования, которые значительно сокращают расходы на него.
Для выполнения тестирования создается программная среда, которая обеспечивает запуск и выполнение тестируемого модуля, передаёт ему входные данные, и собирает реальные выходные данные, полученные в результате работы системы на заданных входных данных. После этого, программная среда тестирования должна сравнить реальные выходные данные, с ожидаемыми данными, и на основании выполненного сравнения сделать вывод о готовности модуля. Программная среда тестирования может иметь следующий вид:
Можно выделить следующие инструментальные средства программной среды тестирования:
Под валидацией программного средства понимается доказательство того, что в результате разработки системы были достигнуты цели, которые планировали достичь благодаря применению данной системы. Таким образом, валидация представляет собой проверку соответствия программного средства ожиданиям заказчика.
В стандарте ANSI/IEEE 1012 (“Планирование проверки (оценки) и подтверждения достоверности (валидация — аттестация) программных средств”) понятие валидации определено, как систематическое, поэтапное тестирование компонентов разного уровня интеграции в течение всего жизненного цикла программных средств. В стандарте оговорены единые требования, предъявляемые к формату и содержимому методик проверки программного средства и аттестации результатов тестирования. Данный стандарт обеспечивает всестороннюю оценку каждой фазы проекта программного средства и дает возможность гарантировать соблюдение следующих условий:
Во-первых, обнаружение и устранение ошибок на как можно более ранней стадии жизненного цикла ПС;
Во-вторых, снижение риска, связанного с проектом, затрат и действий, связанных с планированием разработки;
В-третьих, повышение качества и надежности ПС;
В-четвертых, улучшение обозримости организации проведения работ в процессе создания ПС;
В-пятых, возможность быстро подвергнуть оценке предлагаемые изменения и их значение.
1. Инструментальные средства тестирующих программ
2. Введение
Тестирование (англ. test – испытание,
проверка,
критерий, опыт) – краткое
стандартизированное испытание, в результате
которого делается попытка оценить тот или
иной процесс.
3. Система компьютерного тестирования
Система компьютерного тестирования
(СКТ) - это универсальный инструмент для
определения обученности студентов на всех
уровнях образовательного процесса.
4. Уровни СКТ
тестирование
для проведения оперативного и
текущего контроля (темы семинаров, разделы и
собственно тестирование по дисциплине);
тестирование для проведения рубежного контроля
(по дисциплинам любого содержательного или временного
модуля, по дисциплинам специализации или совокупности
дисциплин, выделенных по любому другому основанию);
тестирование для проведения итогового контроля
(междисциплинарный экзамен, предварительный этап
госэкзаменов) результирующее тестирование в конце
обучения - проверка уровня готовности специалиста, его
соответствие требованиям ГОС.)
5. Подразделение инструментальных средств тестирующих программ
6. Тестовые оболочки
Основное
назначение
тестовых
оболочек
заключается
в
возможности
самостоятельной
разработке учителями-предметниками, не сведущими
в
программировании и технологии создания
конструкторов, тестов по требуемой им теме, на
выявление знаний именно в той области знаний,
которую они изучают.
Для создания тестов по предметной области
разработаны
и
разрабатываются
специальные
инструментальные
программы-оболочки,
позволяющие создавать компьютерные тесты путем
формирования базы данных из набора тестовых
заданий.
7. Виды тестовых оболочек
универсальные тестовые оболочки (создание
тестирования по любой теме, дисциплине);
специализированные
тестовые
оболочки
(создание тестирования в узкой сфере, та на
которую направлена созданная тестовая оболочка).
8. Специальные языки
9. Средства офисных технологий
10. Заключение
В ряде стран тестирование потеснило
традиционные формы контроля – устные и
письменные экзамены и собеседования. Поэтому
тестирование с помощью различных программ
является одной из ветвей информатизации
образования и реализует задачу автоматизации
контроля усвоения учебного материала.
Читайте также: