Критериально ориентированное тестирование реферат

Обновлено: 08.07.2024

Для учеников 1-11 классов и дошкольников
Бесплатные сертификаты учителям и участникам

Применение критериально - ориентированного тестирования в ходе обучения математике.

В процессе обучения нередко возникают ситуации, при которых учащиеся не овладевают необходимыми знаниями и умениями. Это ведёт к отставанию в учёбе и может перейти в устойчивую неуспеваемость. Всякая неуспеваемость начинается с появления небольшого пробела в знаниях и умениях. Действительно, для успешного усвоения знаний и формирования умений очень важно своевременно заметить возникшую трудность и устранить её. Это обстоятельство требует нахождения эффективных путей своевременного обнаружения и ликвидации пробелов в знаниях и умениях учащихся.

Определить пути и способы устранения возникших ошибок и недочётов невозможно без детального анализа деятельности школьников. Анализируя ошибки, учитель должен проследить весь ход рассуждений ученика, установить этап, на котором допущена ошибка. Учитель не имеет возможности выявлять любую ошибку, индивидуально общаясь с каждым учеником. В связи с этим нужны специальные средства, позволяющие выявлять и устранять возникшие ошибки либо на этапе восприятия нового знания, либо на этапе его осознания и осмысления.

Значительную помощь в своевременном выявлении недостаточно понимания изучаемого понятия или отдельных операций формируемого умения могут оказать критериально – ориентированные тесты. Для доказательства их эффективности в своевременном выявлении ошибок приведём конкретный пример. Рассмотрим использование тестов этого вида при изучении письменного деления.

Обычное задание, требующее вычислить значение выражения с применением данного вычислительного приёма ( вычисли значение выражения 496:4), позволит лишь установить, овладел ученик полным алгоритмом письменного деления или нет. В случае если допущена ошибка, без индивидуальной беседы с учеником затруднительно установить, какая часть алгоритма не усвоена. С целью своевременного предупреждения ошибок и осознанного усвоения учащимися каждой операции, входящей в состав этого достаточно сложного алгоритма, полезно выполнить следующие процедуры.

Разбить данный алгоритм на отдельные операции.

Составить тесты, позволяющие проверить усвоение учащимися каждой отдельной операции, входящей в состав алгоритма

В конце урока провести проверку, используя подготовленные тесты.

Обработать результаты тестирования, которые позволят установить усвоение отдельно взятой операции алгоритма каждым учеником.

Провести корригирующую работу по устранению ошибок в выполнении данной операции алгоритма.

Проведём эту работу, сделав нужные указания к каждой процедуре.

Известно, что алгоритм письменного деления содержит следующие операции:

1.Определение числа цифр в значении частного:

Выделение первого неполного делимого

Определение старшего разряда в значении частного

2 Подбор первой цифры результата.

3 Проверка правильности подбора первой цифры результата.

4 Образование второго неполного делимого. И далее начиная с п. 2.

Составим тесты на выявление умения выполнять каждую операцию алгоритма. При этом будем ориентироваться на следующие положения

Каждую выделенную операцию примем за критерий сформированности умения выполнять письменное деление.

На каждую операцию составим два теста так, чтобы в первом тесте ученик выполнял деятельность по узнаванию полученной информации о выполнении данной операции, во втором – сам выполнял эту операцию в рассмотренных на уроках случаях деления.

Тестовое задание №1 . Выпиши номера тех записей, в которых верно определёно первое неполное делимое.

1) 3*28 ∟2 2) 6*25∟4 3) 204*39 ∟240 4 ) 76*12∟9 Ответ: 1) 2) 4)

Тестовое задание №1 . Из трёх записанных справа от выражения чисел подчеркни то, которое будет первым неполным делимым.

1 428:14 14 142 1 428

2 108:34 21 210 2 108

788 750:125 78 788 7 887

265 422:8652 265 26 542 26 542 Ответ: 83,14,210,788, 26542.

Приведём примеры тесовых заданий на определение степени усвоения следующих шагов алгоритма.

Цель: выявить умение определять число цифр в частном.

Тестовое задание №1. Выпиши номера тех записей, в которых верно определено первое неполное делимое.

1) 38*69∟3 2) 15*60∟20 3) 27*3 ∟3 4) 86*90∟9 5) 3050*60∟145 6) 2*24∟4 128*4∟42

Вы здесь: Студенты Лекции Психодиагностика Критериально-ориентированные тесты

Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:

тест интеллекта
тест достижений в системе образования

Тест интеллекта: особенности тестов интеллекта заключаются в том, что содержание и задание не было связано напрямую с учебной программой. Вывод об успешности учебной деятельности по результатам теста представлял проблему, так как не было соответствия тестам интеллекта и учебных заданий. 0,5 – корреляция успешности тестов интеллекта и успешностью обучения между ними. Невозможно выявить причину специфических трудностей учеников при выполнении учебной деятельности и определить содержание коррекционной работы с этими учениками.

Тесты интеллекта не могут оценить ученика с точки зрения его соответствия конкретным требованиям учебной программы, так как ориентированы на статистическую норму.

Тесты достижений используются в целях контроля успешности усвоения конкретных учебных знаний и навыков. По результатам можно сделать вывод: насколько учитель соответствует требованиям школьной программы, насколько продвинулся и какая помощь ему нужна. Ориентиры не на статистическую норму, а на критерий усвоения. Недостаток – построены бихевиористические модели обучения, контролировали конечный продукт усвоения. А способы усвоения не оценивают. В этом отношении тесты интеллекта давали больше информации.

В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.

В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.

В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.

Цели использования КОРТа:

Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.
Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.

Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).

Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.

Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.

Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.

Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.

Как конструируется КОРТ?

С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональнеых компонентах.

Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.

Принципы при отборе задач:

должны дифференцировать испытуемого
должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)

Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОРТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.

Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.

Четвертая особенность КОРТа – в процессе критериально-ориентировочной практики – КОРТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершению собственных умений, заданий.

Как КОРТы используют по отношению к диагностике умственного развития?

Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОРТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.

2 направления по применению КОРТа в диагностике умственного развития:

разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОРТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.
Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.

Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОРТ.

Первая работа по разработке КОРТ в 80-е годы Горбачевой – КОРТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.

Для каждого умственного действия - разные типы задач. Всего 4 субтеста:

выделение существенного
четвертый лишний
найди подобие
установление тождества.

Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

Содержимое работы - 1 файл

пед тесты.doc

НОРМАТИВНО-ОРИЕНТИРОВАННЫЕ И КРИТЕРИАЛЬНО- ОРИЕНТИРОВАННЫЕ ТЕСТЫ

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные65, 66, 67, 68.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест (norm-referenced test) позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест (criterion-referenced test) позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на domain-referenced test (ориентированные на предметную область) и mastery-tests (квалификационные тесты). Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

ОБЛАСТЬЮ СОДЕРЖАНИЯ теста называется тот полный объем знаний, умений и навыков, который должен быть усвоен учащимися в результате определенного курса обучения и овладение которым измеряется критериально-ориентированным тестом65.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися66.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия65.

п.1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально- ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

п.2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

п.4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально- ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

п.5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой (рис.1.4.1). В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов (рис.1.4.2).

п.6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально- ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Рис.1.4.1. Нормативно-ориентированный тест.

Рис.1.4.2. Критериально-ориентированный тест.

Результаты нормативно- ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально- ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица 1.4.1. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов по Д.Вилфорду65

Нормативно - ориентированные тесты

Критериально - ориентированные тесты

1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержани я, для которой тест предназначен.

Пример использования: конкурсный отбор кандидатов на обучение.

1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания.

Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.

2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале.

2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).

3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид (рис.1.4.1)

3. Распределение индивидуальных баллов: произвольное, в большинстве случаев асимметричное и имеет несимметричный вид (рис.1.4.2)

4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания.

4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.

5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.

5. Нормативная группа испытуемых не является необход имой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.

6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий.

6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.

7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.

8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.

8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно- ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

1) содержательный анализ критериальной задачи, описание ее возможных форм и особенностей;

2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

3) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.

Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази, 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.

А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева, 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

Читайте также: