Меню

Нормативно ориентированные тесты примеры



Сравнительный анализ нормативно- и критериально-ориентированных тестов.

В современной тестологии можно заметить тенденцию объединения нормативно- и критериально-ориентированных подходов. По мнению М.Б.Челышковой, «интерпретация результатов теста по отношению к определенному содержанию учебной дисциплины вовсе не снимает возможности дифференциации индивидуальных различий учеников» [6]. Идея создания таких тестов очень интересна, так как информативность теста в результате объединения двух подходов намного повышается, тем более появилась и практическая необходимость. Так по результатам ЕГЭ выпускник получает аттестат о среднем образовании, т.е. определяется уровень владения знаниями и умениями учащимся по разным дисциплинам (критериально-ориентированный подход), по этим же результатам он проходит конкурсный отбор в высшие учебные заведения (нормативно-ориентированнй подход). Существенные различия норматавно- и критериально-ориентированных тестов ставят перед разработчиками тестов сложные задачи, но они не являются непреодолимыми.

Если объединить цели тестирования и основные подходы к созданию тестов, то можем получить следующую классификацию видов тестов:

По средствам предъявленияпедагогические тесты делятся

n бланочные, в которых испытуемые отмечают или вписывают правильные ответы на бланке;

n компьютерные — задания высвечиваются на мониторе компьютера.

Преимущества компьютерного тестирования в быстроте обработки и экономии бумаги. Но есть и некоторые недостатки. Компьютерное тестирование может провоцировать случайные ошибки (если испытуемый плохо владеет компьютером), невозможность исправить допущенную ошибку может снизить результат.

По степени однородности задач:

n гомогенные, предназначенные для контроля знаний и умений по одному предмету или дисциплине;

n гетерогенный, предназначенный для измерения уровня подготовленности по нескольким учебным предметам.

Гетерогенные тесты могут быть двух видов: полидисциплинарный и междисциплинарный. Полидисциплинарные тесты предназначены для проверки знаний по нескольким дисциплинам и при этом основной тест включают субтесты (например, система заданий по математике и физике). Эти субтесты могут рассматриваться как отдельные тесты по разным дисциплинам. Основная сложность в применении таких тестов заключается в системе подсчета баллов по результатам частей теста.

Междисциплинарные тесты включают задания, которые направлены на проверку обобщенных, интегративных знаний и умений в смежных дисциплинах (математика-физика, химия-биология, история-культурология). Такие тесты достаточно сложны в конструировании и при статистической обработке методов многомерного шкалирования.

Дата добавления: 2015-08-05 ; просмотров: 15 ; Нарушение авторских прав

Источник

Нормативно-ориентированные и критериально-ориентированные тесты

Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.

Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса — нормативно — ориентированные и критериально — ориентированные.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом — получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых — кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение — знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

ОБЛАСТЬЮ СОДЕРЖАНИЯ теста называется тот полный объем знаний, умений и навыков, который должен быть усвоен учащимися в результате определенного курса обучения и овладение которым измеряется критериально-ориентированным тестом.

Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего — в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.

1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить — усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное — применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики — уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.

6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов

Читайте также:  Тест процессора интел 11 поколения
Нормативно — ориентированные тесты Критериально — ориентированные тесты
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение. 1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. 2. Используемая шкала — в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).
3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид. 3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид.
4. Уровень детализации области содержания — несущественен. Авторы теста выбирают наиболее значимые элементы содержания. 4. Уровень детализации области содержания — подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. 5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.
6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. 6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий — это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. 7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности. 8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

Источник

Нормативно ориентированные тесты примеры

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса — нормативно — ориентированные и критериально — ориентированные 65, 66, 67, 68 .

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест (norm-referenced test) позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом — получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых — кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест (criterion-referenced test) позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на domain-referenced test (ориентированные на предметную область) и mastery-tests (квалификационные тесты). Целью критериально-ориентированного теста является выяснение — знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

ОБЛАСТЬЮ СОДЕРЖАНИЯ теста называется тот полный объем знаний, умений и навыков, который должен быть усвоен учащимися в результате определенного курса обучения и овладение которым измеряется критериально-ориентированным тестом 65 .

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися 66 .

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего — в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия 65 .

п.1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить — усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное — применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

п.2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

п.3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

п.4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики — уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

п.5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой (рис.1.4.1). В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов (рис.1.4.2).

Читайте также:  Базисно индексный метод это тест

п.6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Рис.1.4.1. Нормативно-ориентированный тест.

Рис.1.4.2. Критериально-ориентированный тест.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица 1.4.1. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов по Д.Вилфорду 65

Нормативно — ориентированные тесты

Критериально — ориентированные тесты

1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен.

Пример использования: конкурсный отбор кандидатов на обучение.

1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания.

Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.

2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале.

2. Используемая шкала — в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).

3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид (рис.1.4.1)

3. Распределение индивидуальных баллов: произвольное, в большинстве случаев асимметричное и имеет несимметричный вид (рис.1.4.2)

4. Уровень детализации области содержания — несущественен. Авторы теста выбирают наиболее значимые элементы содержания.

4. Уровень детализации области содержания — подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.

5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.

5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.

6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий.

6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий — это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.

7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.

7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.

8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.

8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;
2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

Источник

научная статья по теме Единый государственный экзамен с позиций критериально-ориентированного и нормативно-ориентированного тестирования Биология

Единый государственный экзамен с позиций критериально-ориентированного и нормативно-ориентированного тестирования - тема научной статьи по биологии из журнала В мире научных открытий

Цена:

Авторы работы:

ПАЛЬМОВА ЕЛЕНА АНДРЕЕВНА

Научный журнал:

Год выхода:

Текст научной статьи на тему «Единый государственный экзамен с позиций критериально-ориентированного и нормативно-ориентированного тестирования»

ЕДИНЫЙ ГОСУДАРСТВЕННЫЙ ЭКЗАМЕН С ПОЗИЦИЙ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОГО И НОРМАТИВНО-ОРИЕНТИРОВАННОГО ТЕСТИРОВАНИЯ

Пальмова Елена Андреевна, ассистент

Таганрогский государственный педагогический институт г. Таганрог, Россия palmovalena@mail. ru

Статья посвящена анализу критериально-ориентированного и нормативно-ориентированного видов тестирования. Показана невозможность совмещения в одном тесте целей упомянутых выше форм тестирования. С позиций критериально- и нормативно-ориентированного тестирования анализируется Единый государственный экзамен, совмещающий в себе признаки двух видов тестирования, из чего и вытекают недостатки экзамена, вызвавшие протест педагогической общественности.

Ключевые слова: ЕГЭ; тестовые задания; оценка результатов тестирования; критериально-ориентированный тест; нормативно-ориентированный тест; дифференцирующая способность заданий.

UNITED STATE EXAMINATION FROM THE POSITION OF CRITERIA-REFERENCED AND NORM-REFERENCED TESTING

Elena Palmova, a junior member of the teaching staff

Taganrog Teacher’s Training College, Taganrog, Russia palmovalena@mail. ru

The article is focused upon the analysis of criterion-referenced and norm-referenced forms of testing. It is shown that it is impossible to combine the aims of these two forms of testing in one test. The United State examination is analyzed from the point of view of criterion- and norm-referenced testing. The examination combines features both of these two forms and it leads to the main drawbacks of the exam which caused the protest on the part ofpedagogic community.

Keywords: United State examination; test items; test assessment and evaluation; a criterion-referenced test; a norm-referenced test; item discrimination.

Тестирование как средство измерения и контроля знаний учащихся становится сегодня основой обучающего процесса в отечественной школе. Связано это с поэтапным введением Единого государственного экзамена, ставшим с 2009 года единственной формой аттестации выпускников общеобразовательных учреждений.

Практически с самого начала эксперимента по введению Единого экзамена российское общество разделилось на два лагеря — сторонников и противников новой формы аттестации выпускников школ. Противники Единого экзамена указывали на множество его недостатков, начиная от его нелегитимности и заканчивая его неспособностью выступать в качестве объективного измерителя уровня знаний выпускников и способа отбора абитуриентов в вузы страны. Оппоненты экзамена очень детально описывали его недостатки и предлагали способы их устранения, однако причины слабых черт Единого экзамена анализировались крайне редко. Для определения таких причин представляется важным выявление того типа педагогического теста, каким является Единый экзамен, и анализ экзамена с позиций определенного типа теста.

Самым главным принципом классификации педагогических тестов, с точки зрения современной тестологии, является деление педагогических тестов на критериально-ориентированные (criteria-referenced testing) и нормативно-ориентированные (norm-referenced testing), поскольку за ними стоят разные измерительные процедуры при оценивании уровня знаний.

Первый термин «критериально-ориентированный» был предложен Р. Глейзером для обозначения тех методик, в основе интерпретации выполнения которых выявляется не «относительный статус» обучаемого в зависимости от уровня продемонстрированных достижений в рамках некоторой группы, а его «абсолютный статус», под которым подразумевается показатель успешности обучения, свидетельствующий о том, какая часть программы освоена в ходе учебного процесса [9, с.519].

В критериях отражаются обобщенные цели обучения. Критерии определяются в результате структурно-операционального анализа деятельности, во время осуществления которого не только предметный материал, подлежащий усвоению, но и функциональное содержание поведения обучаемых подвергается расчленению на составляющие [8, с.37].

В формулировках критериев можно выделить две части: содержательно-операциональную и соотносительно-предметную. Содержательно-операциональная часть определяет «особенности действий испытуемых со стимульным материалом и характеризуется жестким отбором лексических средств, необходимым для диагностического выявления степени успешности обучения.

Соотносительно-предметная часть критериев в процессе анализа целей обучения приобретает детализированный характер и одновременно обобщается в пределах всех содержательно однородных, относительно

независимых друг от друга и четко ограниченных фрагментов изученного курса» [2, с.108].

Разработанные подобным образом критерии достижения учебной цели, содержащие в себе детальное описание операциональной стороны действия и ее конкретизацию на области содержания контролируемого материала, служат опорами при создании критериально-ориентированных тестов.

Читайте также:  Отметьте основные черты азиатского способа производства тест

Правильно разработанные критерии выступают для учащихся ориентиром, позволяющим им успешно справиться с тестовым заданием. Любые критерии оценки, с помощью которых учащиеся не могут эффективно подготовиться к тесту, оценить самих себя и осуществить работу по улучшению достигнутых результатов, нельзя считать удовлетворительными [5, с.11].

Задания критериально-ориентированного теста должны с возможной полнотой охватывать всю область содержания образования. Они основываются на той учебной программе и том учебном материале, которые использовались в ходе учебного процесса. Учащиеся обычно знают или предполагают, степень усвоения каких именно знаний проверяют задания теста [7, с.5-7].

Все задания критериально-ориентированного теста одинаково значимы, их дифференцирующая способность не учитывается. Количество заданий в тесте не лимитируется. Этот метод тестирования допускает формирование для каждого испытуемого индивидуального набора тестовых заданий из их генеральной совокупности.

В.Ю. Переверзев в рамках критериально-ориентированных тестов выделяет два их вида, не получивших свое обозначение в отечественной литературе: domain-referenced и mastery tests. Первый вид предназначен для выявления степени полноты знаний, выражаемой долей знаний к общему объему учебного материала, представленного в тесте. Второй подвид тестов оценивает квалификационные способности, по результатам этих тестов испытуемые делятся на две группы — подтвердившие и не подтвердившие квалификацию [Цит. по:4, с.248].

Нормативно-ориентированный тест — это «тип тестов, предназначенных для определения сравнительного уровня подготовки (обученно-сти) испытуемых между собой или относительно предварительно полученных тестовых норм» [1, с.82]. На основании персонального результата тестируемого определяется его рейтинг в общей группе испытуемых.

В ходе разработки тестов, ориентированных на статистические нормы, составителям необходимо проводить тщательный эмпирический анализ на определение способности заданий дифференцировать тестируемых на «слабых» и «сильных». Задания, с которыми справляются все тестируемые или, наоборот, не справляется никто, в нормативно-

ориентированные тесты не включаются, поскольку они не обладают дифференцирующей способностью.

Задания нормативно-ориентированного теста отличаются широтой охвата материала и не привязаны к конкретной программе, учебнику или курсу обучения. Они проверяют общий уровень знаний испытуемых по определенной дисциплине. Содержание заданий нормативно-ориентированного теста предугадать невозможно [7, с.5-7].

При нормативно-ориентированном тестировании разрабатываются специальные шкалы измерений: 2-шкала и шкала логитов. При критериально-ориентированном тестировании обычно используется шкала процентов, которая является прямым отражением шкалы «сырых баллов» [4, с.249].

В основе интерпретации выполнения заданий нормативно-ориентированного теста лежит гипотеза о размещении всех результатов группы испытуемых на кривой Гауса, что известно как «нормальное распределение». При таком распределении показателей в левой части графика сосредоточены результаты части неуспевающих тестируемых, в крайней правой части графика представлены результаты наиболее хорошо успевающих, а на всем протяжении середины графика расположены результаты основного количества обучаемых с удовлетворительной успеваемостью [2, с.106].

Баллы тестируемых по критериально-ориентированому тесту не обязательно будут поддаваться нормальному распределению. Если все или большая часть тестируемых знает весь материал, знание которого проверяется тестом, им всем должно быть присвоено одинаковое количество баллов.

Нормативно-ориентированный вид теста не допускает содержательной вариативности, то есть все испытуемые должны выполнять одни и те же задания, поскольку только соблюдение этого условия дает право сравнивать между собой результаты участников. Однако такие тесты должны меняться год от года как по соображениям безопасности, так и в связи с возможным изменением требований к поступающим в вузы [3, с.243].

Преимущества от использования критериально-ориентированного тестирования для практических нужд школы очевидны. Поскольку критериально-ориентированный тест дает возможность анализа степени усвоения элементов учебного материала, то этот вид тестов, в отличие от нормативно-ориентированного, обладает широкими диагностическими возможностями, позволяя выявить возможное отставание учащегося по предмету и ликвидировать такие пробелы. В каждодневном учебном процессе значимым является не количество баллов, на которое учащиеся опережают одноклассников или отстают от них, а то, что из пройденного материала требует дополнительного изучения, что необходимо повторить, а

что можно считать усвоенным [2, с.107]. Все это нормативно-ориентированное тестирование обеспечить не может.

Принадлежность теста к классу нормативно-ориентированных или критериально-ориентированных является его существенной характеристикой, определяющей способы построения тестов и обработки его результатов. Вопрос о принадлежности контрольно-измерительных материалов Единого государственного экзамена к классу критериально-ориентированных или норма

Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.

Пoхожие научные работы по теме «Биология»

ИЛЬИНА И.Ю. — 2009 г.

БАРАНОВ РОМАН ДМИТРИЕВИЧ, ИНОЗЕМЦЕВА СВЕТЛАНА АНАТОЛЬЕВНА — 2012 г.

ВЯЗЕМСКИЙ ЕВГЕНИЙ ЕВГЕНЬЕВИЧ, ХАВКИН БОРИС ЛЬВОВИЧ — 2010 г.

Источник

Отличия КОрТ и НОрТ (критериально-ориентированного и нормативно-ориентированного тестирования)

В основе разделения тестов на КОрТ (критериально-ориентированные) и НОрТ (нормативно-ориентированные) лежит двоякое понимание нормы. В первом случае норма определяется «априорно», то есть до проведения исследования. Такая норма задаётся внешними критериями, представлениями о том, что должен знать и уметь испытуемый. Во втором случае норма определяется эмпирически, то есть после проведения исследования. Получая распределение результатов, исследователь распределяет их по категориям: «норма», «выше нормы», «ниже нормы» и т.п.
Критериально ориентированные тесты предназначены в основном для работы с индивидуальным клиентом, так будто других в выборке нет. Здесь не ставятся цели посмотреть лучше или хуже результаты данного испытуемого, добился он или нет каких-то конкретных успехов.
Нормативно ориентированные тесты предназначены в основном для работы с группами испытуемых, в котором важно сравнить их между собой.
Обычно разного рода тесты способностей строго делятся на КОрТ и НОрТ. При их разработке используются разные технологии. Но иногда КОрТ можно использовать как НОрТ, особенно если результаты исследований показывают нормальное (колоколообразное) распределение.
Ниже в таблице представлены основные отличия КОрТ и НОрТ.

Нормативно-ориентированные тесты Критериально-ориентированные тесты
Характерный пример использования Конкурсный отбор кандидатов на обучение. Итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
Цель тестирования Возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания.
Используемые шкалы Нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. В основном — шкала процентов с выбранным критериальным баллом (баллами). Необходимо тщательно подготовить методику оптимального выбора критериального балла (или баллов).
Распределение результатов исследования на гистограмме В большинстве случаев имеет нормальное распределение (колоколообразное), в т.ч. симметричное. Распределение непредсказуемо, может быть любым. Обычно несимметричное.
Уровень проработки содержания теста Не очень существенен. Авторы теста выбирают обычно наиболее значимые, показательные задания. Часто — выбор видов заданий случаен. Очень детальная и дотошная проработка содержания теста. Предварительно разрабатывается спецификация (план) теста, в котором должна быть представлена система элементов. После разработки спецификации уже разрабатываются задания.
Нормативная группа Обязательна. Именно по предварительному исследованию на нормативной группе происходит окончательное шкалирование результатов, соотнесение с «нормой» и другими категориями. Нет необходимости. Обычно измеряется как процент от усвоенного обучающимся материала.
Статистический анализ и отбор тестовых заданий Показатель уровня трудности, различающая способность и другие статистические показатели играют весьма важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий — соответствие спецификации и элементам содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
Надежность теста Оценивается либо путем нахождения корреляции между результатами двух исследований, либо методом расщепления теста на две половины при однократном тестировании. Примерно также, но в основном оценивается степень постоянства принятия решения «зачет – незачет» при двукратном тестировании, а не корреляция баллов, хотя это тоже не исключается.
Валидность Исследуются разные виды валидности. В центре внимания — содержательная валидность.

Просмотров: 2592
Категория: Статьи

Другие новости по теме:

Разместите, пожалуйста, ссылку на эту страницу на своём веб-сайте:

Код для вставки на сайт или в блог:
Код для вставки в форум (BBCode):
Прямая ссылка на эту публикацию:

Источник