Should we get rid of standardized testing? - Arlo Kempf

Переводчик: Anastasia Nikiforova Редактор: Ростислав Голод

[Самое сложное в изучении чего-то нового — это не воспринимать новые идеи,

а расставаться со старыми. Тод Роуз. «Долой среднее!»]

Насколько мы знаем, первые стандартизированные тесты

The first standardized tests that we know of

were administered in China over 2,000 years ago

проводили ещё в Древнем Китае более двух тысяч лет тому назад,

during the Han dynasty.

в эпоху Империи Хань.

Chinese officials used them to determine aptitude for various government posts.

С их помощью определяли профпригодность на государственных должностях.

The subject matter included philosophy,

Тест содержал вопросы по философии,

farming,

сельскому хозяйству

and even military tactics.

и даже по военной тактике.

Standardized tests continued to be used around the world for the next two millennia,

Следующие два тысячелетия типовые тесты применяли во всём мире,

and today, they're used for everything

и сегодня ими можно измерить что угодно:

from evaluating stair climbs for firefighters in France

во Франции тест определяет, как пожарный взбирается по лестнице,

to language examinations for diplomats in Canada

в Канаде дипломаты сдают тест на владение иностранными языками,

to students in schools.

а школьники и вовсе пишут тесты постоянно.

Some standardized tests measure scores

В некоторых тестах оценка зависит

only in relation to the results of other test takers.

исключительно от результатов других участников.

Others measure performances on how well test takers meet predetermined criteria.

В других тестах полученные результаты сравниваются с определёнными критериями.

So the stair climb for the firefighter

В случае с лестницей и пожарным

could be measured by comparing the time of the climb

можно зафиксировать время, которое он потратил на подъём,

to that of all other firefighters.

и сравнить со временем других пожарных.

This might be expressed in what many call a bell curve.

Результаты можно изобразить в виде так называемой колокообразной кривой.

Or it could be evaluated with reference to set criteria,

Другой способ — установить критерии заранее,

such as carrying a certain amount of weight a certain distance

например, пронести определённый груз на определённую дистанцию,

up a certain number of stairs.

поднявшись на определённое количество ступеней.

Similarly, the diplomat might be measured against other test-taking diplomats,

Так же можно оценить знания дипломата, сравнив его тест с тестами коллег,

or against a set of fixed criteria,

или заранее установить чёткие критерии,

which demonstrate different levels of language proficiency.

позволяющие определить, на каком уровне дипломат владеет иностранным языком.

And all of these results can be expressed using something called a percentile.

Всё это можно изобразить с помощью так называемого процентиля.

If a diplomat is in the 70th percentile, 70% of test takers scored below her.

Если дипломат попадает в 70-й процентиль, значит, 70% дипломатов справились хуже.

If she scored in the 30th percentile, 70% of test takers scored above her.

Если дипломат оказался в 30-м процентиле, значит, 70% дипломатов справились лучше.

Although standardized tests are sometimes controversial,

И хотя результаты типовых тестов порой бывают спорными,

they're simply a tool.

тест — это всего лишь один из инструментов оценки.

As a thought experiment, think of a standardized test as a ruler.

Представьте, что стандартизированный тест — это обычная линейка.

A ruler's usefulness depends on two things.

То, насколько она полезна, зависит от двух вещей.

First, the job we ask it to do.

Во-первых, от того, что мы хотим измерить.

Our ruler can't measure the temperature outside

Линейкой нельзя измерить температуру на улице

or how loud someone is singing.

или громкость чьего-то пения.

Second, the ruler's usefulness depends on its design.

Во-вторых, полезность линейки зависит от её устройства.

Say you need to measure the circumference of an orange.

Например, вам нужно измерить окружность апельсина.

Our ruler measures length, which is the right quantity,

И хотя наша линейка и измеряет длину, и это необходимая нам величина,

but it hasn't been designed with the flexibility required for the task at hand.

линейка недостаточно гибкая, чтобы справиться с этой задачей.

So, if standardized tests are given the wrong job,

Так что, если тест измеряет что-то, для чего он не предназначен,

or aren't designed properly,

или составлен неправильно,

they may end up measuring the wrong things.

в итоге он может измерить совсем не то, что нужно.

In the case of schools,

Если говорить о школе,

students with test anxiety may have trouble performing their best

ученики, которые боятся сдавать тесты, могут недостаточно хорошо справиться

on a standardized test,

с типовым тестом,

not because they don't know the answers,

но не потому, что не знают ответов,

but because they're feeling too nervous to share what they've learned.

а потому, что слишком волнуются и не могут сосредоточиться на вопросе.

Students with reading challenges

Если ученик мало читает,

may struggle with the wording of a math problem,

он может неправильно понять условие задачи,

so their test results may better reflect their literacy

так что результат укажет скорее на его неграмотность,

rather than numeracy skills.

чем на проблемы с математикой.

And students who were confused by examples

Кого-то может запутаться в условии задачи,

on tests that contain unfamiliar cultural references

если там встречаются незнакомые культурные или бытовые реалии,

may do poorly,

тогда ученик справится хуже,

telling us more about the test taker's cultural familiarity

и на результат повлияет отсутствие знаний о реалиях,

than their academic learning.

а не успеваемость как таковая.

In these cases, the tests may need to be designed differently.

В таких случаях нужно составлять тесты несколько иначе.

Standardized tests can also have a hard time

Кроме того, типовые тесты вряд ли помогут,

measuring abstract characteristics or skills,

если нужно измерить абстрактные способности или навыки,

such as creativity, critical thinking, and collaboration.

например, творческие способности,

критическое мышление, умение работать в команде.

If we design a test poorly,

Если тест неправильно составлен,

or ask it to do the wrong job,

если тест оценивает не то, для чего он разработан,

or a job it's not very good at,

или что-то, что не вполне можно им оценить,

the results may not be reliable or valid.

результаты нельзя считать надёжными или достоверными.

Reliability and validity are two critical ideas

Надёжность и достоверность — два важнейших понятия

for understanding standardized tests.

в отношении типовых тестов.

To understand the difference between them,

Чтобы понять, чем они отличаются,

we can use the metaphor of two broken thermometers.

сравним эти понятия с двумя сломанными термометрами.

An unreliable thermometer

Ненадёжный термометр,

gives you a different reading each time you take your temperature,

сколько ни замеряй, каждый раз показывает разную температуру,

and the reliable but invalid thermometer is consistently ten degrees too hot.

надёжный, но недостоверный термометр всегда показывает на 10 градусов больше.

Validity also depends on accurate interpretations of results.

Ещё достоверность зависит от того, как интерпретировать результаты теста.

If people say results of a test mean something they don't,

Если считается, что результаты теста якобы демонстрируют то,

that test may have a validity problem.

для чего фактически тест не предназначен,

тест может оказаться недостоверным.

Just as we wouldn't expect a ruler to tell us how much an elephant weighs,

Нельзя полагаться на линейку, чтобы узнать, сколько весит слон

or what it had for breakfast,

или что он съел на завтрак,

we can't expect standardized tests alone to reliably tell us how smart someone is,

точно так же нельзя полагаться

на типовые тесты, чтобы оценить уровень интеллекта,

how diplomats will handle a tough situation,

узнать, как в реальной жизни дипломат справится с трудностями

or how brave a firefighter might turn out to be.

или насколько окажется храбрым пожарный.

So standardized tests may help us learn a little about a lot of people

То есть типовые тесты помогают нам узнать что-то о множестве людей

in a short time,

в сжатые сроки,

but they usually can't tell us a lot about a single person.

но вряд ли позволят узнать многое об одном конкретном человеке.

Many social scientists worry about test scores resulting in sweeping

Многие учёные опасаются, что тесты стригут людей под одну гребёнку

and often negative changes for test takers,

и приводят к неприятным переменам в жизни экзаменуемых,

sometimes with long-term life consequences.

причём иногда последствия могут быть очень далекоидущими.

We can't blame the tests, though.

Впрочем, виноваты не тесты.

It's up to us to use the right tests for the right jobs,

Мы должны научиться создавать правильные тесты для того,

что хотим измерить,

and to interpret results appropriately.

а также правильно интерпретировать результаты.