Владимир Губайловский: Здравствуйте, уважаемые радиослушатели. Сегодня мы продолжим разговор о Едином Государственном Экзамене, который мы начали в предыдущей передаче.
Александр Костинский: Сегодня о технологии проведения Единого государственного экзамена в московской студии Радио Свобода говорят: Николай Андреев секретарь комиссии по школьному математическому образованию отделения математических наук Российской Академии Наук, Владимир Хлебников директор Центра тестирования Министерства образования России.
Владимир Губайловский: Сегодня мы бы хотели сосредоточиться именно на технологии проведения экзамена, поскольку технология проведения подвергается очень резкой критике. И многие критики, даже согласные с тем, что некая форма внешнего контроля подобная Единому экзамену необходима, говорят что технологически, он практически неосуществим. Мы просто пройдем по структуре экзамена. То есть это: подготовка заданий, проведение экзамена, проверка выполненных работ и, наконец, сообщение результатов экзамена, выдача сертификатов и апелляция. Но начнем мы с мнения Владимира Хлебникова о Едином экзамене как целом, как об идеологии.
Владимир Хлебников: Единый государственный экзамен предназначен для того, чтобы в результате единовременной акции получить оценки, которые можно использовать при итоговой аттестации учащихся и для конкурсного отбора поступающих в высшие государственные учебные заведения.
Александр Костинский: То есть две задачи.
Владимир Хлебников: Две задачи. Для этого используется одна технология, одни измерительные материалы и один механизм шкалирования результатов.
Александр Костинский: А нужен ли сам экзамен, по вашему мнению?
Владимир Хлебников: Ну, если бы, как раньше говорили, министром был я, то нужен. Нужно иметь объективную оценку учебных достижений по стране. Для того чтобы управлять отраслью, нужно знать оценки учебных достижений в стране, в отдельных регионах, по различным предметам. Нужно выявлять причины, почему оценки такие или иные, почему со временем они ухудшаются или улучшаются.
Александр Костинский: То есть форма проверки какая-то обязательно нужна.
Владимир Хлебников: Конечно. Представьте себе, как в прошлые времена, министр черной металлургии всегда знал сколько миллионов тонн стали или чугуна в стране выплавляется. Тоже самое министр образования должен знать каков уровень подготовленности в стране по математике, русскому языку, по физике и так далее. Причем объективно и с каких-то единых позиций. В этом смысле оценка учебных достижений совершенно необходима, иначе управлять отраслью невозможно. Нужно знать объективную картину. После этого принимаются управленческие решения, отслеживается результат, отклик, и вносится дальнейшая корректировка. Объективная оценка учебных достижений нужна. Другое дело, что учителя, которые сейчас выставляют оценки, не имеют четких указаний за что ставить 2, 3, 4, 5, в результате в аттестатах зрелости достаточно большой произвол, и выдавать документ государственного образца типа свидетельства с результатами Единого экзамена с помощью которого зачисляются в вузы на основании субъективных оценок учителей, затруднительно, практически невозможно.
Александр Костинский: То есть получается, что пятерка в одном городе, и пятерка в другом городе, или тройка или двойка - разные.
Владимир Хлебников: Если они выставляются разными учителями, не имеющими общих критериев работы.
Александр Костинский: Понятно. И в идеологии ЕГЭ было заложено, как в идеологии некоего контрольно-измерительного инструмента, стремление выяснить положение в стране.
Владимир Хлебников: Я бы сказал не так. Это уже следствие, это - заказ. Идеология ЕГЭ -это, в данном случае, идеология технологии ЕГЭ. Это - необходимость создания единого механизма с помощью которого по единообразным контрольно-измерительным материалам, по одной и той же технологии проведения, по одной и той технологии оценивания результатов, можно было бы определить уровень достижений учащихся в любой точке страны. Вот это идеология технологии ЕГЭ. Потом эти результаты можно было бы использовать для целей управления с одной стороны, для поступления в вузы, для аттестации образовательных учреждений. Но это только в том случае, если бы мы получили объективную и надежную оценку учебных достижений.
Николай Андреев: Ну, вот мы как раз мы и хотели бы поговорить сегодня о том, дает ли нужный результат Единый государственный экзамен в том виде в котором он сейчас проводится, и вообще может ли давать единый государственный экзамен объективную оценку, которая, конечно же, необходима и стране и образованию.
Александр Костинский: И сейчас как раз по технологии. Нас интересует и многих наших слушателей, у которых есть дети, внуки интересует, как этот экзамен проходит шаг за шагом. Итак, первое. Это - подготовка самих заданий. Как готовится базы заданий, как происходит генерация вариантов? Потому что в прошлой нашей передаче говорилось что этих вариантов толи сто, толи пятьсот каждый год.
Владимир Хлебников: Рассказываю. Можно рассказывать с различной степенью детализации, поэтому я говорю пока что общими словами, если нужно будет уточнить, я уточню. Итак, министерство образования утверждает спецификацию теста. То есть структуру теста, содержание вопросов. Далее нужно по каждому предмету набрать необходимое количество вопросов и сделать тесты. Для этого работают специальные группы методистов, работников Академии образования, производятся конкурсные закупки тестовых материалов, отбор тестовых материалов. Когда набирается необходимое количество тестовых заданий из них компонуются тесты.
Александр Костинский: А как это происходит?
Владимир Хлебников: Сидят специалисты, держат в руках спецификацию, утвержденную министерством образования, в которой говорится сколько должно быть заданий, по каким темам, какого уровня сложности, каково вида и так далее. Специалисты набирают такого рода задания и компонуют из них тест. Это все делается очень ограниченным количеством людей, с соблюдением необходимых мер предосторожности. Скажем так, никто посторонний этого знать не должен.
Николай Андреев: Насколько долго готовятся варианты?
Владимир Хлебников: Вопрос не мой, вопрос в стадии проработки. Скажем так, это - процедура не устоявшаяся. Я могу говорить по опыту нашего централизованного тестирования, что не меньше четырех месяцев, не больше года.
Александр Костинский: Итак, есть некая база заданий, как из них получаются конкретные задания, допустим в городе Саранске, конкретный тест.
Владимир Хлебников: Поясняю. Министерство образования определяет количество оригинальных вариантов - тестов, которые будут использоваться на математике, на русском языке, на экзамене по физике и так далее. Министерство образования получает от соответствующего исполнителя из Академии образования эти оригинальные варианты тестов и передает к нам в центр тестирования. Мы говорим, что Россия страна большая и использовать 20 вариантов тестов сразу по всей стране в семи часовых поясах нельзя. Поэтому мы все пилотные регионы, участвующие в эксперименте по проведению ЕГЭ, условно делим на зоны. Вот у нас есть сейчас пять-шесть зон, каждая из которых включает в себя 10-15 регионов, от Якутии, от Магадана, до Калининграда. Для каждой зона по одному - двум часовым поясам мы выделяем несколько вариантов тестов. Ну, допустим пять-семь оригинальных вариантов тестов. Но это очень мало. Вот, например, мы получаем по математике 50 оригинальных вариантов тестов на страну, мы их делим на семь зон, в каждой зоне семь оригинальных вариантов тестов. Но мы говорим: этого мало. Семь вариантов в класс запустить, это мало. Если где-то будет утечка информации, считай, что Единый экзамен сорвался. Поэтому, мы задачи из семи вариантов перемешиваем, мы оригинальные тесты клонируем и делаем из них 100 вариантов. И запускаем эти варианты в определенную зону. Причем, все знают, что каждый класс получает экзаменационные материалы в определенных пакетах - секъюрпаках. Там 15 вариантов тестов, причем в каждом соседнем классе свой набор из этих 15 вариантов тестов.
Александр Костинский: А где эти пакеты делаются? В Москве и рассылаются по всей стране почтой?
Владимир Хлебников: Да, в Москве.
Александр Костинский: То есть централизованно. И любой пакет, приходящий в Саранск, Урюпинск или Владивосток, все равно делается в Москве?
Владимир Хлебников: Да.
Александр Костинский: А за какое время? Ведь он должен до Владивостока за какое-то время доехать?
Владимир Хлебников: Это все отработано, это все отлажено. За все время проведения Единого экзамена и централизованного тестирования не было ни одного случая сбоя и опоздания при высылке экзаменационных материалов. Даже отдаленные улусы Якутии получали материалы Единого экзамена вовремя.
Александр Костинский: А пакет насколько хорошо защищен? Это узкое место?
Владимир Хлебников: Нет, это не узкое место. Имеется индивидуальный пакет, прозрачный, полиэтиленовый, с заклеивающимся клапаном для каждого отдельного школьника, эти индивидуальные пакеты закладываются в большие секьюрпаки из прочного полиэтилена, одноразового пользования. Вскрытие этого пакета можно произвести только один раз, потом уже его не соберешь. Случайного вскрытия не бывает. Такие случаи не зафиксированы.
Александр Костинский: А кто тиражирует? Само тиражирование осуществляют какие-то люди, они должны напечатать материалы и разложить материалы в это огромное количество пакетов? Сколько тысяч вообще таких пакетов?
Владимир Хлебников: Каких пакетов? Индивидуальных пакетов?
Александр Костинский: Да, индивидуальных пакетов.
Владимир Хлебников: Столько же, и даже больше чем было тестируемых. В прошлом году было миллион двести тысяч тестируемых, индивидуальных пакетов было где-то около миллиона четырехсот - миллиона пятисот.
Александр Костинский: То есть было запечатано миллион пятьсот тысяч таких пакетов. То есть каждый школьник вскрывает такой пакет?
Владимир Хлебников: Да, а как же? Он получает для себя, лично для себя пакет, вскрывая который получает три бланка для ответов Единого экзамена, свой персональный тест, бланк черновика и инструкцию.
Владимир Губайловский: Таким образом мы составили себе представление, каким образом рождается тест, и как он попадает непосредственно к испытуемому. Теперь мы переходим к важнейшей части, непосредственно к экзамену, к тому, как он проходит, и как раз на эту тему репортаж нашего корреспондента из Саранска.
Для Мордовии проведение Единого госэкзамена - процесс политический. Во многом стараниями местных властей республика была включена в число тех регионов, в которых начинался эксперимент по проведению ЕГЭ, а, следовательно, нужно было показать, что мордовская школа готова к нововведениям. Это собственно и сделали в отчетах отправленных в Москву. Отрапортовали, что эксперимент проводится успешно. И естественно в эти отчеты не попала информация о том, как на деле проходили эти экзамены. В частности, то, что темы школьных сочинений становятся известными еще накануне, еще до того, как ученики сядут за парты, а министр образования в прямом эфире республиканского телевидения достанет из лототрона капсулу с номером комплекта тем. Сдача экзамена по математике также проходит весьма своеобразно.
"Сейчас говорят о том, что тестирование и ЕГЭ - это самый объективный вид экзамена, а на самом деле это все не так". - говорит Марина Якушкина, недавняя выпускница одной из Саранских школ, - "Родители отличников договаривались с преподавателями из университета, с математиками и они на экзамене решали все задачи, которые были нам предложены". "Какова технология этого решения задач? Как это происходило?". "Договаривались с людьми, которые в школе за нами следили, они передавали задания, листы с тестами и родители везли преподавателю, к договоренному лицу, и они сидели решали. А ответы, правильные ответы, приходили на пейджеры, на сотовые в виде сообщений. А вот то задание С, которое надо было целиком сделать, его опять-таки передавали через этих доверенных лиц, с которыми тоже договаривались и которым, я думаю, тоже платили определенную и большую сумму". "Ну, а то, что ученики пользовались пейджерами и сотовыми телефонами во время сдачи экзамена, что закрывали преподаватели глаза на это?" "Кому надо тот пронес. И сотовый, пейджер, и сотовый и пейджер вместе. А те кто не договаривались, просто сами сидели решали. У нас могли отнять даже какую-нибудь бумажку с двумя формулами. За кем надо за тем не следили, а за простыми, конечно, контроль был строгий".
Чиновники министерства образования отказались комментировать описанную Мариной ситуацию. Учителя же не отрицали, что подобная практика сдачи Единого экзамена в Саранске за два прошедших года уже отработана, но говорить об этом при включенном микрофоне отказались наотрез. Родители же выпускников прошлого года были более откровенны. "Дело в том, что сама идея неплохая, но она уже дискредитирована нашей жизнью. Дело в том, что найдены противовесы этому. За учеников сдают опытные преподаватели вузов во время Единого госэкзамена. Преподаватели сидят в туалете обмениваются этой информацией. Пользуются всевозможными техническими средствами, это и сотовые телефоны, и пейджеры. Одним словом, это все очень тревожно, и я все-таки за классическую форму экзамена, которую мы проходили. Мне кажется она более приемлема, а для того чтобы перейти к Единому государственному экзамену необходимо подготовиться более тщательно. Возможно общество должно быть немного другим".
Предполагалось, что введение Единого госэкзамена создает равные условия при тестировании знаний выпускников школ. Но оказалось, что это не так. В Мордовии система образования умеет решать любые проблемы. Для Радио "Свобода" Игорь Телин, Саранск.
Николай Андреев: Возможно ли такое, Владимир Александрович. Потому что министерство образования говорит, что в каждой аудитории есть наблюдатель, в каждой аудитории никто не может ничего списать.
Александр Костинский: Вопрос о том, как организованы места проведения экзамена и кто должен за этим следить.
Владимир Хлебников: Хорошо. Отвечаю. Имеются инструкции, которые утверждает Центр тестирования по согласованию с министерством образования. Эти инструкции детально регламентируют действия организаторов по проведению единого экзамена и поведение детей. По этим инструкциям запрещено проносить в аудиторию пейджеры и мобильные телефоны. Имеется институт общественных наблюдателей и инспекторов. Но, положа руку на сердце, я не могу утверждать, что все предусмотренные меры - они весьма многочисленные, это большая инструкция - дают нам полную гарантию, что не может быть нарушений. К сожалению, нарушения могут быть и нам затруднительно с ними бороться.
Николай Андреев: Существует ли какая-нибудь ответственность лиц, проводящих единый государственный экзамен?
Владимир Хлебников: Да, имеется административная ответственность при нарушении инструкций по проведению Единого государственного экзамена: выговор, строгий выговор, увольнение с работы. Это есть. Уголовной ответственности нет.
Александр Костинский: Есть ли на этом экзамене независимые наблюдатели? Допустим, едет ли в тот же Саранск человек из, допустим, Калининграда, который с очень большой вероятностью будет честен, ну хотя бы потому, что он не в этой структуре.
Владимир Хлебников: Хорошо. Поясняю. Центр тестирования министерства образования направляет - 600 человек в прошлом году направлял - инспекторов, совершенно официально, это финансировалось министерством образования, на проведение инспекции Единого государственного экзамена. 10-15 человек из одной области направлялось в другую область. Причем принимающая сторона не знала, откуда приедут к ней инспекторы. Инспекторами были, как правило, либо работники вузов совсем из других регионов, либо работники управления образования из других регионов. То есть, договориться заранее было невозможно. Я думаю, что эти инспекторы были объективны, но что значит 10-15 человек на всю область?
Александр Костинский: На всю область 10-15 человек?
Владимир Хлебников: Да, конечно, я говорю - 600 человек это было на 47 регионов России.
Александр Костинский: А сколько классов один человек контролировать должен?
Владимир Хлебников: Один инспектор мог за один день проконтролировать только один пункт проведения экзамена. Это примерно 20-25 аудиторий. Разумеется, он там мало что увидит.
Александр Костинский: А остальные люди, которые там, это свои или как?
Владимир Хлебников: Это те люди, которые утверждены приказом местного органа управления образования, и имеют право проводить Единый государственный экзамен. Это - организаторы, руководители пункта проведения экзамена, помощники и так далее. И, как правило, это работники школ, органов управления образования и иногда работники вузов.
Александр Костинский: Это все равно люди из этой же системы.
Владимир Хлебников: Да.
Александр Костинский: Если учесть, что ЕГЭ дает оценку этой же самой системе, то получается некий странный дисбаланс. Один человек должен проконтролировать 20 классов. Каждый из нас входил в класс или как учитель или как ученик, и четко понимает, что в каждом классе должен быть минимум один человек, который ни на секунду оттуда не выходит.
Владимир Хлебников: Вы правильно сформулировали. Мы находимся в ситуации, когда с помощью резиновой линейки мы измеряем размеры резинового предмета. И то, и другое подвержено изменениям, подвержено влияниям. Да, в этом есть проблема.
Николай Андреев: Мы прослушали репортаж из Саранска. По некоторым данным Мордовия занимает одно из лидирующих мест по тому, как решают тесты Единого госэкзамена по математике в регионах. Насколько же можно доверять результатам этого экзамена, насколько это обосновано?
Владимир Хлебников: Мы не имеем юридически никакого права не доверять этим экзаменам, потому что не составлено ни одного протокола о зафиксированных нарушениях при проведении Единого государственного экзамена.
Николай Андреев: Но я имел ввиду с научной точки зрения. Вот проводится тест.
Владимир Хлебников: Мы можем анализировать ситуацию статистическими методами, мы можем сравнивать с другими регионами, мы можем сравнивать с результатами централизованного тестирования, но это юридической силы не имеет, это имеет научный смысл, но не более того.
Александр Костинский: Расскажите о самом бланке экзамена. Многие дети жаловались на то, что они не готовы к заполнению самого бланка. Одно дело правильно решить задачу, другое - правильно заполнить форму. Предусмотрена ли тренировка? Проводится ли она и сколько таких тренировок нужно?
Владимир Хлебников: У нас на этот счет имеется довольно твердое мнение, что учащиеся, которые заполняют бланки тестов, при проведении централизованного тестирования, Единого экзамена, очень успешно с этой работой справляются. При проведении централизованного тестирования мы вообще не имеем нареканий на проблемы заполнения бланков, при проведении Единого экзамена, дети иногда капризничают, потому что понимают насколько важно их мнение в условиях, когда проводится эксперимент, но бланки заполняют все достаточно легко и свободно. Даже более сложную, я бы сказал, процедуру компьютерного тестирования дети делают совершенно свободно, даже те дети, которые раньше и не садились за компьютер. То есть технология щадящая, технология удобная для учеников. Я считаю, что здесь вопрос в значительной степени преувеличен.
Владимир Губайловский: Итак, мы обсудили с вами, как проходит экзамен. По результатам экзамена у нас появляются выполненные работы. Эти выполненные работы уходят в центры проверки. Как осуществляется проверка частей А, В и особенно важно части С?
Владимир Хлебников: В региональные центры обработки информации, которые находятся, как правило, в центре субъекта федерации, поступает бланк номер один, в котором учащийся на анонимном бланке дает свои ответы на задания типа А и типа В. Все эти бланки сканируются практически без прикосновения руки человека, и в результате этого сканирования формируется электронный файл. Здесь достаточно объективно все, здесь вмешаться практически невозможно.
Владимир Андреев: Я хотел уточнить. А если ученик не крестик поставил, а галочку, сканер воспримет нормально?
Владимир Хлебников: Нормально, более того предусмотрена процедура редактирования, когда специально обученные люди дополнительно проверяют насколько сканер правильно понимает изображение бланка. Здесь процедура отлажена и нареканий ни у кого нет, и технических ошибок практически тоже не бывает. Часть С это - задание ответ на которое нужно давать в развернутой форме, фактически это письменная работа. Проверяться должна экспертами. В прошлом году Центр тестирования предложил новую технологию, при которой эксперт получает не сам бланк, а копию этого бланка, из которой убрана шапка, по которой можно определить из какого места пришла эта работа. В шапке копии указывается локальный номер этого бланка, и, формально говоря, эксперт не знает, чья это работа. Одна и та же работа направляется двум экспертам. Направляет компьютер, и в коллективе из 40-50 экспертов никто не знает, кто из экспертов в паре с каким другим экспертом проверяет ту или иную работу.
Александр Костинский: А эти эксперты находятся где? В Москве или в регионах?
Владимир Хлебников: В регионе. Я же сказал уже: предметная комиссия при региональном центре обработки информации в каждом субъекте федерации. Эксперты работают, дают оценки, оценки вводятся в компьютер автоматизировано, если по одной и той же работе оценки двух разных экспертов близкие, то все хорошо - принимается соответствующая компромиссная оценка. Если эксперты дают слишком разные оценки, сильно отличающиеся друг от друга, то компьютер сам автоматизировано назначает третьего эксперта, который даже и не знает, что он третий, но это эксперт один из лучших, и он проверяет в третий раз эту же работу. Раньше бы считалось, что эта оценка будет окончательной. После того как эксперты проверят все работы, после того как будут отсканированы бланки номер один и бланки регистрации, то электронные файлы по каналам интернет отправляются в Центр тестирования. В Центре тестирования находятся номера штрих-кодов со всех трех бланков, и только в Центре тестирования можно собрать в кучу материалы со всех трех бланков для каждого отдельного ученика. Никто другой собрать больше не может. Проверка проводится анонимно, сборка только в Центре тестирования. Эту работу мы успешно делаем в течение одного дня, после того как получаем материалы со всей России. После этого проводится шкалирование результатов тестирования. Мы проверяем результаты, проверяем какой ученик сколько дал верных ответов и сделал ошибок. Предварительные протоколы мы можем высылать сразу на места. После того как собираем не менее 80 процентов информации из регионов России, от участников тестирования, проводится специальная математическая обработка результатов этого экзамена, так называемое шкалирование и выставляется тестовый балл.
Александр Костинский: Сейчас мы послушаем вопросы наших слушателей, и потом более подробно поговорим о шкалировании. Говорите, пожалуйста.
Слушатель: Здравствуйте. У меня прежде всего есть такое предложение, вот этим товарищам, которые занимаются этим делом. У них очень большое внимание уделяется, я смотрю, технической стороне дела, а самое главное, где у нас все сбои во всех системах наших реформ, я что-то не слышу, - учет человеческого фактора. Если в школе работы заранее все будут проверены и будет все сделано как положено, как говорится, то дальнейшая обработка смысла вообще не имеет. Я работник школы, понимаете. Я помню как при мне 1954 году была сталинская система, когда в каждой комиссии приемной присутствовал представитель облоно. Из каких-то присылался других школ обязательно. Она была отменена, и после этого в школах началось самоуправство с оценками. Еще один момент: зачем это все делать в самом начале непонятно, если наша система учебная лучше чем в других странах. Зачем?
Владимир Губайловский: Вопрос тут собственно вот в чем. Существует только один момент в процессе проверки, когда может вмешаться учитель.
Владимир Хлебников: Вопрос понятен. Но в школе ничего не проверяется. Из пункта проведения Единого экзамена формируются посылки. В одной посылке - в секъюрпаке - лежат только бланки регистрации и направляются в пункт первичной обработки информации, в другом секретном пакете бланки номер один обезличенные, фамилий нет только штрих-коды, тоже запечатывается и направляется в региональные центры обработки информации, третья посылка - это задания части С, отправляется в предметную комиссию. Тремя разными потоками отправляются материалы на обработку. В школе ничего не проверяется.
Александр Костинский: Прозвучало мнение, что у нас была замечательная система образования, в частности десятки лет назад, но само реформирование, сама модернизация, подразумевает, что что-то не так. Давайте может быть сравним, как проходят тесты там, откуда они к нам пришли тесты - из Англии, из Соединенных Штатов. Как там проходит тестирование? Что в этой тестовой системе может быть не так?
Владимир Хлебников: Давайте рассмотрим американскую систему образовательного тестирования. Служба образовательного тестирования ATS - крупнейший в мире производитель тестов и пользователь. В течение года общее количество тестирования около 8 миллионов. По различным предметам и различного назначения, наиболее распространенный вид тестирования SAD-1 - логико-вербальный тест, вопросы математического или лингвистического характера, где-то 2 миллиона 800 тысяч участников тестирования. Семь раз в течение года может тестироваться любой школьник на территории США и многих других стран мира. Мы в России практически догнали. У нас Центр тестирования проводит 1 400 тысяч в год централизованное тестирование, 1 200 тысяч - 1 600 тысяч тестирование Единого государственного экзамена.
Александр Костинский: Но там семь раз в год?
Владимир Хлебников: Да, а у нас фактически две такие широкомасштабные акции, которые в сумме равносильны одной акции семикратно повторенной в США. То есть по производственным показателям мы практически догнали американцев. В научном плане мы используем более серьезный научный подход, мы используем современные методики шкалирования, Служба образовательного тестирования использует "сырые" баллы, хотя, в общем-то, Техасский университет имеет прекрасную школу математического шкалирования.
Александр Костинский: У нас звонок.
Слушатель: Здравствуйте. Я хочу, вот что сказать, сейчас Единый экзамен будет. Ладно, это эксперимент, может быть. Почему не поднять роль аттестата и персональную ответственность школы, не только школы но и педагога, директора школы, того кто подписывает аттестат зрелости своему выпускнику.
Александр Костинский: Если мы говорим об американской системе, то там характеристика учителя и балл, который получил человек в школе, играют большую роль при поступлении в вуз.
Владимир Хлебников: Хорошо. Давайте рассмотрим систему поступления в американские престижные университеты. Для отбора используются следующие материалы: это, как правило, результаты тестирования SAD-1 - логико-вербальный тест - совершенно добровольный, второе, это - оценки по профильным предметам за последние один-два года обучения в школе, эссе - краткое сочинение, автобиография и, наконец, рекомендация учителя, которая присылается анонимно в университет на ученика. Эссе, казалось бы малозначащий документ. Нет, очень значительный. Мне рассказывали случаи в Америке, когда в престижный американский университет на юридический факультет не был зачислен человек с хорошими показателями, который в своем эссе не разу не упомянул слово "ребенок". Ну, какой он будет юрист, если он не думает о детях? То есть, эссе - это значимый документ. Но главное - это оценка текущей успеваемости за один-два года обучения в школе, не результат молниеносной акции, а вот именно текущие оценки. И плюс характеристика с места обучения.
Александр Костинский: Наш слушатель сказал, что главная проблема человеческий фактор, и мы видели, что он проявляется больше всего во второй стадии. То есть получается, что самое узкое место, это процесс проведения экзамена, когда один человек, который является независимым должен контролировать 20 комнат.
Владимир Хлебников: Я уже сказал, что охватить все аудитории проведения экзамена инспекторами или общественными наблюдателями практически невозможно. Это раз. И второе, человеческий фактор больше сказывается в том, как избежать того, чтобы люди не подсказывали друг другу, не передавали друг другу сообщения. Это очень тревожный сигнал. В Америке не принято подсказывать. Учащиеся не списывают друг у друга и не подсказывают. У них совсем другой менталитет. У нас подсказывают и списывают даже на обычных контрольных работах. Это проблема.
Александр Костинский: Мой вопрос Николаю Андрееву. Скажите, а вот с точки зрения Академии наук в самой технологии проведения экзамена какие слабые места вы можете выделить и какие сильные?
Николай Андреев: За всю Академию наук я не могу отвечать, но из обсуждения со многими членами Академии наук и со многими работающими там складываются впечатление, что объективная оценка на данном этапе пока невозможна, потому что мы действительно не можем в каждую аудиторию поставить по наблюдателю, мы не можем это сделать в нашей стране. Но хотелось бы вернуться к технологии проведения ЕГЭ, которая очень интересует наших слушателей. Мы остановились на том, что вот проверили мы работы, и получили "сырые" баллы. Что же происходит потом?
Владимир Хлебников: Центр тестирования по специальной методике пересчитывает сырые баллы в баллы оценок по тестовой шкале: от 0 до 100 баллов.
Александр Костинский: То есть, есть часть А - верное решение одной задачи 1 балл, В - 1 балл. А С как оценивается?
Владимир Хлебников: С оценивается от 0 до 7-8 баллов в зависимости от предмета.
Александр Костинский: Все баллы суммируются и получается сумма баллов.
Владимир Хлебников: Получаются "сырые" баллы.
Александр Костинский: Максимум по математике 32 балла в 2003 году.
Владимир Хлебников: И эти баллы пересчитываются в 100 балльную шкалу. Это не простая линейная интерполяция, это достаточно сложная процедура с использованием современных математических методов. Мы, признаться, взяли американские методы - Техасского университета, модифицировали их и успешно применяем. Мы считаем, что мы в научном плане достаточно хорошо продвинуты. После того как мы получили статистику распределения тестовых баллов, мы предоставляем указанную статистику министерству образования. Специальная комиссия рассматривает полученные результаты и принимает решение за какое количество тестовых баллов ставить в аттестате зрелости 2, 3, 4 или 5.
Александр Костинский: Это очень важный момент. Что получается, у нас есть некие "сырые" баллы, которые по какой-то методике пересчитываются в 100-бальную шкалу, а потом, собрав со всей страны данные, решается, что баллы от сюда до сюда будут двойкой или пятеркой. То есть заранее правил игры нет. Комиссия министерства может решить, сколько у нас будет сегодня двоечников. Она знает, сколько оценок ниже этого балла, и сколько выше этого балла. То есть министерство само себе ставит оценку.
Владимир Хлебников: Я вам рассказал технологию выставления оценок по пятибалльной шкале, которая была по 2003 год.
Владимир Губайловский: У нас есть вопрос, который мы уже задавали представителям министерства, и на который мы никак не может получить внятный ответ. Это вопрос о том, сколько стоит проведение Единого государственного экзамена. Сколько оно стоило в 2003 году? И сколько оно будет стоить в 2004?
Владимир Хлебников: Ну, уж если вам на это не ответили представители министерства образования, я не отвечу тем более. Потому что я выполняю только часть работ по Единому экзамену. У нас есть соответствующий контракт. Я не имею представления о всей сумме работ и о всем объеме финансирования.
Александр Костинский: Хорошо. Ваша часть сколько стоит? Если возможно, хотя бы порядок величины.
Владимир Хлебников: Давайте будет говорить так: на одного учащегося где-то около 80 рублей стоит организационно-технологическое обеспечение одного тестирования при проведении Единого государственного экзамена.
Николай Андреев: Но это не включает ни разработку материалов?
Владимир Хлебников: Не включает ни разработку материалов, ни поддержание сайта www.ege.edu.ru, ни ведение федеральной базы свидетельств, ни поставку оборудования.
Владимир Губайловский: Не использовалась ли форма контроля знаний учащихся, аналогичная социологическому опросу? Ведь есть возможность использовать некоторую репрезентативную выборку 6 - 10 тысяч, а не миллион.
Владимир Хлебников: Это так называемый мониторинг. Для этого нужно провести обследование сравнительно небольшого количества учащихся, но вполне определенного состава. Там должно быть определенное количество городских, сельских жителей, учащихся школ, гимназий, лицеев, мальчиков, девочек и так далее. Там должны быть представлены все социальные группы. Это могло бы дать хорошую оценку с точки зрения получения достаточно исчерпывающей информации для оценки качества образования и может быть полезно для принятие управленческих решений. Но для прикладного использования, для поступления в вуз или для итоговой аттестации этого совершенно недостаточно.
Александр Костинский: Такая форма тестирования как Единый экзамен должна дать в идеале возможность определить и знания школьного курса, и знания необходимые для поступления в институт, единообразно и единовременно по всей стране. Но даже люди далекие от тестирования знают, что проверка знаний может быть разноуровневой, разной глубины и разной специализации. Можно ли все свести к одному экзамену?
Владимир Хлебников: Отвечу шокирующе. Я считаю, что одним тестом измерить учебные достижения всех учащихся любого уровня подготовленности нельзя.
Александр Костинский: А что можно? Необходимо несколько тестов?
Владимир Хлебников: Мы должны задаться целью выяснить, какую ошибку мы допускаем, проводя педагогические измерения. Мы должны установить, что ошибка не слишком большая. Исходя из этого, мы должны сделать различные тесты. И слабых учащихся мы должны оценивать с помощью легких тестов, сильных - с помощью сложных тестов, средних - с помощью тестов средней сложности. Нам нужна батарея тестов. И более того было правильно проводить такую оценку неоднократно. Это было бы независимо, это было бы объективно и с минимальной погрешностью.
Александр Костинский: Скажите, пожалуйста, какое с вашей точки зрение самое узкое место в технологии проведения Единого экзамена?
Николай Андреев: Я думаю, что вопрос нужно ставить более широко. Не в технологии проведения, а том чего мы, собственно, хотим добиться? Когда такая форма как Единый экзамен сможет реально работать? Когда у нас не будут подсказывать, например?
Владимир Хлебников: В той технологии, которая сейчас используется, применяется из этой технологии выжато почти все. Мы можем смело сказать, что эта технология передовая. И я не знаю более продвинутых, более, может быть, жестких, более хорошо проработанных технологий, которые использовались бы в мире. Мы хорошо здесь поработали. Современная технология, которая используется в Едином государственном экзамене, неплохая. Но вопрос в другом, концептуально мы достигаем цели или нет при проведении Единого государственного экзамена?
Николай Андреев: А у нас цели вообще сформулированы?
Владимир Хлебников: Передо мной цель - технологическое обеспечение Единого государственного экзамена. Мы эту цель достигаем. Другое дело, получаем ли мы объективную оценку, насколько у нас велика погрешность измерений, можем ли мы контролировать процедуру? Не всегда.
Александр Костинский: Мы говорим о том, что Единый государственный экзамен, скорее всего не может быть единым. Должна быть некая система шкалирования учеников. А кто будет решать? Учитель должен разделить учеников на слабых и сильных?
Владимир Хлебников: Нет. Как раз идея-то в том, что если бы можно было проходить тестирование несколько раз, то тестируйтесь, начиная с любого уровня сложности. Мы предлагаем тебе легкий, средний, сложный тест. За легкие тесты, допустим, можешь получить не больше 40 баллов. Если ты считаешь свои знания высокими, то ты на это тестирование можешь и не приходить. Среднего уровня сложности, допустим, от 40 до 80 баллов. Приходи, попробуй свои силы. А вот тест сложный, там может быть уже свыше 70 баллов, приходите уже те, кто себя серьезно чувствует, серьезные свои силы. Пускай люди пробуют. Столько раз сколько надо. Все равно выше себя они не прыгнут. Но нужно иметь надежную оценку. Говорю как заклинание - надежную и объективную оценку. Иначе процедура теряет смысл.
Александр Костинский: У нас звонок. Говорите.
Слушатель: Добрый день. Я человек достаточно уже пожилой, работала во многих странах европейских, в Америке один год, и должна сказать, что вот этот разговор о тестировании на меня производит тягостное впечатление. Мне кажется, нашим руководящим товарищам надо думать о качестве подготовки преподавателей, о повышении качества людей работающих в школах, о разгрузке педагогов, чтобы они могли работать над собой, а тестирование оставить для учащихся, как форму самопроверки. Ну, чушь все вот эти разговоры, тягостное, тяжелое впечатление остается от деятельности наших товарищей министерского уровня. Это вот мое мнение.
Николай Андреев: Российская Академия наук не раз уже высказывала соображения, что начинать надо с другого. Начинать надо, конечно же, не с контроля, а с подготовки учителей, повышения качества подготовки и изменения отношения общества к учительской профессии.
Владимир Хлебников: Я бы добавил следующее. Ставится много проблем, много задач. Ни одна из этих проблем, взятая отдельно, в целом проблему не решит. Проблему нужно рассматривать в комплексе. Важен контроль. Безусловно, под контрольные результаты люди подстраиваются. И тренируются для итоговой аттестации и для поступления в вуз. И качество преподавателей важно, и хорошие учебники нужны, и разгрузка нужна, проблема - комплексная.
Владимир Губайловский: В нашей предыдущей передаче представитель министерства образования Валентин Шаулин сказал, что самый важный результат, которого добился Единый экзамен, это то, что проблемы образования, проблемы уровня образования школьного, вузовского, поставил в самый центр общественного внимания. До того как возникла широкая дискуссия вокруг Единого экзамена, они были несколько на периферии. И Шаулин полагает, что это уже само по себе довольно серьезный результат.
Владимир Хлебников: Это не могло не произойти, потому что практически в каждой российской семье есть ребенок, 90 процентов выпускников школ поступают в вузы, Единый государственный экзамен затрагивает будущее детей и поступление в вузы, поэтому Единый государственный экзамен, конечно, затрагивает интересы практически каждой российской семьи. Он по определению обречет на внимание и интерес.
Владимир Губайловский: Уровень общего образования в стране ощутимо понижается. Каков он на данный момент непонятно. Значит необходим тот или вид внешнего контроля. С этим, в общем, все согласны. Технологические решения, по вашим словам, для Единого экзамена были проработаны очень хорошо. То есть мы продвинулись вперед в нужном нам направлении или...?
Владимир Хлебников: Мы можем говорить о том, продвинулись мы или не продвинулись, если мы будем сравнивать прошлое с настоящим и попробуем дать какой-то прогноз на будущее. Но вот этого сравнения прошлого с настоящим мы не видим.
Николай Андреев: И, к сожалению, вся статистика по Единому государственному экзамену закрыта, за исключением информации предоставленной на сайте www.ge.edu.ru
Александр Костинский: Да, это очень важно. Конечно, такая статистика не должна быть засекречена, а должна широко обсуждаться. Мы благодарим наших гостей за участие в передаче. До встречи через неделю.
