Кто и как проверяет ЕГЭ по математике

ЕГЭ-2012 уже отгремел, но осталось много вопросов по его проведению. Попытаемся ответить хотя бы на часть из них. О том, как проверялся ЕГЭ по математике, рассказывает председатель предметной комиссии по проверке заданий с развернутым ответом ЕГЭ по математике 2012 г. в Республике Мордовия, кандидат физико-математических наук, доцент кафедры математики и теоретической механики МГУ им. Н.П. Огарева Сыромясов Алексей Олегович.

Как формируется комиссия, которая занимается проверкой? По каким критериям набираются проверяющие и кто их набирает?

В комиссию должны входить школьные учителя (как правило, высшей категории), преподаватели ССУЗов и ВУЗов, причем представители среднего и высшего образования – примерно на паритетных началах. Это логично: школы выпускают учеников, а ВУЗы их принимают. Эта сторона процесса чем-то напоминает сдачу-приемку работы: в комиссию входит как сдающая сторона (среднее образование), так и принимающая (ВУЗы).

Зимой, за несколько месяцев до экзамена, министерство образования обращается к управлениям образования в Саранске, Рузаевке и районах республики с просьбой представить кандидатуры школьных учителей – членов комиссии. С такими же просьбами касательно преподавателей оно обращается в ВУЗы и ССУЗы. Министерством же принимается решение о назначении председателя комиссии.

Все эксперты весной проходят обязательное предварительное обучение по программам ФИПИ (Федерального института педагогических измерений). Надо сразу пояснить, что ФИПИ – это именно та организация, которая курирует составление заданий экзамена.

Большая часть проходит его дистанционно, через Интернет – по запросу министерства образования ФИПИ предоставляет необходимое количество аккаунтов для входа в обучающую систему. Оставшаяся часть комиссии прослушивает лекции очно. В любом случае, обучение проходит на тренировочных (примерных) критериях, находящихся в открытом доступе, и завершается зачетом. Эксперты, не прошедшие в той или иной форме обучение, не сдавшие зачет, к проверке работ ЕГЭ не допускаются.

Председатель знакомится с представленным списком. Он может отклонить какую-то из кандидатур или предложить чью-то еще кандидатуру. Но утверждение состава комиссии – это прерогатива министерства.

Все эти назначения происходят по согласованию с теми учебными заведениями, где работают потенциальные эксперты.

А кто назначает председателя комиссии? И как Вы стали председателем?

Я являюсь председателем второй год (поэтому с такой уверенностью говорю про то, как все было поставлено в прошлом году). Зимой 2010-2011 года министерство образования РМ обратилось к ректору нашего университета С.М. Вдовину и декану математического факультета, И.И. Чучаеву, с официальной просьбой – согласовать мою кандидатуру. Возможно, роль сыграло то, что на ЕГЭ 2010 года я был одним из сотрудников РЦОИ.

Это предложение было для меня неожиданным. Конечно, сначала были серьезные сомнения - справлюсь или нет. Судя по тому, что в 2011-2012 учебном году министерство снова просило согласовать мою кандидатуру, оно было удовлетворено качеством проделанной работы.

Большинство школьников и даже учителей не имеют полного представления о том, как проверяются задания. Откуда они должны получать такую информацию? И как собственно организована проверка?

Когда время, отведенное на выполнение заданий ЕГЭ, подходит к концу, все бланки, заполненные школьниками, отвозятся в РЦОИ (региональный центр обработки информации). На проверку комиссии из РЦОИ поступают только копии бланков №2 (т.е. бланков, на которых пишутся решения задач группы "С"). Бланки №1 (с заданиями "А" и "В") проверяются автоматически на компьютере, комиссия к ним никакого касательства не имеет.

Здесь сразу хочу обратить внимание на 2 обстоятельства:
- Комиссия проверяет именно копии. Оригиналы неприкосновенны, так что "подрисовать" что-то в бланке при проверке нельзя.
- Бланки ответов №2 (соответственно, и их копии) анонимны. С регистрационными бланками и бланками №1 они объединяются только специальной программой по штрих-коду. Соответственно, эксперты не знают, чьи работы они проверяют.

Критерии проверки заданий части "С" приходят на почту РЦОИ вечером того дня, когда проводился экзамен предмету (естественно, уже после того, как экзамен завершается). Комиссия знакомится с этими критериями на следующее утро. Их распечатывают в необходимом количестве и начинается проверка.

Вся процедура проходит в том же здании, в котором располагается РЦОИ (это удобнее). Специальная программа автоматически назначает работы, которые должен проверить тот или иной эксперт, далее эти работы распечатываются вместе с бланком протокола, куда потом заносятся результаты проверки. Т.е. эксперты ставятся перед фактом: вы проверяете такие-то и такие-то работы. Никаких фамилий или других данных участников ЕГЭ в протоколах нет – только условный код работы (по-моему, 12 или 13 цифр). Каждая работа проверяется независимо двумя экспертами, причем совещаться друг с другом эксперты не могут. Далее копии работ вместе с заполненными протоколами сдаются, протоколы сканируются и автоматически сверяются друг с другом. Если разница в баллах за одно и то же задание составляет 2 или более, работа посылается на "третьего эксперта". Т.о., каждая работа проверяется минимум дважды, а то и трижды.

В аудиториях, где работает комиссия, установлены веб-камеры, изображение выводится на экран директору РЦОИ. Члены государственной экзаменационной комиссии (ГЭК), в которую в Мордовии входят зам. пред.правительства М.С. Сезганов, руководство министерства образования, ректоры вузов и т.д. также могут по желанию в любой момент ознакомиться с этими видеозаписями. Поэтому действия комиссии при проверке находятся под постоянным контролем.

Общую информацию о порядке проверки можно получить на официальном портале ЕГЭ: www.ege.edu.ru.

Итак, резюме:
- работы анонимны;
- проверяются копии, а не оригиналы;
- критерии проверки становятся известны только после окончания ЕГЭ;
- проверка происходит под контролем со стороны.

По Вашему личному мнению, насколько объективно ЕГЭ показывает знания школьников? Можно ли с уверенностью говорить, что более сильный школьник скорее всего получит более высокий балл?

Скажем так: более сильный школьник при прочих равных обстоятельствах получит более высокий балл. Но возможны всякие случайности, никак не документируемые: накануне вечером поругался в семье, надел новый неразношенный ботинок, который жмет, и т.д. Причин неудачи, даже нелепых, может быть много, и все они будут уважительны, хотя их и не подтвердишь никакой справкой. Как и на любом вузовском экзамене, впрочем.

Кроме того, есть небольшая группа принципиально неэкзаменуемых ребят. Просто по своей психологической организации – они могут здорово решать задачи с места и у доски, но сдавать экзамен не могут (или могут, но показывают результаты хуже, чем их обычные).

ЕГЭ – это стандартизация. Но невозможно стандартизировать миллион человек, обязательно будут отклонения в какую-то сторону. Потому наряду с результатами ЕГЭ при зачислении в ВУЗы учитываются всякого рода олимпиады.

Вопрос об объективности ЕГЭ также тесно связан с вопросом о содержании критериев проверки. По окончании ЕГЭ комиссия может высказать свое мнение и о работах школьников, и о самих критериях. Эти мнения председатель включает в отчет, который сдается в министерство образования и направляется в Москву. Т.о., ФИПИ поддерживает обратную связь с предметными комиссиями в регионах.

А какое мнение высказала мордовская комиссия о критериях?

В целом было предложено несколько смягчить критерии проверки. (Это мнение официальное, оно уже ушло в Москву, и Москва приняла его к сведению.)

А критерии проверки были слишком жесткие? В чем это проявлялось?

Не вдаваясь в специфику конкретных заданий: для того, чтобы получить определенный балл, ученику требовалось в своем решении дойти до какой-то контрольной точки и  получить соответствующий промежуточный результат. Если этот результат из-за какой-то ошибки (даже случайной описки) не достигался, участник ЕГЭ уже не получал соответствующих баллов. Образно говоря, для получения 2 баллов надо пробежать по пересеченной местности 2 км. Но если вы пробежите 1 км 900 м, вы получите не более 1 балла – ведь финиш не достигнут!

В то же время в школе, как правило, оценивается не только сам результат, но и процесс его достижения.

Были случаи, когда при проверке задания С3 школьник допускал одну-единственную описку, но она превращала 3 первичных балла (в которые максимально оценивается задание С3 по математике) в 1 балл. Естественно, это решение и было оценено 1 баллом.

Здесь надо сказать, что вне зависимости от того, нравятся комиссии критерии или нет, комиссия работает по тем критериям, которые присланы из Москвы.

Как говорил один из персонажей братьев Стругацких, "Когда я приезжаю в другую страну, я не спрашиваю, хороши там законы или плохи. Я спрашиваю, выполняются ли они".

Так вот, комиссия в рамках своих полномочий пытается влиять на критерии и содержание заданий, но это может найти свое отражение в критериях следующего года. По окончании проверки мы высказали свое мнение (см. выше), а пока проверка не завершилась, мы обязаны придерживаться уже существующих правил.

А есть ли в процессе проверки какой-то контроль за списыванием? Если, например, будут обнаружены 2 одинаковые работы, может ли комиссия применить какие-либо санкции?

Вопрос больше теоретический.

Эксперты, как уже было сказано, не должны совещаться друг с другом и сравнивать работы, поэтому требуется, чтобы две одинаковые работы попали к одному эксперту. Я не знаю, насколько это вероятно, ибо не в курсе подробностей работы программы, которая назначает копии бланков на проверку экспертам.

При проверке работ по математике таких ситуаций не возникало.

При возникновении какой-то внештатной ситуации комиссия обратится в РЦОИ (чтобы устранить вопрос о технических неполадках) и в ГЭК.Задача предметной комиссии - проверить анонимные работы в соответствии с критериями, разработанными ФИПИ.

А как правильно надо подавать апелляции? Насколько успешно в этом году апеллировали школьники?

Насколько я знаю, по математике были удовлетворены меньше половины поданных апелляций (по-моему, около 30%). При этом проверяют работы одни эксперты, а апелляции рассматривают уже другие. Это естественно: апелляция – некий контроль качества проверки, и это качество контролируют уже другие люди – не те, кто участвовал в проверке. Из членов предметной комиссии на апелляциях присутствует только председатель: в каких-то спорных случаях к нему могут обратиться за разъяснениями.

Подавать апелляцию имеет смысл тогда, когда участник ЕГЭ более-менее уверен, что это может повысить ему баллы. Дело в том, что при апелляции перепроверяется вся работа (задания "С"). Поэтому участник ЕГЭ может не только повысить, но и понизить свои баллы (если при перепроверке обнаруживается не замеченная ранее ошибка).

Перед тем, как подать апелляцию (если уж на то пошло, и перед тем, как написать экзамен), желательно ознакомиться с примерными критериями проверки. Конечно, "боевые" критерии проверки заданий ЕГЭ даже экспертам становятся известны только после проведения экзамена. Но типаж заданий по каждому предмету, демонстрационный вариант и так называемую спецификацию (описание – какое задание ЕГЭ какие навыки проверяет) можно совершенно свободно скачать с официального сайта уже упомянутого ранее Федерального института педагогических измерений как минимум с декабря-января месяца. Там же, в демо-версии, приводятся и примерные критерии, по которым будут проверяться задачи "С". Вот их адрес: www.fipi.ru.

Были ли в этом году какие-либо отличия в процедуре проверки работ? Насколько вообще это надежная и справедливая система?

По сравнению с прошлым годом каких-то особых отличий не было. Уже в прошлом году комиссия работала в аудиториях, оснащенных веб-камерами. Работы всегда копировались, всегда были анонимными, всегда проверялись независимо двумя экспертами.

Спасибо за подробные ответы!

Спасибо Вам!