Участники республиканских олимпиад по химии в этом году могли заметить присутствие просьбы оставить обратную связь по олимпиаде пройдя онлайн-опрос. Некоторые из них даже его заполнили, за что им огромная благодарность. В ближайшие дни в этой теме опубликуем результаты анализа этих опросов и результатов самой РО. Иными словами, вот что мы смогли сделать благодаря тем, кто заполнял opros.qazcho.kz.
Извините, а где можно чекнуть задание на английском языке? То есть по словам участников были задание на английском языке. Я просто ни разу об этом не слышал.
это кто так сказал? задания РО на английский язык не переводились.
Оказывается не правильно понял статистку
Особое удовольствие приносит поиск неявных допущений, на которых зиждутся наши решения. Например, республиканская олимпиада проходит в три этапа: районный, областной и заключительный. На областной этап проходят победители районного этапа, на заключительный - победители областного.
В данном случае мы, даже если сами того не осознаем, подразумеваем, что результат ученика на областной олимпиаде выступает показателем того, как ученик может выступить на заключительном этапе. Иными словами, мы допускаем, что лучше всего на заключительном этапе выступят те, кто лучше всего выступил на областном. Иначе с какой стати мы приглашаем победителей областного этапа? Понимаете насколько это фундаментальный вопрос?
В этом году, на удивление, впервые в истории РНПЦ Дарын опубликовал результаты областного этапа в интернете. Естественно, сделано это было для галочки, а не ради того, чтобы этими данными мог кто-то пользоваться. Поэтому половина протоколов была опубликована в PDF формате, часть нельзя было скачать, и все протоколы были в разном формате. Но, волевыми усилиями @Aoi_Kuro и @Miras был совершен OCR, все таблицы стандартизированы и приведены к единому формату, что сильно упростило задачу написания скрипта для анализа.
В итоге, я решил посягнуть на сами основы и проверить насколько оправдано упомянутое выше допущение и насколько результаты на областном этапе коррелируют с результатами на заключительном. Посчитал коэффициенты Пирсона. Сделал линейную регрессию. Результаты прикладываю. Хорошие ли данные сказать не могу, было бы неплохо иметь что-то в качестве эталона сравнения. Как минимум надеюсь будет ориентиром на будущее.
Потом думаю, а как выглядит картина для каждой области по отдельности? Поскольку с каждого класса каждой области проходит по 2-3 ученика, считать корреляцию для каждого класса не имеет смысла (почему?), поэтому посчитал для всех трех классов сразу. Результаты прикладываю.
Для каждой области так же строил графики линейной регрессии. Их слишком много для одного поста, поэтому желающих приглашаю посмотреть их в репозиторие на гитхабе (там же код анализа).
Возможно вас, как и меня, удивляет низкий коэффициент для НИШа, поэтому прикладываю для примера пару графиков:
Добрый день!
Извините, у меня появился вопрос, вот почему для прохождения на республиканскую олимпиаду не ставят порогов? Мне кажется такое решение было бы самым справедливым. Ведь мы знаем, что на республиканскую олимпиаду проходят с области максимум двое. А вдруг есть и третий, который выступил довольно хорошо, но не прошел на республиканский этап. На пример: Человек из определённой области набрал относительно нормальное количество баллов, но отрыв от абсолют второго скажем больше 15 баллов. И этот человек не проходит на республиканскую олимпиаду. Если его же сравнивать с другими областями, он на областном этапе выступил лучше некоторых участников с других областях, которые прошли на республиканскую олимпиаду. А если бы ставили порог было бы более справедливо. Это всего лишь идея, ведь пороговые баллы могут решать судьбу участников, которые не набрали больше определенного порога. В таких случаях нужно предпринимать меры. Допустим из одной области никто не набрал пороговый балл, в таком случае думаю лучше отправить абсолютного победителя с этой области. Хотелось бы сказать, что пороговый балл будет также справедливо к НИШ. Ведь у них с сетки могут пройти двое помимо сборников.
Скорее всего считается, что есть пользя в участии команды с определенной области даже если она слабая и набирает мало баллов. Что если мы не будем пускать слабые команды на респу, они никогда не станут сильными ибо у них не будет опыта участия на респе.
нет единого определения справедливости. Прежде чем определять что-то справедливым или несправедливым надо определиться с ответами на базовые философские вопросы (постулаты).
эх жаль моих резов нет в анализе
Если бы был отбор именно по этому принципу, то это называлось бы уже не областью, а первым заочным туром республики.
В рамках опроса участникам предлагалось оценить насколько задания были сложными, объемными и интересными. Вот результаты:
В рамках опроса, участникам предлагалось оценить насколько хорошо они решили каждую из задач. И хотя эти ответы интересны сами по себе, нам стало интересно: а как эти ответы соотносятся с тем, какие баллы за задачу учащиеся набирают в итоге?
Прикладываю диаграммы размаха на каждый класс. Диаграммы на каждую задачу по отдельности есть на гитхабе.
Хочу завершить графиком, который нравится мне больше всего. Как вы могли догадаться, мне нравятся данные. Нравится их визуализировать. Нравится искать скрытые закономерности. Я решил посмотреть на корреляцию баллов по задачам внутри одной олимпиады. Ну т.е., насколько вероятно, что ученик, который хорошо решил задачу Х, хорошо решит задачу У? Прикладываю коэффициенты корреляции для 10 кл (результаты для областного этапа и для заключительных этапов 2021 и 2022 года есть в отчете на сайте QazChO. В гитхабе есть такие графики для каждой области на областном этапе). Приятно наблюдать, что органика больше всего коррелирует с задачей на математическую логику.
Потом я думаю: а какие одна-две задачи отличаются от остальных больше всего? Что если мы сравним средний балл за задачу Х и У со средним баллом за все задачи, кроме Х и У? Результат тоже прикладываю.
