Приказ Рособрнадзора от 09.09.2019 N 1275

ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ

ПРИКАЗ

от 9 сентября 2019 г. N 1275

ОБ УТВЕРЖДЕНИИ МЕТОДИКИ

РАСЧЕТА ПО ПОКАЗАТЕЛЮ 2.9.19 ФЕДЕРАЛЬНОГО ПЛАНА

СТАТИСТИЧЕСКИХ РАБОТ, УТВЕРЖДЕННОГО РАСПОРЯЖЕНИЕМ

ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ОТ 06.05.2008 N 671-Р,

"СРЕДНЕВЗВЕШЕННЫЙ РЕЗУЛЬТАТ РОССИЙСКОЙ ФЕДЕРАЦИИ В ГРУППЕ

МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ, СРЕДНЕВЗВЕШЕННОЕ МЕСТО

РОССИЙСКОЙ ФЕДЕРАЦИИ"

В целях обеспечения реализации Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, и с учетом приказа Федеральной службы по надзору в сфере образования и науки и Министерства просвещения Российской Федерации от 06.05.2019 N 590/219 "Об утверждении Методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся" приказываю:

1. Утвердить прилагаемую Методику расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

2. Признать утратившим силу приказ Федеральной службы по надзору в сфере образования и науки от 17 апреля 2019 г. N 473 "Об утверждении Методики расчета по показателю 2.9.19 Федерального плана статистических работ, утвержденного распоряжением Правительства Российской Федерации от 06.05.2008 N 671-р, "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации".

3. Контроль за исполнением настоящего приказа возложить на заместителя руководителя С.М. Кочетову.

Руководитель

С.С.КРАВЦОВ

Приложение

Утверждена

приказом Федеральной службы по надзору

в сфере образования и науки

от 09.09.2019 N 1275

МЕТОДИКА

РАСЧЕТА ПО ПОКАЗАТЕЛЮ 2.9.19 ФЕДЕРАЛЬНОГО ПЛАНА

СТАТИСТИЧЕСКИХ РАБОТ, УТВЕРЖДЕННОГО РАСПОРЯЖЕНИЕМ

ПРАВИТЕЛЬСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ОТ 06.05.2008 N 671-Р,

"СРЕДНЕВЗВЕШЕННЫЙ РЕЗУЛЬТАТ РОССИЙСКОЙ ФЕДЕРАЦИИ В ГРУППЕ

МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ, СРЕДНЕВЗВЕШЕННОЕ МЕСТО

РОССИЙСКОЙ ФЕДЕРАЦИИ"

Формула расчета

Одним из ключевых показателей национального проекта Образование является "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)". Показатель рассчитывается на федеральном уровне в целом по Российской Федерации на ежегодной основе Федеральной службой по надзору в сфере образования и науки.

При использовании средневзвешенного показателя учитываются все наиболее распространенные международные исследования, относящиеся к оценке уровня общеобразовательной подготовки обучающихся: PIRLS (Международное исследование качества чтения и понимания текста), TIMSS (Международное исследование качества математического и естественнонаучного образования), PISA (Международная программа по оценке достижений учащихся). Краткие сведения об исследованиях приведены ниже.

Данные исследования направлены на оценку уровня подготовки обучающихся различного возраста и по различным аспектам. Кроме того, результаты России в этих исследованиях существенно различаются. Так, в исследовании качества чтения и понимания текста российские четвероклассники занимают 1 место, а в аналогичном исследовании PISA по читательской грамотности 15-летние граждане России занимают только 26 место. Различаются также и результаты, полученные российскими участниками схожего возраста в разных исследованиях. Например, в исследовании TIMSS по качеству математического образования российские восьмиклассники занимают 6 место, а в исследовании PISA по математической грамотности 15-летние граждане, среди которых также существенная доля восьмиклассников, занимают только 23 место, уступая многим из тех стран, результаты которых ниже России в исследовании TIMSS.

Показатель рассчитывается по формуле:

где:

F00 - Средневзвешенный результат Российской Федерации в группе международных исследований

Xi - место Российской Федерации в i-ом исследовании:

X1: PIRLS (4 класс) по качеству чтения и понимания текста

X2: TIMSS (4 класс) по математическому направлению

X3: TIMSS (4 класс) по естественнонаучному направлению

X4: TIMSS (8 класс) по математическому направлению

X5: TIMSS (8 класс) по естественнонаучному направлению

X6: PISA по направлению читательская грамотность

X7: PISA по направлению математическая грамотность

X8: PISA по направлению естественнонаучная грамотность

Ai - весовой коэффициент.

Ai = 1 + 0,067 (Xmax - Xi) / Xi, где Xmax - максимальное

из значений Xi

При построении средневзвешенного показателя используются весовые коэффициенты, которые учитывают различия в результатах России, полученных в разных исследованиях, и, тем самым, создают дополнительную мотивацию к одновременному повышению результатов и их выравниванию, поскольку для снижения значения итогового показателя необходимо добиваться как повышения мест России в различных исследованиях, так и сокращения разницы между ними. Такой учет обеспечивается за счет использования весового коэффициента Ai, который отличается от 1 на слагаемое, пропорциональное относительной разнице между местом Xi Российской Федерации в i-ом исследовании и максимальным местом Xmax России среди всех рассматриваемых исследований. Чем меньше различия между местами, занимаемыми Россией в разных исследованиях, тем ближе значения весовых коэффициентов к 1.

Влияние указанного фактора не должно быть определяющим при вычислении значения итогового показателя, поэтому в расчетах применен корректирующий коэффициент, значение которого определяется экспертно и принимается равным 0,067.

На текущий момент значение Xmax равно 32 - место России в исследовании PISA по естественнонаучной грамотности.

Расчет текущего значения показателя (на 30 декабря 2018 г.) представлен в таблице ниже.

Таблица.

Расчет текущего значения показателя

Исследование

Направление

Xi

Ai

AiXi

PISA 2015

Математическая грамотность

23

1,026

23,6

PISA 2015

Читательская грамотность

26

1,015

26,4

PISA 2015

Естественнонаучная грамотность

32

1,000

32,0

TIMSS 2015

Математика 4

7

1,239

8,7

TIMSS 2015

Естествознание 4

4

1,469

5,9

TIMSS 2015

Математика 8

6

1,290

7,7

TIMSS 2015

Естествознание 8

7

1,239

8,7

PIRLS 2016

Читательская грамотность

1

3,077

3,1

Среднее

13,25

14,5

Источники данных для расчета показателей

Источниками данных для расчета показателя являются результаты следующих процедур:

1. Результаты последних проведенных международных сравнительных исследований PISA, TIMSS, PIRLS соответственно.

2. Результаты специально организованных по модели PISA процедур оценки качества подготовки обучающихся (далее - Общероссийская оценка по модели PISA).

При этом общероссийская оценка по модели PISA проводится только в те годы, когда не проводится основное исследование PISA. Сроки проведения процедур представлены ниже в таблице.

Таблица. Сроки проведения процедур оценки

Год

Проводимые процедуры

2019

TIMSS 2019

Общероссийская оценка по модели PISA 2019

2020

Общероссийская оценка по модели PISA 2020

2021

PISA 2021

PIRLS 2021

2022

Общероссийская оценка по модели PISA 2022

2023

TIMSS 2023

Общероссийская оценка по модели PISA 2023

2024

PISA 2024

Каждое из международных исследований PISA, TIMSS, PIRLS проводится по регламенту, устанавливаемому международными организациями (для PISA - ОЭСР, для TIMSS и PIRLS - IEA (Международная ассоциация по оценке образовательных достижений)). Проведение каждого из данных исследований длится в течение ряда лет и включает этапы сбора данных, формирования выборки участников, апробации, проведения оценочных процедур, обработки и анализа результатов.

Одним из результатов проведения каждого международного исследования является формирование рейтинга, в котором указывается место или вероятный диапазон мест каждой участвующей страны. В результате проведения общероссийской оценки по модели PISA подсчитывается средний балл страны, который можно сопоставить с баллами других стран, которые принимали участие в предыдущем цикле исследования.

Порядок осуществления оценки по модели PISA

Оценка по модели PISA основана на использовании технологий и решений проекта PISA For Schools, реализуемого ОЭСР. Основная идея проекта состоит в применении измерительных материалов и шкал оценивания PISA для оценки отдельных школ или групп школ.

Выборка

Оценка по модели PISA осуществляется на выборке участников. Выборка составляется специалистами ОЭСР и включает ориентировочно не менее 200 образовательных организаций общего образования и среднего профессионального образования не менее чем из 40 субъектов Российской Федерации.

Сроки проведения процедуры оценки

Оценка по модели PISA проводится в октябре или ноябре расчетного года.

Измерительные материалы

Измерительные материалы разрабатываются специалистами ОЭСР при экспертном участии представителей России. Перевод и адаптация материалов осуществляются экспертами - представителями Российской Федерации, верификация материалов осуществляется специалистами ОЭСР. Дополнительно может быть проведена экспертиза разработанных материалов на предмет соответствия требованиям Федеральных государственных образовательных стандартов (ФГОС).

Процедура и технологии

Оценка проводится на компьютерах. В оценке принимают участие все обучающиеся образовательной организации, попавшей в выборку, чей возраст на момент тестирования составляет от 15 лет и 3 месяцев до 16 лет и 2 месяцев (с 7-го класса). Для проведения процедуры должны быть обеспечены технические условия, включая необходимое количество компьютеров для одновременной посадки всех отобранных участников. Возможно проведение в несколько сессий. В процессе проведения процедур оценки в аудитории присутствуют не менее 2 наблюдателей, один - от субъекта Российской Федерации, один - согласованный с Рособрнадзором. Управление ходом процедуры исследования в аудитории осуществляет организатор. Выполненные участниками исследования задания оцениваются российскими экспертами. Наблюдатели, организаторы и эксперты проходят отбор и обучение.

Расчет величин X6, X7, X8

Поскольку Оценка по модели PISA проводится только в России, то в год проведения этой процедуры не возникает новый рейтинг стран. Баллы, полученные на выборке участников, позволяют лишь оценить положение России по отношению к другим странам в рамках последнего построенного рейтинга стран. Таким образом, величины X6, X7, X8, рассчитанные по результатам Оценки по модели PISA, являются вероятными оценками места России в случае, если бы основное исследование PISA проводилось в это же время.

Сбор данных и аналитика

В процессе проведения оценки по модели PISA осуществляется сбор данных, на основании которых проводится анализ. Целями анализа является выявление факторов, обуславливающих получение более высоких результатов оценки.

Параметры расчета показателей по годам

Для расчета показателя ежегодно должны быть рассчитаны величины X1, X2, ... X8. Параметры расчета этих величин по годам представлены ниже. Величины, относящиеся к каждому отдельному исследованию - PISA, TIMSS, PIRLS - представлены в отдельной таблице.

Таблица. Расчет величины X1 (место России

в исследовании PIRLS) по годам

Расчетный год

Источник данных (процедура)

Срок проведения процедуры

Срок расчета величины X1

2019

PIRLS 2016

Апрель 2016 г.

Декабрь 2017 г.

2020

PIRLS 2016

Апрель 2016 г.

Декабрь 2017 г.

2021

PIRLS 2016

Апрель 2016 г.

Декабрь 2017 г.

2022

PIRLS 2021

Апрель 2021 г.

Декабрь 2022 г.

2023

PIRLS 2021

Апрель 2021 г.

Декабрь 2022 г.

2024

PIRLS 2021

Апрель 2021 г.

Декабрь 2022 г.

Таблица. Расчет величин X2, X3, X4, X5

(места России в исследовании TIMSS)

по годам

Расчетный год

Источник данных (процедура)

Срок проведения процедуры

Срок расчета величин X2, X3, X4, X5

2019

TIMSS 2015

Апрель 2015 г.

Декабрь 2016 г.

2020

TIMSS 2019

Апрель 2019 г.

Декабрь 2020 г.

2021

TIMSS 2019

Апрель 2019 г.

Декабрь 2020 г.

2022

TIMSS 2019

Апрель 2019 г.

Декабрь 2020 г.

2023

TIMSS 2019

Апрель 2019 г.

Декабрь 2020 г.

2024

TIMSS 2023

Апрель 2023 г.

Декабрь 2024 г.

Таблица. Расчет величин X6, X7, X8

(места России в исследовании PISA)

по годам

Расчетный год

Источник данных (процедура)

Срок проведения процедуры

Срок расчета величин X6, X7, X8

2019

PISA 2018 <1>

Апрель 2018 г.

Декабрь 2019 г.

2020

Общероссийская оценка по модели PISA

Октябрь-ноябрь 2019 г.

1 квартал 2020 г.

2021

Общероссийская оценка по модели PISA

Октябрь 2020 г.

1 квартал 2021 г.

2022

PISA 2021

Апрель 2021 г.

Декабрь 2022 г.

2023

Общероссийская оценка по модели PISA

Октябрь 2022 г.

1 квартал 2023 г.

2024

Общероссийская оценка по модели PISA

Октябрь 2023 г.

1 квартал 2024 г.

--------------------------------

<1> Исследование PISA-2018 проводится вне рамок национального проекта "Образование", однако его результаты используются для корректировки стартовых значений показателя. Кроме того, на основе сопоставления результатов PISA-2018 и оценки по модели PISA в 2019 году настоящая методика расчета показателя может быть скорректирована.

Таким образом, итоговый показатель "Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)" может быть рассчитан в следующие сроки.

Таблица. Сроки расчета

итогового показателя по годам

Расчетный год

Сроки расчета величин X1, X2, ... X8

Срок расчета итогового показателя

Группа величин

Срок расчета

2019

X1 (PIRLS)

Декабрь 2017 г.

Декабрь 2019 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2016 г.

X6, X7, X8 (PISA)

Декабрь 2019 г.

2020

X1 (PIRLS)

Декабрь 2017 г.

Декабрь 2020 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2020 г.

X6, X7, X8 (PISA)

1 квартал 2020 г.

2021

X1 (PIRLS)

Декабрь 2017 г.

Декабрь 2021 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2020 г.

X6, X7, X8 (PISA)

1 квартал 2021 г.

2022

X1 (PIRLS)

Декабрь 2022 г.

Декабрь 2022 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2020 г.

X6, X7, X8 (PISA)

Декабрь 2022 г.

2023

X1 (PIRLS)

Декабрь 2022 г.

Декабрь 2023 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2020 г.

X6, X7, X8 (PISA)

1 квартал 2023 г.

2024

X1 (PIRLS)

Декабрь 2022 г.

Декабрь 2024 г.

X2, X3, X4, X5 (TIMSS)

Декабрь 2024 г.

X6, X7, X8 (PISA)

1 квартал 2024 г.

Сведения об исследованиях PIRLS, TIMSS, PISA

PIRLS (Progress in International Reading Literacy Study) - международное исследование качества чтения и понимания текста. Данное мониторинговое исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement). Целью исследования является сопоставление уровня понимания текста четвероклассниками из различных стран мира.

В цикле исследования PIRLS-2011 Российская Федерация в 4 классах по читательской грамотности 2 место среди 49 участников, последнем цикле исследования PIRLS-2016 в 4 классах по читательской грамотности 1 место среди 50 участников.

TIMSS (Trends in Mathematics and Science Study) - международное исследование по оценке качества математического и естественнонаучного образования. Данное исследование организовано Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement).

Каждые четыре года (1995 г., 1999 г., 2003 г., 2007 г., 2008 г., 2011 г., 2015 г., 2019 г.) в рамках исследования TIMSS оценивается общеобразовательная подготовка учащихся 4 и 8 классов по математике и естественнонаучным предметам.

В последнем цикле исследования TIMSS-2015 Российская Федерация заняла в 4 классах по математике 7 место среди 49 участников, в 8 классах по математике 6 место среди 39 участников, в 4 классах по естествознанию 4 место среди 47 участников, в 8 классах по естествознанию 7 место среди 39 участников.

Международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) является мониторинговым исследованием качества общего образования, которое отвечает на вопрос "Обладают ли учащиеся 15-летнего возраста, получившие обязательное общее образование, знаниями и умениями, необходимыми им для полноценного функционирования в современном обществе, т.е. для решения широкого диапазона задач в различных сферах человеческой деятельности, общения и социальных отношений?" Данная программа осуществляется Организацией Экономического Сотрудничества и Развития (OECD - Organization for Economic Cooperation and Development). Исследование проводится трехлетними циклами начиная с 2000 года.

В последнем цикле исследования PISA-2015 среди 70 участников Российская Федерация заняла 32 место по естественнонаучной грамотности, 23 место по математической грамотности, 26 место по читательской грамотности.