"Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности"

СЧЕТНАЯ ПАЛАТА РОССИЙСКОЙ ФЕДЕРАЦИИ

Утверждены

Коллегией Счетной палаты

Российской Федерации

протокол

от 6 сентября 2024 г. N 61К (1745)

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ

ПО ПОДГОТОВКЕ ДИЗАЙНА АУДИТА СООТВЕТСТВИЯ

И АУДИТА ЭФФЕКТИВНОСТИ

Общие сведения

1. РАЗРАБОТАНЫ Департаментом исследований и методологии аппарата Счетной палаты Российской Федерации.

2. ДАТА ВСТУПЛЕНИЯ В СИЛУ: 6 сентября 2024 года.

3. РАЗРАБОТАНЫ впервые.

1. Общие положения

1.1. Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности (далее - Методические рекомендации) разработаны для определения подходов и процедур, рекомендуемых к использованию в тематических контрольных или экспертно-аналитических мероприятиях Счетной палаты Российской Федерации (далее - Счетная палата), проводимых с применением аудита соответствия и (или) аудита эффективности (далее - мероприятия), на подготовительном этапе их проведения. Методические рекомендации направлены на обеспечение соблюдения положений стандартов внешнего государственного аудита (контроля) в части определения целей мероприятий (далее - цели аудита), вопросов мероприятий и разработки критериев аудита соответствия и аудита эффективности (далее - критерии аудита), включаемых в программы проведения мероприятий.

Методические рекомендации применяются при наличии решения о необходимости подготовки матрицы подготовительного этапа мероприятия (далее - матрица дизайна), принятого руководителем мероприятия по согласованию с членом Коллегии Счетной палаты, ответственным за проведение мероприятия <1>, с учетом положений пункта 1.4 Методических рекомендаций.

--------------------------------

<1> С учетом пункта 3.1.1 стандарта внешнего государственного аудита (контроля) СГА 104 "Аудит эффективности" (далее - СГА 104) и пункта 4.1.1.3 стандарта внешнего государственного аудита (контроля) СГА 108 "Аудит соответствия" (далее - СГА 108).

1.2. Методические рекомендации подготовлены в соответствии с Федеральным законом от 5 апреля 2013 г. N 41-ФЗ "О Счетной палате Российской Федерации" с учетом положений стандартов <2> и методических документов Счетной палаты, а также профессиональных документов ИНТОСАИ для высших органов аудита <3>.

--------------------------------

<2> Стандарт внешнего государственного аудита (контроля) СГА 101 "Общие правила проведения контрольного мероприятия" (далее - СГА 101), стандарт внешнего государственного аудита (контроля) СГА 102 "Общие правила проведения экспертно-аналитических мероприятий (далее - СГА 102), СГА 104, стандарт внешнего государственного аудита (контроля) СГА 107 "Управление качеством контрольных и экспертно-аналитических мероприятий", СГА 108, стандарт организации деятельности Счетной палаты СОД 6 "Планирование работы Счетной палаты Российской Федерации" (далее - СОД 6).

<3> ISSAI 100 "Основополагающие принципы аудита государственного сектора", ISSAI 300 "Принципы аудита достижения результатов", ISSAI 3000 "Стандарт аудита достижения результатов", ISSAI 400 "Принципы аудита соответствия", ISSAI 4000 "Стандарт аудита соответствия", GUID 3910 "Основные концепции аудита достижения результатов", GUID 3920 "Процесс аудита достижения результатов".

1.3. Методические рекомендации предназначены для использования членами Коллегии Счетной палаты, инспекторами и иными сотрудниками аппарата Счетной палаты.

1.4. Положения Методических рекомендаций рекомендуется применять полностью или выборочно в одном из следующих случаев или их комбинации:

требуется уточнение гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год <4>;

--------------------------------

<4> Содержание предложений в проект плана работы Счетной палаты на очередной год предусмотрено пунктом 6.4.3 СОД 6.

в рамках мероприятия планируется проведение оценки влияния достижения непосредственных результатов на достижение конечных результатов и (или) итоговых эффектов с учетом внутренних и внешних условий;

исследование предмета аудита предполагает применение сложных и (или) ранее не применявшихся методов сбора и анализа данных и информации, например, социологических исследований и (или) аналитических расчетов <5>;

--------------------------------

<5> Понятие "аналитический расчет" определено в пункте 1.1 Методики по документированию аналитических расчетов, утвержденной Коллегией Счетной палаты Российской Федерации (протокол от 15 марта 2022 г. N 12К (1537).

в иных случаях по решению руководителя мероприятия по согласованию с членом Коллегии Счетной палаты, ответственным за проведение мероприятия, например, в связи с тем, что мероприятие проводится по поручению Президента Российской Федерации.

2. Подготовка дизайна аудита и его структурные элементы

2.1. Дизайн аудита - система логически взаимосвязанных структурных элементов, определяющих содержание аудита соответствия или аудита эффективности (далее - структурные элементы дизайна аудита).

Подготовка дизайна аудита - процесс разработки и при необходимости корректировки структурных элементов дизайна аудита.

К структурным элементам дизайна аудита относятся:

цель аудита;

вопросы мероприятия (по цели аудита);

критерии аудита (к вопросам мероприятия);

гипотезы;

методы сбора и анализа данных, и информации, и ограничения этих методов (далее - методы);

предварительные результаты (по вопросам мероприятия);

предварительные выводы (по цели аудита);

предварительные рекомендации.

2.2. При подготовке дизайна аудита рекомендуется учитывать предложения, сформулированные на этапе формирования плана работы Счетной палаты <6> на очередной год.

--------------------------------

<6> С учетом положений пунктов 6.4.3 и 6.4.5 СОД 6.

Результатом завершения подготовки дизайна аудита является составленная матрица дизайна <7>. Рекомендуемая форма матрицы дизайна приведена в приложении N 1 к Методическим рекомендациям.

--------------------------------

<7> В соответствии с пунктом 5.1.2(1) СГА 101 и пунктом 4.5(1) СГА 102.

2.3. Матрица дизайна, используемая для подготовки программы и рабочего плана проведения мероприятия, подписывается руководителем мероприятия и включается в состав рабочей документации.

2.4. Руководителю мероприятия рекомендуется спланировать и организовать работы по подготовке дизайна аудита с использованием шаблона плана подготовки дизайна аудита, приведенного в приложении N 2 к Методическим рекомендациям. В случае применения всех положений Методических рекомендаций рекомендуемая продолжительность подготовки дизайна аудита составляет не менее 20 рабочих дней.

3. Сбор и изучение данных и информации о предмете аудита

и объектах аудита (контроля)

3.1. В рамках предварительного изучения предмета аудита и объектов аудита (контроля) (далее - предварительное изучение) для подготовки дизайна аудита осуществляется сбор и изучение данных и информации, которые могут быть использованы для разработки и корректировки структурных элементов дизайна аудита, в том числе раскрывающих отраслевые, региональные и иные особенности предмета аудита, внутренние условия деятельности объектов аудита (контроля), состояние внутреннего аудита, внутреннего контроля, системы управления рисками объекта аудита (контроля), а также внешней среды, в которой функционирует объект аудита (контроля).

3.2. Сбор и изучение данных и информации о предмете аудита и об объекте (объектах) аудита (контроля) осуществляется в том числе с использованием информационных систем Счетной палаты и иных информационных систем. В рамках предварительного изучения рекомендуется проводить:

3.2.1. Анализ завершенных мероприятий.

Рекомендуется составить перечень завершенных мероприятий Счетной палаты в отношении объекта аудита (контроля) в сфере предмета аудита или по схожему предмету аудита в отношении аналогичных объектов аудита (контроля) и провести анализ, в том числе:

результатов и выводов в отчетах о результатах мероприятий и заключениях, в том числе о выявленных рисках объектов аудита (контроля) и областей рисков <8>, нарушениях и недостатках системного характера <9>, а также соответствующей информации из карт итогов контрольных мероприятий;

--------------------------------

<8> Под областью риска в соответствии с пунктом 2 раздела 2 Концепции риск-ориентированного подхода в Счетной палате Российской Федерации понимается область в сфере социально-экономического развития Российской Федерации и (или) в сфере деятельности объекта (объектов) аудита (контроля), в границах которой тенденции, процессы, прочие явления характеризуются наличием одного риска или нескольких рисков.

<9> Понятия нарушений и недостатков системного характера предусмотрены в разделе 2 СГА 101.

результатов оценки реализации государственных программ Российской Федерации, а также национальных проектов (программ), федеральных проектов, входящих в состав национальных проектов, полученных в рамках тематических мероприятий, при осуществлении последующего контроля за исполнением федерального бюджета;

требований и предложений (рекомендаций) Счетной палаты, а также текущих статусов их реализации (выполнения);

использованных ранее методов, критериев аудита;

рабочей документации (при необходимости).

Проведение анализа завершенных мероприятий позволит:

обеспечить преемственность дизайна аудита с результатами ранее проведенных мероприятий;

учесть при подготовке дизайна аудита опыт применения методов.

Также рекомендуется проводить анализ отчетов высших органов государственного аудита (контроля) иностранных государств <10>, контрольно-счетных органов субъектов Российской Федерации, федеральных территорий и муниципальных образований <11>.

--------------------------------

<10> В случае необходимости к проведению анализа отчетов высших органов государственного аудита (контроля) иностранных государств может быть привлечен Департамент международного и регионального сотрудничества в порядке, установленном внутренними нормативными документами Счетной палаты.

<11> Запрос информации о таких отчетах может быть направлен в Департамент международного и регионального сотрудничества и иные структурные подразделения аппарата Счетной палаты.

3.2.2. Анализ законодательных и иных нормативных правовых актов Российской Федерации (далее также - нормативные документы), а также иных документов, относящихся к сфере деятельности объекта аудита (контроля) или иным образом затрагивающих данную сферу.

Анализ нормативных и иных документов позволяет:

определить перечень нормативных и иных документов и их положений, которые актуальны и представляют значимость для целей мероприятия. В перечень рекомендуется включать в том числе документы стратегического планирования;

сформировать понимание нормативного регулирования сферы деятельности объекта аудита (контроля);

разработать критерии аудита, сформулировать вопросы мероприятия и (или) гипотезы.

Примеры

1. Анализ нормативных документов. Например, если анализ постановлений Правительства Российской Федерации и внесенных в них изменений показывает, что правила предоставления субсидий предприятиям изменялись 15 раз за три года, может быть сформулирована гипотеза о том, что отдельная субсидия не формирует устойчивых стимулов для увеличения объемов производства для предприятий - получателей государственной поддержки, так как предприятия воспринимают субсидию как "лотерею", а не как предсказуемую (устойчивую) и понятную меру государственной поддержки, которую можно принимать во внимание при построении средне- и долгосрочных производственных и иных планов.

2. Анализ иных документов. Например, при проведении предварительного изучения определен перечень существующих методик оценки объема выбросов парниковых газов и их абсорбции, а также было выявлено, что применяемые объектом аудита (контроля) методики для оценки объема выбросов парниковых газов и их абсорбции не охватывают полный спектр необходимых для оценки показателей и (или) по предварительным оценкам могут занижать показатели объемов выбросов парниковых газов и их абсорбции. В этой связи было принято решение разработать критерий аудита соответствия, основанный на международных документах Межправительственной группы экспертов по изменению климата (МГЭИК), включающих Руководящие принципы национальных инвентаризаций парниковых газов <12> и иные документы, подготовленные в соответствии с Рамочной конвенцией Организации Объединенных Наций об изменении климата от 9 мая 1992 г., стороной которой является Российская Федерация

--------------------------------

<12> Руководящие принципы национальных инвентаризаций парниковых газов МГЭИК 2006 г. Подготовлены Программой МГЭИК по национальным кадастрам парниковых газов. Под ред. С. Игглестона, Л. Буэндиа, К. Мива, Т. Нгара и К. Танабе. Т. 1 - 5. - ИГЕС, Япония, 2006 (http://www.ipcc-nggip.iges.or.jp/public/2006gl/russian/index.html).

3.2.3. Анализ мер государственной политики, предусмотренных государственными программами Российской Федерации, в том числе их структурными элементами <13>, а также мер, предусмотренных иными документами (далее также - мера, комплекс мер).

--------------------------------

<13> Федеральные проекты (как входящие, так и не входящие в состав национальных проектов (программ), ведомственные проекты, комплексы процессных мероприятий, а также отдельные мероприятия структурных элементов государственных программ Российской Федерации.

Рекомендуется проводить анализ имеющихся данных и информации о мере (комплексе мер), при необходимости направлять запросы объектам аудита (контроля), иным организациям для получения следующей информации:

цели, период действия и ключевые мероприятия по реализации меры (комплекса мер);

порядок формирования ресурсов на реализацию меры (комплекса мер), объем ресурсов, охват целевых групп (выгодоприобретателей <14>) мерой (комплексом мер), иные сведения для обоснования формирования ресурсов;

--------------------------------

<14> Понятие "выгодоприобретатели" предусмотрено подразделом 1.2 СГА 104.

ключевые изменения меры (комплекса мер) с момента начала ее реализации;

описание системы целевых показателей меры (комплекса мер), а также принципов (правил) ее формирования и использования;

условия (контекст) реализации меры (комплекса мер), например, время, место и другие условия, которые существенны для реализации меры (комплекса мер);

задачи, функции и полномочия разработчиков, ответственных исполнителей, соисполнителей и участников мер (комплексов мер) по организации целевого и эффективного использования федеральных и иных ресурсов на реализацию меры (комплекса мер), включая организацию осуществления руководства деятельностью по реализации меры (комплекса мер), а также деятельности исполнителей меры (комплекса мер), ответственных за ее (его) реализацию, соисполнителей и участников, в том числе проектных офисов и иных органов и организаций.

Анализ мер (комплексов мер) позволяет в том числе выявить потенциальные источники и причины снижения эффективности мер, риски несогласованности (противоречивости) одних мер с другими мерами (комплексами мер).

3.2.4. Обзор литературы по вопросам, актуальным для проведения аудита.

Обзор литературы проводится для получения представления о методах и результатах исследований, опубликованных в форме научных статей, книг, докладов и иных исследовательских документов, относящихся к предмету аудита. Методика проведения обзора литературы по вопросам, актуальным для проведения аудита, приведена в приложении N 3 к Методическим рекомендациям.

3.2.5. Анализ заинтересованных сторон.

Под заинтересованными сторонами для целей Методических рекомендаций понимаются пользователи информации о результатах мероприятия и выгодоприобретатели.

Рекомендуется провести анализ заинтересованных сторон с точки зрения их роли <15> и осуществления дальнейшего взаимодействия с ними в рамках подготовительного и (или) основного этапа проведения мероприятия.

--------------------------------

<15> Полномочия, функции, задачи и т.п. заинтересованной стороны, значимые для предмета аудита.

Результаты анализа заинтересованных сторон рекомендуется документировать согласно примерной форме, приведенной в приложении N 4 к Методическим рекомендациям, и включать в состав рабочей документации <16>.

--------------------------------

<16> Рабочая документация по мероприятию формируется в соответствии с положениями Методических указаний по формированию рабочей документации при проведении контрольных и экспертно-аналитических мероприятий с применением аудита соответствия и аудита эффективности, утвержденных Коллегией Счетной палаты (протокол от 30 ноября 2021 г. N 72К (1515).

3.2.6. Анализ материалов средств массовой информации.

Анализ материалов средств массовой информации проводится в случае необходимости получения общего представления об отражении в средствах массовой информации вопросов, связанных с предметом аудита или деятельностью объектов аудита (контроля). При этом рекомендуется учитывать, что содержание таких материалов может быть связано в том числе с субъективизмом авторов, влиянием на публикационный процесс различных факторов, а также другими причинами, влияющими на достоверность содержащейся в материалах информации. При оформлении результатов анализа материалов средств массовой информации может быть отражена наиболее важная информация с указанием источника, даты публикации, резюме материала.

3.3. Проведение предварительного изучения позволяет заблаговременно выявить наличие изменений в актуальности предмета аудита, целей аудита и гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год <17>, в том числе:

--------------------------------

<17> С учетом положений пункта 6.4 СОД 6.

значимость проблем, на решение которых направлены цели аудита;

ценность потенциальных результатов.

В случае наличия изменений в актуальности предмета аудита рекомендуется инициировать рассмотрение вопроса о целесообразности внесения изменений в годовой план работы Счетной палаты.

4. Итеративный подход к подготовке дизайна аудита

4.1. Подготовка дизайна аудита осуществляется на основе итеративного подхода, предполагающего постепенное уточнение структурных элементов дизайна аудита с сохранением логики их взаимосвязи.

4.2. Применение итеративного подхода к подготовке дизайна аудита обусловлено связью структурных элементов дизайна аудита (например, при уточнении гипотез уточняются и методы их проверки) и получением дополнительных данных и информации в ходе работы над дизайном аудита.

4.3. Последовательность шагов при применении итеративного подхода к подготовке дизайна аудита определяется участниками мероприятия самостоятельно, в том числе в зависимости от возможности и целесообразности уточнения целей аудита, сформулированных на этапе формирования плана работы Счетной палаты на очередной год.

Если цель аудита, сформулированная на этапе формирования плана работы Счетной палаты на очередной год, не может существенно корректироваться, например, в связи с тем, что ее формулировка определена на основании обращения или поручения Президента Российской Федерации (постановления Совета Федерации, постановления Государственной Думы, обращения сенаторов Российской Федерации или депутатов Государственной Думы), то подготовка дизайна аудита в части данной цели может проводиться по схеме согласно рисунку 1 приложения N 5 к Методическим рекомендациям.

В ряде случаев цели аудита, сформулированные на этапе формирования плана работы Счетной палаты на очередной год, целесообразно уточнить, например, в связи с тем, что:

аудит проводится в малоизученной, новой для Счетной палаты области и на подготовительном этапе получена ранее неизвестная информация в сфере предмета аудита;

актуальность цели аудита изменилась к моменту проведения мероприятия, при этом формулировка наименования мероприятия позволяет уточнить цель аудита.

В таких случаях подготовка дизайна аудита в части данной цели может проводиться по схеме согласно рисунку 2 приложения N 5 к Методическим рекомендациям.

4.4. Вне зависимости от выбранной последовательности шагов при разработке и корректировке структурных элементов дизайна аудита, по итогам применения итеративного подхода к подготовке дизайна аудита рекомендуется убедиться в том, что обеспечены логические взаимосвязи структурных элементов дизайна аудита между собой и предметом аудита (рисунок 1).

Рисунок 1. Логические взаимосвязи структурных элементов дизайна аудита между собой и предметом аудита

4.5. Качество подготовки дизайна аудита рекомендуется оценивать с применением чек-листов для осуществления контроля качества контрольных и экспертно-аналитических мероприятий, разработанных Департаментом исследований и методологии и размещенных на внутреннем информационном портале Счетной палаты.

5. Особенности формулирования целей аудита

При формулировании целей аудита для подготовки дизайна аудита рекомендуется учитывать:

предмет аудита, перечень целей аудита и гипотез, предварительно сформулированных на этапе формирования плана работы Счетной палаты на очередной год (пункт 3.3 Методических рекомендаций);

результаты предварительного изучения (раздел 3 Методических рекомендаций);

информацию о рисках объектов аудита, областей рисков <18> в сфере предмета аудита, например, информацию о достижении показателей государственных программ Российской Федерации, несоответствии организации управления федеральными и иными ресурсами в финансово-бюджетной сфере положениям нормативных документов. В этом случае цель (цели) аудита формулируется (формулируются) с учетом выявленного риска или нескольких связанных рисков;

--------------------------------

<18> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102.

возможность сформулировать соответствующие целям аудита выводы и предложения (рекомендации) <19>;

--------------------------------

<19> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102.

необходимость формулирования цели аудита таким образом, чтобы она была понятной, конкретной и достижимой <20>;

--------------------------------

<20> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102.

Пример

Понятная цель. "Оценить эффективность использования средств федерального бюджета, направленных на софинансирование строительства объектов инженерной инфраструктуры Ивановской области с момента начала строительства...".

Данный пример позволяет однозначно определить предмет оценки - использование конкретных ресурсов на конкретные объекты (в заданном промежутке времени).

Непонятная цель. "Оценить эффективность реализации отдельных объектов инфраструктуры, строительство которых осуществлялось с использованием средств федерального бюджета.". В данном примере формулировка цели в части "эффективности реализации отдельных объектов" может иметь множественное толкование: например, оценка результатов от построенных объектов или результатов их реализации (продажи), также неясно, о каких "отдельных" объектах идет речь

Пример

Конкретная цель. "Оценить соответствие результатов деятельности объекта аудита (контроля) по реализации мероприятий по обеспечению развития национальной платежной системы положениям Стратегии...".

Данный пример позволяет получить однозначное представление об ожидаемых результатах мероприятия, а также определить документ, который является источником для разработки критериев аудита соответствия.

Неконкретная цель. "Оценить соответствие фактических результатов деятельности объекта аудита (контроля) планируемым"

Данный пример не позволяет получить однозначное представление об ожидаемых результатах мероприятия: не конкретизируется, какие результаты деятельности объекта аудита (контроля) подлежат рассмотрению и каким документом предусмотрены планируемые результаты

Пример

Достижимая цель. "Оценить влияние мер по стимулированию строительства возобновляемых источников энергии в Дальневосточном федеральном округе на сокращение объема выбросов парниковых газов на объектах ТЭК".

В данном примере потенциально возможно количественно оценить изменение объема выбросов парниковых газов до и после (вследствие) реализации мер по поощрению возобновляемых источников энергии в конкретном федеральном округе.

Недостижимая цель. "Оценить влияние энергетической политики Российской Федерации на окружающую среду". Энергетическая политика многогранна, охватывает широкий спектр государственного регулирования, поэтому оценка ее влияния - потенциально множественные научные исследования. Кроме того, окружающая среда - обширное понятие, подразумевающее совокупность компонентов природной среды, природных и природно-антропогенных объектов, а также антропогенных объектов, на нее влияет помимо энергетической политики множество иных факторов, поэтому выделить значимость влияния энергетической политики на всю совокупность компонентов окружающей среды объективно невозможно

необходимость формулирования каждой цели только по одному виду аудита (контроля) <21> таким образом, чтобы очередность целей определялась с учетом необходимой логической последовательности раскрытия предмета мероприятия;

--------------------------------

<21> См. пункт 5.2.1 СГА 101, пункт 4.5 СГА 102, подраздел 3.2 СГА 104, пункт 4.1.2 СГА 108.

Пример

Пример неправильного формулирования цели: "Оценить результативность использования субсидий, выделенных на строительство школ, а также соответствие организации использования данных субсидий нормативным правовым актам Российской Федерации в сфере...".

В данном примере цель, связанную с оценкой результативности использования средств, необходимо выделить в отдельную самостоятельную цель по аудиту эффективности, отделив ее от цели по оценке соответствия организации использования средств нормативным правовым актам Российской Федерации, относящейся к аудиту соответствия. При этом целесообразно сначала оценить соответствие организации использования субсидий (первая цель - по аудиту соответствия), т.к. результаты такой оценки могут быть использованы для второй цели по оценке результативности использования субсидии (вторая цель - по аудиту эффективности)

6. Формулирование вопросов мероприятия,

критериев аудита и гипотез

6.1. Связь вопросов мероприятия,

критериев аудита и гипотез. Виды гипотез

6.1.1. По каждой цели аудита формулируются вопросы мероприятия, направленные на ее достижение.

6.1.2. Формулирование вопросов мероприятия предполагает идентификацию того, что именно необходимо узнать о явлениях, процессах, событиях, которые являются предметом аудита или его отдельным аспектом, а также получение информации о характере связей между ними. При этом вопросы мероприятия формулируются с учетом требований СГА 101 и СГА 102 о необходимости, достаточности и взаимоисключаемости <22>.

--------------------------------

<22> Согласно пункту 5.2.3 СГА 101, пункту 4.5 СГА 102.

6.1.3. Для каждого вопроса мероприятия разрабатывается <23> один или более критериев аудита <24>. Каждому критерию аудита соответствует только один вопрос мероприятия.

--------------------------------

<23> В соответствии с подразделом 3.3 СГА 104, пунктом 4.1.3 СГА 108 и методических документов Счетной палаты по применению аудита эффективности и аудита соответствия.

<24> Критерии аудита соответствия могут не разрабатываться с учетом пункта 4.1.3.2 СГА 108.

6.1.4. Каждому критерию аудита (при его наличии) либо каждому вопросу мероприятия соответствует как минимум одна гипотеза. При этом каждой гипотезе соответствует только один критерий аудита либо один вопрос мероприятия.

6.1.5. Гипотеза может:

совпадать (практически совпадать, быть близкой по смыслу) с критерием аудита, если не требуется его детализация;

Пример

Критерий аудита: выполненные на объектах строительства работы соответствуют проектно сметной документации.

Гипотеза: выполненные на объектах строительства работы соответствуют проектно-сметной документации.

Критерий аудита: для достижения показателей федерального проекта "Чистая вода" дополнительного финансирования не требуется.

Гипотеза: для достижения показателей федерального проекта "Чистая вода" дополнительного финансирования не требуется

практически совпадать с вопросом мероприятия (иметь измененную его формулировку), если к данному вопросу не разрабатываются критерии, и детализация содержания вопроса мероприятия не требуется;

Пример

Вопрос мероприятия: проверить соблюдение объектом аудита (контроля) требований Федерального закона от 5 апреля 2013 г. N 44-ФЗ "О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд" в отношении процедур определения поставщика (подрядчика, исполнителя) и заключения контрактов в ходе строительства образовательных учреждений.

Гипотеза, полученная путем переформулирования вопроса: Объектом аудита (контроля) соблюдаются требования Федерального закона от 5 апреля 2013 г. N 44-ФЗ "О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд" в отношении процедур определения поставщика (подрядчика, исполнителя) и заключения контрактов в ходе строительства образовательных учреждений

детализировать критерий аудита или вопрос мероприятия.

Пример

Критерий аудита: запланированные результаты реализации [отдельных мер] национального проекта достигнуты.

Гипотезы: запланированные результаты реализации [отдельных мер] национального проекта [какие именно из непосредственных, конечных результатов, итоговых эффектов] достигнуты [в каких субъектах Российской Федерации, в какие периоды];

недостижение запланированных результатов реализации [отдельных мер] национального проекта [в части каких именно из результатов] обусловлено [предполагаемыми причинами].

Критерий аудита: деятельность объекта аудита (контроля) по строительству и вводу в эксплуатацию объектов капитального строительства соответствует требованиям законодательства о градостроительной деятельности.

Гипотезы: объектом аудита (контроля) получено положительное заключение экспертизы проектной документации в соответствии со статьей 49 Градостроительного кодекса Российской Федерации;

объектом аудита (контроля) получены разрешения на строительство объектов капитального строительства в соответствии со статьей 51 Градостроительного кодекса Российской Федерации;

объектом аудита (контроля) получены разрешения на ввод в эксплуатацию объектов капитального строительства в соответствии со статьей 55 Градостроительного кодекса Российской Федерации

Необходимость детализации критерия аудита или вопроса мероприятия через гипотезы определяется на основании профессионального суждения участника мероприятия.

6.1.5. Гипотеза представляет собой утверждение, требующее получения доказательств его достоверности.

По содержанию утверждений гипотезы могут быть описательные и объясняющие.

Описательная гипотеза - утверждение о наличии факта или определенных свойств предмета аудита.

Пример описательной гипотезы

"Налоговая нагрузка на производителей табачной продукции растет", "Закупается сельскохозяйственная техника, выходящая из строя до истечения гарантийного срока", "Закупленное медицинское оборудование не используется", "Результаты деятельности объекта аудита (контроля) не соответствуют целевым показателям Стратегии..."

Объясняющая гипотеза - утверждение о наличии причинно-следственных связей между явлениями. Объясняющая гипотеза подразумевает наличие следствия и предполагаемой (предполагаемых) причины (причин), а также характер связи (положительная, негативная или отсутствующая) между ними и описание условий (место и временной период изучаемой связи), при которых данная связь имеет место.

Структура объясняющей гипотезы имеет вид:

[причина (причины)] [положительно/негативно/не] повлияла (повлияли) на [следствие] в [место] во [временной период]

Пример объясняющей гипотезы

"Рост числа ДТП в 2020 - 2023 годы на... участке дороги обусловлен снятием ограничений скорости в 60 км/ч" подразумевает наличие причинно-следственной связи между показателями, характеризующими причину и следствие

Надлежащая гипотеза имеет следующие характеристики:

ясность - сформулирована в виде одного краткого утверждения с использованием терминов, имеющих однозначное определение;

опровергаемость - наличие возможности опровергнуть гипотезу;

ценность (новизна) - проверка гипотезы создает новое знание, представляющее значение для раскрытия вопроса мероприятия с учетом ранее накопленных фактов и опыта (например, по итогам ранее проведенных мероприятий, научных исследований и т.п.);

Пример

Ошибки и недостатки при формулировании гипотез:

Гипотеза 1. "Неэффективное расходование средств федерального бюджета" - слишком широкая и неконкретная формулировка; эффективность оценивается на уровне цели, а не отдельной гипотезы к вопросу.

Гипотеза 2. "Сотрудники служб социальной защиты во всех муниципалитетах России не проходят регулярное обучение по реализации мер социальной поддержки" - затраты на поиск доказательств превысят ценность результата проверки данной гипотезы

6.2. Разработка вопросов мероприятия,

критериев аудита и гипотез

6.2.1. Для разработки вопросов мероприятия, критериев аудита и гипотез участникам мероприятия рекомендуется следующее:

1) провести анализ гипотез, сформулированных на этапе формирования плана работы Счетной палаты на очередной год;

2) провести анализ результатов предварительного изучения (раздел 3 Методических рекомендаций) для выявления проблем в сфере предмета аудита и гипотез (критериев аудита, вопросов мероприятия), результаты проверки (раскрытия) которых будут направлены на решение проблем;

3) провести "мозговой штурм" для коллективной выработки идей в свободной форме;

4) использовать сервисы на базе генеративного искусственного интеллекта <25> для накопления идей на основе описания предмета аудита и обзора литературы;

--------------------------------

<25> Генеративный искусственный интеллект - это технология искусственного интеллекта, способная генерировать текст, изображения или другие медиаданные в ответ на запрос пользователя. Примеры сервисов: GigaChat (https://developers.sber.ru/portal/products/gigachat), YandexGPT (https://ya.ru/ai/gpt-3).

5) провести интервью или круглый стол с экспертами <26> по предмету аудита. Ознакомление экспертов с предварительным перечнем гипотез позволит дополнить или скорректировать его.

--------------------------------

<26> Интервью проводятся в соответствии с положениями Методических рекомендаций по проведению и анализу экспертных интервью, утвержденных Коллегией Счетной палаты (протокол от 4 апреля 2023 г. N 17К (1622).

6.2.2. Приоритизация вопросов мероприятия, критериев аудита и гипотез.

Приоритизацию вопросов мероприятия, критериев аудита и гипотез рекомендуется проводить для выбора наиболее ценных вопросов мероприятия, критериев аудита и гипотез. Для этого рекомендуется убедиться, что:

ответ на вопрос мероприятия, раскрытие критерия аудита или проверка гипотезы позволит получить информацию для принятия важных решений пользователями информации о результатах мероприятия;

данные для проверки гипотезы могут быть собраны; методы пригодны для проверки гипотезы (раздел 7 Методических рекомендаций), применение методов возможно с учетом навыков участников мероприятия или при помощи привлечения внешней экспертизы;

возможно проверить гипотезу, учитывая ограничения, в том числе трудовых, временных и иных ресурсов.

7. Выбор методов для проверки гипотез

7.1. Для проверки схожих гипотез могут быть использованы схожие методы. Гипотеза и метод ее проверки в совокупности определяют предварительный результат проверки гипотезы.

Обобщенные формулировки связанных между собой структурных элементов дизайна (критериев аудита, гипотез, методов и предварительных результатов) в контексте различных задач в рамках мероприятий приведены в таблицах 1 - 5 настоящего раздела и могут быть адаптированы и конкретизированы в рамках подготовки дизайна аудита с учетом его особенностей.

При выборе методов для проверки гипотез в контексте различных задач в рамках мероприятий рекомендуется учитывать следующее.

7.1.1. Анализ достижения результатов

В качестве первого шага в рамках анализа достижения результатов мер (комплексов мер) может проводиться сравнительный анализ значений показателей, характеризующих непосредственные и конечные результаты, а также итоговые эффекты: сравнение плановых и фактических значений показателей, сравнение значений показателей в различные периоды, а также в различных разрезах. При этом важно учитывать, что сравнительный анализ значений показателя, характеризующего результат, не позволяет формулировать выводы о влиянии меры (комплекса мер), если достижение этого результата вызвано не только этой мерой (комплексом мер), но также и иными факторами. В таких случаях рекомендуется проведение оценки влияния (подпункт 7.1.5 Методических рекомендаций).

Выбор методов, которые используются для проверки гипотез о причинах недостижения результатов, обусловлен типом рассматриваемого результата (непосредственный или конечный результат, итоговый эффект), а также предметом аудита. Так, например, для установления причин недостижения результатов в части востребованности результатов могут быть использованы такие методы, как:

обследование для анализа возможности использования результатов (например, объектов инфраструктуры);

социологические методы для выявления мнений выгодоприобретателей о причинах невостребованности результатов;

анализ содержания нормативных и иных документов для получения информации о процессах в рамках достижения результатов.

Таблица 1

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- запланированные результаты меры достигнуты

- запланированные значения показателей, характеризующих результаты меры, достигнуты во всех субъектах Российской Федерации во все годы реализации меры

- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки, возможное решение - запрос данных из нескольких источников);

- сравнение плановых и фактических значений показателей

- запланированные значения показателей, характеризующих результаты меры, достигнуты (не достигнуты), в т.ч. где, кем и т.д.;

- уровень достижения результатов меры различается в XX раз по субъектам Российской Федерации, различным социально-демографическим группам;

- на достижение значений показателей, характеризующих результаты меры, направлена в том числе деятельность коммерческих, общественных и иных организаций, не относящихся к участникам реализации меры

- максимальное и минимальное значения показателей, характеризующих результаты меры, различаются в XX раз для различных субъектов Российской Федерации, различных социально-демографических групп

- запрос данных о фактических значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);

- сравнение фактических значений показателей в разрезе субъектов Российской Федерации, различных социально-демографических групп

- отсутствует информация об иных мерах государственной политики и (или) коммерческих, общественных и прочих проектах, направленных на достижение анализируемого результата

- анализ нормативных и иных документов, в т.ч. корпоративной отчетности компаний, отчетности общественных и иных организаций

- результаты используются выгодоприобретателями

- установлены факты использования результатов выгодоприобретателями

- запрос и анализ документальных подтверждений использования

результатов;

- обследование с фиксацией фактического использования результатов

- установлены факты неиспользования результатов [например, построенные объекты не введены в эксплуатацию, закупленное оборудование не используется, результаты исследований не внедрены]

- результаты меры востребованы у выгодоприобретателей

- результаты меры востребованы не менее, чем у XX% ее выгодоприобретателей, в т.ч. в разрезе определенных групп

- запрос данных о тех, кто:

- воспользовался результатами меры;

- подавал документы для того, чтобы воспользоваться результатами, и соответствовал критериям для использования результатов (ограничение - данные о тех, кому было отказано, могут существовать в разрозненном виде, содержать пропуски и ошибки);

- является выгодоприобретателем меры;

- вычисление доли выгодоприобретателей, желавших воспользоваться результатами меры <27>, из общей численности выгодоприобретателей меры

- результаты меры были востребованы у YY% выгодоприобретателей, однако определенная группа не пользовалась результатами;

- причинами невостребованности результатов является [выявленные причины];

- AA% выгодоприобретателей не воспользовались результатом меры по причине 1, BB% - по причине 2, CC% - по причине 3. При этом ZZ% готовы были бы использовать результат меры, при устранении [описание недостатков с точки зрения выгодоприобретателей]

- причиной невостребованности меры со стороны определенной группы выгодоприобретателей является [предполагаемые причины - например, построенный объект инфраструктуры неудобно расположен или имеет неудобный режим работы; мера поддержки не решает проблемы, с которыми сталкиваются выгодоприобретатели и т.д.]

- запрос информации о характеристиках результатов;

- обследование результатов;

- интервью, опрос (анкетирование) выгодоприобретателей, не воспользовавшихся результатом

- выгодоприобретатели меры, удовлетворены ее результатами

- более XX% выгодоприобретателей, воспользовавшихся результатами меры, удовлетворены ее результатами

- опрос (анкетирование) выборочной совокупности выгодоприобретателей [параметры выборки], (ограничение - отсутствие репрезентативности по [указать, какому] параметру)

- YY% выгодоприобретателей, воспользовавшихся результатами меры и участвовавших в опросе, удовлетворены ее результатами, что свидетельствует в пользу результативности меры (YY% > XX%);

- повышению удовлетворенности результатами меры может способствовать устранение следующих факторов [причины, которые будут упомянуты респондентами как важные]

- среди причин недостаточной удовлетворенности результатами меры выгодоприобретатели отмечают следующие: [предполагаемые причины]

- интервью, фокус-группы с выгодоприобретателями из числа [описание групп респондентов - например, представители крупных, средних предприятий], отобранными по критериям [описание критериев отбора]

--------------------------------

<27> Включает как тех, кто воспользовался результатами, так и тех, кто совершил все необходимые для этого действия и соответствовал всем необходимым условиям, но не смог воспользоваться результатами меры в силу независящих от себя причин (например, ограниченности объема средств поддержки).

Пример анализа достижения результатов

1. Критерий аудита: запланированные результаты предоставления социального контракта достигнуты.

Гипотеза: уровень реальных доходов получателей социального контракта через год после его завершения в среднем выше, чем до заключения социального контракта.

Метод: сравнение реальных доходов получателей социального контракта до его заключения и через год после его завершения, усредненных по множеству получателей социального контракта.

Предварительные результаты: в среднем по всем субъектам Российской Федерации реальные доходы получателей социального контракта выросли по прошествии года после его завершения в сравнении с реальными доходами до заключения социального контракта.

2. Критерий аудита: востребованность меры поддержки экспортеров составляет не менее, чем XX%.

Гипотеза: мера поддержки экспортеров востребована не менее, чем у XX% выгодоприобретателей.

Метод: вычисление доли экспортеров, воспользовавшихся поддержкой, среди всех экспортеров, характеристики которых позволяют претендовать на меру поддержки (при условии доступности меры для всех таких соискателей); сравнение вычисленной доли с критерием аудита.

Предварительные результаты: мера поддержки была востребована у YY% выгодоприобретателей, что выше, чем в разработанном критерии аудита (YY% > XX%)

7.1.2. Оценка использования ресурсов, включая их экономность

В качестве первого шага при оценке использования ресурсов может быть проведен сравнительный анализ плановых и фактических затрат ресурсов. Однако такой анализ не является достаточным для формулирования выводов об экономности, поскольку не предполагает оценку возможности использования меньшего ресурса для достижения заданного результата.

Таблица 2

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- фактические значения затрат ресурсов на реализацию меры не превышают запланированные

- фактические значения затрат ресурсов на реализацию меры не превышают запланированные во всех субъектах Российской Федерации во все годы реализации меры

- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);

- сравнение плановых и фактических значений показателей

- объем использованных ресурсов не превышает запланированные значения по Российской Федерации в целом, однако в определенных субъектах были превышения

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- исследование рыночных цен, сравнение с ними

(ограничение - обоснованность сравнения с рынком)

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- отсутствуют факты неэкономного использования ресурсов, направленных на достижение результата

- отсутствуют факты использования ресурсов с превышением обоснованной потребности

- запрос и анализ документов, содержащих обоснование потребности в ресурсах, сравнение с фактическими затратами

- затраты ресурсов не превышают обоснованные потребности

Пример анализа использования ресурсов

Критерий аудита: отсутствуют факты неэкономного использования ресурсов, направленных на разработку проектно-сметной документации.

Гипотеза: осуществлялась разработка проектно-сметной документации для объектов, в отношении которых ранее было принято решение, исключающее необходимость их строительства.

Метод: запрос проектно-сметной документации, обоснований необходимости строительства объектов.

Предварительные результаты: выявлено, что в отношении XX объектов была разработана проектно-сметная документация на сумму YY рублей после решения, исключающего необходимость их строительства

7.1.3. Оценка соответствия результатов деятельности объекта аудита (контроля) положениям нормативного или иного документа

Таблица 3

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- результаты деятельности объекта аудита (контроля) соответствуют

[положение нормативного, иного документа]

- результаты деятельности объекта аудита (контроля) не соответствуют

[положение нормативного, иного документа]

- запрос данных и информации

- сопоставление с критериями

- деятельность объекта аудита (контроля) не соответствует

[положение нормативного, иного документа];

- последствиями несоответствия являются [описание последствий]

- характеристики результатов меры соответствуют

[положение нормативного, иного документа]

- характеристики результатов меры не соответствуют критериям (в т.ч. в части технических характеристик, сроков и т.п.)

- сбор данных о состоянии

характеристик результатов меры, в т.ч. с помощью запросов информации, наблюдения, лабораторных исследований;

- сравнение с критериями

- характеристики результатов меры не соответствуют критериям в части [каких именно] характеристик

Примеры оценки соответствия результатов деятельности положениям нормативного документа

1. Критерий аудита: результаты деятельности объекта аудита (контроля) в рамках администрирования подсистемы управления национальными проектами государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (далее - ГИИС "Электронный бюджет") соответствуют Концепции создания и развития государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (распоряжение Правительства Российской Федерации от 20 июля 2011 г. N 1275-р).

Гипотезы:

осуществляется надлежащий контроль качества данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет";

качество данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет", позволяет использовать их в качестве инструментария для принятия обоснованных управленческих решений.

Метод: анализ качества данных, анализ работоспособности системы межведомственного электронного взаимодействия (далее - СМЭВ).

Предварительные результаты: данные, формируемые в ГИИС "Электронный бюджет", содержат существенные недостатки в части качества. Получение качественных данных посредством СМЭВ затруднено. Имеющийся уровень качества данных снижает возможности мониторинга, а также более глубоких оценок реализации мер (комплексов мер), на основе которых можно принимать обоснованные управленческие решения.

2. Критерий аудита: состав дорожного покрытия на участке дороги XX соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".

Гипотеза: состав дорожного покрытия на участке дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".

Метод: взятие образцов дорожного покрытия и их лабораторный анализ.

Предварительные результаты: участок дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия" в части химического состава асфальтобетонного покрытия

7.1.4. Анализ процессов на предмет соответствия положениям нормативных и иных документов

Анализ процессов является частным случаем оценки соответствия деятельности объекта аудита (контроля) положениям нормативных и иных документов.

Рекомендуется учитывать, что применение различных методов при анализе процессов позволяет получить доказательства различного уровня надежности. Так, выводы о соответствии деятельности объекта аудита положениям нормативных, иных документов, сделанные только лишь на основании таких методов, как интервью и опросы, могут быть оспорены объектом аудита (контроля). При анализе процессов рекомендуется применять эти методы, в том числе для формирования предположений о наличии нарушений и (или) недостатков, а после этого при необходимости проводить сбор и анализ достаточных и надлежащих доказательств.

Рекомендуется учитывать, что наблюдение может обеспечивать получение доказательств выполнения процессов сотрудниками объекта аудита (контроля), но ограничено тем периодом времени, когда оно проводится, а также тем фактом, что само наблюдение может оказать влияние на то, каким образом сотрудники объекта аудита (контроля) выполняют процессы.

Наблюдение в комбинации со сбором и анализом документальной информации может помочь выявить несоответствие между фактической реализацией процессов и информацией, отраженной в документах объекта аудита (контроля) о процессах, что может являться необходимым обоснованием результатов и выводов мероприятия.

Таблица 4

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- реализация процесса соответствует

[положение нормативного, иного документа]

- реализация процесса не соответствует установленным требованиям к нему

- анализ содержания документов, описывающих процесс;

- сбор данных о практиках реализации процесса с помощью опросов и интервью с непосредственными исполнителями и (или) выгодоприобретателями;

- наблюдение за реализацией процесса;

- сбор и анализ документальных подтверждений несоответствия деятельности объекта аудита в рамках реализации процесса требованиям, содержащимся в нормативных правовых актах, иных документах

- реализация процесса не соответствует требованиям к нему в части [чего именно]

Примеры анализа процессов

1. Критерий аудита: сроки рассмотрения заявлений получателей на оказание социальной поддержки соответствуют [реквизиты нормативного, иного документа].

Гипотеза: заявления получателей на оказание социальной поддержки рассматриваются несвоевременно.

Методы: опрос тех, кто подавал заявления, в том числе как получателей помощи, так и тех, кому в помощи было отказано;

запрос у органов социальной защиты документов, содержащих информацию о сроках подачи и рассмотрения заявлений о выделении помощи, с последующим сравнением этих сроков с нормативами.

Предварительные результаты: X% людей, подавших заявления на получение помощи, получили ответ вовремя, остальные либо не получили его, либо получили с задержкой.

2. Критерий аудита: документооборот в организации ведется в соответствии с [реквизиты нормативного, иного документа].

Гипотеза: документооборот в организации не ведется в предусмотренной для этого положениями [реквизиты нормативного, иного документа] внутренней информационной системе.

Методы: интервью с сотрудниками организации о практиках ведения документооборота в части постановки задач, взаимодействия различных подразделений, ведения отчетности для выявления того, какие из модулей информационной системы, вероятно, слабо используются и почему это происходит;

запрос информации у организации о функционале информационной системы; информации, подтверждающей ведение документации в информационной системе.

Предварительные результаты: информационная система не используется сотрудниками для ведения документации [какой именно], вместо внутренней информационной системы для решения [каких именно] задач используется MS Excel, что не соответствует положениям [реквизиты нормативного, иного документа]

7.1.5. Оценка влияния

Оценка влияния проводится в рамках аудита эффективности. Оценка влияния исследует величину вклада деятельности объектов аудита (контроля) по достижению непосредственных результатов за счет использования федеральных и иных ресурсов, которая явилась причиной или, как ожидается, послужит причиной достижения конечных результатов и (или) итоговых эффектов, характеризующих стратегические цели социально-экономического развития Российской Федерации <28>.

--------------------------------

<28> Согласно пункту 4.2.8(1) СГА 104.

Данная оценка предполагает выявление причинно-следственных связей, включая выявление существующих внешних и внутренних условий функционирования объекта аудита (контроля), а также социальных, экологических, экономических и иных последствий, целостных и устойчивых изменений в системах или нормах.

При проведении оценки влияния могут быть использованы специальные методы эконометрического анализа, которые в научной литературе объединяются в класс под общим названием "квазиэкспериментальные методы". Данные методы основаны на сравнении двух групп объектов <29> - группы объектов, на которые было оказано воздействие в результате реализации мер (она называется экспериментальной группой, или группой воздействия), и группы объектов, на которые не было оказано такого воздействия (она называется контрольной группой и служит базой для сравнения). Свойства эксперементальной группы должны быть максимально близки к свойствам контрольной группы (точный смысл такой близости определяется отдельно для каждого метода) - это требуется для отделения результата влияния, вызванного реализацией мер, от результатов воздействия других факторов.

--------------------------------

<29> Здесь и далее в данном подпункте под объектами понимаются единицы наблюдения, на которые может оказываться воздействие в результате реализации мер - объектами в разных ситуациях могут быть, например, предприятия, домохозяйства, отдельные люди и т.п.

Выбор конкретного метода из этого класса методов зависит от имеющихся данных и исследуемой ситуации. Например:

если вероятность получения воздействия определяется характеристиками объекта, и при этом у объекта отсутствуют ненаблюдаемые характеристики, которые могут влиять на результат воздействия, то используется метод сопоставления наблюдений экспериментальной и контрольной групп. В данном методе объектам, подвергшимся воздействию, сопоставляются объекты, на которые воздействие не оказывалось. При этом сопоставление происходит по характеристикам, которые могут оказывать влияние на результат применения к ним рассматриваемой меры. Способы сопоставления могут быть различными: это может быть вероятность получения воздействия в случае сопоставления по индексу соответствия <30> либо величина "близости" объектов друг к другу по совокупности признаков при условии заранее выбранного расстояния в пространстве признаков;

--------------------------------

<30> Пункт 2.1.2.1.6 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141175.

если до начала воздействия наблюдается параллельная динамика целевого показателя экспериментальной и контрольной групп и есть основания ожидать ее продолжения после начала воздействия, можно рассмотреть применение метода разность разностей <31>;

--------------------------------

<31> Пункт 2.1.2.1.10 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141179.

если есть некая граница в значениях некоторого показателя, разделяющая контрольную и экспериментальную группы, можно рассмотреть применение разрывного регрессионного дизайна <32>.

--------------------------------

<32> Пункт 2.1.2.1.9 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141178.

Помимо квазиэкспериментальных методов можно рассмотреть применение панельной регрессии <33>, в которую в качестве одной из объясняющих переменных включена величина воздействия, а также все важные факторы, которые могли повлиять на целевой показатель.

--------------------------------

<33> Пункт 2.1.2.1.2 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141172.

Таблица 5

Критерий аудита

Гипотеза

Методы

Предварительные результаты

- мера положительно повлияла на

[социально-экономический показатель]

- мера положительно повлияла на

[социально-экономический показатель]

- данные об экспериментальной и контрольной группах за несколько лет до и после начала действия меры:

- индикатор принадлежности к экспериментальной или контрольной группе

- показатели, характеризующие главные факторы, потенциально влияющие на целевой показатель;

- метод разность разностей/метод разрывного регрессионного дизайна/метод сопоставления по индексу соответствия (при выполнении предпосылок методов)

- реализация меры привела к увеличению [социально-экономического показателя] на YY%, причем YY > 0, что говорит о положительном влиянии меры на этот показатель

Пример оценки влияния

Критерий: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.

Гипотеза: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.

Методы: собрать данные о предприятиях, получивших поддержку от институтов развития (экспериментальная группа), и об аналогичных предприятиях без такой поддержки (контрольная группа). Данные должны охватывать период действия институтов развития и период до начала их работы. Данные должны включать уплаченные налоги, активы, выручку, прибыль (убыток), численность сотрудников, регион функционирования предприятия и показатели других важных факторов, влияющих на налоговые поступления;

применить разность разностей после проверки выполнения предпосылок метода.

Предварительные результаты: реализация мероприятий институтами развития увеличила налоговые поступления от предприятий региона на XX%

7.2. Рекомендуется оценивать методы в части их ограничений на предмет пригодности для проверки гипотезы (валидности):

операционная валидность отвечает на вопросы о том, действительно ли мы измеряем то, что планировали, и так, как планировали;

внутренняя валидность отвечает на вопросы о степени объяснения причинно-следственных связей;

внешняя валидность говорит о возможности распространения полученных результатов на иной, отличный от оцениваемого, контекст;

валидность статистических выводов говорит о степени корректности статистического анализа и сделанных на его основании выводов.

Для каждого типа валидности можно выделить ряд характерных потенциальных проблем согласно приложению N 6 к Методическим рекомендациям.

Приложение N 1

к Методическим рекомендациям

по подготовке дизайна

аудита соответствия

и аудита эффективности

МАТРИЦА

ПОДГОТОВИТЕЛЬНОГО ЭТАПА КОНТРОЛЬНОГО

(ЭКСПЕРТНО-АНАЛИТИЧЕСКОГО) МЕРОПРИЯТИЯ (МАТРИЦА ДИЗАЙНА)

Критерии аудита

Гипотезы

Методы

Предварительные результаты

Предварительные выводы

Предварительные рекомендации

Заполняется при наличии критериев. С каждым критерием может быть связана одна или несколько гипотез

Утверждения, которые проверяются в ходе мероприятия

Описание методов, которые будут использованы для сбора и анализа данных и информации; необходимых для применения методов данных и информации; ограничений, связанных со сбором и анализом данных и информации

Описание предварительного результата по вопросу (сумма результатов проверки гипотез)

Описание предварительных выводов по цели на основе предварительных результатов по вопросам. Формулируются как итоговое суждение по каждой цели

Описание предварительных рекомендаций

Цель аудита 1

Вывод по цели 1

Предварительная рекомендация 1

Предварительная рекомендация 2

Вопрос мероприятия 1

Предварительный результат по вопросу 1

Критерий аудита 1

Гипотеза 1

Метод 1

Вопрос мероприятия 2

Предварительный результат по вопросу 2

Критерий аудита 2

Гипотеза 2

Метод 2

Гипотеза 3

Метод 3

Приложение N 2

к Методическим рекомендациям

по подготовке дизайна

аудита соответствия

и аудита эффективности

Шаблон плана подготовки дизайна аудита <*>

N

Этап

Раздел, пункт, подпункт Методических рекомендаций, содержащий информацию по этапу

Ответственный

Дата начала

Дата завершения

Статус

1

Сбор и изучение данных и информации о предмете аудита и объектах аудита (контроля)

раздел 3

Ф.И.О.

в работе

1.1

Анализ завершенных мероприятий

подпункт 3.2.1

Ф.И.О.

не начали

1.2

Анализ нормативных документов, а также иных документов, относящихся к сфере деятельности объекта аудита (контроля) или иным образом затрагивающих данную сферу

подпункт 3.2.2

Ф.И.О.

не начали

1.3

Анализ мер государственной политики, предусмотренных государственными программами Российской Федерации, в том числе их структурными элементами, а также мер, предусмотренных иными документами

подпункт 3.2.3

Ф.И.О.

не начали

1.4

Обзор литературы по вопросам, актуальным для проведения аудита

подпункт 3.2.4

Ф.И.О.

не начали

1.5

Анализ заинтересованных сторон

подпункт 3.2.5

Ф.И.О.

не начали

1.6

Анализ материалов средств массовой информации

подпункт 3.2.6

Ф.И.О.

не начали

2

Разработка вопросов мероприятия, критериев аудита и гипотез

пункт 6.2.1

Ф.И.О.

не начали

3

Уточнение цели (целей) аудита, формулирование дополнительных целей (выполняется при необходимости)

пункт 4.3, раздел 5

Ф.И.О.

не начали

4

Выбор методов для проверки гипотез

раздел 7

Ф.И.О.

не начали

5

Формулирование предварительных результатов, выводов и рекомендаций

раздел 7, приложение N 1

Ф.И.О.

не начали

6

Приоритизация вопросов мероприятия, критериев аудита и гипотез

пункт 6.2.2

Ф.И.О.

не начали

7

Итеративная корректировка структурных элементов дизайна

раздел 4

Ф.И.О.

не начали

8

Оформление матрицы дизайна

приложение N 1

Ф.И.О.

не начали

--------------------------------

<*> План подготовительного этапа (план подготовки дизайна аудита) не подлежит утверждению (подписанию) и актуализируется по мере необходимости по решению руководителя мероприятия. Для формирования и поддержания в актуальном состоянии статуса реализации пунктов плана может быть использована система управления задачами (например, модуль Управление проектами и поручениями подсистемы "Ситуационный центр" комплекса программных средств "Цифровая платформа"). Последовательность этапов в рамках подготовительного этапа может быть изменена по усмотрению участников мероприятия.

Приложение N 3

к Методическим рекомендациям

по подготовке дизайна

аудита соответствия

и аудита эффективности

МЕТОДИКА

ПРОВЕДЕНИЯ ОБЗОРА ЛИТЕРАТУРЫ ПО ВОПРОСАМ,

АКТУАЛЬНЫМ ДЛЯ ПРОВЕДЕНИЯ АУДИТА

Обзор литературы рекомендуется проводить в четыре шага:

Шаг 1. Определение стратегии поиска, включающей:

1) определение ключевых слов в рамках релевантных тем, то есть в рамках предмета мероприятия, предварительных целей и вопросов мероприятия;

2) определение ключевых акторов <1>, связанных с научно-исследовательской или аналитической работой по релевантной теме (ключевых исследователей, научно-исследовательских и иных организаций) предмета аудита;

--------------------------------

<1> Ключевые акторы могут быть определены на основе таких показателей как ученая степень, ученое звание, занимаемая должность, индекс цитирования Хирша, цитируемость в СМИ, участие в конференциях и круглых столах и др.

3) определение ключевых источников информации (научных журналов, конференций, научно-исследовательских семинаров) по предмету аудита.

Пример

В рамках вопроса одного из мероприятий Счетной палаты по анализу реализации социального контракта как меры социальной поддержки населения для подготовки обзора литературы были определены:

1) ключевые слова ("обусловленные трансферты", "необусловленные трансферты", "универсальное пособие", "результативность социального контракта", "результативность служб социальной защиты/работников служб социальной защиты", "микросимуляционное моделирование для оценки результатов социальной поддержки");

2) ключевые акторы (научно-исследовательские и иные организации: Институт социальной политики Высшей школы экономики, Институт социального анализа и прогнозирования РАНХиГС, Всемирный банк, Центр финансов социальной сферы НИФИ, индивидуальные исследователи - авторы публикаций по релевантным темам в последние 5 лет);

3) ключевые источники информации (информация научно-исследовательских семинаров по бедности и уровню доходов НИУ ВШЭ, РАНХиГС, НИФИ, научные журналы "Журнал Новой экономической ассоциации", "Вопросы экономики", "Экономическая политика" и др.)

Шаг 2. Поиск источников. Поиск качественных (т.е. выполненных на высоком научном уровне) источников (работ) для обзора литературы осложняется большим и растущим с каждым годом количеством научных статей (каждый год в мире публикуется несколько миллионов статей в реферируемых научных журналах), аналитических докладов, а также усложнением фрагментации научных направлений. При этом пробелы в обзоре литературы могут привести к тому, что будут упущены важные и уже полученные результаты, не будут найдены подходящие методы и данные, или будут сформированы некорректные выводы по итогам обзора литературы.

Процедуры поиска литературы включают:

1) поиск статей по ключевым словам в электронных базах данных, в интернете, в библиотеках;

2) поиск информации на сайтах определенных научно-исследовательских организаций, статей исследователей, в выпусках научных журналов, информации новостей и материалов конференций на основе определенных ключевых акторов и ключевых источников информации;

3) поиск на основе цитирующих и цитируемых работ;

4) поиск на основе рекомендаций экспертов.

Рекомендуется проводить поиск с помощью специализированных поисковых систем <2>. Также могут использоваться репозитории оценок, научных исследований, рандомизированных экспериментов, содержащие результаты исследований и их обобщение по установленным критериям (при наличии).

--------------------------------

<2> Например, Академия Google (https://scholar.google.com/) или Consensus (https://consensus.app/, использующий генеративный искусственный интеллект) по ключевым словам и текстам публикаций научных журналов, препринтов, рецензий, материалов научных конференций и семинаров и т.п. Также могут быть использованы базы данных Web of Science, Science Direct, CyberLeninka, eLibrary (https://elibrary.ru), но их содержание индексируется специализированными поисковыми системами.

При поиске работ рекомендуется обращать внимание на такие классы научных статей как:

1) обзорные статьи с описанием одной или нескольких гипотез;

2) систематические обзоры - научные обзоры ряда научных статей в рамках определенной поставленной задачи для критического анализа и обобщения (как правило, с использованием протокола, снижающего вероятность неполного обзора научного знания и вероятности системных ошибок при анализе);

3) мета-анализ - научные исследования, проводимые в целях обобщения результатов нескольких исследований с помощью статистических методов.

Кроме того, следует иметь в виду, что в научных статьях обязательно присутствует обзор литературы с описанием результатов, полученных в данной предметной отрасли на момент написания и редактирования статьи.

Следует отметить, что поиск литературы представляет собой итеративный процесс, при котором процедуры поиска могут повторяться на основе новой информации (ключевых слов, авторов, статей) и по мере погружения в тему. Поиск литературы завершается, когда процедуры поиска перестают добавлять новую информацию, и достигается максимальный охват источниками.

Итеративный процесс поиска литературы отражен на рисунке ниже.

Шаг 3. Оценка и отбор источников (работ). На этом шаге проводится:

1) изучение результатов поиска:

с точки зрения отношения к предмету и целям аудита, вопросам мероприятия. Для этого необходимо получить представление о теме и содержании работ (часто для этого достаточно изучить аннотацию и при необходимости выводы статьи);

с точки зрения качества исследований. Как правило, с более высоким качеством исследований и, соответственно, валидностью результатов ассоциированы такие признаки, как:

рейтинг издания (научного журнала);

исследовательский рейтинг авторов научной публикации (например, индекс Хирша);

качество методов сбора и анализа данных, а также прозрачность и подробность описания методов и их ограничений;

наличие или возможность получить по запросу авторам использованные данные, а также скрипты их обработки и анализа.

Оценка валидности исследовательских методов, как правило, является достаточно сложной и требует исследовательских компетенций. При этом для целей обзора литературы качественными (валидными) работами могут быть признаны те, по которым не установлено явных ограничений по использованным методам (в этом случае работа включается в обзор).

По результатам формируется итоговый список источников, которые войдут в обзор литературы;

2) изучение наиболее ценных работ (итогового списка источников), для чего рекомендуется:

внимательно прочитать статью и выделить в ней гипотезы, описание методов сбора и анализа данных, описание данных, допущения и ограничения методов, результаты;

сопоставить результаты с другими работами по данной теме, обратить внимание на наличие или отсутствие консенсуса в результатах, проанализировать вероятные причины противоречий;

выделить наиболее подходящие для включения в обзор литературы фрагменты статей (включая краткое описание методов сбора и анализа данных, а также описание данных).

Важно, что в обзор литературы включаются не все проанализированные работы, а лишь те, исключение упоминаний о которых препятствует получению наиболее ценной информации в рамках мероприятия.

Шаг 4. Подготовка аналитической записки (справки) с обзором литературы.

В обзор включаются краткие описания результатов и выводов работ из итогового списка работ, а также контекста (временного, территориального), данных и методов сбора и анализа данных (каждая работа описывается, как правило, 3 - 8 предложениями). Так как обзор литературы предполагает критический анализ научных статей и аналитических докладов, рекомендуется проводить обзор литературы силами не менее чем двух сотрудников. Проведение критического анализа в рамках обзора литературы несколькими сотрудниками выступает формой его валидации и повышает доверие к результатам.

Процесс проведения обзора литературы подробно описан на схеме ниже:

Приложение N 4

к Методическим рекомендациям

по подготовке дизайна

аудита соответствия

и аудита эффективности

(примерная форма)

Проведение анализа заинтересованных сторон

Для анализа заинтересованных сторон возможно использовать следующую таблицу:

Заинтересованная сторона

Роль

Задачи потенциальной коммуникации

Минобрнауки России

Инициатор и организатор программы

Обсуждение критериев аудита

Получение информации о процессе разработки программы "Приоритет 2030", в том числе ее основных задач и показателей

ФГАНУ "Социоцентр"

Оператор программы

Получение информации о специфике проведения и реализации конкурсного отбора

Университеты

Получатели грантовой поддержки в соответствии с требованиями программы

Получение информации о проблемах, с которыми сталкиваются университеты, в рамках прохождения конкурсного отбора, участия в программе и подготовки отчетности о результатах участия в программе

Региональные органы исполнительной власти

Обеспечение дополнительной финансовой поддержки университету-участнику программы в отдельных случаях.

Сотрудничество с университетами: заказ на исследования, разработки и научно-технические услуги, формирование консорциумов, организация совместных проектов

Получение информации о том, как РОИВ оценивают влияние программы "Приоритет 2030" на социально-экономическое развитие региона

Представители реального сектора региона

Сотрудничество с университетами: заказ на исследования, разработки и научно-технические услуги, формирование консорциумов, организация совместных проектов

Получение информации о сложившихся практиках взаимодействия между бизнесом и университетами; о возникающих в рамках такого взаимодействия проблемах и потенциальных способах их решения

Приложение N 5

к Методическим рекомендациям

по подготовке дизайна аудита

соответствия и аудита эффективности

ПРИМЕРЫ

ПОСЛЕДОВАТЕЛЬНОСТИ ШАГОВ ПРИ ПОДГОТОВКЕ ДИЗАЙНА АУДИТА

Рисунок 1. Возможная схема шагов при формулировании и уточнении структурных элементов дизайна аудита в рамках заданной цели аудита

Рисунок 2. Возможная схема шагов при формулировании и уточнении структурных элементов дизайна аудита в случае корректировки цели (целей) аудита

Приложение N 6

к Методическим рекомендациям

по подготовке дизайна аудита

соответствия и аудита эффективности

ПОТЕНЦИАЛЬНЫЕ ПРОБЛЕМЫ ВАЛИДНОСТИ

1. Точность и процессы измерения (операционная валидность)

1.1. При соблюдении операционной валидности собираемые данные позволяют измерить то, что планировалось измерить (для количественных данных) или отражают понятия и явления, которые планировалось изучить (для качественных данных).

1.2. Возможные проблемы операционной валидности:

1) проблема некорректной операционализации возникает в ситуации недостаточности знаний об интересующей характеристике предмета, когда данная характеристика не поддается измерению, или это измерение затруднено (например, ввиду того, что издержки измерения высоки). В этих случаях могут использовать так называемые прокси-показатели, которые служат показателем-заменителем, наилучшей альтернативой для измерения. Например, показатель ВВП на душу населения является прокси-показателем экономического благосостояния и качества жизни;

Пример нарушения операционной валидности

При операционализации понятия "бедность" показатель "доход ниже уровня прожиточного минимума" представляет собой некорректный прокси-показатель, если интересует аспект деприваций - если исследователя интересуют возможные ограничения доступа населения к различным благам: к доступному жилью, качественному здравоохранению, качественному школьному образованию, чистой воде и т.п. (такие ограничения имеются далеко не у одних только малоимущих, а у малоимущих не всегда есть такие ограничения)

2) проблема преднамеренного введения в заблуждение возникает, когда представитель источника информации (например, автор ответа на запрос Счетной палаты или респондент) намеренно искажает факты, чтобы скрыть проблему или защитить себя;

3) проблема непреднамеренного введения в заблуждение возникает в результате ошибки воспоминаний (например, при прошествии длительного периода времени после того, как произошло исследуемое событие) или несвоевременного обновления данных;

Пример нарушения операционной валидности

Исполнитель или участник программы непреднамеренно дает ложную информацию из-за ошибочных воспоминаний о фактах или событиях

4) проблема стремления к социальной приемлемости и дискомфорта при оценке при передаче данных о себе в случае, когда это является некомфортным или даже неприемлемым для определенных групп;

Пример нарушения операционной валидности

Респондент говорит то, что, по его мнению, интервьюер хочет услышать для получения одобрения

5) проблема отложенного эффекта возникает в ситуации, когда эффекты реализуются позднее момента их измерения (то есть тогда, когда измерение проводится преждевременно);

Пример нарушения операционной валидности

Оценка воздействия программ продвижения здорового образа жизни на уровень смертности от болезней сердечно-сосудистой системы может иметь отложенный эффект

6) изменение определений и методик расчета. Переопределение понятий или способов расчета показателей делает данные, собранные в различные периоды времени или на различных территориях, несопоставимыми;

Примеры нарушения операционной валидности

До 2021 года уровень бедности определялся как доля населения с доходами ниже величины прожиточного минимума, которая определялась как стоимость потребительской корзины для основных социально-демографических групп населения. Начиная с 2021 года величина прожиточного минимума стала определяться как доля в 44,2% медианного дохода за предыдущий год. Такое радикальное изменение методики расчета прожиточного минимума ведет к тому, что уровень бедности, вычисленный как доля населения с доходами ниже величины прожиточного минимума, определенной по новой методике, окажется несопоставимым с уровнями бедности за предыдущие годы.

В методологию расчета показателей федерального проекта "Промышленный экспорт" и национального проекта "Международная кооперация и экспорт" начиная с 2021 года (2020 год - базовый) многократно вносились изменения. Так, в январе 2021 года в методику расчета показателей внесены изменения, которые, в том числе предусматривают изменение перечня кодов единой Товарной номенклатуры внешнеэкономической деятельности Евразийского экономического союза, что привело к несопоставимости оценок несырьевого неэнергетического экспорта в различные годы реализации федерального проекта

7) искажение, связанное с использованием одного метода - использование только одного метода для сбора данных о явлении (например, самооценка);

Примеры нарушения операционной валидности

Использование только результатов анкетирования получателей для оценки эффективности мер поддержки в форме субсидий.

Использование только результатов интервьюирования получателей пособий для оценки эффективности мер поддержки в форме этих пособий

8) отсутствие понимания культурного контекста - невозможность корректной интерпретации понятий и результатов измерений без учета точек зрения участников программы;

9) проблема возможности неоднозначного восприятия возникает, когда вопросы слишком сильно зависят от субъективных оценок значения вариантов ответа. Вопросы, в которых респондентам предлагается провести различие между прилагательными, которые могут интерпретироваться по-разному, приводят к несопоставимым ответам;

Пример нарушения операционной валидности

Интерпретация уровней оценок влияния рисков ("низкое", "среднее", "высокое") может быть различной у различных экспертов

10) ресурсное ограничение возможности сбора и ввода данных. Высокая рабочая нагрузка и (или) отсутствие технических возможностей могут привести к разрозненности практик сбора и ввода данных у разных сотрудников (например, сотрудников объекта аудита (контроля), в разных местах;

Пример нарушения операционной валидности

Работники органов социальной защиты могут не иметь времени для своевременного ввода данных в информационные системы; технические возможности ввода данных могут быть ограничены (например, недостаточное количество и качество компьютеров)

11) недостаточная профессиональная подготовка сборщиков данных. Недостаточная подготовка сборщиков данных, интервьюеров, наблюдателей и (или) кодировщиков может сделать сбор и ввод данных недостаточно надежными.

Пример нарушения операционной валидности

Чрезмерно сжатые сроки и экономия за счет сокращения времени обучения могут привести к тому, что сотрудники (например, сотрудники объекта аудита (контроля) не будут готовы обеспечить корректное проведение сбора и ввода данных

2. Утверждения о причинно-следственных связях (внутренняя валидность)

2.1. Внутренняя валидность отражает то, в какой степени наблюдаемые результаты обусловлены рассматриваемыми причинами.

2.2. Возможные проблемы внутренней валидности:

1) вмешательство иных событий. Наблюдаемые изменения связаны не только с мерой, а с каким-либо иным фактором или произошедшим событием. При этом мера может не быть ключевым фактором, повлиявшим на изменения;

Пример нарушения внутренней валидности

Увеличение объемов экспорта может отражать более благоприятные внешнеторговые условия (снижение тарифов или импортных пошлин, изменение курса валюты), а не являться лишь результатом субсидирования экспортеров

2) отсутствие учета социокультурных особенностей;

Пример нарушения внутренней валидности

При анализе результативности реализации программ трудоустройства женщин может быть целесообразным изучение и учет социально-культурных представлений о семье и разделении обязанностей между супругами. Обусловленные традициями данной местности представления о роли женщины как исключительно жены и матери могут выступать в качестве социокультурного барьера, ограничивающего участие женщин в оплачиваемой занятости в целом и в программах трудоустройства в частности

3) изменения во времени. Наблюдаемые изменения обусловлены не мерой, а тем, что участники меры (граждане, организации) меняются со временем (взрослеют, развиваются и т.д.);

Пример нарушения внутренней валидности

С возрастом проблемы со здоровьем у людей зачастую становятся более выраженными, что может приводить к недооценке фактического (успешного) достижения результатов мероприятий проекта "Активное долголетие"

4) мера реализована не полностью. Оценка меры может быть преждевременной, если какие-либо факторы (например, нехватка ресурсов, ошибки процессов) привели к проблемам реализации или неполной реализации меры;

Пример нарушения внутренней валидности

Аудит реализации социального контракта в пилотных регионах показал, что центры службы социальной защиты, которые непосредственно работали с получателями мер государственной поддержки, были недоукомплектованы. Работники органов социальной защиты высказывались о нехватке методологических и обучающих материалов. В итоге социальный контракт в большинстве случаев реализовывался как прямой необусловленный трансферт населению, не позволяющий малоимущим семьям выйти из бедности в долгосрочной перспективе, хотя цель этой меры как раз заключается в предоставлении малоимущим семьям инструментов для улучшения своего благосостояния на долгий срок

5) регрессия к среднему. Наблюдаемый результат меры может быть связан с тем, что она применялась к получателям, ранее продемонстрировавшим некоторые экстремальные значения показателя (например, очень низкие финансовые показатели для организаций), которые получились такими из-за сложившихся внешних обстоятельств. При этом при отсутствии меры получатели могли бы продемонстрировать улучшение показателя исключительно в силу того, что прошлое наблюдение оказалось "случайно плохим", и в реальности значение показателя лежит намного ближе к среднему по всей генеральной совокупности. Поскольку деятельность экономических агентов подвержена воздействию большого количества случайных внешних факторов, такое поведение характерно для многих экономических и финансовых показателей, и приписывать в таком случае изменение только воздействию реализованной меры некорректно;

Пример нарушения внутренней валидности

Оценивается программа, направленная на улучшение успеваемости школьников. До и после программы проводилось тестирование. Распределение оценок генеральной совокупности школьников не изменилось. В то же время в выборке из 10% школьников, имевших до программы худшие результаты, средний результат после программы стал выше - не все школьники из этой выборки снова вошли в худшие 10% после проведения программы. Аналогично, среднее по выборке показавших 10% лучших результатов сместилось вниз. Это можно объяснить, например, тем, что худшие 10% школьников в день проведения первого тестирования испытывали недомогание, стресс или волнение, но во время второго тестирования чувствовали себя хорошо. В свою очередь, аналогичные причины могут иметься и у школьников, которые написали успешно первое тестирование, но провалили второе

6) смещение отбора. Наблюдаемые изменения обусловлены существовавшими ранее различиями между участниками в экспериментальной и контрольной группах, а не мерой;

Пример нарушения внутренней валидности

При проведении оценки программы по трудоустройству людей с инвалидностью в составе контрольной группы оказываются участники московской организации общества глухих, а в составе экспериментальной (подвергшейся воздействию программы) - люди с различными типами особенностей здоровья. Поскольку общество инвалидов профильное, туда попадают люди с конкретными особенностями здоровья: потребности в работе для глухих будут отличаться от таковых для слабовидящих людей или людей, которые пользуются инвалидной коляской для передвижения. Выборка будет смещена как по составу, так и по региональной структуре. Это не позволит обобщить полученные выводы на всех людей с ограниченными возможностями здоровья и для разных групп инвалидности

7) некорректное установление направления причинно-следственного влияния. Отсутствие ясности в отношении того, какой показатель изменился первым, может привести к ошибке определения того, какой показатель является причиной, а какая следствием. Кроме того, возможна ситуация, когда оба показателя влияют друг на друга (показатель X влияет на показатель Y, а показатель Y - на показатель X);

Пример нарушения внутренней валидности

Направление взаимосвязи бедности и здоровья населения не является очевидным. С одной стороны, низкие доходы населения приводят к снижению доступности качественного питания и другим факторам риска для здоровья. С другой стороны, плохое здоровье может оказывать влияние на возможность найти высокооплачиваемую работу и на уровень производительности труда. Таким образом, оба показателя - уровень бедности и здоровье населения - могут оказывать влияние друг на друга

8) эффект смешивания последствий нескольких мер возникает в условиях реализации нескольких мер одновременно, что делает сложным обособленную оценку каждого из эффектов.

3. Возможность обобщения (внешняя валидность)

3.1. Внешняя валидность определяет, в какой степени можно распространить полученные результаты на объекты (группы участников, контексты или обстоятельства), выходящие за рамки анализируемых.

Возможные проблемы внешней валидности:

1) последствия отбора. Результаты оценки меры могут быть применимы только к анализируемым участникам или контексту.

Смещение при отборе по превосходству или по тяжести проблем.

Смещение при отборе по превосходству возникает при анализе успешных практик реализации меры, так как характеристики этих практик могут повышать шансы на получение более высокого целевого результата меры. Смещение при отборе по тяжести проблем возникает при анализе проблемных аспектов реализации меры, когда отбор проводится на основе факторов тяжести проявления проблемы.

Пример нарушения внешней валидности

Проблема отбора по превосходству может возникнуть в ситуации, когда при оценке результатов цифровизации обучения школьников в выборку попадают только школы, которые специализируются на изучении компьютерных технологий, гимназии и лицеи, где есть доступный интернет, компьютеры, а также где педагоги регулярно повышают квалификацию в сфере информационных технологий, активно в образовательном процессе пользуются специальным программным обеспечением. При этом другие школы могут выстраивать процесс цифрового образования с нуля, иначе видеть и приоритизировать задачи цифрового образования. Для таких школ программы цифровизации обучения школьников могут показывать другие результаты, их проблемы и риски реализации могут быть иными.

Проблема отбора по тяжести проблемы может возникнуть в ситуации оценки экологического мониторинга в Российской Федерации при выборе регионов для анализа на основе степени распространенности и тяжести проблем при осуществлении мониторинга

Смещение при отборе по доступности возникает при анализе практик реализации меры на основе доступности для анализа (например, территориальной близости, готовности респондентов к взаимодействию и т.д.).

Пример нарушения внешней валидности

Использование опросов, проведенных через Российский союз промышленников и предпринимателей (РСПП), приводит к обращению к смещенной выборке предприятий с точки зрения представительства различных федеральных округов Российской Федерации

Отбор по объемам финансирования, по охвату выгодоприобретателей также может приводить к смещенным результатам, так как из фокуса внимания выпадают объекты с отсутствием финансирования в данной области (низким/высоким охватом получателей), что может оказывать влияние на результаты анализа;

2) временные эффекты. Смещение может возникать при использовании данных, которые относятся к периоду, нерелевантному исследуемой проблеме;

Пример нарушения внешней валидности

Оценки результативности программы снижения ДТП, полученные с использованием данных за летние месяцы, могут в значительной степени отличаться от оценок за зимние месяцы

3) географические эффекты. Смещение может возникать при проведении оценки в определенном регионе или в определенном контексте, из-за чего результаты оценки не могут быть распространены на другие условия.

Пример нарушения внешней валидности

Результаты оценки эффективности программы субсидирования малого бизнеса в городской местности одного региона могут быть непригодны для прогнозирования результатов аналогичной программы в сельской местности другого региона

4. Валидность статистических выводов

Возможные проблемы валидности статистических выводов:

1) нерепрезентативность выборки. В случае отсутствия репрезентативности результаты, полученные с использованием выборки (например, выборки объектов аудита (контроля), регионов, муниципалитетов, проектов, отдельных документов и т.д.), не могут быть использованы для общих выводов для генеральной совокупности;

Пример нарушения статистической валидности

Выводы о причинах бедности, полученные на основе анализа бедности в одном регионе, не могут быть распространены на остальные регионы, поскольку между регионами имеются значительные различия в структуре экономики, населения, занятости и т.п. Определенные меры государственной политики, которые были результативны в одном регионе, могут не дать аналогичного результата в других регионах

2) слишком малый объем выборки. Следствием слишком малого объема выборки может быть статистическая незначимость эффекта, несмотря на его наличие. Кроме того, для малых объемов выборки добавление или исключение даже одного наблюдения может приводить к значительным изменениям в количественных оценках;

Пример нарушения статистической валидности

Использование для регрессионного анализа 5 - 7 наблюдений может приводить к сформулированным выше проблемам. Например, оценка взаимосвязи уровня бедности и экономического роста за период 1996 - 2019 гг. будет отличаться от оценки за период 2001 - 2007 гг. или 2012 - 2019 гг. Для анализа подобных взаимосвязей, когда выборка содержит только несколько наблюдений, необходимо использовать иные методы (например, качественные методы) или изменить дизайн, чтобы рассматривать другие прокси-показатели, для которых есть достаточное количество наблюдений

3) применение статистических методов, непригодных для имеющихся данных (в частности, для имеющегося типа данных). Применение методов, не пригодных для определенного типа данных, может приводить к некорректным результатам;

Пример нарушения статистической валидности

Использование метода линейной регрессии для анализа успеваемости, если оценки выражены по 5-балльной шкале (даже по 4-балльной - как правило, они меняются от 2 до 5), также может дать предсказанные значения оценок либо меньше 1 (в том числе отрицательные), либо больше 5, что не имеет смысла.

Применение метода линейной регрессии с использованием выборки показателей по регионам за один год для анализа влияния меры государственной политики некорректно, поскольку не происходит сравнения показателей в одном и том же регионе до и после реализации данной меры, а вместо этого происходит сравнение показателей в разных регионах. В то же время регионы обладают значительными различиями в структуре экономики, населения, занятости и т.п., обусловленными различной предысторией развития этих регионов, а результаты реализации мер государственной политики могут зависеть от этой предыстории. Кроме того, меры госполитики, давшие какой-то результат в одном регионе, могут не дать результата в других регионах.

Метод линейной регрессии в общем случае, равно как вычисление корреляций между показателями, не является способом выявления причинно-следственных взаимосвязей между этими показателями. Другими словами, коэффициенты регрессионной модели в общем случае не могут быть интерпретированы как выводы о причинно-следственной связи.

Для количественной оценки величины причинно-следственной связи требуется специальный дизайн (например, метод разность разностей или другие квазиэкспериментальные методы)

4) нарушение условий применения статистического метода. Применение статистического метода с нарушением его предположений может быть причиной неверных или незначимых результатов;

Пример нарушения статистической валидности

Простая линейная регрессия неприменима при явных нелинейных эффектах. Например, если требуется оценить взаимосвязи между инвестициями в очистные сооружения и снижением выбросов вредных веществ, следует иметь в виду, что количество выбросов при применении все более современных технологий не может быть уменьшено до нуля, так что будет наблюдаться "эффект насыщения", когда произойдет приближение к технологическому пределу снижения выбросов, и эффект от дальнейших инвестиций будет все меньше и меньше, а дальнейшее снижение выбросов будет все дороже и дороже. В такой ситуации требуется применение других методов (например, нелинейного метода наименьших квадратов или иных методов, учитывающих нелинейность эффектов).

Использование метода линейной регрессии для нестационарных временных рядов может дать некорректные оценки для взаимосвязи между этими рядами, поскольку значимая корреляция между ними может быть обусловлена исключительно их нестационарностью (так называемый эффект "мнимой регрессии" или "мнимой корреляции"). В этом случае следует использовать специальные методы анализа временных рядов (проверка стационарности, проверка коинтеграции, преобразование временных рядов к стационарному виду, выделение тренда и сезонности и т.д.).

Использование метода линейной регрессии может дать некорректные результаты в том случае, когда имеется взаимное влияние между зависимым и объясняющим показателями, например, между ВВП и доходами населения (это частный случай эндогенности в регрессионных моделях). В этом случае для оценки взаимосвязи между зависимым и объясняющим показателями требуется использовать специальные методы (например, метод инструментальных переменных)

5) проблемы измерений. Проблемы измерений могут включать в себя ошибки при измерениях, ненадежность прокси-показателей, ограниченность пределов измерения;

Примеры нарушения статистической валидности

Если возраст - важный фактор модели, но в выборке присутствуют только люди в возрасте от 21 года до 28 лет, то результаты могут оказаться смещенными и не могут быть распространены на другие возрастные категории.

Если шкала ответов представлена вариантами "хорошо", "прекрасно", "замечательно", то у разных респондентов эти слова могут означать разную степень удовлетворенности

6) ошибки спецификации. Невключение важных показателей в модель, либо включение неважных.

Пример нарушения статистической валидности

Если регрессионная модель не включает в число объясняющих показателей важный, значимый фактор, то все остальные регрессионные коэффициенты, вообще говоря, будут смещенными и несостоятельными, то есть модель даст некорректные результаты. В частности, при проведении регрессионного анализа следует избегать оценки парных регрессий, используя множественную регрессию с включением константы и основных факторов, влияющих на зависимую переменную.

С другой стороны, включение нерелевантных показателей может увеличить коэффициент детерминации регрессионной модели, но это также повлечет увеличение стандартных ошибок и расширение доверительных интервалов для регрессионных коэффициентов, так что действительно важные показатели могут стать незначимыми. Это приведет к тому, что будут сделаны некорректные выводы относительно взаимосвязей между входящими в модель показателями