Что нового и неустаревающего в оценке и как это учитывать при обучении оценке? |

Дорогие коллеги по оценке! Мы провели два исследования, связанных с оценкой, и решили не жадничать, а поделиться с вами результатами :)

В рамках проекта «Формирование экосистемы обучения и просвещения в области оценки в социальной сфере», выполняемого при поддержке ФПГ Ассоциацией ИнА-Центр, которая входит в холдинг «Сибирский Центр», мы (ИнА-Центр и наши партнеры по проекту Компания «Процесс Консалтинг») перелопатили большой объем информации, проанализировали тенденции оценки и собрали данные для разработки образовательных программ, ибо нам важно давать ученикам актуальную информацию.

Расскажу про тренды оценки и как каждый из них учитывать.

Итак, начнем.

Гуру оценки Майкл Скривен и Майкл Пэттон еще в 2008-2009 годах говорили о том, что оценка развивается как трансдисциплина, то есть как такая отрасль знания, которая имеет самостоятельный статус и в то же время используется как методологический или аналитический инструмент в нескольких других дисциплинах. Поясняя этот тезис, Майкл Пэттон (2009) писал: «…В любой дисциплине, профессии или области деятельности люди занимаются оценкой в той или иной форме.» Что греха таить – принимая взвешенные управленческие решения в большинстве областей мы проводим оценку или исследование с элементами оценки, назвать это трендом сложно, но начать с этого статью вполне уместно :)

Как это отразилось в проектах?

Анализ поданных на конкурсы ФПГ проектов показал тенденцию — появились новые прикладные области в оценке, появились пересечения оценки с другими областями. Работающие в них специалисты заинтересованы в применении оценки именно в контексте их программ и направлений деятельности. Одной из таких прикладных областей является, в частности, оценка в социальном предпринимательстве. Кстати, в программе конференции АСОПП в 2023 году эта тенденция тоже отразилась.

Поскольку в оценке используются методы социальных наук, развитие методологии оценки происходит параллельно с развитием методологии социальных исследований. Применительно к оценке программ и проектов исследователи отмечают следующие общие тенденции:

· Использование больших данных;

· Использование науки о сложных системах и системного мышления;

· Переход к трансформационной парадигме: что происходит? (мониторинг) – что произошло? (оценка) – что произойдет? (предсказание) – как мы можем изменить (повлиять на) то, что произойдет? (трансформационный подход).

Как нам, практикам и преподавателям оценки, это применить?

Можно с уверенностью констатировать, что оценка развивается в направлении использования смешанных методов; развивается системный подход. Оценка в академических кругах вызывает все больший интерес и ожидания от нее, а вернее, требования к ней, ужесточаются. Например, есть ожидание про контрольные группы, есть рамки описания методологии. То, чем пользовались традиционно НКОшники, разрабатывая авторские методики и внедряя их, оказывается чуть ли не замахом на докторскую диссертацию, с точки зрения представителей академических кругов :) Оценщикам важно принимать во внимание мнение научного сообщества.

Сегодня функция внутренней оценки чаще всего ассоциируется с научением. На смену словосочетанию «мониторинг и оценка» пришло устойчивое словосочетание «мониторинг, оценка и научение» (далее – МОН). В английском варианте это звучит как monitoring, evaluation, and learning. Имеется в виду, что мониторинг и оценка способствуют получению организацией нового практически полезного знания, поддерживая тем самым развитие организации как обучающейся.

«По сути, МОН представляет собой систему или цикл со всеми тремя компонентами: мониторингом, оценкой и обучением, работающими во взаимосвязи на всех этапах проекта и программы — от инициирования до завершения. МОН помогает организациям прояснять намерения, собирать важные данные для оценки эффективности интервенций и отслеживать рычаги для изменений. В идеале процессы МОН должны также включать реалистичную оценку внутренних и внешних возможностей, чтобы быстро реагировать и адаптироваться в режиме реального времени». Встраивание МОН в систему адаптивного управления – одна из важных современных тенденций (P. Rogers, Macfarlan, A., 2020).

Как использовать?

Я бы сказала, что про развивающий потенциал оценки мы всегда говорили, но теперь можно уже со ссылкой на триаду МОН говорить, что мониторинг-оценка-научение встраиваются в деятельность организации на разных уровнях:

· базовом уровне (учет организационного контекста, культурных особенностей, базовых принципов деятельности);

· на уровне «теории изменений» (учет взаимосвязи действий с ожидаемыми результатами);

· на уровне практического принятия решений и научения.

Также стоит попробовать смотреть на свою организацию как обучающуюся. Обучающаяся организация (в английском исходнике learning organization) — организация, которая поддерживает все форматы обучения (формальное, неформальное, на рабочем месте и т. д.) и рассматривает обучение как неотделимую часть рабочего процесса. Обучающаяся организация предполагает, что обучение — не просто накопление знаний, а осмысленное развитие умения их использовать. Про осмысленное развитие — классная идея, хоть и не скажешь, что инновационная, да?

Продолжается тенденция усиления доказательности, набирает обороты доказательная филантропия. Исследование, проведенное Центром развития филантропии Фонда Потанина (Кузьмин, 2020), показало, что одной из тенденций развития филантропии в современном мире является повышение доказательности. Доказательной можно назвать любую концепцию или стратегию, в основе которой лежит объективная информация, как правило, это результаты исследований или измерений. Часто также говорят о том, что именно надежные данные, а не личный опыт либо интуиция, станут драйвером развития филантропии в будущем.

Эксперты грантовых конкурсов стали уделять больше внимания доказательности.

Как использовать?

Чаще обращаться к реестру доказательных практик и к доказательному подходу.

Мы анализировали зарубежные тенденции в обучении оценке, не будем на них останавливаться подробно. Скажу лишь, что за рубежом программы для НКО, как правило, включают:

· Основы оценки проектов и программ;

· Теории изменений, логические модели;

· Сбор и анализ данных;

· Отчетность и коммуникации.

Как использовать?

Обращать внимание на эти темы – я бы даже сказала продолжать обращать внимание, так как эти темы мы в работе и обучении постоянно охватываем.

Анализируя нашу российскую ситуацию, мы выделили две группы заинтересованных в изучении оценки людей, то есть в первую очередь — потенциальных клиентов обучающих программ:

· Заинтересованные в коротком, довольно формальном обучении с подтверждением прохождения обучения и с оплатой за счет направляющей на обучение организации.

· Заинтересованные в длинном обучении, включая сопровождение и поддержку специалистов и общение с преподавателями, возможно, за собственные средства, с перспективой вхождения в профессиональное сообщество.

· Потенциальные преподаватели оценки, которые являются преимущественно представителями академической сферы и хотят расширить направления своей работы.

Как использовать?

Учитывать потенциальных клиентов при разработке учебных курсов, при подборе кейсов и при выборе каналов привлечения учеников.

Под занавес поговорим про тренды современного российского третьего сектора, которые интересны с точки зрения оценки. Приведу сразу «избранные» выводы и соображения о том, как это можно использовать.

· Гибридность секторов и разные формы организаций плюс гибкость организации вынуждают нас акцентировать внимание на краткосрочных результатах, затрудняют преемственность данных и преемственность показателей оценки.

· Акцент на ценностях, значительное количество проектов патриотической, ценностной направленности, кросс-культурные проекты. Здесь мы сталкиваемся со сложностями оценки патриотических и кросскультурных программ, эти примеры мы будем рассматривать в наших образовательных программах.

· Внимание к имиджу, одним из основных инструментов которого являются соцсети. В контексте имиджа важна демонстрация результатов за счет оценки.

· Появляются специфические методики оценки и показатели.

Посмотреть полный текст наших исследований вместе со ссылками на первоисточники и списком литературы (в котором аж 41 публикация!) можно здесь:

· Аналитический обзор мировых тенденций в оценке и зарубежных образовательных программ по оценке, подготовленный компанией «Процесс Консалтинг»;

· Аналитический обзор по потребностям НКО в контексте оценки, подготовленный Ассоциацией ИнА-Центр.