Состоялась вторая сессия Всероссийской Школы Оценки

наклейка 2016

ИТОГИ ВСЕРОССИЙСКОЙ ШКОЛЫ ОЦЕНКИ

9-10 июня 2016 года в Архангельске состоялась вторая сессия Всероссийской Школы Оценки. В целом, Школа Оценки состояла из двух сессий, интервал между которыми составил год.

Это событие, как и в прошлом году, было проведено в рамках Школы Социальных Программ, состоявшей семинаров «Конкурс проектов и программ – жизненный цикл» (для начинающих) и «Ключевые процессы экспертизы проектов» (6 июня 2016) и Российской Школы Грантмейкинга (7-8 июня 2016), организатором являлся Благотворительный фонд развития сообщества «Гарант» и Школы Оценки 9- 10 июня 2016, организатор — НП ИнА-Центр.

На первой сессии Школы Оценки, которая прошла в Новосибирске в июне 2015 года, было больше 80 слушателей из 25 городов и сел, которые ознакомились с практическими основами оценки социально-ориентированных проектов и программ.

Мы обсудили место оценки в системе управления программами и проектами; рассмотрели методы, принципы и инструменты оценки программ. Первая сессия завершилась обсуждением практических аспектов внедрения оценки. Материалы первой сессии выложены здесь.

После обучения участники выполняли практическую работу при консультационной и методической поддержке экспертов: проводили оценку проектов, программ, независимую оценку качества оказания услуг, готовили технические задания по оценке, оценивали уровень развития организаций, оценивали программы поддержки СО НКО. В начале выполнения этих практических «домашних заданий» слушатели приняли участие в вебинаре по этике оценки и выработали общие подходы к работе.

По ходу выполнения домашних задания для слушателей и всех заинтересованных лиц была проведена «Весенняя серия вебинаров по оценке», охватившая следующие темы: категориальные оценочные шкалы; социальный возврат на инвестиции; независимая оценка качества оказания услуг; особенности составления отчета по оценке и презентация его заказчику.

Вторая сессия Школы Оценки стала продолжением предыдущей и была ориентирована в основном на тех, кто уже имеет практический опыт или успел применить на практике знания, полученные на первой сессии. Около половины участников первой сессии приехали на вторую. На ней присутствовали 86 человек из 26 городов и сел. 88% слушателей оценили на 4-5 баллов из 5 общую программу конференции. В тексте ниже есть ссылки на выступления, презентации и дополнительные материалы.

Как отозвался один из участников о Школе Оценки: «Вкусно. Концентрировано, в тему. Замечательные спикеры», многие участники отмечали, что программа насыщенная и при этом удачно проработанная, «темы новые, «на острие». Также отмечали, что интересно было сравнить опыт разных территорий, и удачным был географический подбор – как мегаполисы, так и небольшие поселения. С одной стороны, это позволяет «увидеть специфику, перенять опыт» и даже «заглянуть в будущее самим СО НКО», а с другой стороны, присутствовавшие представители фондов воочию увидели некоторые региональные аспекты и смогли получить искреннюю обратную связь от жителей небольших городов. В анкете на вопрос «Какие еще вопросы после Школы Оценки у Вас остались?» несколько человек написали: «Основной вопрос – когда будет продолжение?»

Для того, чтобы ввести в курс дела тех, кто не имеет практического опыта, но заинтересован в оценке и решил принять участие во второй сессии Школы Оценки, мы провели вводный мастер-класс в начале работы, в первый день. На мастер-классе для начинающих оценщиков «Цели и сфера приложения оценки. Введение в инструменты и методы оценки« (ведущие Ирина Решта и Павле Панин, НП ИнА-Центр) были рассмотрены цели и место оценки в управлении проектом. Слушатели ознакомились со многими понятиями и подробно остановились на индикаторной оценке, рассмотрев ее на живых примерах. В качестве «базы» был взят проект одного из участников семинара и в рабочих группах мы проанализировали результаты этого проекта на разных уровнях и разработали часть системы индикаторов. 90% слушателей оценки практическую применимость знания на 4-5 по пятибалльной системе. Конечно, мы как оценщики, понимаем, что важна не оценка мастер-класса по его окончании, а оценка по истечении некоторого срока. Хотя один из слушателей сказал, что уже понял, как оценить устойчивость его проекта и как заранее продумать результаты на всех уровнях, чтобы повысить устойчивость проекта. По поводу мастер-класса для начинающих, участник сказали, что «Было много примеров из практики и это сделало материал доступным».

Для тех, кто был на первой сессии год назад, работа началась с рассмотрения типичных ошибок оценщиков-практиков и с анализа домашних заданий Алексеем Кузьминым (компания «Процесс Консалтинг»), по которым была дана обобщенная обратная связь. 100% участников семинара отметили, что полученную обратную связь можно использовать непосредственно на практике, улучшая работу.

Затем участники включились в обсуждение специфики мышления для проведения оценки, приняв участие в семинаре «Системное мышление в оценке« (ведущий – Алексей Кузьмин, компания «Процесс Консалтинг»). По мнению одного из участников, такие сложные темы «не только задают высокий уровень знаний и формируют грамотные подходы, но демонстрируют, что оценка — это действительно целая профессия, которая требует специфических навыков и даже специфического мышления».

Второй день Школы Оценки был посвящен более практическим вопросам. На пленарном заседании были подведены промежуточные итоги проекта «Усиление экспертного потенциала СО НКО в области оценки«, в рамках которого и проводится Школа Оценки, и было задано три генеральных линии дальнейшей работы Школы:

  • Оценка в применении к различным объектам и выполняемая для разных субъектов;
  • Инструменты оценки;
  • Подходы и тенденции.

В завершение Школы мы заглянули в завтрашний день оценки :)

Оценка в применении к различным объектам и выполняемая для разных субъектов

Что касается применения оценки к различным объектам и для разных субъектов, то эта тема раскрывалась на следующих секциях:

По мнению участников, мастер-класс был интересным (83,3% поставили максимально возможный балл) и в отзыве один участник написал: «Бесценный опыт был презентован. Интересно было узнать искренние мнения, а не прочитать формальные отчеты по оценке.»

  • Семинар: Оценка госпрограмм, ведущий – Елена Малицкая (Некоммерческое партнерство «Информационно-аналитический Центр развития гражданских инициатив» (НП «ИнА-Центр»). Семинар начался с выступлений практиков:
    Ирина Решта (НП ИнА-Центр, г.Новосибирск): Оценка потенциала СО НКО. В конце 2015 года специалисты НП ИнА-Центр разработали и апробировали уникальную для нашей страны методику оценки потенциала СО НКО. Работа проводилась в рамках государственного заказа Правительства Хабаровского края на проведение мониторинга результатов деятельности региональных организаций. Практическое применение методики уже принесло свои первые плоды. Основным продуктом применения этой методики является Индекс Социального Потенциала СО НКО – совокупный Индекс Социального Потенциала (ИСП) СО НКО определенной территории или же ИСП отдельно взятой СО НКО. По аналогии с инвестиционным потенциалом, ИСП отдельно взятой СО НКО показывает, насколько привлекательной является СО НКО для доноров, например, при проведении конкурса. Мы рассказали об опыте составления рейтинг ИСП территории. Совокупный ИСП территории показывает, какие именно направления развития СО НКО приоритетны для скорейшего решения социальных проблем территории. Заказчиками оценки потенциала являются и могут являться власти, крупный социально-ответственный бизнес. По этому же вопросу выступила Татьяна Сейфи, заведующий сектором по взаимодействию с социально ориентированными некоммерческими организациями Главного управления информационной политики и общественных связей Губернатора и Правительства Хабаровского края. Таким образом, было интересно рассмотреть эту тему – методику оценки потенциала — с двух позиций. Данная методика которая была презентована впервые в сообществе оценщиков.
  • Анна Риган (Камчатский краевой центр поддержки социально ориентированных некоммерческих организаций, г. Петропавловск-Камчатский): Результативность и эффективность поддержки ННО по итогам мониторинга проектов и программ ННО.
    • Анастасия Старикова (Некоммерческая организация «Фонд поддержки социальных инициатив «Содействие», г.Пермь): Специфика проведения мониторинга проектов тематического конкурса. Презентация вызвала интересное обсуждение, так как для оценки применялись более сложные в использовании качественные индикаторы.

Стоит добавить, что оценка в нашем понимании значительно отличается от оценочных функций, выполняемых контрольно-счетной палатой. Хотя, контрольно-счетная палата тоже проверяет достижение результатов, целевое использование финансирования в рамках программной деятельности. Сейчас контрольно-счетная палата активно занимается проверкой и контролем госпрограмм по поддержке СО НКО.

  • Мастер-класс: Оценка благотворительных программ бизнес компаний и частных фондов, ведущий – Наталья Тюшкевич (Благотворительный детский фонд «Виктория»). Мастер-класс был предельно практическим и проводился в формате групповых заданий, позволяющих осознать специфику работы с этим субъектом и получить практический опыт.

Инструменты оценки

Инструменты оценки подробно рассматривались на мастер-классе для начинающих (Цели и сфера приложения оценки. Введение в инструменты и методы оценки (ведущие: Ирина Решта, Павел Панин, НП «ИнА-Центр»), о котором более подробно рассказано выше.

  • Специфические подходы и инструменты также были рассмотрены на Семинаре: Оценка качества жизни в различных аспектах, ведущий – Екатерина Лычева (Благотворительный фонд развития сообщества «Гарант»).
    Для начала стоит понять разницу между уровнем жизни и качеством жизни. Понятие уровня жизни (близкое к уровню благосостояния) — это степень удовлетворения материальных и духовных потребностей людей массой товаров и услуг, используемых в единицу времени. Уровень жизни базируется на объёме реальных доходов на душу населения и соответствующем объёме потребления. Организацией Объединенных Наций рекомендован перечень условий жизнедеятельности, которые в совокупности составляют понятие «уровень жизни»:
    Рождаемость, смертность, продолжительность жизни;
    • Санитарно-гигиенические условия жизни;
    • Уровень потребления продовольствия;.
    • Жилищные условия;
    • Возможности образования и культуры;
    • Условия труда и уровень занятости;
    • Баланс доходов и расходов;
    • Потребительские цены;
    • Обеспеченность транспортом;
    • Возможности для отдыха;
    • Система социального обеспечения;
    • Обеспечение прав и свобод человека.

По определению ВОЗ качество жизни — это восприятие индивидами их положения в жизни в контексте культуры и системе ценностей, в которых они живут, в соответствии с целями, ожиданиями, нормами и заботами. Качество жизни определяется физическими, социальными и эмоциональными факторами жизни человека, имеющими для него важное значение и на него влияющими. Качество жизни — это степень комфортности человека как внутри себя, так и в рамках своего общества. По мнению социологов Финансового университета при Правительстве РФ, высокое качество жизни человека подразумевает:
• достаточную продолжительность здоровой жизни, поддержанную хорошим медицинским обслуживанием и безопасностью (отсутствием значимых угроз жизни и здоровью),
• приемлемый объем потребления товаров и услуг, гарантированный доступ к материальным благам,
• удовлетворительные социальные отношения, отсутствие серьезных общественных конфликтов и угроз достигнутому уровню благополучия,
• благополучие семьи,
• познание мира и развитие – доступ к знаниям, образованию и культурным ценностям, формирующим личность и представления об окружающем мире,
• учет мнения индивида при решении общественных проблем, участие в создании общепринятой картины мира и правил поведения человека,
• социальную принадлежность, полноправное участие в общественной и культурной жизни во всех их формах,
• доступ к разнообразной информации, включая сведения о положении дел в обществе,
• комфортные условия труда, дающего простор для творчества и самореализации, относительно короткий рабочий день, оставляющий человеку достаточно свободного времени для различных занятий.

Существуют интересные индексы, с помощью которых специалисты замеряют качество жизни — от индекса счастья и до индекса Биг-Мака).

Наиболее применимым с практической точки зрения является индекс качества жизни, разработанный компанией Economist Intelligence Unit, включает девять факторов качества жизни для определения оценки страны:
1. Здоровье: Ожидаемость продолжительности жизни (в годах). Источник: US Census Bureau;
2. Семейная жизнь: Уровень разводов (на 1 тыс. чел.), ставится оценка от 1 (мало разводов) до 5 (много разводов). Источники: ООН; Euromonitor;
3. Общественная жизнь: Переменная принимает значение 1 если в стране высокий уровень посещаемости церкви или профсоюзного членства. Источник: World Values Survey;
4. Материальное благополучие: ВВП на душу населения, Паритет покупательной способности. Источник: Economist Intelligence Unit;
5. Политическая стабильность и безопасность: Рейтинги политической стабильности и безопасности. Источник: Economist Intelligence Unit;
6. Климат и география: Широта, для различения холодных и жарких климатов. Источник: CIA World Factbook;
7. Гарантия работы: Уровень безработицы (в процентах). Источник: Economist Intelligence Unit;
8. Политическая свобода: Средний индекс политической и гражданской свободы. Шкала от 1 (полностью свободная) до 7 (несвободная). Источник: Freedom House;
9. Гендерное равенство: Измеряется путём деления средней зарплаты мужчин на зарплату женщин. Источник: UNDP Human Development Report.

Факторы качества жизни в более узком аспекте — к конкретным целевым группам — были рассмотрены на трех примерах:
Оценка качества жизни людей с ограниченными возможностями (Екатерина Лычева, Благотворительный фонд развития сообщества «Гарант», г.Архангельск);
Оценка влияния проектов по Серебряному возрасту на качество жизни пожилых людей (Людмила Синкевич (Дзержинская районная организация ВОИ, г.Пермь);
• Оценка программ в сфере детства (Наталья Тюшкевич (Благотворительный детский фонд «Виктория», г.Москва).

В завершении секции был рассмотрен пример, связанный с оценкой качества жизни на определенной территории: Екатерина Лычева (Благотворительный фонд развития сообщества «Гарант») рассказала о методике оценки социального самочувствия.

Об этом семинаре участники отозвались таким образом: «Информация была хорошо структурирована», «особенно интересным было выступление об оценке качества жизни людей с ограниченными возможностями», поскольку эта тема для России новая и мало обеспеченная методическими материалами и в нескольких анкетах написали, что было бы интересно «прочитать о результатах применения этой методики». На самом деле о результатах применения можно будет говорить только в очень обобщенном виде, так как по условиям данной оценки нельзя озвучивать результаты. Об этих этических нормах оценки также шла речь на семинаре.

Подходы и тенденции

Третья генеральная линия Школы Оценки была связана с подходами и тенденциями. Данная тематика раскрывалась на трех секциях:
• На семинаре по системному мышлению, ведущим которого был Алексей Кузьмин, компания «Процесс Консалтинг» (об этом семинаре было сказано выше);
• На семинаре про завтрашний день оценки: Будущее оценки: тенденции, вызовы, прогнозы, который провел также Алексей Кузьмин (Компания «Процесс Консалтинг»). Участники оставили очень хорошие отзывы о ведущем. Кратким иллюстрирующим выступлением стал пример об использовании телекомуникационных технологий и аппаратного обеспечения при проведении оценки Людмилы Владыко (консультант агентства молодежной политики и программ общественного развития Красноярского края. Секретарь Совета по краевым социальным грантам): Инструменты интернет-технологий в экспертизе проектных заявок и мониторинге реализации проектов государственной грантовой программы Красноярского края «Социальное партнерство во имя развития». В целом этот семинар вызвал большой интерес участников — 93% поставили высшие оценки интересной подаче материала, но при этом 20% участников считают, что наше российское сообщество оценщиков не скоро попадет в этом светлое технологически развитое будущее, но направление движения задано — в одной из анкет указано: «Теперь мы знаем, куда идти и куда надо прийти»;
• Тенденция к безусловной профессионализиции сообщества оценщиков послужила основой для дискуссии «Профессиональный стандарт для специалиста по оценке программ и политик в социальной сфере«, которую провел Алексей Кузьмин (Компания «Процесс Консалтинг»). Очевидно, что профессия развивается, она востребована заказчиками. Участники пообещали дать обратную связь по разрабатываемому профессиональному стандарту, обсудив эту тему в своих регионах с коллегами.

По поводу этой линии Школы во многих отзывах написано, что «будущее покажет практическую применимость полученных знаний», но «знания однозначно интересные», нестандартные и «меняющие восприятие оцениваемой области».

На завершающем заседании были подведены итоги мероприятий, проанонсирована будущая конференция Ассоциации специалистов по оценке программ и политик и участники получили сертификат о прохождении курса Всероссийской Школы Оценки.

Как написал один из участников о прошедшем мероприятии: «Очень хорошо, но мало. Хочется продолжения». И закончим мы этот мини-отчет шутливым отзывом, высказанным на секции по будущему оценки: «Теперь я вижу, что будущее оценки в надежных руках — благодаря знаниям, полученным на этой Школе». Ведь в каждой шутке есть доля правды.

Фотография с первого дня Школы Социальных Программ
Фотография завершения первого дня Школы Социальных Программ

РАСПИСАНИЕ ШКОЛЫ ОЦЕНКИ и краткая информация по проведенным секциям

Время Секции
Первый день — 9 июня
9:00-10:00 Регистрация участников
10:00-12:00 Мастер-класс для начинающих оценщиков: Цели и сфера приложения оценки. Введение в инструменты и методы оценки / Ведущие: И.Решта, П.Панин (Некоммерческое партнерство «Информационно-аналитический Центр развития гражданских инициатив» (НП «ИнА-Центр») Семинар: Типичные ошибки оценщиков. Анализ практических работ и обобщенная обратная связь / Ведущий: А.Кузьмин (Компания «Процесс Консалтинг»)
12:00-13:30 Обед
13:30-14:00 Пленарное заседание
14:00-15:30 Семинар: Системное мышление в оценке / Ведущий: А.Кузьмин (Компания «Процесс Консалтинг»)
15:30-16:00 Кофе-брейк
16:00-17:30 Семинар: Системное мышление в оценке / Ведущий: А.Кузьмин (Компания «Процесс Консалтинг») — продолжение семинара
Второй день — 10 июня
10:00-12:00 Мастер-класс: Некоторые аспекты независимой оценки качества оказания услуг в социальной сфере/ Ведущий: О.Кочева (Центр ГРАНИ) Семинар: Оценка качества жизни в различных аспектах / Ведущий: Е.Лычева (Благотворительный фонд развития сообщества «Гарант»)
12:00-13:00 Обед
13:00-14:30 Семинар: Оценка госпрограмм / Ведущий: Е.Малицкая (Некоммерческое партнерство «Информационно-аналитический Центр развития гражданских инициатив» (НП «ИнА-Центр») Будущее оценки: тенденции, вызовы, прогнозы / Ведущий: А.Кузьмин (Компания «Процесс Консалтинг»)
14:30-15:00 Кофе-брейк
15:00-16:30 Мастер-класс: Оценка благотворительных программ бизнес компаний и частных фондов / Ведущий: Н.Тюшкевич (Благотворительный детский фонд «Виктория») Дискуссия: Профессиональный стандарт для специалиста по оценке программ и политик в социальной сфере / Ведущий: А.Кузьмин (Компания «Процесс Консалтинг»)
16:30-17:30 Подведение итогов