Основные этапы проведения экспертной оценки включают:
• Постановку задачи
• Подбор экспертов
• Опрос экспертов
• Обработку результатов опроса
• Вынесение суждения
Постановка задачи.
Любая оценка начинается с постановки задачи. Если мы хотим, чтобы оценка оказалась практически полезной, необходимо на этом этапе определить: кому, для чего и что именно нужно узнать по результатам оценки. Рассмотрим для примера ситуацию конкурса, по результатам которого финансирующей организации нужно отобрать лучшие из заявленных проектов. В данном случае оценка проводится на стадии планирования проектов, точнее, сразу после того, как планирование завершено. Соответственно, оцениваются замыслы проектов. Для этого чаще всего используется именно экспертная оценка. Основными пользователями результатов оценки являются лица, принимающие решения о финансировании. Результаты оценки планируется использовать для того, чтобы выбрать из числа заявленных проектов такие, которые, вероятнее всего, дадут желаемый результат. Поскольку мы имеем дело лишь с замыслами (теориями) проектов, речь может идти исключительно о вероятности достижения тех или иных результатов: гарантию в такой ситуации не сможет дать никто. Что именно хотят узнать у экспертов лица, принимающие решения о финансировании? Они хотят получить мнения экспертов о том, какова вероятность достижения цели в каждом из заявленных проектов.
Чаще всего вопросов к экспертам оказывается несколько, и они соответствуют критериям оценки проектных заявок. Существуют универсальные модели, содержащие критерии оценки замысла проекта вне зависимости от его направленности. Готовые перечни критериев (или вопросов к экспертам) удобны своей универсальностью. Их потенциальными недостатками являются избыточность либо неучёт специфических для конкретной ситуации информационных запросов лиц, принимающих решения.
Подбор экспертов.
После того, как задача поставлена, становятся понятными критерии подбора экспертов. На основании прошлого опыта и имеющихся знаний эксперты смогут предсказать вероятность успешного воплощения в жизнь тех или иных замыслов. Таким образом, критерии подбора экспертов определяются характеристиками поставленной задачи.
Опрос экспертов.
В самом общем виде опрос экспертов должен включать формулирование вопросов, на которые они должны ответить; ознакомление экспертов с проектными заявками; сбор ответов экспертов на поставленные вопросы. Исключительно важно формулировать вопросы к экспертам так, чтобы они находились в сфере их компетенции. Также важно хорошо продумать, в какой форме будет проводиться опрос экспертов и как будут фиксироваться их мнения. Методы опроса экспертов с целью выяснения их мнений весьма разнообразны. Опросы могут проводиться индивидуально либо коллективно; мнения экспертов могут выясняться с помощью анкетирования либо интервьюирования; опросы могут проходить в один тур или в несколько туров.
Обработка результатов опроса.
Это особенно актуально, когда в оценке участвует группа экспертов: их мнения необходимо соотнести, чтобы составить общую картину, соответствующую задачам оценки. При обработке результатов опроса экспертов используют различные методы. Выбор метода может зависеть от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы. Использование статистических методов обработки результатов экспертных опросов подробно рассматривается в специализированных учебных пособиях.
Вынесение суждения.
После того, как результаты экспертной оценки обработаны, должен быть дан ответ на вопрос или вопросы, которые были сформулированы на этапе постановки задачи. Например, могут быть названы проекты, вероятность успешной реализации которых в соответствии с замыслом, по оценке экспертов, является высокой. На этом собственно оценка завершается, а полученная информация будет использоваться в принятии соответствующих решений. Лица, принимающие решения, зачастую учитывают не только результаты экспертной оценки, но и целый ряд других факторов, поэтому список профинансированных проектов и список лучших, по мнению экспертов, проектов не обязательно полностью совпадут.
Автор: Алексей Кузьмин
Страница проекта: Поддержка развития оценки и развитие оценочного мышления. Пятый элемент