Редакция журнала «Позитивные изменения» – Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023) (страница 2)

Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.

Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?

Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.

Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность – это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.

Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?

Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.

Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?

Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу – насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.

Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.

Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?

К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам – с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.

Сегодня оценка – это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами.

Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?

Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.

А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.

Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка – это не только методики, но еще и межличностные отношения.

В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?

Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.

Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.

То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.

Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.

В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?

Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.

В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.

Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.

Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.

Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?

Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.

Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.

Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.