영향평가 설계의 6단계
한 프로젝트의 효과는 어떻게 평가될까요? 가령, 코로나 바이러스 백신이 효과적인지 어떻게 장담할 수 있을까요? 영향평가(impact evaluation)는 이 질문에 대답하는 한 방법입니다. 영향평가는 프로젝트가 해당 지역에 이끌어낸 변화를 측정하여 프로젝트의 효과에 대한 중요한 정보를 제공합니다. 이 블로그에서는 각 개발 원조 프로젝트에 적합한 영향평가 계획을 세우는 과정을 6단계로 나누어 소개합니다.
녹색기후기금(Green Climate Fund, 이하 GCF)은 독립평가기관(Independent Evaluation Unit, 이하 IEU)을 두어 기금이 효율적으로 운영되고 있는지 다양한 방식으로 분석하며, IEU는 기관 내에 학습 지향적 실시간 영향평가(Learning-Oriented Real-Time Impact Assessment, 이하 LORTA)팀을 구성해 프로젝트 영향평가를 전담하고 있습니다. 저는 바로 이 LORTA 팀의 일원으로 2020년에9주에 걸쳐 LORTA 온라인 워크샵을 진행했고, 이 블로그를 통해 워크샵의 핵심 내용을 전달하고자 합니다.
1. 변화 이론 (Theory of Change)
영향평가 계획을 세우는 첫 걸음은 변화 이론을 작성하는 것입니다. 변화 이론은 프로젝트 논리 구조(program logic)를 묘사한 것으로(Clark & Taplin, 2012), 특정 지원 내용이 어떤 중간 과정을 거쳐 최종 목표로 이어질지 서술합니다 (Rogers, 2014).변화 이론은 그림, 표 등 다양한 형식으로 만들 수 있지만, IEU는 그림 1과 같은 순서도 형식의 변화 이론을 사용합니다.
그림 1은 GCF의 Resilient Rural Belize 프로젝트의 활동, 산출물, 결과, 영향으로 이어지는 순서도를 보여주고 있습니다. 변화 이론의 각 단계 사이에는 가정(assumption)을 삽입해 이전 단계에서 다음 단계로 넘어가기 위해 만족해야 하는 조건들을 서술합니다. 가정은 핵심적인 행동 메커니즘을 담고 있기 때문에 프로젝트의 성공에 중요한 역할을 합니다. 각 단계와 가정이 실제로 성립하는지는 어떻게 알 수 있을까요? 프로젝트 담당자들은 각 단계마다 적절한 지표(indicator)를 만들어 지속적으로 그 값을 측정합니다. 이 방법으로 연구자들은 프로젝트의 어떤 단계에서 이론과 현실이 다른지 확인하고 주기적으로 변화 이론을 현실에 맞게 수정할 수 있습니다 (Clark & Taplin, 2012).
그림 1. FP101 – Resilient Rural Belize의 변화 이론
출처: 2020 LORTA 온라인 워크샵
2. 평가 질문과 지표 (Evaluation Questions and Indicators)
다음으로 할 일은 변화 이론을 이용해 분명하고 현실적인 평가 질문 (evaluation questions) 을 세우는 것입니다. 주요 질문은 프로젝트가 목표에 미치는 영향력을 확인하는 것이 되어야 합니다 (Gertler et al., 2016). 예를 들어, 그림 1의 변화 이론을 참고할 때 Resilient Rural Belize 프로젝트 의 핵심 평가 질문은 다음과 같을 것입니다. “사업 계획 수립 지원과 뒷마당 정원 조성이 이 지역 커뮤니티의 기후 관련 충격에 대한 회복탄력성을 증대시켰습니까?” 이러한 질문은 다소 포괄적이기 때문에, 주요 질문에 대답하기 위해 필요한 구체적인 질문을 몇 개 만들어 줍니다. 가령, “뒷마당 정원 조성이 참여자들의 소득 증가로 이어졌습니까?”는 좋은 세부 질문이 될 것입니다. 이 단계에서는 회복탄력성과 같은 추상적 개념을 관련 지표(indicator)와 함께 정의해주는 것이 필요합니다. Resilient Rural Belize 프로젝트는 회복탄력성을 저축, 자산, 건강한 음식, 소비, 융자에 대한 낮은 의존도로 측정하기로 하였습니다. 세부 질문은 프로젝트의 추후 다면적인 평가에도 필요합니다. 잘 만든 개발 이론(Theory of Change)은 프로젝트를 체계적으로 보여주기 때문에 평가 질문 수립에 큰 도움이 됩니다 (Clark and Taplin, 2012).
3. 실험적 방법 (Experimental methods)
실험적 방법(experimental design)이 해당 프로젝트의 평가에 적절한지 결정하는 것은 영향평가 계획의 하이라이트입니다. 무작위 대조군 연구(Randomized controlled trial, 이하 RCT)는 실험적 방법이라고도 불리며,처치 집단과 통제 집단을 목표 집단에서 무작위로 설정하여 프로젝트의 영향력을 추정합니다. 그림 2는 고전적인 RCT의 수행 과정을 보여줍니다.
Figure 2. 고전적인 RCT의 수행 과정
Resilient Rural Belize 프로젝트의 경우 다음과 같이 단계적 도입 RCT(phase-in RCT)를 수행합니다. 우선 뒷마당 정원을 지원받을4천여 가구를 선정합니다. 지원 자격은 소득, 직업, 거주지 등 다양한 특성을 기준으로 정합니다. 그리고 4천여 가구에서 무작위로 1,000개의 가구를 각각 처치 집단과 통제 집단으로 분배해서 처치 집단에게는 우선적으로 뒷마당 정원을 조성해주고 통제 집단은 나중에 같은 내용을 지원해줍니다. 무작위로 원조를 제공하면, 처치 집단과 통제 집단의 특성은 평균적으로 같게 됩니다. 이러한 접근 방식은 표본 선택 편의(Self selection bias)—엘리트나 특정 사회 집단이 처치 집단이나 통제 집단 중 한 집단에만 자발적으로 등록해서 결과를 교란하는 것— 를 예방해줍니다. 마지막으로, 두 집단의 평균 결과 지표(indicator)를 비교하면 프로젝트의 효과를 알 수 있습니다. 무작위 배정은 다양한 방식으로 할 수 있는데, 크게 다음 4가지로 구분됩니다: 고전적인 RCT(classical RCT), 단계적 도입 RCT(phase-in RCT), 무작위 유인 RCT(random encouragement design), 군집 RCT(clustered randomization design)입니다. 영향평가 방법은 평가하고자 하는 프로젝트의 운영 특성에 따라 다르게 결정됩니다 (Gertler et al, 2016).
4. 비실험적 방법(Non-experimental methods)
무작위 대조 연구는 유용하지만, 항상 사용할 수 있는 것은 아닙니다. 프로젝트의 행정적 , 비용적, 정치적 이유로 실행이 어려운 경우도 있습니다. 때문에 영향평가에는 유사 실험 방법(quasi-experimental methods)이라고도 불리는 비실험적 방법(non-experimental methods)도 사용됩니다. 대표적으로 4가지의 비실험적 방법이 채택되는데, 그 중 3가지는 이중차분법(difference-in-difference), 성향 점수 매칭(propensity score matching), 회귀 불연속 설계(regression discontinuity design)로 통제 집단을 활용합니다. 나머지 한 방법은 도구 변수를 활용한 회귀 분석(instrumental variable regression)으로 통제 집단을 사용하지 않습니다.
5. 표본 크기와 검정력 계산(Sample size and power calculation)
만약 영향평가에 실험적 방법을 사용하기로 했다면, 그 다음에는 필요한 표본 크기와 통계적 검정력을 확인해야 합니다. 표본은 클수록 좋지만, 데이터 수집 비용이 많이 들기 때문에 연구자들은 영향평가의 질과 예산 제약 사이에서 절충안을 찾습니다. 이러한 관점에서 검정력 계산(power calculations)은 통계적으로 유의한 프로젝트 영향력을 찾는데 필요한 표본 크기를 정하는 것을 도와줍니다 (White and Raitzer, 2017). 검정력 계산은 연구에서 찾고자 하는 가장 작은 수준의 효과인 최소 효과 크기(minimum effect size)를 사용합니다. 만약 연구 설계에 군집(cluster)이 있다면, 검정력 계산은 좀 더 복잡해지지만 여전히 간단한 공식을 통해 계산할 수 있습니다. 검정력 계산은 각 목표 변수마다 따로 계산되어야 합니다.
6. 영향평가 일정과 예산(Timeline and budget)
분명한 일정과 예산을 수립하는 것은 영향평가 계획의 마지막 단계입니다. 영향평가 일정 수립은 프로젝트를 이행하기 전 시작되어야 합니다. 평가는 대표적으로 기초 평가(baseline), 중간 평가(midline), 최종 평가(endline), 이 세 개의 단계를 거칩니다.표 1은 데이터 수집에 드는 예산 항목들의 예시입니다.
표 1. 데이터 수집에 드는 예산 항목들
| 예산 항목들 | |
|---|---|
| 스탭 비용 | 현장 코디네이터, 감독관, 설문조사원, 사회자(질적 연구), 통역가 등 |
| 훈련 비용 | 훈련 장소, 식대, 훈련 참가자들의 봉급, 숙소 등 |
| 교통비 | 자동차 대여, 연료비, 운전수, 버스나 오토바이 등의 교통비 |
| 기타 | 설문 조사용 태블릿, 인센티브, 훈련 자료의 인쇄 비용, 인터넷 비용, 표적 집단 면접 장소(질적 연구) |
출처: 2020 LORTA 온라인 워크샵 발표 자료
요약하면, 영향평가는 개발 원조 프로젝트의 효과를 측정하는데 사용됩니다. 연구자들은 목표 지수를 추적해서 지수의 변화가 프로젝트로부터 기인했는지 판단합니다. 이 블로그는 영향평가를 계획하는 작업을 6단계로 나누어 소개했지만, 사실 연구자들은 변화하는 현실과 새로운 발견으로 인해 끊임없이 계획을 수정합니다. 즉, 영향평가는 완성된 결과보다는 현장과의 밀접한 소통을 통해 지속되는 과정에 더 가깝습니다. LORTA 프로그램은 이러한 정신에 입각해 설립되었고, 녹색기후기금의 더 많은 프로젝트들이 영향평가를 할 수 있도록 영향평가 설계와 데이터 분석에서 전문적인 도움을 제공하고 있습니다.
참고 문헌
Clark, E., & Taplin, D. (2012). Theory of change technical papers: A series of papers to support development of theories of change based on practice in the field.
Hempel, K., & Fiala, N. (2012). Measuring Success of Youth Livelihood Interventions: A Practical Guide to Monitoring and Evaluation, World Bank, Washington, DC.
Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2016). Impact Evaluation in Practice, Second Edition, World Bank.
Rogers, P. (2014). Theory of Change, Methodological Briefs: Impact Evaluation 2, UNICEF Office of Research, Florence.
Richert, K., Parisi, D., Prowse, M., & Fiala, N. (2021). A Brief on the Potential Impact Evaluation Design for FP101 ‘Resilient Rural Belize’. Independent Evaluation Unit, Green Climate Fund, Songdo, South Korea.
White, H., & Raitzer, D.A. (2017). Impact evaluation of development interventions: A practical guide. Asian Development Bank.
https://www.theoryofchange.org/what-is-theory-of-change/toc-background/t...
Disclaimer: The views expressed in blogs are the authors' own and do not necessarily reflect the views of the Independent Evaluation Unit of the Green Climate Fund.