초록 열기/닫기 버튼

본 논문은 각종 자료기반 평가에서 자료의 질이나 방법론의 문제뿐만 아니라 질문주도의 평가가 먼저 전제되어야 함을 제시하고자 한다. 정책평가의 다목적성과 다차원성을 고려한다면 평가목적과 평가질문의 중요성은 평가의 핵심적인 위치를 차지해야 한다. 그런데도 정책평가 정책효과 측정이라는 제한적인 목적에 치우치거나 평가 방법론도 통계적 방법론에 경도되고 있는 현상은 바람직하지 않다. 본 논문은 결과지향 혹은 근거지향 평가의 관점에서 정책효과 측정을 정책평가의 핵심으로 간주하더라도 그 효과 측정에 한계가 있음을 보여주었다. 최근에 계량경제학에서 주로 논의되는 내생성 문제를 해결하기 위한 도구변수 접근 방식도 한계가 있음을 시뮬레이션을 통해 제시하였다. 이러한 배경에서 정책평가는 방법론 주도가 아닌 질문주도 평가로 발전해야 한다는 주장을 제시하였다. 또한, 질문주도 평가에서 방법론은 실용주의적 관점에서 평가목적과 평가질문에 부합되는 방법론을 유연하게 선택하는 다방법론 접근이 적합하다고 할 것이다. 즉 양적 방법론을 사용하더라도 평가질문에 적절한지에 대한 질문을 충분한 검토 후 정확히 사용하는 노력해야 할 것이다.


This paper argues that question-driven evaluation should advance to data-driven evaluation. Policy evaluation is inherently characterized as multi-purposes and multi-dimensional activity. Given such nature of policy evaluation, “what to evaluate for what” is substantial question. Regrettably, data-driven evaluation is biased too much toward the limited purpose such as measuring effect sizes or methodological soundness. The author claims that even though we try to control endogeneity using an instrument variable, for example, it does not guarantee measuring the exact effect size. Each statistical model only tackles the specific evaluation with some limitation. Therefore, policy evaluation should be driven by the right questions and asks if the data-driven methods can contribute answering them. If the evaluation question is not simply about the effect size, the question-driven evaluation should adopt more relevant model than traditional statistical model.