影响评估的两大主要方法及优化方案

2023-07-03 理论教育版权反馈

【摘要】：两类方法在作者研究团队“农村教育行动计划”[2]开展的影响评估研究中都有应用，但采用RCTs方法的占大多数。RCTs可以解决一般影响评估中的选择误差问题，而后者是导致评估结果不准确的核心因素。需要强调的是，并不是所有项目的影响评估都能通过RCTs方法来实现，例如涉及政治问题、民族问题，尤其是伦理道德等方面的问题时。

2.2.1　2类方法主要特点

影响评估的方法很多，最常见的可以分为以下2类：①传统经济学经常采用的非试验性的或者拟试验的评估方法，如事前事后评估比较法、倍差分析法、匹配法、工具变量法、断点回归法；②随机干预试验（RCTs）法，也叫做社会试验、随机分配研究等，这类方法使用的前提是可以对干预对象进行随机分配，在合格目标群体中随机分配其中的一部分对其实施干预，另外部分则作为对照组，不实施任何干预。

以上两类方法的主要特点以及应用时所需的基本条件和环境等详见表1。从表1中可以看出，每种方法都有其关键假设条件，如果在应用中这些假设无法满足或不成立，那么采用该方法估算的影响就是有偏差的，以此得出的评估建议也会是不准确的。两类方法在作者研究团队“农村教育行动计划（Rural Education Action Program，REAP）”^[2]开展的影响评估研究中都有应用，但采用RCTs方法的占大多数。

表1　影响评估方法简介

续　表

注：资料来源为MIT影响评估公开课程。

2.2.2　RCTs方法的优点与适用范围

在各类影响评估方法中，RCTs方法被认为是影响评估的“黄金准则”（Guo et al.，2010）。RCTs最早用于对医疗卫生服务中的某种疗法或药物的效果进行检测和评估，后常用于医学、药学、护理学等自然科学研究，近年来在农业经济、教育等社会科学领域得到越来越多的应用，如农业推广服务、公共健康和教育项目等。

RCTs可以解决一般影响评估中的选择误差问题，而后者是导致评估结果不准确的核心因素。例如，在评估就业培训对就业机会的影响时，如采用报名参加培训与不参加培训的人进行比较，就可能会出现选择误差，因为比较的往往不是同一类型的人——如果报名是自愿的而非随机分配的，那么主动报名的人的求职愿望可能高于不参加培训的人，无论他们参加培训与否，其获得工作的可能性都会高于不愿意参加培训的人，这样不对称的对比结果就不能反映培训的真实效果。只有将培训的机会随机分配给一组人，再将其与随机分配且特性相似的另一组没有接受培训的人比较，得到的比较结果才反映真实的培训效果。

因此，相对于第一类影响评估方法而言，由于干预组和对照组在干预前没有系统差异，RCTs方法能够将两个组在项目实施之后的差异归因于干预，而不是其他因素，从而能得出与项目“净”影响效应最接近的估计值。

需要强调的是，并不是所有项目的影响评估都能通过RCTs方法来实现（Duflo et al.，2007），例如涉及政治问题、民族问题，尤其是伦理道德等方面的问题时。具体采用什么样的评估方法取决于研究的假设、参照对象的可获得性、数据的可获得性和项目的成本预算。总之，在实际研究中，必须在综合考虑这些因素后再选择合适的评价方法。

除了评估项目干预的影响程度以外，对影响如何产生这一过程的理解同样重要。“基于理论的影响评估”（Theory-based impact evaluation，TBIE）利用相关理论，强调通过对干预措施和评估结果之间的因果关系链的探索，旨在检验反映投入与最终结果和影响间的因果关系的假设（Weiss，1998；Carvalho et al.，2004）。该方法对项目或政策的改进和扩展具有重要意义。但是，此方法并非创新之举，长期以来，一些准试验方法的实践者也尝试利用相关理论解释其研究成果，并且基于理论的方法适用于任何案例（Rogers，2009）。

影响评估的两大主要方法及优化方案

相关推荐