【摘要】:图2随机干预试验“三部曲”在所有的干预和调查工作完成之后,便可以对RCTs结果进行分析。对干预已经结束的项目进行评估时,由于缺少基线数据,就不能采用RCTs的方法。②RCTs的设计必须科学。例如,在REAP计划实施中,项目组也经常收到对某一个或二个项目点进行影响评估的邀请,但通常这些项目样本量过小,且干预已经完成,由于无法保证RCTs的科学性而难以操作。
设计好RCTs方案后,研究人员就可以通过“三部曲”(基线调查、干预试验和评估调查)来展开试验。
3.2.1 RCTs“三部曲”简介
(1)开展基线调查(Baseline Survey)。在项目干预之前,需要通过基线调查来掌握项目参与者的基本信息,其核心是收集主要结果变量以及可能影响结果变量的控制变量信息。这一阶段要做的工作包括设计调研方案、开展预调查、完善调查表等。调查问卷设计要涵盖因果关系链中的各种因素,通过调研取得相应的资料,对RCTs提供数据支撑。
(2)开展干预试验。基于随机分配原则,将所有样本按照预定的干预方案分成不同的干预组和对照组,并在干预过程中进行实时监测,确保因果关系链中的因素得到控制,避免因果链断裂。例如,并不是所有受邀参加婴幼儿营养知识培训的家长都会实际参加培训,即可能出现违约者;由于那些愿意参与项目的样本和那些被选中而不肯参与项目的样本本身就存在一些特定的差异,这就需要随时进行记录并在最后分析时进行区分。
(3)评估调查。当干预实施达到预定时间点后,开展第三步工作,即评估调查。评估调查不仅是重复基线调查的所有内容,同时还要附加定性访谈,深入理解干预因果链。评估调查可以根据项目干预的性质不同而重复多次,以便区分不同时间段项目干预的效果及其变化。评估时最常遇到的问题就是样本流失,即基线调查的样本未被追踪到。如干预组和对照组的流失样本存在系统差异,那么仅利用追踪到的样本进行影响评估就会出现偏差。
3.2.2 RCTs操作步骤和结果分析实例
下面以“消除小学生贫血、提高学业成绩”项目为例,来第一步基线调查是对学生进行贫血检查和标准化数学测试;第二步展开干预,给干预组的学生提供含铁的维生素片;第三步评估调查,再次对学生进行贫血检查和标准化数学测试,评估学生在服用含铁维生素片后贫血率是否降低,如果降低,学生的学习成绩是否相应提高(图2)。
图2 随机干预试验“三部曲”
在所有的干预和调查工作完成之后,便可以对RCTs结果进行分析。利用事前和事后2期数据、干预和对照2组分类,通过倍差分析就可以达到目的。图3将消除学生贫血、提高学业成绩项目的结果直观地加以表达。
由图3可以看到项目干预的影响:通过给学生提供维生素,干预组学生相比对照组学生血红蛋白水平提高了3g/L,贫血率下降了20%以上,数学标准化考试成绩提高了0.3个标准差。这些结果可以很好地说明提供含铁的维生素片对消除小学生贫血和提高学业成绩的影响。
另外,为了验证结果的稳健性,经济学家往往还会运用计量模型来分析干预影响的统计显著性。利用试验设计的干预组和对照组2期面板数据,在倍差分析法框架下,初步模型设计如下:
图3 含铁维生素片对学生健康和学业的影响
式中:Δyi为评估期结果变量与基准期结果变量的差;结果变量y可以是学生血红蛋白水平、学生是否贫血等健康变量或者学生成绩、学生出勤率等学业表现变量;Treati代表是否提供维生素的虚拟变量,缺省的是对照组;∊i是随机干扰项;β1的估计量代表相比于没有给维生素的对照组学生,维生素对学生贫血和学业表现的影响效应。
式(1)中,可进一步加入学生个人特征、家长特征、学校和教师特征等额外控制变量X的差值,此时回归模型为:
式中:Y为ΔXi的系数向量;对于那些基准期和评估期不发生改变的控制变量(例如学生是否是少数民族、学生父母的年龄),2期之间的差值为0,因此不包含在式(2)的ΔXi中。如果干预是严格和有效地按照规定来实施,同时没有被其他因素影响,那么计量模型估算的影响大小β1应与简单的差分方法估算值相等。
需要强调的是,RCTs并不只是研究者独立完成一种实施方案。研究者除自己设计RCTs外,还可与政府部门、非政府组织等一起合作,将RCTs的设计融于政策和项目的设计。REAP计划在这方面已经有许多成功的案例(Boswell et al.,2011)。但有3点需要注意:①干预活动前要有基线调查。对干预已经结束的项目进行评估时,由于缺少基线数据,就不能采用RCTs的方法。②RCTs的设计必须科学。例如,在REAP计划实施中,项目组也经常收到对某一个或二个项目点进行影响评估的邀请,但通常这些项目样本量过小,且干预已经完成,由于无法保证RCTs的科学性而难以操作。③在使用RCTs方法开展影响评估前,需要与利益相关者(如政府部门)进行沟通并取得其支持和配合,这不仅有利于项目工作的顺利开展、项目标准的严格执行,也有利于项目的后期推广。
在社会科学领域中应用RCTs来开展影响评估面临的最大挑战是无法像自然科学那样精确控制环境条件。在开展RCTs过程中,最常遇到的挑战来自以下4个方面:①干预者的干预信息被对照组得知并对其也产生影响的交叉感染,这点在干预设计时可尽量考虑避免;②由于政策或其他因素突然变化,导致样本的外部环境发生变化造成的外部污染,需要在干预过程中随时监测和记录;③有些干预对象采取的行动没有遵守规定的干预方式,这只有在评估调查中才可能被发现;④由于某些个人或环境因素导致干预对象离开了干预地或干预区域而无法继续所导致的样本流失。以上4点均会影响到项目干预的效果。在评估过程中,要注意尽量收集这些方面的相关信息,并在项目结束后以此帮助解释项目为何有效或无效。
相关推荐