样本选择偏差对研究结果的影响

2023-08-16 理论教育版权反馈

【摘要】：最初的批评来自对样本选择的讨论，即只选择正面案例的求同法容易夸大特定“共性”的作用。此后，学术界进一步的讨论是围绕选择性偏差和尽可能增加样本的做法，一些研究者对加里·金等人的倡议提出了不同看法。在亨利·布兰迪和大卫·科利尔主编的《重新审视案例研究》一书中，许多研究者针对选择性偏差问题进行了反驳。

在社会科学方法普及之前，早期的案例选取带有浓厚的历史学色彩，研究者通常基于直觉会关注“出现正面结果”的案例，选择因变量非常突出或者极端的案例。在逻辑上，这类案例选择方法是基于密尔的“求同法”，即试图在一些具有较大差异的案例中间寻找共性。^[7]例如在研究国家现代化时，就会选取那些国家现代化较为成功的案例。^[8]杰克·戈德斯通（Jack Goldstone）在研究国家之间的冲突、革命或崩溃时，同样只选择爆发剧烈的冲突或国家崩溃的案例。^[9]迈克尔·波特（Michael Porter）的《国家成功学》尽管出版较晚，但其在讨论各个国家的竞争优势时，仍然只选取正面案例，例如美国、日本、德国、瑞典等这些在二战后经济发展非常成功的国家。^[10]

那些只关注于特定单一结果的案例选择方法遭到诸多批评。最初的批评来自对样本选择的讨论，即只选择正面案例的求同法容易夸大特定“共性”的作用。假设某些成功学将伟人的成功经历归因于特定所关心的因素，就存在一种人为的选择性偏差，因为它忽视了有些人可能做了完全相同的事情却没有获得成功。^[11]同时客观条件的限制会导致更难察觉和避免的选择性偏差。一方面，行为体经常会对观测值进行人为操纵，例如国家往往倾向于公开对自己有利的数据，删除对自己不利的观测值等；另一方面，如果不是回到起点去观察事件，许多竞争失败的行为体会因为“幸存者偏差”（Survivorship Bias）而被忽视，例如金融行业中因破产而消失的基金。^[12]查尔斯·蒂利（Charles Tilly）认为，许多学者采取了一种“回溯性”的方式作为研究起点，即选取小部分在19世纪和20世纪依然存在的西欧国家进行比较，这就意味着存在生存者选择性偏差，因为绝大多数国家都在激烈的竞争中被淘汰。^[13]

此后的多数定性研究中，研究者通常都会采用正反案例相对比的方法，而多数的比较政治研究著作中都在共同使用求同和求异法。巴林顿·摩尔（Barrington Moore）用民主和专制的二分法，通过英国、法国和美国的民主化案例同日本和印度等进行正反对比，旨在阐述土地和农民在现代化过程中所发挥的作用。^[14]罗伯特·帕特南（Robert Putnam）对意大利的研究中就包含了对南北的对比和南北内部的求同。^[15]同样，在早期历史比较研究的诸多著作中，关于欧洲国家兴起的讨论中都包含了两组正面和负面的案例。^[16]

定量研究者批评基于结果的选择方式存在明显的样本选择偏差（Sample Selection Bias），关于选择性偏差的讨论事实上主要集中在对总体和样本的争论之中，即认为存在非随机性偏差的样本选择会导致无法正确估计总体，从而影响因果推断的有效性。^[17]

在20世纪80年代前后，詹姆斯·赫克曼（James Heckman）等人对计量经济学中的选择性偏差问题进行了系统的阐述。^[18]在对选择性偏差批评的基础上，研究者开始提出了基本的样本选择方法，其核心是避免由于对负面案例的忽视而造成样本代表性不足的问题。约瑟夫·休伊特（Joseph Hewittand）和加里·格尔茨则提出，对于概念的界定本身也可能会以各种隐蔽的方式和研究者想要构建的理论互相作用，从而带来选择性偏差问题，例如以此类方式分析“危机”时，对于危机的不同定义可能会导致分析结果之间的差异。^[19]

芭芭拉·格迪斯（Barbara Geddes）明确提到不能基于因变量来选择案例，他用了劳工压制的案例来说明，对于因变量的截断可能会导致对因果效应的严重高估。当给出全体样本而非仅仅是亚洲国家后，劳工压制和经济增长之间的正相关关系就不复存在。^[20]加里·金、罗伯特·基欧汉和西德尼·维巴在其经典论述中同样提到了这个问题，即大样本中的随机选择才能做到可以忽视变量和取样标准之间的相关性，因此样本选择过程可能使得被解释变量发生变化。^[21]但是这类叙述存在的另一个问题是，往往容易过度地假定了样本之间的同质性，认为其背后必然存在一个将其包含在内且拥有更多样本量的案例集，而研究的样本可以在其中进行更为广泛的比较（broader comparisons）。

此后，学术界进一步的讨论是围绕选择性偏差和尽可能增加样本的做法，一些研究者对加里·金等人的倡议提出了不同看法。首先，尽可能地增加样本数量不一定意味着可以保证案例的同质性。有学者批评古典回归分析中先验地假定了在不同单元、时间或情境中行为基础的相似性，即认为所有样本观察值代表的是同一个总体。^[22]并且试图过度增加样本的结果是将许多无关案例视为负面案例，从而导致因果效应的估计偏差。詹姆斯·马奥尼和加里·格尔茨认为负面案例的选择同样不是样本数量多多益善，而是要基于遵循“范围条件”和“可能性原则”来区分不同类型的案例，排除那些结果本不可能发生或理论适用范围之外的案例。^[23]

其次，早期强调选择性偏差的逻辑前提是认为定性和定量研究是两种相同的方法，这一观点广受方法论学者的批评。在亨利·布兰迪（Henry Brandy）和大卫·科利尔（David Collier）主编的《重新审视案例研究》一书中，许多研究者针对选择性偏差问题进行了反驳。其核心内容是指出以加里·金等人为代表的定量研究过度夸大了选择性偏差的影响，同时认为定性研究的因果逻辑不同于定量分析，定性研究采取的是案例内分析，旨在寻找自变量在因果过程中产生影响的证据，故而不存在代表性不足的问题。^[24]亚历山大·乔治（Alexander George）和安德鲁·班纳特（Andrew Bennett）认为加里·金等人研究的缺陷在于将过程追踪视为增加样本数量的方式，因为过程追踪注重特定历史案例内部的时序性过程，而非注重跨案例研究的数据相关性。^[25]大卫·科利尔（David Collier）和马奥尼以及约翰·格林（John Gerring）同样认为应当在更广泛的比较和维持案例的同质性之间进行权衡，在跨案例研究的深度和广度之间进行权衡。^[26]

最后，许多研究者也意识到了，不同案例之间的功能是不尽相同的，即便是较少的样本或没有因变量多样性的组合，仍然可以具有一定的因果意义。道格拉斯·迪安（Douglas Dion）认为，仅仅选择出现结果的数据是一种应当被允许的重要研究策略，因为这不仅是基于密尔的求同法逻辑，更为重要的是，它是检验必要条件的重要方法。^[27]杰森·西赖特（Jason Seawright）和约翰·格林根据自变量和因变量的特征总结出了七种案例类型：典型案例、多样化案例、极端案例、异常案例、影响性案例、最大相似案例和最大差异案例。^[28]而德里克·比奇（Derek Beach）和拉斯马斯·佩德森（Rasmus Pedersen）则提出要根据三种不同的研究目的来选择不同类型的案例，即检验理论、建立理论和解释结果三种不同目的之下的案例选择方法是不同的。^[29]

过去的案例选择方法经历了仅从正面案例中总结共性，到逐渐转向正负案例的对比和强调大样本选择的随机性。在定性和定量的“两种文化之争”后，一些学者开始强调案例选择要根据样本特征和研究目的来进行权衡。但是上述样本选择的方法依旧是以因素为基础的讨论，在样本选择过程中仍旧忽视中间过程与机制。然而他们在具体的案例研究中却仍然要通过过程追踪来发现因果机制，这就造成了案例研究方法和样本选择方法之间的脱节。因此本章试图在前人研究的基础上，给出一个基于因果机制的案例选择方法来解决上述困境。

样本选择偏差对研究结果的影响

相关推荐