抽样分布及上海样本研究结果

2023-10-19 理论教育版权反馈

【摘要】：PISA采用按照概率与抽样元素的规模大小成比例的抽样法，是以上海所有的在7年级及以上就读的15岁学生作为调查总体，首先采用与学生规模等概率抽样的方法抽取学校样本，然后在每所样本学校随机抽取同样数量的学生。第二阶段是学生抽样，由SHPISA研究中心根据PISA协作组织反馈的样本学校名单，收集这些学校所有15岁学生的名单，与前期各学校提交的学生数据核对。中国上海共计抽取了符合PISA参加资格的学生6 467名。

为了确保PISA的结果能反映出参与国（地区）15岁学生的能力，样本的选择要接受国际监督，样本的规模和参与率都有严格的标准。

PISA的测评对象为，参加测试时年龄在15周岁3个月到16周岁2个月的7年级及以上在校生，简称15岁学生。以PISA 2012为例，在最初的准备阶段就确定了中国上海PISA测试的时间是2012年4月13日，因此确定参加测试的对象是在中国上海市的学校就读的、1996年出生的所有7年级及以上学生。“这里的‘上海市的学校’包括了除特殊教育学校和国际学校外所有在上海举办的、有15岁在校生的学校（特殊教育学校和国际学校剔除经过PISA国际专业协作组织批准），学生包括了外来务工人员子女和外籍学生。有智力障碍和严重功能性残疾（例如盲聋哑）的学生以及学习汉语不足一年的学生可以在最后的抽样阶段排除，但是在上报抽样框数据时不能排除”^[10]。

PISA采用按照概率与抽样元素的规模大小成比例的抽样法（简称PPS抽样），是以上海所有的在7年级及以上就读的15岁学生作为调查总体，首先采用与学生规模等概率抽样的方法抽取学校样本，然后在每所样本学校随机抽取同样数量的学生。这样做需要巨额研究经费的支撑以及大量时间和人力的投入。其好处是准确，可以计算每所样本学校和每个样本学生在总体中所代表的权重，推断出学生总体的调查结果。

为了保证各项数据可以进行有效的国际比较，PISA规定了样本量的最低要求，每个参与的国家或经济体至少要抽取150所学校，并从这些学校中抽取4 500名学生参加核心项目的测试。如果选择财经素养国际选项的话，那么至少要保证1 000名学生能够参加财经素养测试。样本估算的依据是，在考虑PISA试题本轮转设计的前提下，保证每道试题在每个国家至少有1 000名学生回答。对于计算机化测试来说，如果只参加问题解决测试，那么至少要保证1 500名学生参加；如果还要参加计算机化阅读和数学测试选项，那么至少要保证2 000名学生参加。考虑到有些被抽到的学生可能会因为各种原因不能参加测试，所以抽样时还要按估计的回应率（Response Rate）适当增加样本。

PISA 2012的抽样分为学校抽样和学生抽样两个阶段。“第一阶段为学校抽样。学校抽样由PISA国际专业协作组织（以下简称PISA协作组织）成员澳大利亚教育研究院（ACER）和美国维斯达特公司（Westat）合作完成，前者负责抽取样本，后者负责计算权重。首先，我们要对上海各类学校进行分层，目的是为了等概率地抽取各学段各类不同教育质量的学校。PISA学校分层可以最多考虑3个外显分层变量和若干内隐分层变量，具体由SHPISA中心与PISA协作组织协商后确定。SHPISA研究中心确定的变量一是学段（初中、高中、完中），变量二是学校类型（普通、职业），变量三是学生入学成绩等级或学校质量（实验性示范性、一般、不适用）”^[11]，用这3个变量把学校分为五类：初中及一贯制学校的初中部、完全中学、示范性普通高中、一般普通高中、中等职业技术学校。还可以根据需要设定若干内隐分层变量，上海采用的变量一是城乡（中心城区/郊区县），变量二是办学体制（公办/民办），变量三是中等职业学校类型（中专/职校/技校）。与PISA 2009抽样框架的主要区别在于，中等职业技术学校既不再区分重点和一般（PISA 2009上海区分了重点和一般中等职业技术学校，由于结果比较发现这两类学校成绩没有显著差异，所以本轮抽样就不再做此区分），也不再使用综合高中这个内隐变量，而是将中专、职校和技校作为内隐变量，调整的目的是使分层变量能更好地反映学校教学质量水平。上海将15岁学生就读的全部学校名单、每所学校的分层变量属性、每所学校的15岁在校生数等信息提交给PISA协作组织，共计883所学校90 796名7年级以上学生，并提交上海人口数据和教育统计数据用于检查（2012年上海15岁常住人口为108 056人）^[12]，然后由PISA协作组织按照每层学校抽取的学生比例与该层学校占上海15岁在校生总数比例一致的原则，分层随机抽取样本学校，共计抽取样本学校155所。

第二阶段是学生抽样，由SHPISA研究中心根据PISA协作组织反馈的样本学校名单，收集这些学校所有15岁学生的名单，与前期各学校提交的学生数据核对。通过PISA协作组织提供的KeyQuest软件校验后，由SHPISA研究中心用KeyQuest软件从每所样本学校中随机抽取43名学生，不足43名的则全部抽取，其中：35名为参加核心领域测试的学生，8名为参加财经素养选项的学生。在参加核心领域测试的学生中，还将随机抽取16名学生参加计算机化的测试（其他国家（地区）抽取18名，中国上海因估计回应率较高，所以每校可以少抽2名）。KeyQuest软件会自动检查学生数量和第一阶段提交的学生信息之间的一致性，通过一致性检验后才能抽取学生。学生抽样是随机的，由KeyQuest软件自动生成，不能人工修改。中国上海共计抽取了符合PISA参加资格的学生6 467名。

PISA技术标准允许两类排除情况。第一类是学校层面的排除，其中又包括两种情况：一是地处偏远难以到达的学校、由于种种原因学校无法满足测试条件的学校、规模极小的学校，如果这些学校15岁在校生数加起来低于该测试国家（地区）15岁在校生人口的0.5%，那么可以在学校抽样前排除；二是所有学生都符合校内排除条件的特殊教育学校，如果这些特殊教育学校15岁在校生数低于该国家（地区）15岁在校生数的2%，那么可以在学校抽样时排除，但是在上报学校抽样框时不能排除。第二类称为校内排除或学生层面排除，包括三类学生：因为身体残疾而无法完成PISA测试的学生，如盲童；因为认知、行为或情绪障碍而无法按照PISA测试指导语做的学生，如严重智力发育迟滞的学生；学习汉语不足一年无法用中文答题的学生。校内排除率必须低于2.5%。

中国上海7年级以上15岁在校生总数为90 796人，学校层面的排除人数为1 252人，包括采用国外教材和外语授课的国际学校15岁学生720名和30所特殊教育学校的15岁学生532名，学校层面的排除率为1 252/90 796=1.38%。在学生抽样阶段排除了8人，加权后相当于107人，校内排除率为0.13%。总的排除率为1.48%，完全符合PISA 2012技术标准要求（低于5%）。中国上海PISA样本对15岁在校生的覆盖率为98.5%。

2012年4月13日，来自上海155所样本学校的6 374名学生（93名学生因生病或转学等特殊原因无法参加测试）代表全市约9万名1996年出生的中学生参加了测试，其中有5 177名参加了数学、阅读、科学等核心学科领域的测试，1 197名参加了财经素养选项的测试。在参加核心学科领域测试的学生中，每所学校随机抽取16名学生参加计算机化问题解决、数学和阅读素养测试，部分学生因生病或参加体育比赛等原因缺席，还有5名学生测试中途遇到计算机故障而退出，实际参加并提交数据的计算机化测试的学生有2 390名。上海被国际组织首批抽到的样本学校全部参加了测试，学校参与率为100%，学生参与率为98.5%（加权后），样本质量高于OECD PISA技术标准要求。上海各类学校参加测试的学生数与其占全市15岁在校生数的比例一致，具体如表3-4、表3-5所示。(www.chuimin.cn)

表3-4　PISA 2012上海市参加测试学校和学生的回应率和覆盖率

表3-5　上海市参加2012年PISA测试的学校和学生数分布

①包括了九年一贯制学校初中部、工读学校。
②包括了十二年一贯制学校中学部。

（续表）

抽样分布及上海样本研究结果

相关推荐