首页 理论教育LOG数据揭示PISA问题解决能力分析

LOG数据揭示PISA问题解决能力分析

【摘要】:模型对中国上海学生问题解决成绩差异的解释率为58.6%,在控制了背景变量后,3个过程指标作用仍然显著。表6-26控制个人背景后,基于log数据的3个指数对中国上海学生问题解决成绩的综合作用目前log数据分析只能基于公开样题和公开数据库,所以指标有一定局限性。如果能基于更多的问题解决过程,提出更多元的指标,以及基于若干同类试题构建综合指标,对结果的解释能够更完善。

PISA 2012问题解决公开样题中,“室温控制”单元和“车票”单元在一个单元组内,所以轮转组卷的时候这两个单元始终在一起不拆开的,因此,从这些试题的回答过程中构建的指标可以合起来分析。表6-24列出了问题解决成绩前10名国家(地区)在4个过程指标上的平均值,从比较中可以看出,中国上海学生坚持性指数在这些国家(地区)中列第一,VOTAT策略指数列第四,探究完全性指数倒数第一,计划性指数倒数第二,说明中国上海学生的计划性和探究完全性需要加强。

表6-24 问题解决成绩前10名国家(地区)在4个过程指标上的平均值

建立问题解决成绩对VOTAT策略、计划性、探究完全性和坚持性指数的回归方程发现,从各国(地区)平均而言,这4个指数可以解释问题解决成绩59.4%的差异。在4个指数中,坚持性指数在31个国家(地区)有显著作用,其他3个指数在所有国家(地区)都有显著作用。4个指数对上海学生问题解决成绩的解释率是56.2%,如表6-25所示,其中坚持性指数的作用没有显著性,其他指数都有显著作用。该模型对学生问题解决成绩的解释率最高的国家为以色列,达67.2%;最低为爱沙尼亚,也达到51.5%;各国(地区)平均解释率为59.4%。

表6-25 基于log数据的4个指数对中国上海学生问题解决成绩的综合作用

虽然坚持性指数对中国上海学生问题解决成绩的单因素解释率较高,但是在具有同样的VOTAT策略水平、计划性和探究完全性的学生中,“坚持性”指数的作用已经不显著了。为了精简模型,删去“坚持性”指标,加入ESCS指数和性别作为控制变量后,模型对问题解决成绩差异的解释率最高为67.8%(以色列),最低为51.3%(爱沙尼亚),42个国家(地区)平均为60.7%。模型对中国上海学生问题解决成绩差异的解释率为58.6%,在控制了背景变量后,3个过程指标作用仍然显著。因为3个过程指标与ESCS都是标准化的指数,所以作用大小可以比较,从表6-26的数据可以看出,首先是VOTAT策略指数对中国上海学生问题解决成绩的作用最大,其次是计划性指数和探究完全性指数,这些指数的作用都超过了ESCS的作用,并且性别差异减少到11.8分,说明如果男女生在这些指数上能达到同样水平的话,性别差异可以缩小一半左右。

表6-26 控制个人背景后,基于log数据的3个指数对中国上海学生问题解决成绩的综合作用(www.chuimin.cn)

目前log数据分析只能基于公开样题和公开数据库,所以指标有一定局限性。如果能基于更多的问题解决过程,提出更多元的指标,以及基于若干同类试题构建综合指标,对结果的解释能够更完善。但重要的是,研究表明,在过程数据中的确能够生成有很强解释力的指标,并且能发现从结果中看不清楚的问题。