交通单元人机互动次数与有效性分析

2023-10-19 理论教育版权反馈

【摘要】：“交通”单元就是典型的例子。图5-1“交通”第1题界面根据第二章文献分析的内容，从log数据可以得出多个过程指标，这道题目选取其中两个指标：一是学生与计算机互动次数，用学生在地图路线上点击的次数与重设次数相加来表示；二是学生与计算机互动的有效性，用学生标亮最短路线的学生比例来表示。

“交通”单元（CP007）就是典型的例子。“交通”单元第1题（CP007Q01）问学生从“萨哈罗夫”到“绿宝石”的最短时间，是一道1级水平的试题，考查的主要认知过程是“计划和执行”（见附录2）。该题人机互动过程是：学生点击地图上的路线，该段路线会高亮显示，同时该段路线所需时间会在总时间方框里自动累加，学生可以利用总时间的提示帮助自己判断哪条路线最短。由于地图上每一段路线上都标注了路程所需要的时间，加上“萨哈罗夫”和“绿宝石”两个车站名称用放大字体突出显示，所以两个站点之间的最短路线几乎一目了然，即使不利用总时间框里提供的时间累加功能，许多15岁学生依靠心算也能判断那一条路线最短。中国上海学生在这道题目上的得分率为89.8%，与最高的新加坡（93.5%）没有显著差异。

在分析log数据之前我心里始终有一个疑问：对于如此简单的题目，中国上海学生有几个会去点击屏幕上的行程？可能大多数依靠心算就能完成吧！后来问题解决结果发布了，中国上海学生的表现不及纸笔测试，并且OECD报告指出，中国上海学生解决互动问题不如静态问题。我当时就假设可能是因为中国上海学生不适应计算机化的测试，静态问题可以依靠纸笔在草稿纸上推演，这样就回到中国上海学生平时熟悉的考试方式了，所以成绩较好。然而我用ICT熟悉度指标与结果做关联分析，在控制了背景变量后，ICT熟悉度指标几乎都没有显著作用，甚至有微弱的负作用，所以心里就一直有着疑问：究竟上海学生是不善于用计算机还是不善于解决问题？所以log数据一发布，我就特别想分析，想知道中国上海学生是不是主要靠心算的。

图5-1　“交通”第1题（CP007Q01）界面

根据第二章文献分析的内容，从log数据可以得出多个过程指标，这道题目选取其中两个指标：一是学生与计算机互动次数，用学生在地图路线上点击的次数与重设次数相加来表示；二是学生与计算机互动的有效性，用学生标亮最短路线的学生比例来表示。“交通”这题的log数据说明文件比较难懂，我花了一点时间理解后写了说明（见附录2）。log数据分析结果显示，上海学生在地图上点击的次数与各国（地区）平均水平相当，标示最短路线的学生比例名列前茅，说明上海学生能充分利用计算机提供的便利来帮助自己更好地找到正确答案。

上海学生与计算机互动的次数平均为10.95次，与各国（地区）平均（10.26次）没有显著差异，低于澳门（15.15次）、新加坡（14.05次）、韩国（13.96次）、加拿大（13.53次）、美国（13.26次）、葡萄牙（13.20次）、中国香港（13.08次）、澳大利亚（12.54次）。互动次数与这道题目是否正确的相关系数在0.06～0.29之间，上海学生互动次数与得分的相关系数为0.15，有34个国家（地区）相关系数小于0.2，为极低相关。

统计在解题过程中将萨哈罗夫到绿宝石之间最短的路线“萨哈罗夫—市场—公园—统一—绿宝石”标记为高亮的学生比例。最高的国家（地区）是中国澳门（83.0%）、新加坡（80.4%）和中国上海（80.2%），中国上海与前两位的中国澳门和新加坡没有显著差异。标示出最短路线的学生比例最低的国家为哥伦比亚、保加利亚、乌拉圭、黑山、巴西、马来西亚、阿联酋，这些国家一半以上学生没有标示出最短路线（见附录3附表5-1）。学生是否标示出最短路线与回答是否正确之间的相关系数为0.14～0.46之间，中国上海为0.40。有38个国家相关系数高于0.2，为低度至中度相关。

考虑到有些学生没有标示最短路线，但标示其他路线也是人机互动的尝试，所以又统计了各个国家（地区）中一条路线也没有标示过的学生比例，这些学生是完全没有与计算机互动的学生，他们完全是凭心算或笔算来做的。没有互动学生比例最高的国家是哥伦比亚，有50.7%的学生没有在地图上标亮过路线，保加利亚、巴西、黑山、阿联酋、乌拉圭也有超过40%的学生没有利用系统的互动功能。中国上海只有17.1%的学生没有点击标示过路线，在国际上属于最低的一组，与中国澳门、新加坡、丹麦、加拿大等12个国家（地区）没有显著差异，低于其他30个国家（地区）（见附录3附表5-2），说明中国上海大多数学生利用了计算机的辅助功能来答题。表5-1列出了学生在地图上标示最短路线与没有标示任何一条路线的学生比例，要注意的是这两个比例相加不是100%，还有一些学生在地图上标示了路线，但不是最短路线。

表5-1　“交通”（CP007Q01）学生与系统有效互动与没有互动的比例

因为标示与未标示最短路线的学生在这道题目上的正确率有显著差异，且大多数国家（地区）两个指标呈低度至中度相关，所以标示最短路线的学生比例可以代表在这道题目上人机互动的有效性。通过比较各国（地区）在地图上标示与未标示最短路线的学生在这道题上的正确率（见附录3附表5-3），我们发现在所有有log数据的42个国家（地区）中，两组学生均有显著差异。在地图上标示最短路线的学生，无论是哪个国家（地区），得分率都非常高：在中国香港、波兰、爱沙尼亚和哥伦比亚，标示最短路线的学生百分之百都答对了试题；标示最短路线的学生中得分率最低的也达96%（黑山和乌拉圭）；而没有标示最短路线的学生得分率最高的是中国台北的72%，而最低的马来西亚只有51%。从图5-2可以很直观地看出，有没有在地图上标示最短路线的两组学生在这道题上的成绩区别。(www.chuimin.cn)

图5-2　在地图上标示与未标示最短路线的学生成绩比较

那些完全没有标示任何路线，也就是说完全依靠心算或笔算的学生，是不是因为他们很有把握不需要用地图上的总时间累加器就可以得出答案，所以“懒”得去点选了呢？通过比较在地图上标示过路线（包括非最短路线）的学生组和没有标示过任何路线的学生组的成绩我们发现，各国标示过路线的学生成绩显著高于没标示过的学生（见附录3附表5-4）。这说明在现实情境下，即使是30以内的加减法，有意识地去利用工具仍然能提高绩效。图5-3直观地显示了两组学生正确率的差异。

图5-3　在地图上标示过或未标示过路线的学生成绩比较

交通单元人机互动次数与有效性分析

相关推荐