首页 理论教育基于LOG数据的PISA问题解决能力研究:探究思维痕迹

基于LOG数据的PISA问题解决能力研究:探究思维痕迹

【摘要】:log数据指的是从后缀名为.log的文件中提取的数据。在PISA 2012计算机化测试中,log文件记录了学生解决问题过程中的时间和采取的动作类型,对log文件的分析可以了解学生阅读的流利程度,在解决有挑战性问题时的坚持性,以及学生处理问题的差异[61]。

log数据指的是从后缀名为.log的文件中提取的数据。log文件就是日志文件,“log文件记录了系统和系统的用户之间交互的信息,是自动捕获人与系统终端之间交互的类型、内容或时间的数据收集方法;对网络搜索而言,日志是利用网络搜索引擎搜索信息的用户在搜索信息期间与该网络搜索引擎发生互动的电子记录”[58]

1988年Bunderson等[59]第一次提到了计算机化测评能够记录学生参加考试时的许多伴随行为。通过分析log文件,不仅可以评价最后的结果是否正确,还可以分析解决问题中的步骤和行动;不仅知道学生能做什么,还能知道学生是怎么做的,学生与问题是怎么互动的,这些行为是怎么导致学生做出或没做出这道题目。在美国教育考试中心(ETS)设计的计算机化测试中,学生完成测试时系统会生成两个记录文件:一个是日志文件(log),包含了学生的操作和系统响应的完成清单;还有一个是配置文件,记录了学生退出时计算机网络的最终状态,作为自动评分的依据。但是由于原始数据太大,难以直接运用,所以先要经过一个证据识别过程。这个过程的作用是从原始数据中识别关键的可观察结果变量,作为判断结果正确性(Correctness of Outcome)的证据。除了结果外,还可以根据log文件判断学生的解题步骤的正确性(Correctness of Procedure)以及解题步骤的效率(Efficiency of Procedure)[60]

在PISA 2012计算机化测试中,log文件记录了学生解决问题过程中的时间和采取的动作类型,对log文件的分析可以了解学生阅读的流利程度,在解决有挑战性问题时的坚持性,以及学生处理问题的差异[61]。通俗地说,log文件记录了学生在计算机上答题过程的痕迹。2015年OECD发表了《计算机和学习:建立联系》的研究报告[62],用了PISA 2012计算机化阅读测试中的3个样题来说明过程数据记录能提高教育工作者监控学生考试行为与评价他们技能的能力。(www.chuimin.cn)

现今非常流行的数据挖掘也源于学生与计算机互动的log数据分析[63],目前已经发展为挖掘教育环境中产生的各种教育数据了。

国内文献中第一次提到日志是在计算机领域,利用运行日志来做数据库恢复工作[64]。1991—1998年,国内计算机领域有15篇相关文献都与数据恢复有关;从1999年起,日志数据研究重点转向网络用户访问量和爱好分析以及维护网络安全方面的应用;从2005年起,每年有超过百篇的网络日志分析和日志数据挖掘文章发表。教育领域第一次提到日志数据挖掘是在2002年,将这类数据用于远程教育,通过日志数据分析为学习者提供个性化的服务[65]