log数据指的是从后缀名为.log的文件中提取的数据。在PISA 2012计算机化测试中，log文件记录了学生解决问题过程中的时间和采取的动作类型，对log文件的分析可以了解学生阅读的流利程度，在解决有挑战性问题时的坚持性，以及学生处理问题的差异[61]。......
2025-09-30
基于LOG数据的问题解决能力评价指标
【摘要】：在开展计算机化测试后，动态问题解决或复杂问题解决过程可以利用计算机后台保存的log文件对整个解题过程、知识获取阶段、知识应用阶段分别进行评价。从上述指标可以看出，目前对问题解决过程指标的分析主要局限在时间、步骤等基本统计上，综合的评价指标较少，并且指标比较分散，没有系统的分析框架。
过去在经典的、静态分析问题解决中，测量问题解决过程的最佳方式是出声思维，如Güss等[66]用出声思维方法分析了5个国家511名学生在两个微世界题目上的问题解决过程。但是出声思维的方法受被试意识和短时记忆影响大，难以反映深层思维，并且成本太高，在大规模测试中不可行。为了保持接近这种测量方式，美国国家评价、标准和测试研究中心（National Center for Research on Evaluation，Standards，and Student Testing，CRESST）建议通过要求人绘制概念图来测量内容理解（类似于领域知识）；还通过要求解题者写一篇文章，解释他们如何解决任务的问题，用来评价解决问题的策略。这两种测量方法都采用开放题的形式，需要由专业编码者在事后做出分析判断。
在开展计算机化测试后，动态问题解决或复杂问题解决过程可以利用计算机后台保存的log文件对整个解题过程、知识获取阶段、知识应用阶段分别进行评价。但是，由于log文件信息量过于庞杂，学者们设想了多种过程指标，但是有些指标并没有找到具体的测量办法或者还没有实证研究支持。
在知识获取或系统识别阶段，文献中提到的过程指标有[67]：
“每次只改变一个变量”的策略（Vary-one-thing-at-a-time），英文简称为VOTAT策略，又称控制变量策略。每次只改变一个变量的值而保持其他值不变（保持在0的位置），从而能够分别确定不同自变量对结果的影响[68]。控制变量策略代表了分离变量的变化的原则，这是开展有效的科学实验的核心元素。
无干预观察策略，也称外生变量零输入策略，即把所有变量都设为0。为了发现“本征动态”变化（即没有主动干预情况下的自动变化），被试至少要有一次保持所有变量都在0的位置的情况下点击“应用”，这被认为是问题解决情境中的无干预观察行为[69]。
强干预策略。除了上述系统地控制外生变量结构的策略，还需要做出关于干预量大小的决定。如果在探索阶段发现加大干预量不会使系统出问题，则更强干预会更好，因为影响效果将更清楚地显示。但是目前这一策略只是研究者的一种设计，并没有学者开展相关实证研究。
响应时间（Response Time）/第一反应时间（Initial Reaction Time）。从计算机呈现题目开始到第一次做出答题反应的时间，这一时间可以看作阅读理解题目的时间，如果时间过长，那么被试可能缺少基本阅读技能[70]；如果时间过短，那么被试可能是缺少动机而随意猜测[71]。Albert和Steinberg的研究表明，第一次主动干预前的时间量可以用作与问题情境中的规划和无干预观察密切相关的抑制性控制的指标，也是问题解决成绩的预测指标[72]。
搜索策略。根据解题者在探究问题条件的过程中是先在第一层上扩展还是先在一个点上层层深入，把探究分为广度优先策略和深度优先策略。但是目前没有检索到这方面的实证研究。
在知识应用或系统控制阶段，文献中提到的过程指标有：
目标评估策略。即评估当前状态与目标状态的距离并设计如何达到目标状态的策略，以及评估如果达到了目标状态则使系统保持在目标状态的策略。但是这一策略也只是理论设想，目前没有关于如何测量这些策略的任何建议。(https://www.chuimin.cn)
最优性。使用从初始状态到目标状态的最佳路径。
有效性。导致系统变化的有效步骤占总的操作步骤数的百分比。
评价整个答题过程的指标有：
答题时间。学生为了解决每个任务而用的时间，即从阅读题目开始到答题结束的全过程时间[73]。对于简单的自动化任务可以作为衡量熟练水平的指标[74]，对于高难度任务则可以作为努力程度的指标[75]。
时间分配策略。测量知识获取和知识应用两个阶段所用时间的比例，来判断问题解决者重点聚焦在识别信息还是整合信息上。
干预频率。根据题目的具体设定，解题者点击“应用”或“重设”之类直接干预的数量[76]。
转换频率。不同类型的问题之间的转换频率，例如总的问题（小镇里有银行吗？）到具体的问题（小镇的现金余额有多少？）、具体问题到探究问题（税率普遍上升的后果是什么？）之间的转换频率分析显示成功和不成功的问题解决者之间的显著差异[77]。
从上述指标可以看出，目前对问题解决过程指标的分析主要局限在时间、步骤等基本统计上，综合的评价指标较少，并且指标比较分散，没有系统的分析框架。
相关文章
- 详细阅读
-
PISA问题解决能力研究：基于LOG数据的思详细阅读
自PISA 2003首次测评问题解决能力后，PISA 2012再次测评了问题解决能力，但删除了“跨学科情境”，不针对课程领域的内容，突出通用问题解决能力，并且加入了情感维度，即问题解决能力也应包括参与问题解决的意愿。PISA 2015对协作问题解决的定义为：个体有效参与，同两个及以上的成员共同解决问题的能力，通过沟通理解，共享知识、技能和努力，最终找出解决方案，将问题解决的社会性方面也纳入测评。......
2025-09-30
-
基于LOG数据的PISA问题解决能力研究成果详细阅读
有人说，比较教育“有着悠长的过去，却只有简短的历史”。比较教育也逐渐在欧美学术界赢得了一席之地，正式成为教育学科中的一个独立分支。历史学方法、因素分析方法成为此阶段引领比较教育发展的主要方法。但在当时，要获取各国的教育统计数据也非易事。1962年，国际教育成就评价协会率先尝试发布了《12个国家13岁儿童的教育成就：一项国际研究的结果》，开创了通过国际测试比较各国教育成就的先河。......
2025-09-30
-
基于LOG数据的PISA问题解决能力研究结果详细阅读
基于PISA 2012计算机自动记录的日志文件来分析学生的问题解决过程，我需要进行以下数据处理：第一，数据清理，将PISA 2012问题解决测试的log数据、认知测试结果数据、问卷和权重数据合并，删除无效数据。......
2025-09-30
-
LOG数据揭示PISA问题解决能力详细阅读
本研究有理论、方法和实践三方面的目标：一是研究和梳理国际上最新的问题解决理论和研究，辨析问题解决能力的结构和关键因素，运用PISA实证数据为理论研究提供证据和改进的依据。运用PISA计算机化问题解决数据，研究学生回答问题过程中计算机自动记录的日志文件数据，提出PISA问题解决过程的评价指标，并针对这些指标开展中国上海与其他国家（地区）学生问题解决过程的比较研究。......
2025-09-30
-
基于LOG数据的PISA问题解决能力研究：研详细阅读
为了对问题解决能力评价有更深入的了解，第四章研究了最新的问题解决理论以及问题解决能力的测评方法，从而了解PISA问题解决测试背后的设计思想，在此基础上提出了外显和内隐的问题解决过程结合的评价框架。研究过程中用到的样题和log数据结构，PISA 2012问题解决试题的类型，各国（地区）学生问题解决过程指标数据表作为附录和附表列出。......
2025-09-30
-
LOG数据揭示PISA问题解决能力分类详细阅读
通用领域问题解决也称为一般问题解决，指不需要用某个领域专门知识的问题解决，可能涉及复杂的一般心理过程，不受特定领域的束缚[21]。然而，特定领域知识对问题解决结果的突出作用并不意味着不需要通用领域的技能。图2-2问题分类图Quesada[32]等学者从形式和心理过程两个方面对问题解决做了分类。下面就专门对简单问题解决和复杂问题解决作些辨析。......
2025-09-30
-
LOG数据驱动的问题解决能力研究成果详细阅读
问题解决可以定义为成功地搜索一个操作或一系列操作，以便将系统的给定实际状态转移到目标状态。目前最广为接受的问题解决定义是Mayer[9]提出的。换句话说，在任何给定状态下，需要达到目标状态，并且没有可用的常规解决方案时出现问题；将给定状态转换为期望的目标状态的后续过程被定义为问题解决。Mayer把问题解决看作认知过程，并且指出问题解决者没有现成的办法。PISA采用的问题解决定义与Mayer的理解是一致的。......
2025-09-30
相关推荐