静态分析问题解决只有最后的一个结果，根据解题者达到目标的程度给予满分或部分评分。所以动态问题解决或复杂问题解决可以分别评价知识获取和知识应用两个阶段的结果。尽管后面四种方法没有因果关系图那么常用，但是问题解决者会意识到他们被问到的是获得外显的结构性知识。......
2023-10-19
基于LOG数据的问题解决能力评价指标
【摘要】：在开展计算机化测试后，动态问题解决或复杂问题解决过程可以利用计算机后台保存的log文件对整个解题过程、知识获取阶段、知识应用阶段分别进行评价。从上述指标可以看出，目前对问题解决过程指标的分析主要局限在时间、步骤等基本统计上，综合的评价指标较少，并且指标比较分散，没有系统的分析框架。
过去在经典的、静态分析问题解决中，测量问题解决过程的最佳方式是出声思维，如Güss等[66]用出声思维方法分析了5个国家511名学生在两个微世界题目上的问题解决过程。但是出声思维的方法受被试意识和短时记忆影响大，难以反映深层思维，并且成本太高，在大规模测试中不可行。为了保持接近这种测量方式，美国国家评价、标准和测试研究中心（National Center for Research on Evaluation，Standards，and Student Testing，CRESST）建议通过要求人绘制概念图来测量内容理解（类似于领域知识）；还通过要求解题者写一篇文章，解释他们如何解决任务的问题，用来评价解决问题的策略。这两种测量方法都采用开放题的形式，需要由专业编码者在事后做出分析判断。
在开展计算机化测试后，动态问题解决或复杂问题解决过程可以利用计算机后台保存的log文件对整个解题过程、知识获取阶段、知识应用阶段分别进行评价。但是，由于log文件信息量过于庞杂，学者们设想了多种过程指标，但是有些指标并没有找到具体的测量办法或者还没有实证研究支持。
在知识获取或系统识别阶段，文献中提到的过程指标有[67]：
“每次只改变一个变量”的策略（Vary-one-thing-at-a-time），英文简称为VOTAT策略，又称控制变量策略。每次只改变一个变量的值而保持其他值不变（保持在0的位置），从而能够分别确定不同自变量对结果的影响[68]。控制变量策略代表了分离变量的变化的原则，这是开展有效的科学实验的核心元素。
无干预观察策略，也称外生变量零输入策略，即把所有变量都设为0。为了发现“本征动态”变化（即没有主动干预情况下的自动变化），被试至少要有一次保持所有变量都在0的位置的情况下点击“应用”，这被认为是问题解决情境中的无干预观察行为[69]。
强干预策略。除了上述系统地控制外生变量结构的策略，还需要做出关于干预量大小的决定。如果在探索阶段发现加大干预量不会使系统出问题，则更强干预会更好，因为影响效果将更清楚地显示。但是目前这一策略只是研究者的一种设计，并没有学者开展相关实证研究。
响应时间（Response Time）/第一反应时间（Initial Reaction Time）。从计算机呈现题目开始到第一次做出答题反应的时间，这一时间可以看作阅读理解题目的时间，如果时间过长，那么被试可能缺少基本阅读技能[70]；如果时间过短，那么被试可能是缺少动机而随意猜测[71]。Albert和Steinberg的研究表明，第一次主动干预前的时间量可以用作与问题情境中的规划和无干预观察密切相关的抑制性控制的指标，也是问题解决成绩的预测指标[72]。
搜索策略。根据解题者在探究问题条件的过程中是先在第一层上扩展还是先在一个点上层层深入，把探究分为广度优先策略和深度优先策略。但是目前没有检索到这方面的实证研究。
在知识应用或系统控制阶段，文献中提到的过程指标有：
目标评估策略。即评估当前状态与目标状态的距离并设计如何达到目标状态的策略，以及评估如果达到了目标状态则使系统保持在目标状态的策略。但是这一策略也只是理论设想，目前没有关于如何测量这些策略的任何建议。(www.chuimin.cn)
最优性。使用从初始状态到目标状态的最佳路径。
有效性。导致系统变化的有效步骤占总的操作步骤数的百分比。
评价整个答题过程的指标有：
答题时间。学生为了解决每个任务而用的时间，即从阅读题目开始到答题结束的全过程时间[73]。对于简单的自动化任务可以作为衡量熟练水平的指标[74]，对于高难度任务则可以作为努力程度的指标[75]。
时间分配策略。测量知识获取和知识应用两个阶段所用时间的比例，来判断问题解决者重点聚焦在识别信息还是整合信息上。
干预频率。根据题目的具体设定，解题者点击“应用”或“重设”之类直接干预的数量[76]。
转换频率。不同类型的问题之间的转换频率，例如总的问题（小镇里有银行吗？）到具体的问题（小镇的现金余额有多少？）、具体问题到探究问题（税率普遍上升的后果是什么？）之间的转换频率分析显示成功和不成功的问题解决者之间的显著差异[77]。
从上述指标可以看出，目前对问题解决过程指标的分析主要局限在时间、步骤等基本统计上，综合的评价指标较少，并且指标比较分散，没有系统的分析框架。
有关思维的痕迹：基于LOG数据的PISA问题解决能力研究的文章
- 详细阅读
-
基于LOG数据研究PISA问题解决能力详细阅读
它表示在很多情况下，问题不会等待解决问题的人和他的决定，而是会随时间而自己改变。动态问题需要问题解决者考虑“时间”因素。内部因素包括解决问题所需的知识的广度，问题解决者的达成水平和领域知识的水平。（二）复杂问题解决的欧洲观点欧洲学派尽管都采用实验室模拟的办法来研究复杂问题解决，但实际上有两个在理论和方法上不同的分支。......
2023-10-19
-
研究基于LOG数据的PISA问题解决能力详细阅读
澳门大学Man-kai Ieong等[2]研究了车票第1题上解决问题过程的最优性，他们比较了前10名的国家（地区），发现澳门只有8.4%的学生用5步买到了正确的车票。中国香港、中国澳门和中国台北在这道题上做出最优选择的学生比例分别为23.8%、8.4%、24.2%，可以说沪、港、澳、台四地最优性都不高，可能与这4个地区的地铁售票机系统与试题呈现的系统差异较大造成的。表5-4“车票”第1题部分国家（地区）做出最优选择的学生比例......
2023-10-19
-
基于能力的课程：LOG数据揭示PISA问题解详细阅读
这一改革与PISA问题解决能力的要求完全一致，为新加坡在PISA问题解决中的优异表现作出了解释。从基于知识和基于效率的课程向基于能力的课程转变有多种途径，主要有根据核心素养培养要求重塑课程，将问题解决能力融入学科课程，开设综合活动课程等。......
2023-10-19
-
LOG数据揭示基于PISA的问题解决能力详细阅读
“交通”单元第2题的题目要求是，已知从钻石镇去爱因斯坦镇的最快行程需时31分钟，要求学生在地图上把这段行程标示出来，考查的主要认知过程是“计划和执行”。然后根据学生的答题行为对学生的潜在类别进行分析。表5-2交通单元第2题学生思维方式分类（续表）各国平均而言，“启发式”学生在这道题目上的正确率最高，问题解决平均成绩也最高，“传统式”学生正确率和平均成绩最低。......
2023-10-19
-
基于LOG数据的PISA问题解决能力研究详细阅读
PISA 2012计算机化问题解决总的题量为80分钟，共16个单元42道试题，这些题目分为4个单元组，每个单元组的测试时间为20分钟。互动问题中，有4个单元8道试题是基于线性结构方程的微动态系统、有6个单元19道试题是基于有限状态机的微状态机底层结构。PISA中采用的微动态系统将输入和输出变量都控制在3个之内。表3-3PISA 2012正式测试互动问题解决框架分类......
2023-10-19
-
PISA问题解决能力：基于LOG数据的国际比详细阅读
控制变量策略，即每次只改变一个变量的策略，简称VOTAT策略，是互动问题解决中重要的认知策略。PISA 2012公开样题“室温控制”第1题中用到这一策略，题目如图5-10所示，整个单元的试题、编码（评分）标准以及计算机log文件编码说明见附录2。利用学生在这道题目过程中计算机自动记录的log文件，来了解学生运用VOTAT策略的过程具有典型意义，因为凡是以线性结构方程为底层结构的试题都与此类似，PISA 2012问题解决中类似的试题有4个单元8道题。......
2023-10-19
-
基于LOG数据的PISA问题解决能力研究结果详细阅读
基于PISA 2012计算机自动记录的日志文件来分析学生的问题解决过程，我需要进行以下数据处理：第一，数据清理，将PISA 2012问题解决测试的log数据、认知测试结果数据、问卷和权重数据合并，删除无效数据。......
2023-10-19
相关推荐