在开展计算机化测试后，动态问题解决或复杂问题解决过程可以利用计算机后台保存的log文件对整个解题过程、知识获取阶段、知识应用阶段分别进行评价。从上述指标可以看出，目前对问题解决过程指标的分析主要局限在时间、步骤等基本统计上，综合的评价指标较少，并且指标比较分散，没有系统的分析框架。......
2023-10-19
问题解决结果评价指标：基于LOG数据的研究成果
【摘要】：静态分析问题解决只有最后的一个结果，根据解题者达到目标的程度给予满分或部分评分。所以动态问题解决或复杂问题解决可以分别评价知识获取和知识应用两个阶段的结果。尽管后面四种方法没有因果关系图那么常用，但是问题解决者会意识到他们被问到的是获得外显的结构性知识。
静态分析问题解决只有最后的一个结果，根据解题者达到目标的程度给予满分或部分评分。但互动问题解决通常要完成两个任务：第一，他必须找出系统是如何作用的，称为知识获取或系统识别；第二，他必须通过控制系统中的某些变量使系统达到某个目标状态，称为知识应用或系统控制。所以动态问题解决或复杂问题解决可以分别评价知识获取和知识应用两个阶段的结果。
（一）知识获取（系统识别）的评价
第一种方法，线性结构方程在知识获取阶段最常用的评价指标是让被试画出变量之间的因果关系图，根据被试画出的关系来评分，系统关系的识别有不同的水平：①识别关系的存在或不存在；②对关系作用的方向做出说明；③对关系之间的定性规则（正向或负向）做出说明；对该关系的权重的精确定量做出说明[72]。
第二种也可以用语言而不是用图示来说明因果关系。在Beckmann于1994年进行的研究中，图示的格式用词语和数字代替，通过一系列问题来记录参与者的结构知识。一开始问一般的问题，诸如他们是否有新发现，根据被试的回答再决定是否问动态系统中的关系问题，例如两个变量之间关系的强度是怎样的，然后把回答的话转化为图像[73]。
第三种测量结构知识的方法是配对任务。给被试两个变量名，被试的任务是决定这两个变量之间是否存在联系。这一方法的作用没有因果关系图那么强，它只反映知识获取的有限信息，主要为是否有关系。
第四种方法是给出输入条件和对变量干预的值让被试预测输出的结果，计算被试的预测和实际结果之间的差距，即用预测质量的测量来评价知识获取的质量，这一测量方法接近知识应用。
第五种推断知识获取的方法是，呈现特定系统的状态，可以与实际发生的动态情境相一致，即符合系统结构的目标情境，或另外构建不符合系统结构的干扰情境。要求被试评价出现的情境是目标情境还是干扰情境，根据回答正确与否来计算知识获取的得分[74]。(www.chuimin.cn)
尽管后面四种方法没有因果关系图那么常用，但是问题解决者会意识到他们被问到的是获得外显的结构性知识。
在有限状态机的知识获取阶段，任务是类似的，因为必须发现输入信号和系统当前状态对输出信号的影响，必须检测要满足的条件以便使某些状态转换成为可能。
（二）知识应用（系统控制）的评价
一般用系统的结果状态与界定的目标状态之间的平均对数偏差来测量知识应用，效度研究表明系统控制质量的测量与系统识别的质量同样可靠。后来研究者们用更简单的指标，即达到目标的数量[75]。
在线性结构方程中，知识应用有两个子目标：首先，通过输入变量将内生变量的给定状态转换为目标状态；其次，将该目标状态保持在稳定的水平上[76]，因为动态系统目标状态一旦达到，可能会由于“本征动态”（一些变量会在没有外生变量作用的情况下随时间自动发生变化）而迅速消失。
在有限状态自动机中，知识应用的任务只需要找到从初始状态到目标状态的路径，即找到达到目标的输入信号序列。如果必须满足多个前提条件以允许某个关键序列，则该任务可能变得相当困难。（如，要更改时钟无线电报警器上的唤醒时间可能需要在更改时间之前先成功地完成一系列设置。）
有关思维的痕迹：基于LOG数据的PISA问题解决能力研究的文章
- 详细阅读
-
基于LOG数据的PISA问题解决能力研究结果详细阅读
基于PISA 2012计算机自动记录的日志文件来分析学生的问题解决过程，我需要进行以下数据处理：第一，数据清理，将PISA 2012问题解决测试的log数据、认知测试结果数据、问卷和权重数据合并，删除无效数据。......
2023-10-19
-
基于LOG数据的PISA问题解决能力研究成果详细阅读
有人说，比较教育“有着悠长的过去，却只有简短的历史”。比较教育也逐渐在欧美学术界赢得了一席之地，正式成为教育学科中的一个独立分支。历史学方法、因素分析方法成为此阶段引领比较教育发展的主要方法。但在当时，要获取各国的教育统计数据也非易事。1962年，国际教育成就评价协会率先尝试发布了《12个国家13岁儿童的教育成就：一项国际研究的结果》，开创了通过国际测试比较各国教育成就的先河。......
2023-10-19
-
提高形成性评价质量：基于LOG数据的研究成果详细阅读
形成性评价强调了运用证据持续改善学生学习的动态过程。因此，形成性评价对塑造学生各方面的素养非常重要，是素养养成的导航器。然而，该指标对各国（地区）学生的数学成绩和问题解决成绩提高的作用是负向的，形成性评价指标未能得到大规模调查的证据支持，说明在这方面的调查设计还有待进一步改进。......
2023-10-19
-
PISA问题解决能力：基于LOG数据的研究成详细阅读
新加坡在PISA 2012问题解决能力评价中获得第一，与新加坡在整体的课程设计中重视问题解决能力是分不开的。跨学科的普遍迁移很少发生，所以通用问题解决能力最好与学科学习内容结合起来培养。在这方面，新加坡以问题解决为核心的数学课程设计是一个典型做法。新加坡数学大纲是以培养学生问题解决能力为核心“五角框架”，该框架适用范围从小学一直到高中毕业的新加坡剑桥A水平，为数学的教学、学习和评估确定了方向。......
2023-10-19
-
PISA问题解决能力研究结果：基于LOG数据详细阅读
分别统计以下4个指标：学生运用VOTAT策略的次数。运用VOTAT策略的频次占点击“应用”总次数的比例。表5-7问题解决成绩前10名国家（地区）学生VOTAT策略运用水平注：国家（地区）按问题解决成绩从高到低排序。学生必须在3个控制器上都运用了该策略才算系统运用，统计在3个控制器上都运用了VOTAT策略的学生数。说明上海学生较好地掌握了VOTAT策略。这些国家（地区）VOTAT策略指数均高于0.3。......
2023-10-19
-
PISA结果统计分析：基于LOG数据的研究成详细阅读
将基于log数据的过程评价指标与PISA问题解决量表成绩和问卷指标结合开展综合分析。主要采用SPSS19.0软件和PISA Replicates插件进行分析，每个数据都按学生权重进行加权，因为PISA采用两阶段抽样，而SPSS是针对简单随机抽样设计的统计软件，所以要采用重复平衡计算法进行80次重复计算以估计标准误。此外，还用IEA IDB Analyzer V3.2.21计算了逻辑回归，用LatentGOLD5.0做了潜在类别分析，用PARSCALE4.1合成了问卷数据的IRT指标。......
2023-10-19
-
基于LOG数据研究PISA问题解决能力详细阅读
它表示在很多情况下，问题不会等待解决问题的人和他的决定，而是会随时间而自己改变。动态问题需要问题解决者考虑“时间”因素。内部因素包括解决问题所需的知识的广度，问题解决者的达成水平和领域知识的水平。（二）复杂问题解决的欧洲观点欧洲学派尽管都采用实验室模拟的办法来研究复杂问题解决，但实际上有两个在理论和方法上不同的分支。......
2023-10-19
相关推荐