从基于log数据的坚持性和问卷调查得到的坚持性指数比较可以看出，这些国家（地区）基于log数据的坚持性评价都是正值。统计结果发现，基于log数据得出的坚持性指数解释率显著高于问卷得出的坚持性指数，在各国都有显著性，如附表5-17所示。表5-21基于log数据和问卷调查的坚持性指数解释率比较同时数据分析也表明，并不是只要坚持就能买到合适的车票，认知水平也很重要，坚持很久仍然买错的学生也不少。......
2023-10-19
实践中产生的问题及PISA问题解决能力研究成果简述
【摘要】：在实施PISA测试的时候，第一，我想知道PISA问题解决为什么是这样测试的。另外，OECD研究报告指出，上海学生在互动问题上的表现不如静态问题的解决，这是因为上海学生习惯于纸笔测试的方式而不能有效利用计算机提供的功能。OECD报告揭示，中国上海中等职业学校学生的成绩在与同样学科成绩的普通中学生相比时，要高出许多！
我对PISA问题解决的研究兴趣源于实践。在实施PISA测试的时候，第一，我想知道PISA问题解决为什么是这样测试的。PISA 2003首次研究问题解决，但到了PISA 2012，问题设计与PISA 2003相比有非常大的变化，除了采用计算机化的测评方式外，测评的内容和框架也几乎是全新的。为什么会有这么大的改变？从直观感受来说，2011年试测前，我看到PISA问题解决的测试题，就觉得与我们一般意义上理解的问题不一样。有些技术设备的操作是在日常设备的基础上改编的，例如自动售票机（参见附录中的样题“车票”），有些问题人为设计的痕迹比较重，类似“室温控制”这样的题目看上去像实际问题，但总觉得有些别扭。为什么两个控制器都是调节湿度的，一个每格调一度，另一个每格调两度？这是为了考试而故意设计的，难道就没有更好的方式，为什么不能更真实些呢？所以我首先就想了解当前国际上对问题解决研究的最新理论、方法和趋势，了解PISA测评框架背后的原理，这是PISA测评框架没有仔细阐述的地方。
第二，我想知道计算机后台记录的日志文件（log）数据怎么分析。在阅读PISA计算机化问题解决评分标准的时候，我看到一些试题（例如“室温控制”）的得分为满分和部分分数，如果学生画出了正确的关系图可以得满分；如果没有画出关系图，但是从计算机后台记录的log数据可以看出，学生如果用了每次只改变一个变量的策略（VOTAT策略，或者叫控制变量策略），就可以获得部分分数。又如“车票”的第2题，要求学生买最便宜的车票，但如果学生没有经过比较而是碰运气买到了最便宜的车票是不能得满分的，因为计算机log数据可以揭示学生有没有做过比较。这是计算机化测试最大的好处，可以通过分析学生每一步的操作还原学生的思考过程，这样就可以了解学生的主要问题出在哪里了。但PISA的框架和技术手册并没有说明log数据怎么分析，所以我就想研究log数据分析有哪些方法，究竟可以做什么。
第三，我想了解上海学生问题解决成绩低于预期的原因。上海学生在纸笔测试中三个学科领域连续两次获得第一名，但为什么问题解决表现没有用纸笔测试成绩预测的那么好？是不熟悉计算机使用吗？PISA问题解决涉及的计算机操作是最基本的鼠标移动拖拽，连打字都很少，而且用ICT熟悉度指标与结果结合起来分析也很难解释其结果。很多国家都不认为电脑用得越多，学生成绩越好，也不认为在ICT上投入的资源越多，学生成绩就越好。这究竟是什么原因？我希望能多从一些别的视角去了解，特别是了解学生问题解决的过程。另外，OECD研究报告指出，上海学生在互动问题上的表现不如静态问题的解决，这是因为上海学生习惯于纸笔测试的方式而不能有效利用计算机提供的功能。这削弱了我们的优势吗？因为静态问题解决所需要的信息和纸笔测试一样，是一开始就全部出现的，换句话说，有些静态问题解决不需要利用计算机，看了问题后依靠心算或笔算也能完成。我们在这些试题上表现好，是不是因为学生仍然依靠心算和笔算去解决问题，是不是上海学生对传统考试方式依赖过重？这个问题也需要探究学生问题解决的过程才能了解，只看结果很难甄别，或者说，在没有揭示过程之前，我们可以依据纸笔测试的结果和问卷分析的结果来推测，但是如果学生与计算机互动的真实数据在你眼前，一切推测都是浮云。(www.chuimin.cn)
第四，我想了解中国上海学生在问题解决成绩上性别差异的原因。PISA 2009中上海男生成绩比女生低40分引起了震动，PISA 2012阅读成绩的性别差异缩小到24分，数学和科学成绩都没有性别差异，所以总的来说，纸笔测试还是女生好一点。但是在计算机化问题解决测试上，男生成绩比女生高25分，是差距最大的国家（地区）之一。这是为什么呢？在学校考试中，从来都是女生占优势，但实际问题解决中，许多人直观地感觉到男生更有优势。可是为什么男生优势在计算机化问题解决中表现出来了呢？究竟是在什么内容或方法上男生有优势或者女生有劣势呢？OECD的报告只是笼统地说，中国上海女生在计划和执行方面表现不如男生，具体情况怎么样呢？还需要结合具体的试题内容和解决问题的过程来分析。
第五，我想了解中国上海中等职业学校学生问题解决表现出色的原因。表面上看，中等职业学校学生的成绩显著低于普通中学学生，但是要考虑到他们较低的家庭经济社会文化地位，特别是他们较低的学科成绩，要与同样学科成绩的普通中学学生来比较。OECD报告揭示，中国上海中等职业学校学生的成绩在与同样学科成绩的普通中学生相比时，要高出许多！这个差异比其他国家（地区）都要大！对于问题解决总体表现不如纸笔测试成绩所预测水平的中国上海学生来说，中等职业学校学生的表现实在太亮眼了，值得研究。但是OECD只是提到了结果，没有进行原因分析，所以我很想做些探究。
有关思维的痕迹：基于LOG数据的PISA问题解决能力研究的文章
- 详细阅读
-
LOG数据基础下的PISA问题解决能力研究成详细阅读
静态分析性问题解决被认为是这种目标导向的认知过程的核心。接着，给予受访者他或她需要工作的步骤的列表，列表内容如下：①设置团聚的日期；②考虑你的亲戚对远足的建议；③计划在预订航班之前需要做什么；④回答你亲戚关于乘飞机旅行的问题；⑤预订您的航班；⑥确保您的票是正确的；⑦计划从B市到机场的行程。第一个任务是让他把聚会安排在7月。这个项目的第一个任务“设置团聚的日期”是一个典型的问题解决任务的例子。......
2023-10-19
-
LOG数据揭示PISA问题解决能力详细阅读
本研究有理论、方法和实践三方面的目标：一是研究和梳理国际上最新的问题解决理论和研究，辨析问题解决能力的结构和关键因素，运用PISA实证数据为理论研究提供证据和改进的依据。运用PISA计算机化问题解决数据，研究学生回答问题过程中计算机自动记录的日志文件数据，提出PISA问题解决过程的评价指标，并针对这些指标开展中国上海与其他国家（地区）学生问题解决过程的比较研究。......
2023-10-19
-
基于LOG数据的PISA问题解决能力研究成果详细阅读
有人说，比较教育“有着悠长的过去，却只有简短的历史”。比较教育也逐渐在欧美学术界赢得了一席之地，正式成为教育学科中的一个独立分支。历史学方法、因素分析方法成为此阶段引领比较教育发展的主要方法。但在当时，要获取各国的教育统计数据也非易事。1962年，国际教育成就评价协会率先尝试发布了《12个国家13岁儿童的教育成就：一项国际研究的结果》，开创了通过国际测试比较各国教育成就的先河。......
2023-10-19
-
LOG数据揭示PISA问题解决能力研究成果详细阅读
MCS测试不追求现实世界的相似性和表面效度，而是侧重于心理测量属性和复杂问题解决的核心特征。MCS方法通过最小化微世界和缩短每个任务花费的时间来解决单一试题测试带来的问题。此外，科学研究和大规模调查的结果表明，静态和互动问题解决能力都很有用。因此，问题解决能力测评也应该包括静态分析问题解决以及互动问题解决两个方面。使用任何单一测试无法充分评价解决问题的能力，因为无法将能力和经验的认知残留区分开来。......
2023-10-19
-
PISA问题解决能力：基于LOG数据的研究成详细阅读
新加坡在PISA 2012问题解决能力评价中获得第一，与新加坡在整体的课程设计中重视问题解决能力是分不开的。跨学科的普遍迁移很少发生，所以通用问题解决能力最好与学科学习内容结合起来培养。在这方面，新加坡以问题解决为核心的数学课程设计是一个典型做法。新加坡数学大纲是以培养学生问题解决能力为核心“五角框架”，该框架适用范围从小学一直到高中毕业的新加坡剑桥A水平，为数学的教学、学习和评估确定了方向。......
2023-10-19
-
LOG数据揭示PISA问题解决能力分析详细阅读
模型对中国上海学生问题解决成绩差异的解释率为58.6%，在控制了背景变量后，3个过程指标作用仍然显著。表6-26控制个人背景后，基于log数据的3个指数对中国上海学生问题解决成绩的综合作用目前log数据分析只能基于公开样题和公开数据库，所以指标有一定局限性。如果能基于更多的问题解决过程，提出更多元的指标，以及基于若干同类试题构建综合指标，对结果的解释能够更完善。......
2023-10-19
-
基于LOG数据研究PISA问题解决能力详细阅读
它表示在很多情况下，问题不会等待解决问题的人和他的决定，而是会随时间而自己改变。动态问题需要问题解决者考虑“时间”因素。内部因素包括解决问题所需的知识的广度，问题解决者的达成水平和领域知识的水平。（二）复杂问题解决的欧洲观点欧洲学派尽管都采用实验室模拟的办法来研究复杂问题解决，但实际上有两个在理论和方法上不同的分支。......
2023-10-19
相关推荐