首页 理论教育读写测评:理论与工具

读写测评:理论与工具

【摘要】:明晰了测评构念、选择了测评途径之后,就进入测评工具开发或选择阶段。阶段三开发测评工具时,需注意测评的是“潜在的”[17]构念,因此测量与评价要解决的一个关键问题是如何用外显的工具引发学生隐性的思维过程、认知反应,并据此判断其构念发展水平。此处勾勒的测评工具开发小模型突出了测评工具开发中需要特别重视的一个方面,即需要考虑工具引发的学生反应。

明晰了测评构念、选择了测评途径之后,就进入测评工具开发或选择阶段。马达比·查特吉(Chatterji,M.)在《设计和使用教育评估工具》一书中专门指出,20世纪90年代开始,教育评估实践层面涌现出各种评估工具,“表现性评估”“选择性评估”“真实性评估”十分受欢迎,不过,评估重要的“过程”并不会因为评估方式的不同而不同或发生改变,效度、信度和一致性等基本原则依然适用于所有的评估设计情境。当然评估设计过程本身可能会有逐步的发展或一些小的更新。马达比·查特吉所说的“评估设计过程模型”主要包括四个阶段,如图1-2[14]所示:

图1-2 “评估设计过程模型”流程图

遵循这样的过程模型主要目的是保证测试的效度,以测到真正想测的各种心理属性。以上模型也适用于评估工具的选择过程。因此,该模型全称为“评估设计/选择和验证过程模型”。

该模型阶段一,主要考虑三个要素:构念、对象和测评目的,由此确定可观察的领域指标,即本节第一部分所述内容。

阶段二和阶段三指向的是需要开发或选择出的两个“产品”,一为评估细则,二为真实的评估工具。评估细则,可能表现为具体的“测评框架”文件[15],也可能表现为我们熟悉的测评细目表或测评蓝图。关于测评细目表或测评蓝图,需注意其基本样式和构成要素是发展变化的,譬如从双向细目表发展为多维细目表或“测验设计框架”[16],变化目的是让测评项目规划阶段考虑更加充分,让测评工具更加符合测评目的。就语文学科而言,在测评细目表或测评蓝图里一般应体现:测评领域,测评领域间的关系,特定领域的测评目标;试题类型分布,试题难度分布;语料的来源和情境类型等。

阶段三开发测评工具时,需注意测评的是“潜在的”[17]构念,因此测量与评价要解决的一个关键问题是如何用外显的工具引发学生隐性的思维过程、认知反应,并据此判断其构念发展水平。工具、反应、构念之间的关系可以用图1-3表示。此处勾勒的测评工具开发小模型突出了测评工具开发中需要特别重视的一个方面,即需要考虑工具引发的学生反应。试题开发中,一方面要考虑呼应和落实构念,试题引发的学生反应需尽量体现构念的发展水平;另一方面需要考虑这些反应的可观察性,是否方便和如何区分它们的发展水平,即如何评分。如果评分环节不能落实命题理念,不能呼应构念假设,那么试题的检测功能还是会打折扣,不能保证测试效度。

图1-3 工具、反应、构念关系图

阶段四与阶段一关联,验证效度。验证办法有两种,一是通过理论、逻辑的分析来判断试题的质量;二是通过试测数据的分析来判断试题质量。目前我国的绝大多数测试是没有正式的试测阶段的,这就需要命题人员在命题结束后自觉地进行试题反思。当然,最好还是尽量通过各种办法,获得来自学生的反馈信息,以修订和完善测评工具。

“评估设计/选择和验证过程模型”的四个阶段构成一个整体,其中阶段二和阶段三可能会有反复修正过程。