首页 理论教育选择题开发:有意识选用和有针对性设计

选择题开发:有意识选用和有针对性设计

【摘要】:选择题已经成为一种常用题型,不过在设计和使用中还要进一步加强针对性,提高规范性。以PISA测评项目为例,测评框架文件有专门的篇幅阐述题型选择问题。[50]在综合考虑各种情况的基础上,PISA测评框架给出了在各个阅读认知层级上主客观题型的分配比例。像PISA这样的大规模考试中客观题比例适当偏多,从侧面反映出选择题可测试的能力范围是较为广泛的。

选择题已经成为一种常用题型,不过在设计和使用中还要进一步加强针对性,提高规范性。

(一)有意识、有针对性地选择题型

“决定测验中采用哪种题目类型时,一个指导性的原则是:所使用的题目类型应当对预期学习成果所指明的学生表现作出最直接的考查。”“有效的成就测验要求设计出一系列测验题目来引出预期学习成果所描述的表现。”[49]可以看到一些国际著名的测评项目在命题开发过程中会有意识地考虑题型和能力测评目标之间的对应性。

以PISA测评项目为例,测评框架文件有专门的篇幅阐述题型选择问题。首先,测评框架指明,“反应形式”(response formats),即题型的选择有两个依据,一是题型必须有利于收集需要的证据(即以特定的形式引出学生特定的反应,以证明其在某方面的学习结果);二是大规模测试的适用性。[50]在综合考虑各种情况的基础上,PISA测评框架给出了在各个阅读认知层级上主客观题型的分配比例。在命题之前有意识地考虑各类题型的利弊,有意识地将题型和所要测评的认知能力联系起来思考,规定大致比例,有利于保证具体题目的测评针对性和测评结果的解释力。

像PISA这样的大规模考试中客观题比例适当偏多,从侧面反映出选择题可测试的能力范围是较为广泛的。

(二)关注每一种能力的实质性考查

在PISA测评框架及其样题中,有一个值得注意的部分,即对每个题目属性的说明,譬如[51]

题目1 英国研究者有什么建议?(笔者注:关于刷牙。选项略,下同。)

情境:教育

文本形式:连续文本

文体类型:说明

认知方面:访问和检索

题型:单项选择题

难度:358(1a级)

题目2 从总体上说,剧作家莫纳在这部分节选中做了什么?

情境:个人的

文本形式:连续文本

文体类型:叙述

认知方面:整合和解释——形成广义的理解

题型:单项选择题

难度:556(4级)

题目3 为什么有两个热气球的图形?

情境:教育的

文本形式:非连续文本

文体类型:描述

认知方面:反思和评价——反思和评价文本内容

题型:单项选择题

难度:411(2级)

这样的公开解释,可以起到两个作用:首先,让读者看到每一个题目的测评指向和功能,考查的是学生阅读特定类型文本的特定的阅读认知过程;其次,当读者把若干个题目放在一起看的时候,可以注意到题目之间相对明晰的差别。正是凭借各个题目的特定指向和不同题目的合力作用,才能较为立体、全面地检测出学生阅读素养的整体情况和在阅读素养特定维度上的表现。

(三)虚心吸收既有命题规则

选择题具体的产生过程,需要基于对构念和测评目标的准确理解,基于对文本的准确把握。对这两个方面的充分理解需要落实到具体的题目撰写过程中去。前文已经显示,试图测评的目标和实际测评的能力之间可能会有差距,题干指向和选项指向可能不一致。造成这种局面的原因,一方面可能是对目标定位不够清晰,另一方面可能是试题编制技术还不够成熟,在题目撰写过程中产生了偏差。

在一般的测量与评价类书籍中都会有关于试题编制的专门章节,会介绍各类题型的作用、意义,并且会提出题目撰写中的一些基本规则。虽然是一般理论、原则,但对于语文学科试题命制有一定的启发意义。譬如,关于选择题题干、干扰项、正确项的设计,以下一些建议值得我们参考:

每道题目的设计都要考查一个重要的学习成果。题目所基于的问题情境应当是重要的,并且应与所要考查的预期学习成果相关。各道题目的目的是要引出某种类型的表现,以帮助判断学生在多大程度上达到了预期学习成果。[52](笔者注:这是构念原理在题目撰写层面的体现,题目所表述的问题情境是重要抓手。)

在题目的题干中呈现一个清楚定义的、单一的问题。题目的题干中所提出的任务应该非常清晰,这样学生不用读选项也可以理解它。事实上,检验选择题题干的清晰性和完整性的一个好方法是,遮住选项并判断没有那些选项时是否可以回答题干中的问题。[53](笔者注:结合上面一条一起来反思我们既有的题目,不少题干缺乏问题情境色彩、缺乏问题解决意识,如“下列表述正确/不正确的是”等。也就是说,题目要考的应该是题干所阐述的问题、任务引发的能力,而不是纯粹的比较选项的能力,所以如前文所提及的太多考查学生比对选项信息、比对选项和文本细节信息的题目是需要引起我们注意和酌情改变的。)

干扰项应该是合理且错的。如何产生好的干扰项?一个比较好的方法是先识别学生一般可能有的误解或错误,由此干扰到那些有此误解或错误理解的学生。[54](笔者注:反观我们的命题实践,这一步可能还要适当加强。)

使干扰项对未掌握者有迷惑性和吸引力:用学生的语言来表述选项;在干扰项和正确答案中都用“好听的”词(准确、重要);使干扰项在长度和用词复杂度上与正确答案相似……[55]

确保预期答案是正确的或明显最好的。在用最佳答案形式时,预期答案应该是有实力的权威所公认为明显最好的。在后一种情况中,可能还有必要在题目的题干中加上“下面中”,以考虑到题目中没有包含的但同样好的答案。[56]

只要有可能,就以肯定形式表述题目的题干。这是因为,知道诸如最好方法或最恰当论述之类的东西通常比知道最差方法或最不恰当的论述有更大的教育意义。每当题目的题干中用了否定表述时,一定要对其进行强调。在有些情况下,要测量某个重要的学习成果,很有必要使用否定表述。例如,知道不应该在亮红灯时过街和不应该将某些化学品混合如此重要,以至于这些规则可能要直接教导和直接测验。任何存在危险的情境都需要否定性强调。几乎任何规则或程序都会对要避免的做法作一些强调。[57](笔者注:在语文学科中,否定形式表述的题干用得比较多。不乏一篇短文三个选择题都是否定形式表述的情况。)

通过改变题干中的问题或者改变选项来控制题目难度。一般而言,最好通过使问题更复杂来提高所需的知识水平,从而提高题目难度。但是,也可以通过使选项更相似来提高难度。当这样做时,一定要小心确保所需的更为精细的区分具有教育意义,而且与所考查的学习成果相协调。[58](笔者注:最后一句提醒需要谨记。)

综上,命题的过程不是习惯性地延续既有经验、沿用传统题型而已,而是一个包含了从深谙宏观理念、明确中观目标、熟稔微观技术的系统工程。这三个层面都需要我们持续、深入地探索。

【注释】

[1]根据《PISA 2018阅读测评框架》《PIRLS 2016测评框架》和《NAEP 2019阅读测评框架》整理而成。

[2]详见第二章第一节。

[3]Mullis,I.V.,Martin,M.O.PIRLS 2016 Assessment Framework[EB/OL].[2020-05-23].https://timssandpirls.bc.edu/pirls2016/downloads/P16_Framework_2ndEd.pdf,2015:19-20.

[4]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[2014-03-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:43.

[5]OECD.PISA 2009 Assessment Framework:Key Competencies in Reading,Mathematics and Science[EB/OL].[2013- 05-20].https://doi.org/10.1787/9789264062658-en,2009:49.

[6]National Assessment Governing Board.Reading Assessment and Item Specifications for the 2009 National Assessment of Educational Progress[EB/OL].[2013-03-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2009-reading-specification.pdf,2009:48-49.

[7]需要自己写出答案的试题。

[8]National Assessment Governing Board.Reading Assessment and Item Specifications for the 2009 National Assessment of Educational Progress[EB/OL].[2013-03-23].https://www.nagb.gov/naep-frameworks/reading/2009-reading-specification.html,2009:63.

[9]顾娇妮,方明生.关于PIRLS的阅读测试题型译介[J].语文教学通讯,2006(1/C):58-61.

[10]第一章第二节中已介绍PIRLS阅读测评认知框架,此处不再重复呈现。

[11]陆璟.PISA测评的理论和实践[M].上海:华东师范大学出版社,2013:192-194.

[12]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[202005-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:17-30,8.

[13]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[202005-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:17-30,8.

[14]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[2020-05-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:21,12.

[15]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[2020-05-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:21,12.

[16]National Assessment Governing Board.Reading Framework for the 2019 National Assessment of Educational Progress[EB/OL].[2020-05-23].https://www.nagb.gov/content/nagb/assets/documents/publications/frameworks/reading/2019-reading-framework.pdf,2019:28.

[17]National Assessment Governing Board.Reading Assessment and Item Specifications for the 2009 National Assessment of Educational Progress[EB/OL].[2020-05-23].https://www.nagb.gov/naep-frameworks/reading/2009-reading-specification.html,2009:APPENDIX C.

[18]词汇是NAEP的一个重要考点,在选文和分析选文阶段,也专门把可考词汇的选择作为一个重要关注点。

[19]National Assessment Governing Board.Reading Assessment and Item Specifications for the 2009 National Assessment of Educational Progress[EB/OL].[2020-05-23].https://www.nagb.gov/naep-frameworks/reading/2009-reading-specification.html,2009:APPENDIX C.

[20]陆璟.PISA测评的理论和实践[M].上海:华东师范大学出版社,2013:15-16.

[21]2018年以来,高考语文试卷中开始较为普遍地出现另一类文本形式——材料组合文本,即用几则来源不同的材料组合成一个语料,用以考查学生的非文学类文本或实用类文本阅读能力,其间可能会有图表类非连续性文本材料。本节探讨的是非连续性文本单独考查的试题。

[22]魏小娜.美国“非连续性文本”的读写实践及启示[J].语文教学通讯,2015(1/C):74.

[23]魏小娜.美国“非连续性文本”的读写实践及启示[J].语文教学通讯,2015(1/C):69.

[24]本节所用题目和表5-8、表5-9中的信息均出自《语文学习》2013年增刊,下不再一一注明。

[25]冯常林,史绍典.湖北卷试题分析[J].语文学习,2013(增刊):133.

[26]王玉强,陈鲁峰.山东卷试题分析[J].语文学习,2013(增刊):123.

[27]钱金涛.重庆卷试题分析[J].语文学习,2013(增刊):162.

[28]韦永平.全国大纲卷试题分析[J].语文学习,2013(增刊):29.

[29]L.W.安德森,等.学习、教学和评估的分类学——布卢姆教育目标分类学修订版(简缩本)[M].皮连生,等译.上海:华东师范大学出版社,2008:59.

[30]伊道恩,刘克强,付雨霓.天津卷试题分析[J].语文学习,2013(增刊):47.

[31]厉行威,焦忠民.湖南卷试题分析[J].语文学习,2013(增刊):144.

[32]陈明杰,汪梅林.安徽卷试题分析[J].语文学习,2013(增刊):95.

[33]王玉强,陈鲁峰.山东卷试题分析[J].语文学习,2013(增刊):123-124.

[34]L.W.安德森,等.学习、教学和评估的分类学——布卢姆教育目标分类学修订版(简缩本)[M].皮连生,等译.上海:华东师范大学出版社,2008:59,72.

[35]钱金涛.重庆卷试题分析[J].语文学习,2013(增刊):162.

[36]贾天仓.全国新课标乙卷试题分析[J].语文学习,2013(增刊):17.

[37]OECD.PISA 2009 Assessment Framework:Key Competencies in Reading,Mathematics and Science[EB/OL].[2013-05-20].https://doi.org/10.1787/9789264062658-en,2009:45-46.

[38]詹姆斯·波帕姆.教师课堂教学评价指南[M].5版.王本陆,赵婧,等译.重庆:重庆大学出版社,2010:113.

[39]詹姆斯·波帕姆.教师课堂教学评价指南[M].5版.王本陆,赵婧,等译.重庆:重庆大学出版社,2010:133-134.

[40]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].杨涛,边玉芳,译.北京:教育科学出版社,2011:91.

[41]Mc Millan,J.H.Classroom Assessment:Principles and Practice for Effective Instruction[M].Boston:Pearson Education,2001:54.

[42]阿来萨.课堂评估:理论与实践[M].徐士强,译.上海:华东师范大学出版社,2008:184.

[43]吉尔伯特·萨克斯,詹姆斯·W.牛顿.教育和心理的测量与评价原理[M].王昌海,等译.南京:江苏教育出版社,2002:104.

[44]詹姆斯·波帕姆.教师课堂教学评价指南[M].5版.王本陆,赵婧,等译.重庆:重庆大学出版社,2010:133.

[45]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].杨涛,边玉芳,译.北京:教育科学出版社,2011:90.

[46]吉尔伯特·萨克斯,詹姆斯·W.牛顿.教育和心理的测量与评价原理[M].王昌海,等译.南京:江苏教育出版社,2002:104.

[47]Mc Millan,J.H.Classroom Assessment:Principles and Practice for Effective Instruction[M].Boston:Pearson Education,2001:149,56-57.

[48]Mc Millan,J.H.Classroom Assessment:Principles and Practice for Effective Instruction[M].Boston:Pearson Education,2001:149,56-57.

[49]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].杨涛,边玉芳,译.北京:教育科学出版社,2011:75,77.

[50]OECD.PISA 2009 Assessment Framework:Key Competencies in Reading,Mathematics and Science[EB/OL].[2013-05-20].https://doi.org/10.1787/9789264062658-en,2009:45-46.

[51]陆璟.PISA测评的理论和实践[M].上海:华东师范大学出版社,2013:170,183,195.

[52]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:93,93,103,98.

[53]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:93,93,103,98.

[54]Mc Millan,J.H.Classroom Assessment:Principles and Practice for Effective Instruction[M].Boston:Pearson Education,2001:151.

[55]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:93,93,103,98.

[56]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:93,93,103,98.

[57]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:96-97,106-107.

[58]诺曼·E.格伦隆德,C.基思·沃.学业成就评测[M].北京:教育科学出版社,2011:96-97,106-107.