首页 理论教育测试工具翻译与修订:涉及LOG数据PISA问题解决能力研究

测试工具翻译与修订:涉及LOG数据PISA问题解决能力研究

【摘要】:阅读和科学纸笔测试采用PISA 2009的连接试题,不需要重新组织翻译。PISA技术标准对试题翻译要求非常严格,相关著作[13]中已有介绍,在此不再赘述。所以,计算机化测试试题的翻译就不用纸笔测试中采用的EXCEL格式的TAS表了。PISA 2009测试结束后,PISA中国上海研究中心上传了160位学生的答卷用于检查,结果完全达到要求。

首先,我们按照PISA 2012技术标准翻译和修订PISA 2012试题和问卷,包括数学纸笔测试试题,计算机化问题解决、数学和阅读试题。阅读和科学纸笔测试采用PISA 2009的连接试题,不需要重新组织翻译。《PISA 2012翻译和修订指导手册》要求各国的翻译版本做到以下两个基本要求:①系统地保留语言的意义和语感;②信息的质和量对各参与国家(地区)的15岁学生(或校长)都是等同的,题目的心理特征仍保持等值,问题的难度水平要保持相等。上海对PISA 2012试题的翻译由我组织上海PISA中心的同事和学科专家与港、澳、台同事合作完成,同时邀请教研室的教研员、高校教师和中小学的骨干教师参与试题翻译的本地修订和校对,使上海的PISA试题翻译除了达到PISA翻译标准外,还要考虑:①忠实性和流畅性之间取得平衡;②符合上海本地15岁在校生的语言习惯。

PISA技术标准对试题翻译要求非常严格,相关著作[13]中已有介绍,在此不再赘述。简单介绍一下计算机化测试的翻译工作与纸笔测试有何不同。计算机化测试试题的翻译是在翻译平台上进行的,为了让所有国家(地区)都能使用翻译平台,所以,PISA 2012选用的是开源软件OLT(Open Language Tool)。但因为是开源软件,所以平台界面设计以及使用都不如商业平台好。最麻烦的是,翻译不是所见即所得的,翻译过程中完全不知道所翻译的这句句子会出现在什么位置,也看不见格式,不知道最后看到的是什么样子,要等全部翻译完存为.xlf文件,上传以后,用预览的方式才能看到格式。如果有问题就要重新将.xlf文件导入平台修改,所以很辛苦。但实际上预览所看到的格式也不一定与最后组卷打包后的实际测试文件格式相同,所以打包完成后还必须对每一道试题仔细检查。

翻译平台的界面分左、右、下三屏,如图3-5所示,左边是英语源文件,右边是翻译者要操作的目标文件,下面是匹配框。因为计算机化问题解决与纸笔测试试题一样,都有双重翻译的要求,每个试题都是由两个翻译人员独立翻译,然后再将两个版本合起来,合起来的版本再提交国际审校。在将两个人的版本合起来的时候,就需要对两个人的翻译进行匹配,默认是第一次的翻译,如果确认以第二次翻译的为准就要选择。如果你对第一和第二个翻译都不太满意,想做修改的话,就直接在右边的目标框中修改,改完后按工具栏中的更新Mini-TM按键,会有个弹出窗口问是否要覆盖目前已有的内容或者另外增加输入。如果你想保存最新的更改的话就选择覆盖,如果还想随时看看以前翻译的内容,那么就选择另外增加输入。

图3-5 PISA 2012计算机化测试翻译平台界面

在右边的目标框中,有些片段上面会出现问号标记,表示这里有翻译指南特别说明或者有别人做的评论,双击该标记就可以打开评论窗口,如图3-6所示。所有的本地化修订内容都需要有说明,可以在要修订的句子上点击鼠标右键,也会弹出评论窗口,评论或说明都必须用英语。等翻译全部完成提交后,国际协作组织会请双语专家审校确认,翻译修订者加注的说明和审校人员的评论也会用问号标注。所以,计算机化测试试题的翻译就不用纸笔测试中采用的EXCEL格式的TAS表了(Translation Adaptation Spreadsheet,用来标注修订过程中本地化的内容)。

图3-6 PISA 2012计算机化测试翻译平台评论窗(www.chuimin.cn)

其次,我们要翻译编码(评分)指南,指南是纸质版本的,所以与试题是分开翻译的,因为有些试题不能用计算机自动评分,而是请专家来评,这些试题的评分标准要翻译,这个翻译和纸笔测试试题翻译的要求一样,要两个小组双重翻译后再合并为一个版本提交国际审校,所有修订和本地化的内容都要用EXCEL格式的修订表。

再次,我们要翻译控制文本。这是计算机化测试的特点。为了控制评分质量,以前纸笔测试是在试题评分结束后,接受PISA协作组织的“国际评分检查”,由PISA协作组织通过随机抽样确定要检查的学生编号,各国家(地区)PISA中心对指定编号的学生试题本扫描并上传,然后由PISA协作组织组织国际专家对这些上传的试题本再进行评分,并与各国(地区)的评分结果进行比较,对于有显著差异的结果会在技术报告中标明。PISA 2009测试结束后,PISA中国上海研究中心上传了160位学生的答卷用于检查,结果完全达到要求。在计算机化测试中采用的方式是,将一组已经经过国际专家评分的学生回答翻译好上传,称为控制文本,在组织网上阅卷的时候,将这些控制文本混在学生回答中一同发送给阅卷人员,阅卷人员无法识别哪个是真实的学生回答,哪个是控制文本,我们也没有告诉阅卷人员在他们要评定的答案中混杂着控制文本。国际协作组织将根据各国对控制文本的评分来评价阅卷质量。