首页 理论教育基于汉语依存句法的主观题评分优化系统

基于汉语依存句法的主观题评分优化系统

【摘要】:如何利用计算机对主观题进行自动评分一直是考试系统自动化要解决的关键问题,也是自然语言处理领域中的一个研究热点。主观题自动评分系统总体结构主观题自动评分系统主要包括四个功能模块:文本预处理模块、相似度计算模块、分值转换模块、结果输出模块。图8-12自动评分系统处理流程

考试是日常教学和各类评审选拔活动中的重要环节,文字类考题分为客观题和主观题两类。目前,针对客观题的自动评分技术已经相当成熟,但是对于各类主观题,如简答、论述、写作题等,由于其使用自然语言描述而成,它的自动评分过程涉及自然语言处理、人工智能模式识别等知识领域,实现起来相当困难。如何利用计算机对主观题进行自动评分一直是考试系统自动化要解决的关键问题,也是自然语言处理领域中的一个研究热点。

在考察国内外已有的主观题自动评分系统的基础上,将主观题自动评分技术研究的着眼点放在了比较考生答案和参考答案的语义相符程度上,提出了一种新的基于依存句法分析结果的主观题自动评分模型。该模型在利用自然语言处理领域的分词、词性标注和句法分析技术对考生答案和参考答案文本进行预处理的基础上,首先去掉了与答案相似度计算无关的虚词和标点符号,然后结合词语语义相似度的计算方法,通过构建词语相似度矩阵计算得到考生答案和参考答案的语义相似度,并最终给出主观题的自动评分结果。

(1)主观题自动评分系统总体结构

主观题自动评分系统主要包括四个功能模块:文本预处理模块、相似度计算模块、分值转换模块、结果输出模块。

①文本预处理模块。这一模块文本预处理的四个方面组成,即中文分词、词性标注、依存句法分析、虚词及标点过滤。这一部分主要是借助哈工大LTP语言技术平台来实现的。

②相似度计算模块。文本相似度的计算是在词语语义相似度的基础上完成的。

③分值转换模块和结果输出模块。

组成主观题自动评分系统的各主要模块及模块间的依赖关系如图8-10所示。

图8-10 自动评分系统总体结构

(2)主观题自动评分系统功能模块设计

主观题自动评分系统包括两个子系统:答案库子系统和自动评分子系统。答案库子系统用于存储对应题号的考生答案和参考答案,作为系统的输入项存在。主观题自动评分处理过程由自动评分子系统来完成,这个子系统包括:

①文本预处理模块,包含LTP的分词、词性标注、依存句法分析等子模块,以及去虚词和标点符号的处理;

②相似度计算模块,从最底层的义原相似度计算开始,依次经历义项相似度计算、词语语义相似度计算、文本相似度计算;

③分值转换模块;

④评分结果输出块。

整个自动评分系统的结构图如图8-11所示。

图8-11 自动评分系统功能模块

(3)主观题自动评分系统处理流程

主观题自动评分处理流程简述如下:首先从考生答案库和参考答案库分别取出对应题号的考生答案和参考答案作为整个系统的输入,从经过文本预处理后的结果中抽取考生答案和参考答案的语义信息,然后应用本文所述的相似度计算方法计算考生答案和参考答案的语义相符程度,经分值转换模块的处理,输出最终的自动评分结果。主观题自动评分系统工作流程图如图8-12所示。

图8-12 自动评分系统处理流程