首页 理论教育测试示例-基于JFlex的词处理解析的实现的基准测试

测试示例-基于JFlex的词处理解析的实现的基准测试

【摘要】:图2-26展示了分词处理器carrot2-util-tokenizer的测试运行结果,进度条绿色表示测试成功通过。此用例主要是对基于JFlex的词处理解析的实现进行基准测试。Tokenizer_TYPE_TERM:对基本字符串的测试。Tokenizer_TYPE_EMAIL:对Email类型的进行相关测试。Tokenizer_NASTY_URL_1:对空URL进行测试。Tokenizer_SYMBOL:对出现像标点、记号类符号型字符进行测试。Tokenizer_TYPE_TERM_acronyms:对缩写词的测试。testChinese:对中文进行了一个简单的测试。图2-26JUnit测试通过图

图2-26展示了分词处理器carrot2-util-tokenizer的测试运行结果,进度条绿色表示测试成功通过。

以org.carrot2.util.tokenizer.parser.jflex.JFlexWordBasedParserImplTest.java为例。此用例主要是对基于JFlex的词处理解析的实现进行基准测试。

在JFlexWordBasedParserImplTest测试类中,对分词进行了分类测试。

(1)Tokenizer_TYPE_TERM:对基本字符串的测试。

(2)Tokenizer_TYPE_NUMERIC:对数字类型的测试。

(3)Tokenizer_TYPE_EMAIL:对Email类型的进行相关测试。

(4)Tokenizer_TYPE_URL:对URL地址进行测试。

(5)Tokenizer_NASTY_URL_1:对空URL进行测试。

(6)Tokenizer_SYMBOL:对出现像标点、记号类符号型字符进行测试。

(7)Tokenizer_TYPE_TERM_acronyms:对缩写词的测试。

(8)testChinese:对中文进行了一个简单的测试。

图2-26 JUnit测试通过图