基于PCFG的藏文疑问句句法分析

第３３卷　第２期２０１９年２月

中文信息学报

ＪＯＵＲＮＡＬ　ＯＦ　ＣＨＩＮＥＳＥ　ＩＮＦＯＲＭＡＴＩＯＮ　

ＰＲＯＣＥＳＳＩＮＧＶ

ｏｌ．３３，Ｎｏ．２Ｆｅｂ．，２０１９

文章编号：１００３－００７７（２０１９）０２－００６７－

０８基于ＰＣＦＧ的藏文疑问句句法分析

班玛宝１，２，３，才智杰１，２，３，拉玛扎西１，

２，３

（１．青海师范大学计算机学院，

青海西宁８１００１６；２．藏文信息处理教育部重点实验室青海西宁８１０００８；３．青海省藏文信息处理与机器翻译重点实验室青海西宁８１０００８

）摘　要：藏文疑问句的句法分析在藏文问答系统、搜索引擎、信息的抽取和检索等领域有着广泛的应用前景。该文通过分析藏文疑问句的构成特点，对藏文疑问句进行了分类，归纳了各类藏文疑问句的结构特征，进而利用ＰＣＦＧ对藏文疑问句进行了句法分析。经测试，在封闭测试集上的准确率、召回率和Ｆ１值分别达９７．６％、９７．３％和９７．４％，在开放测试集上的准确率、召回率和Ｆ１值分别达９６．０％、９５．４％和９５．７％。关键词：藏文疑问句；疑问代词；句法分析；ＰＣＦＧ；ＣＹＫ中图分类号：Ｔ

Ｐ３９１ 文献标识码：ＡＴｉｂｅｔａｎ　Ｉｎｔｅｒｒｏｇａｔｉｖｅ　Ｓｅｎｔｅｎｃｅｓ　Ｐａｒｓｉｎｇ　

Ｂａｓｅｄ　ｏｎ　ＰＣＦＧＢＡＮ　Ｍａｂａｏ１，２，

３，ＣＡＩ　Ｚｈｉｊ

ｉｅ１，２，

３，ＬＡＭＡ　Ｚｈａｘｉ　１，２，

３（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｑｉｎｇｈａｉ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉｎｉｎｇ，Ｑｉｎｇｈａｉ　８１００１６，Ｃｈｉｎａ；２．Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　

ｏｆ　ＴｉｂｅｔａｎＩｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｎｉｓｔｒｙ　

ｏｆ　Ｅｄｕｃａｔｉｏｎ，Ｘｉｎｉｎｇ，Ｑｉｎｇｈａｉ　８１０００８，Ｃｈｉｎａ；３．Ｔｉｂｅｔａｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇａｎｄ　Ｍａｃｈｉｎｅ　Ｔｒａｎｓｌａｔｉｏｎ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　

ｏｆ　Ｑｉｎｇｈａｉ　Ｐｒｏｖｉｎｃｅ，Ｘｉｎｉｎｇ，Ｑｉｎｇｈａｉ　８１０００８，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｓｙｎｔａｘ　ａｎａｌｙｓｉｓ　ｏｆ　Ｔｉｂｅｔａｎ　ｉｎｔｅｒｒｏｇａｔｉｖｅ　ｓｅｎｔｅｎｃｅｓ　ｈａｓ　ｂｒｏａｄ　ａｐｐｌｉｃａｔｉｏｎ　ｐｒｏｓｐｅｃｔｓ　ｓｕｃｈ　ａｓ　ｉｎ　Ｔｉｂｅｔａｎｑｕｅｓｔｉｏｎ　ａｎｓｗｅｒｉｎｇ　ｓｙｓｔｅｍ，ｓｅａｒｃｈ　ｅｎｇｉｎｅ，ｉｎｆｏｒｍａｔｉｏｎ　ｅｘｔｒａｃｔｉｏｎ　ａｎｄ　ｒｅｔｒｉｅｖａｌ．Ｂｙ　ａｎａｌｙｚｉｎｇ　ｔｈｅ　ｆｅａｔｕｒｅｓ　ｏｆ　Ｔｉｂｅｔａｎｉｎｔｅｒｒｏｇａｔｉｖｅ　ｓｅｎｔｅｎｃｅｓ，ｔｈｉｓ　ｐａｐｅｒ　ｃｌａｓｓｉｆｉｅｄ　ｔｈｅ　Ｔｉｂｅｔａｎ　ｉｎｔｅｒｒｏｇａｔｉｖｅ　ｓｅｎｔｅｎｃｅｓ　ａｎｄ　ｓｕｍｍａｒｉｚｅｄ　ｔｈｅ　ｓｔｒｕｃｔｕｒａｌ　ｆｅａ－ｔｕｒｅｓ　ｏｆ　ｖａｒｉｏｕｓ　Ｔｉｂｅｔａｎ　ｉｎｔｅｒｒｏｇａｔｉｖｅ　ｓｅｎｔｅｎｃｅｓ．Ｔｈｅ　ＰＣＦＧ　ｍｅｔｈｏｄ　ｉｓ　ｕｔｉｌｉｚｅｄ　ｔｏ　ｐａｒｓｅ　ｔｈｅ　Ｔｉｂｅｔａｎ　ｉｎｔｅｒｒｏｇ

ａｔｉｖｅ　ｓｅｎ－ｔｅｎｃｅｓ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｖｅａｌｓ　９６．０％，９５．４％ａｎｄ　９５．７％ｉｎ　ａｃｃｕｒａｃｙ，ｒｅｃａｌｌ　ａｎｄ　Ｆ　ｖａｌｕｅ，ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｋｅｙ

ｗｏｒｄｓ：Ｔｉｂｅｔａｎ　ｉｎｔｅｒｒｏｇａｔｉｖｅ　ｓｅｎｔｅｎｃｅ；ｉｎｔｅｒｒｏｇａｔｉｖｅ　ｐｒｏｎｏｕｎ；ｓｙｎｔａｃｔｉｃ　ａｎａｌｙｓｉｓ；ＰＣＦＧ；ＣＹＫ收稿日期：２０１８－０９－２９　定稿日期：２０１８－１０－

２９基金项目：国家自然科学基金（６１８６６０３２，６１１６３０１８，６１２６２０５１）；国家社会科学基金（１３ＢＹＹ１４１，１６ＢＹＹ１６７，１５ＢＹＹ１６７）；教育部“春晖计划”合作科研项目（Ｚ２０１２０９３，Ｚ２０１６０７７）；青海省基础研究项目（２０１７－ＺＪ－７６７，２０１９－ＳＦ－１２９，２０１５－ＳＦ－５２０）；“长江学者和创新团队发展计划”创新团队资助项目（ＩＲＴ１０６８）；青海省重点实验室项目（２０１３－Ｚ－Ｙ１７、２０１４－Ｚ－Ｙ３２、２０１５－Ｚ－Ｙ０３）；藏文信息处理与机器翻译重点实验室（２０１３－Ｙ－

１７）；青海师范大学２０１８—２０１９年度创新训练项目０　引言

随着信息技术的不断进步，藏语自然语言处理已经发展到了“句”的层面。但是由于多种原因，藏文句法分析的研究还未取得重大突破。若要深层次地理解藏文，就必须对藏文句子进行句

法分析［１］

。迄今为止，有关藏文句法分析方面的

文章都是针对所有藏文句型展开。然而不同类型的藏文句子在结构特征方面存在明显差异，从而导致藏文句法分析效果不够理想。针对不同类型

的句子，研究其句法，可以提高藏文句法分析的整

体性能。

疑问句是一种常见的藏文句型，也是藏文问答系统、搜索引擎、信息的抽取和检索等问题中的主要句型。本文通过分析藏文疑问句的构成特点，对藏文疑问句进行了分类，并归纳了结构特征，进而利用Ｐ

ＣＦＧ研究了藏文疑问句的句法分析。经测试，在封闭测试集上的准确率、召回率和Ｆ１值分别达９７．６％、９７．３％和９７．４％，在开放测试集上的准确率、召回率和Ｆ１值分别达９６．０％、９５．４％和９５．７％。

中文信息学报２０１９年

１　句法分析的研究现状

自２０世纪５０年代开始，句法分析作为自然语言处理领域的核心任务之一，一直是研究人员关注的热点问题［２］。目前用于句法分析的主要方法有规则法、统计法和规则与统计相结合的方法，统计法中又有基于最大熵的依存句法分析和基于深度学习的句法分析等方法。文献［３］采用规则的方法，作者从分析汉语的句法特点出发，规定了汉语句法规则，进而研究了汉语句法分析方法。文献［４］采用了统计方法研究了汉文句法，在正确分词的前提下，句法分析的准确率和召回率分别为８６．９％和８５．７％［４］。文献［５－６］采用了规则与统计相结合的方法，其中文献［５］分析了ＰＣＦＧ独立假设的局限性，从而在句法结构共现概率中引入了上下文信息，利用Ｉｎｓｉｄｅ－Ｏｕｔｓｉｄｅ算法进行迭代，最后提出了一个基于统计模型的自顶向下的汉语句法分析器，在封闭测试下，其标记准确率和标记召回率分别为８８．１％和８６．８％；文献［６］从单个句法分析标记错误和句法分析层次结构标注错误两个角度进行了探究，利用规则和统计的理论，发现自动修正不一致，其一致性检验的准确率为８７．６％，召回率为９４．８％。文献［７］采用最大熵的依存句法分析方法，比较了自顶向下（Ｕｐ２Ｄｏｗｎ）算法、自底向上（Ｄｏｗｎ２Ｕｐ）算法和最大生成树（ＭＳＴ）算法的效果，得出最大熵模型的依存句法分析算法中ＭＳＴ算法效果最好的结论。文献［２］采用深度学习的方法，介绍了前馈神经网络的依存句法分析模型和长短时记忆神经网络的依存句法分析模型，并对基于这两种模型的句法分析效果进行了比较；实验表明，基于前馈神经网络的依存句法分析模型在宾州树库开发集上无标记依存正确率（ＵＡＳ）和带标记依存正确率分别为９１．４％和８９．８％，测试集上无标记依存正确率（ＵＡＳ）和带标记依存正确率分别为９０．２％和８８．５％；基于长短时记忆神经网络的依存句法分析模型在宾州树库开发集上的无标记依存正确率（ＵＡＳ）和带标记依存正确率分别为９１．９％和９０．５％，测试集上的无标记依存正确率（ＵＡＳ）和带标记依存正确率分别为９０．７％和８９．０％。

用于藏文句法分析的主要方法有基于规则和基于判别式的依存句法分析方法。文献［１，８］采用规则的方法对藏文句法分析的算法进行了研究，并设计和实现了句法分析器，但未考察句法分析效果。文献［９］提出基于判别式的藏语依存句法分析方法，

采用感知机方法训练句法分析模型，ＣＹＫ自底向上算法解码生成最大生成树，句法分析正确率达到８１．２％。文献［１０］采用判别式的依存句法分析方法，提出了一种基于判别式的藏文复合句切分标注方法，句法分析的准确率达到了８８．７％。文献［１１］通过分析藏语判断句的特征，构造了其句法树生成规则，并通过ＰＣＦＧ解决句法歧义问题，最后通过ＣＹＫ算法进行解码，自动生成判断句句法结构树。

２　藏文疑问句的特征

随着信息技术的发展，传统藏文文法对句子的分类已不能满足藏文信息处理的需求。现代藏文文法借鉴英语和汉语等比较成熟的语法理论，把藏文句子分成了两类，即单句（）和复句（）［１２－１３］。单句按语义（）被分为６类，分别是有主句（）、无主句（）、存在句（）、特性句（）、自述句（）和神态句（）；按语气（）被分为四类，分别是陈述句（）、疑问句（）、祈使句（）和感叹句（）。

２．１　藏文疑问句及分类

藏文疑问句是对句子按语气分类得到的一种句型，对所述事物的种类和性质等未知而对别人提问的句型

（

）。藏文句子中的疑问句与陈述句、祈使句和感叹句的主要区别在于语气、感情色彩及疑问代词等方面，其中疑问代词是疑问句最为明显的特征。疑问句根据语法规则和构成特征，可以分为一般疑问句、强调疑问句和特指疑问句等７类。

（１）一般疑问句（）

一般疑问句的疑问代词有“”，这些疑问代词通常出现在句末，此类疑问句可以互换主语和宾语的位置［１４］。例如，“”。

（２）强调疑问句（）

强调疑问句就是把答案隐藏在问句中，用

８６