标注语料-智能技术与系统国家重点实验室信息检索课题组
《文献信息检索》教学大纲
《文献信息检索》教学大纲一、课程基本信息1．课程代码：211212002．课程中文名称：文献信息检索课程英文名称：Information Retrieval3．面向对象：测绘工程4．开课学院（课部）、系（中心、室）：信息工程学院测量系5．总学时数：24讲课学时数：14，实验学时数：106．学分数：1.57．授课语种：汉语，考试语种：汉语8．教材：黄军左等。
文献检索与科技论文写作。
北京：中国石化出版社，2013.7 二、课程内容简介文献信息检索课程是中国地质大学信息工程学院针对测绘工程专业本科生开设的一门融理论、方法、实践于一体，培养学生创新意识和创新能力的科学方法课。
本课程由课堂教学和课间实习两部分组成，将信息检索的理论、方法和实践有机地融为一体。
具体内容涉及各种文献基础知识，文献管理工具的使用，网络信息资源检索，国内外文献数据库的使用方法，专利、学位论文和会议论文的检索方法，信息的综合利用等。
三、课程的地位、作用和教学目标本课程是为我校测绘工程专业的学生开设的一门专业选修课，针对对象主要是即将开展专业课学习的大一学生。
其目的是使学生获得一定的文献信息收集、整理、加工与利用能力，以利其在后期专业学习过程中，对本专业学科发展动态及先进专业技术有全面认识。
同时，通过本课程的系统学习，全面掌握科技文献检索方法，为将来走上工作岗位或进一步的深造打下一个坚实的基础。
通过本课程的学习，学生能够掌握文献信息检索的基础知识和技能，较为熟练地利用各种文献检索工具和网络学术数据库来查检、获取学习与研究中所需的文献信息，并对有关的信息安全与知识产权方面的法律法规和常识有一定的了解，初步形成负责任地使用文献资源的意识与观念。
四、与本课程相联系的其他课程专业英语阅读，科技文献写作五、教学基本要求1.使学生了解文献、信息、信息检索的基本概念，文献类型、数据库的类型、图书的分类体系、当代文献检索的途径、方法和基本步骤，引发学生对本门课程的重视和兴趣。
语料库的分类、创建和检索简述
语料库的分类
语料库的分类
根据不同的标准，语料库可以分为多种类型。常见的语料库类型包括： 1、通用语料库：包含来自不同领域、不同语言的语料，适用于广泛的研究和 应用领域。
语料库的分类
2、专业语料库：针对特定领域或专业构建的语料库，例如医学、法律、金融 等。
3、口语语料库：包含口头语言 材料，如录音、口语表达等。
二、图像分类技术
另外，降维技术也可以用于图像分类。降维技术可以将高维的图像特征降维 到低维的空间，从而使得分类更加简单和高效。常用的降维技术有PCA、t-SNE和 autoencoder等。
三、图像语义检索与分类技术的 研究现状
三、图像语义检索与分类技术的研究现状
近年来，图像语义检索和分类技术的研究取得了显著的进展。在图像语义检 索方面，研究者们提出了多种基于内容、语义相似度和向量空间模型等方法。在 图像分类方面，SVM、神经网络和降维技术等算法的应用取得了重要突破。
一、图像语义检索技术
图像语义检索是指通过自然语言描述或者用户提交的查询关键词，从图像库 中检索出与查询相关的图像。近年来，研究者们提出了多种图像语义检索的方法。
一、图像语义检索技术
基于内容的图像语义检索是通过分析图像的内容，提取出图像的特征，然后 根据这些特征进行检索。例如，可以通过提取图像的颜色、纹理、形状等特征进 行检索。另外，还可以利用深度学习技术，如卷积神经网络（CNN）来提取图像 的特征，提高检索的准确性。
语料库的创建
此外，为了便于语料库的管理和检索，需要构建语料库的索引和词典。索引 可以记录每个单词在语料库中出现的位置和频率，而词典则包含了单词的语义信 息和语法信息等。最后，语料库的创建还需要注意保证数据的安全性和隐私保护。
文献综述之信息检索技术
文献信息检索技术综述【摘要】介绍文献信息检索技术的发展过程,分析了网络文献信息检索的主要技术方法,以及今后文献信息检索的发展趋势。
【关键词】文献信息信息检索网络发展趋势一、前言据联合国教科文组织报道,目前世界上每年出版的文献已超过60万种，其中图书30万种，期刊15万种，其他形式的出版物15万种。
在我国仅期刊资源每年增长率就达到5% ～7%。
发表论文增长率为8%～9%。
面对如此巨量的文献资源，要从浩如烟海而又极其分散的信息中迅速、准确地查获自己所需要的信息资料，必须学会使用文献信息检索的方法。
文献信息检索，广义地说，是指将信息按照一定的方式组织和存储起来，并能根据信息用户的需要指出其中相关信息的过程，因此它的全称又叫“信息存储与检索”( Information Storage and Retriva1) 。
狭义地说，大多数人讲到信息检索时，一般只涉及“取”，即主要关注如何从存储的信息集合中快速获取各种需要的信息。
本文也主要从文献信息检索的概念、发展历史、主要文献检索方法及文献检索的发展趋势作一般概述。
二、文献信息检索技术的发展过程2.1手工检索方式检索方式主要以手工操作为主，这种检索既费时、费力，而且检索效率也很低。
其中包括纸质文献的检索和缩微式检索。
中国最早的检索工具是西汉刘向、刘歆父子整理编撰的摘要性书目《别录》和《七略》，世界上第一种文摘性科学期刊是1665年1月5日在巴黎创办的《学者周刊》以及著名的《美国工程索引》、《科学引文索引》、《科技会议录索引》等都属于手工检索工具。
2. 2脱机检索方式信息检索逐步实现了计算机检索中的单机批处理检索。
包括计算机可读文献磁带和磁盘检索以及光盘数据库检索。
机读磁带、磁盘检索实现了一种输入多种输出。
光盘数据库比磁带和磁盘有更大的存储空间,且存储速度更快，如《中国专利检索光盘》、《中国学术期刊全文数据库光盘版》等。
这是计算机检索的第一阶段。
2.3计算机联机检索方式进入20世纪70年代，计算机软、硬件技术不断进步，分组数字通信技术和实时操作技术发展迅速，出现了一台主机带多个终端的系统。
文本语料库
网页文本语料库 结果 结果池 检索 查询语料库 查询语料库 生成 网页文本语料库 抓取 标注语料库
自动 标注
手工标注
标注语料库 传统方式
用户查询日志
SogouT构建方式
SogouT语料库构建 – 查询语料
• 查询语料库构建
– 用户查询频度的分布情况
• 2008年6月的日志数据 • 查询频度最高的前10000个查询词
• 文本信息检索会议（TREC）
– NIST组织的研讨文本检索技术的国际性论坛 – 大规模文本检索系统的标准评测平台
– 与网络信息检索相关的评测语料
• VLC track (VLC, VLC2, WT2g, WT10g)
– 6 years, 300 topics, 100gB
• Web track (.GOV corpus)
• 30G 数据
• 30个查询，pooling方式确定答案
• 4个系统参加评测
– 现场评测
• 参与系统少
• 侧重系统稳定性和效率
已有的评测语料库相关研究
• SEWM评测
– 北京大学网络实验室组织 – 类似TREC的评测架构
• 文本语料库：CWT100g, CWT200g
– 去重、去除垃圾，37M网页
– 查询语料
• 真实反映用户需求
– TREC Web, Terabyte, SEWM
– 标注语料
• 规模保证
– TREC million query track: efficiency, not effectiveness
已有的评测语料库相关研究
• 主要困难
– 文本语料库构建
• 规模问题
– Google (8 billion +), Yahoo! (20 billion +), Sogou (10 billion +)
信息检索基础 检索语言及其分类
《中国图书馆图书分类法》
R91下分为R911药物数学、R912药物物理学、R913 药物物理化学、R914药物化学、R915药物生物学。 R914下又分为｛R914.1｝药物分析、R914.2药物设 计 、 R914.3 无 机 药 学 化 学 、 R914.4 有 机 药 物 化 学 、 R914.5有机合成药物化学。
医学信息检索
检索语言及其分类
教 学
目 标
1
了解检索语言的分类
2
熟悉《中国图书馆图书分类法》
3
熟悉《医学主题词表》（MeSH）
了解检索语言的分类
检索语言是信息检索中用来描述文献特征和表达检索提问内容的一种专门性的人工语言，是一组有规则 的、能够反映出信息内容及特征的标识符，用于联系文献信息与用户需求的“语言括主题词和关键词语言。主题词语言与关键词语言的区别在于规范化程度不同。 ○关键词又名自由词，中选取的具有实质意义的名词，这种词不受主题词表限制，一般是未经规是从文献范
化或略规范化的词，常用于一般检索或精度要求不高的检索。 ○主题词是规范化词汇，最大的优点是概念准确、专指度高。它对文献中出现的同义词、近义词、多义词以
思 考 题
1
简述检索语言的分类及其特点
2
《中国图书馆图书分类法》分类体系是怎样的
3
主题词与关键词的区别是什么
图1主题：氟哌酸*胃肠炎 图2 主题：诺氟沙星*胃肠炎
《医学主题词表》（MeSH）
主题检索语言是信息检索语言中检索效率较高、使用频率较多的一种语言。人们为了更快更 好地检索文献，将概念更准确、专指度更高的反映文献内容的主题词编制成专门的主题词表， 供大家使用。目前国内最常用的主题词表是《医学主题词表》（MeSH）、《中医药学主题 词表》和《汉语主题词表》。 《医学主题词表》（MeSH）是美国国家医学图书馆从1960年起编制，并于1963年正式使 用的一部规范化的可扩充的动态性叙词表，是生物医学领域具有权威性的主题词表。MeSH 主要包括主题词表和树状结构表两个部分。
语言大模型在信息检索与文本摘要中的应用
语言大模型在信息检索与文本摘要中的应用1. 概述随着人工智能技术的快速发展，语言大模型成为信息检索与文本摘要领域的重要应用之一。
语言大模型将自然语言处理和深度学习相结合，通过大规模语料的学习和预训练，在信息检索和文本摘要中展现出强大的能力。
本文将探讨语言大模型在信息检索与文本摘要中的应用，并分析其优势和挑战。
2. 语言大模型在信息检索中的应用语言大模型在信息检索中可实现以下应用：2.1 语义匹配传统的信息检索中，通过关键词匹配进行检索。
而语言大模型可以理解更加复杂的语义关系，通过对用户查询和文档内容的语义表示进行匹配，提高信息检索的准确性和召回率。
2.2 搜索推荐语言大模型通过学习用户历史查询和点击行为，可以为用户提供个性化的搜索推荐，提高搜索体验和用户满意度。
2.3 文本分类语言大模型可以对文档进行自动分类，将其归入相应的类别，方便用户进行分析和筛选。
这在大规模的文本数据中尤为重要，能够提高信息检索的效率。
2.4 问答系统语言大模型可以作为基础模块用于构建问答系统，通过理解用户的问题并从大量数据中获取答案，提供准确的回答和解决方案。
3. 语言大模型在文本摘要中的应用文本摘要是从大篇幅文本中提取关键信息的过程，语言大模型在文本摘要中发挥了重要作用：3.1 抽取式摘要语言大模型可以通过对文本进行语义理解和关键信息的提取，生成抽取式摘要，准确地呈现原始文本的关键要素。
这种方法适用于保留原文信息的需求场景。
3.2 生成式摘要语言大模型可以利用生成模型，根据对文本的理解和训练数据的学习，生成新的摘要内容。
这种方法适用于需要新颖性和创造性的场景。
但是生成式摘要在语义准确度和语法流畅度上仍存在挑战，需要进一步的改进和优化。
4. 语言大模型的优势和挑战4.1 优势语言大模型在信息检索与文本摘要中具有以下优势：- 语义理解能力强，可以理解复杂的语义关系，提高信息检索的准确性。
- 学习能力强，通过大规模数据的学习和预训练，具备较高的知识迁移能力和泛化能力。
国家语委语料库
国家语委现代汉语语料库是一个大型的通用的语料库，以语言文字的信息处理、语言文
字规范和标准的制定、语言文字的学术研究、语文教育和语言文字的社会应用为主要服务目
标。国家语委现代汉语语料库作为国家级语料库，在汉语语料库系统开发技术上具有国际领
先水平，在语料可靠、标注准确等方面具有权威性。国家语委现代汉语语料库面向国内外的
b）切分结果层次（结构）化：
8
切分结果层次（结构）化使得语料库能够更好地满足不同研究应用需要。
2．机助人校的语料校对工具软件
校对软件界面：
..校对者可与后台词典交互，直接获取词和词类信息
..软件自动通过色彩标识出语料校对信息
..严格的自动格式检查，防止用户误操作等带来的错误
经完成词语切分和标注加工的约5000万字语料是语料库中1919～1992时间段的大部分语料
以及1992～2002时间段的部分语料。
二、国家语委语料库建设与深加工
1．主要科研成果
国家语委现代汉语语料库建设已经完成的主要内容是：
2
1）完成 5000万字语料词语切分和词性标注加工。词语切分校对精度达到万分之五，词
a14 本版印数
a15 总印数
a16 总页数
a17 开本
a18 选择方式
a19 起止页数
a20 样本字数
a21 样本总字数
a22 文章总字数
a23 简繁体
a24 抽样文章
国家语委现代汉语语料库的数据量包括新增的 1000万字新语料已经达到了 1亿字，已
“大规模”和“真实”这两个特点，因此是最理想的语言知识资源，是直接服务于语言文字
【硕士论文】中文问答系统中的信息检索模型的研究
重庆大学硕士学位论文中文摘要摘要问答技术是自然语言处理领域中一个非常热门的研究方向，它综合运用了各种自然语言处理技术。
目前，国内外有很多的科研机构参与了英文问答技术的研究，甚至己经有相对成熟的英文问答系统，但是参与中文自动问答技术研究的科研机构并不是很多，而且基本没有成型的中文问答系统。
本文正是对中文问答技术研究的一个探索。
基于自然语言处理的中文问答系统包括五个主要组成部分：问题理解、信息检索、信息处理、答案抽取、ＦＡＱ模块五个子系统。
信息检索模块是自动问答系统中最重要的模块之一，检索的结果对后面的处理，以至找到问题的正确答案都有很大的影响，同时它也是智能咨询系统、机器对话等研究的重要方面。
本文充分结合了汉语语言的特点以及计算语言学的技术，对问答系统中信息检索模块进行了深入分析，指出了在实际的使用问答系统的时候，用户的回答质量参差不齐。
我们不但要尽量检索相似度高的文档，而且还希望检索出来的文档的质量尽可能的好，而传统的信息检索中常用的四种数学模型：布尔模型、模糊逻辑模型、向量模型和概率模型以及基于语言模型的信息检索模型在计算相似度的时候都没有考虑到问题的质量。
本文通过最大熵方法用困惑度、序列模型、词的搭配作为特征来评估文档的质量，最后利用翻译模型把问题质量成功的集成到检索模型中。
最后，我们从社区问答系统中抽取问答对作为语料进行测试，试验结果表明引入文档质量到检索模型中比传统的检索模型能取得更好的试验结果。
关键词：问答系统，信息检索，文档质量，语言模型，最大熵我本沉默ＥＬＩＺＡ扮演一个心理学专家的角色，采用启发式的心理疗法，通过反问应对精神病人的提问，诱导病人不停地说话，从而达到对病人进行心理治疗的目的。
１９７１年，Ｗｉｎｏｇｒａｄ利用ＭＡＣＬＩＳＰ语言开发了ＳＨＲＤＬＵ问答系统。
ＳＨＲＤＬＵ包括解析器、英语语法识别器、语义分析器、一般问题解答器等。
该系统主要是用于儿童积木话题，并且取得了较好的效果。
科研中语料的定义
科研中语料的定义
在科研中，语料通常指的是用于研究和分析的文本数据集。
这些文本可以是各种类型的，例如：
- 自然语言：包括但不限于新闻文章、小说、诗歌、论文等。
- 对话数据：如聊天记录、客服对话等。
语料可以用于多种自然语言处理任务，例如：
- 语言建模：通过分析语料中的语言模式和规律，构建语言模型。
- 信息检索：利用语料进行关键词搜索和文档分类。
- 机器翻译：使用语料训练机器翻译模型。
- 情感分析：分析语料中的情感倾向，例如积极、消极或中性。
- 文本生成：基于语料生成新的文本，如文章创作、对话生成等。
选择合适的语料对于科研的成功至关重要。
语料应该具有代表性、广泛性和可靠性，以确保研究结果的有效性和可重复性。
智能信息检索研究范式的演进、反思与前瞻
智能信息检索研究范式的演进、反思与前瞻潘正源;李樵;李月琳;孙劲松【期刊名称】《图书馆论坛》【年(卷),期】2024(44)1【摘要】随着人本AI重要性日益凸显,智能信息检索研究受到越来越多的关注。
为更清晰地了解智能信息检索研究现状,文章着重分析智能信息检索研究范式的演进,揭示并反思其演进历程。
采用主题分析法,分析183篇智能信息检索文献,归纳研究范式与主题,综述已有研究发现和成果,揭示发展现状,讨论发展前景。
研究发现:智能信息检索研究存在“技术”“技术+用户”“人本”等3种研究范式。
技术范式主要关注优化语料库和语义分析、信息分类和结果排序等,以提升检索精度。
“技术+用户”范式聚焦通过优化个性化检索、信息安全、多媒体检索等技术,满足用户需求。
人本范式主要探究人与系统的交互、人本系统设计以及技术伦理。
未来,技术范式研究需突破传统信息检索技术研究目标的限制,规避AI技术应用风险,创新技术;“技术+用户”范式研究需向智能交互信息检索迈进,实现用户需求与技术的深度融合;人本范式相关研究潜力大,需聚焦体验和伦理,推进人本智能信息检索理论与实践的发展。
【总页数】14页(P137-150)【作者】潘正源;李樵;李月琳;孙劲松【作者单位】南开大学商学院信息资源管理系;南开大学信息行为科学研究中心【正文语种】中文【中图分类】TP3【相关文献】1.从"智能信息检索"看微软前瞻性课程2.中国哲学范式的反思与前瞻（专题讨论）——“中国哲学”和“Philosophy”3.中国哲学范式的反思与前瞻（专题讨论）——20世纪中国哲学的三种基本理论范式述评4.新时期中国马克思主义哲学研究范式:反思与前瞻——第七届马克思哲学论坛述评5.中国哲学范式的反思与前瞻（专题讨论）——转变中的中国哲学范式的自我反思和期望因版权原因，仅展示原文概要，查看原文内容请购买。
人工智能通过语料提取规则
人工智能通过语料提取规则引言：人工智能（Artificial Intelligence，AI）是一种模拟人类智能的技术和系统。
它通过模仿人类的思维、理解、学习和决策能力，来完成各种任务。
语料提取规则是人工智能领域中的一项重要技术，它可以帮助机器从大量的语料库中提取出有用的信息和规则。
本文将介绍人工智能通过语料提取规则的应用。
1. 语料库的概念语料库是指用于语言学研究的一种数据资源，它包含了大量的自然语言文本。
语料库可以是书籍、报纸、网页、社交媒体等各种形式，它反映了人们在不同语境下的语言使用习惯和规律。
2. 语料提取规则的意义语料提取规则是指通过对语料库中的文本进行分析和处理，从中提取出有用的信息和规则。
这些信息和规则可以用于自然语言处理、机器翻译、信息检索等领域。
通过语料提取规则，机器可以更好地理解和处理自然语言，提高人工智能系统的智能水平。
3. 语料提取规则的基本原理语料提取规则的基本原理是通过分析语料库中的文本，从中找出重要的词汇、短语、句子等信息，并建立相应的规则。
这些规则可以是基于统计的方法，也可以是基于规则的方法。
通过这些规则，机器可以对新的文本进行分析和处理，从而实现对自然语言的理解和应用。
4. 语料提取规则的应用领域语料提取规则在人工智能领域中有着广泛的应用。
以下是一些典型的应用领域：4.1 自然语言处理语料提取规则在自然语言处理中起着重要的作用。
通过对语料库中的文本进行分析和处理，可以提取出词汇、短语、句子的频率分布、语法规则等信息。
这些信息可以用于词性标注、句法分析、语义分析等任务，从而实现对自然语言的理解和处理。
4.2 机器翻译语料提取规则在机器翻译中也是非常重要的。
通过对双语语料库进行分析和处理，可以提取出翻译规则、翻译记忆等信息。
这些信息可以用于机器翻译系统，帮助机器更好地进行翻译，提高翻译质量和效率。
4.3 信息检索语料提取规则在信息检索中也有广泛的应用。
通过对大规模的文本语料库进行分析和处理，可以提取出关键词、短语、句子的相关性等信息。
基于知识图谱的智能语义搜索技术研究
基于知识图谱的智能语义搜索技术研究随着人工智能技术的不断发展和普及，人们对于智能搜索技术的需求也越来越高。
传统的搜索引擎虽然能够帮助用户快速地获取到大量的信息，但是它们往往只能提供与关键词相关的结果，而不能真正理解用户的需求，使得搜索结果的准确性和个性化程度有限。
因此，基于知识图谱的智能语义搜索技术成为了当下研究的热点之一。
知识图谱是一种基于图论理论的结构化知识表示模型，它能够将现实世界中的实体、属性、关系等信息以节点和边的形式组织成图。
基于知识图谱的智能语义搜索技术通过对图谱中的实体、属性、关系等元素进行建模和分析，进而实现对用户查询意图的深度理解和智能匹配。
基于知识图谱的智能语义搜索技术主要分为以下几个步骤：一、建立知识图谱建立知识图谱是整个搜索技术的基础和前提。
知识图谱需要通过收集、整理和挖掘大量的结构化和半结构化的数据，包括百科知识、自然语言文本、数据统计等。
通过对这些数据进行处理，构建图谱中的实体、属性和关系的模型。
建立知识图谱的难度在于如何保证图谱的完整性、准确性和时效性。
二、查询分析在知识图谱中，查询语句往往不能直接映射到图谱中的实体、属性或关系上，需要先通过自然语言处理技术对查询语句进行分析和理解。
查询分析的技术包括词法分析、句法分析、语义分析等，目的是将用户的自然语言查询语句转化为图谱中的对应实体、属性或关系。
三、语义匹配在查询分析的基础上，需要对查询语句进行语义匹配，找到与用户查询意图密切相关的实体、属性和关系。
语义匹配的关键在于如何衡量查询语句与图谱中的实体、属性和关系之间的语义相似度，以及如何选择最匹配的结果返回给用户。
基于图谱的语义匹配技术可以有效地解决信息断片化和信息孤立问题，提高搜索结果的准确性和个性化程度。
四、结果展示基于知识图谱的搜索结果展示需要遵循一定的规则和逻辑，以符合用户的直观感受和搜索体验。
例如，可以采用“直接引用”、“流程引导”、“半自动展示”等不同的方式进行结果展示。
清华汉语treebank标注体系
汉语句法树库标注体系∗周强清华大学计算机系智能技术与系统国家重点实验室北京100084zhouq@摘要：语料库的句法标注是语料库语言学研究的前沿课题。
本文在研究和总结国内外句法树库标注实践的基础上，提出了一套汉语真实文本的句法树标注体系。
它以完整的层次结构树为基础，对句法树上的每个非终结符节点都给出两个标记：成分标记和关系标记，形成双标记集的句法信息描述体系。
目前，这两个标记集分别包含了16和27个标记，对汉语句子的不同句法组合的外部功能分布和内部组合特点进行了详细描述。
在此基础上，我们开发完成了100万词规模的汉语句法树库TCT，对其中各种复杂语言现象的标注实践显示了这套标注体系具有很好的信息覆盖率和语料适应性。
关键词：句法树库，标注规范，语料库语言学Annotation Scheme for Chinese TreebankZHOU QiangState Key Laboratory of Intelligent Technology and SystemsDept. of Computer Science and TechnologyTsinghua University, Beijing 100084zhouq@ABSTRACT: The syntactically annotated corpora, commonly called ‘treebanks’, play an important role in empirical linguistics as well as in machine learning methods in natural language processing. After a brief summarization of several treebank annotation of different language, we proposed a new annotation scheme for Chinese treebank in this paper. Under this scheme, every Chinese sentence will be annotated with a complete parse tree, where each non-terminal constituent is assigned with two tags. One is the syntactic constituent tag, which describes its external functional relation with other constituents in the parse tree. The other is the grammatical relation tag, which describes the internal structural relation of its sub-components. These two tag sets consist of 16 and 27 tags respectively. They form an integrated annotation for the syntactic constituent in a parse tree through top-down and∗本项研究得到国家自然科学基金（项目号：69903007和60173008）、国家973基金（项目号：G1998030507，G1998030501A-03）、国家高技术研究发展863计划（项目号：2001AA114040）资助。
国家语委现代汉语语料库介绍-cssn
国家语委现代汉语语料库介绍
肖航 教育部语言文字应用研究所
2012
语料库建设
国家语委语料库建设 1991年12月国家语言文字工作委员会提出立项； 1992年4月召开现代汉语语料库选材原则专家论证会； 1993年1月制订《现代汉语语料库选材原则》； 1993年9月召开现代汉语语料库选材专家审定会； 1998年底建成 7000万字的生语料库； 目前已完成1亿字生语料和5000万字标注语料； 语料库建设和加工工作还在继续进行。
人文与社会科学类约占语料总量的50％
自然科学类
自然科学划分为6类：
数理 生化 天文地理 海洋气象 农林 医药卫生
自然科学类约占语料总量的30％，
综合类
综合类语料由应用文和难于归类的其他语料两部分组成。 应用文主要包括以下6类：
行政公文：请示、报告、批复、命令、指示、布告、纪要、 通知等；
章程法规：章程、条例、细则、制度、公约、办法、法律条 文等；
司法文书：诉讼、辩护词、控告信、委托书等； 商业文告：说明、广告、调查报告、经济合同等； 礼仪辞令：欢迎词、贺电、讣告、唁电、慰问信、祝酒词等； 实用文书：请假条、检讨、申请书、请愿书等。
综合类约占语料总量的20％
样例 语料分类
尽可能地提高所选语料在采字、采词、采句和采义等方面的广度， 要考虑到语料的时间层次、文化层次和社会使用面等层次。 时间层次。 文化层次。以具有高中文化程度的人能够阅读的语料为主。 社会使用面层次。 以社会使用面较为广泛的语料为主，其他语料为辅；以人文 与社会科学为主，自然科学为辅；以门类为主，以语体为辅。
智能问答系统关键技术研究项目2024
智能问答系统关键技术研究项目引言概述：智能问答系统是一种基于人工智能和自然语言处理技术的应用，旨在提供与人类对话类似的交互方式，帮助用户解决问题并获取相关信息。
为了实现这一目标，智能问答系统需要依赖一系列关键技术，本文将对这些关键技术进行研究与探讨。
正文内容：一、语义理解技术1. 文本解析：对输入的自然语言句子进行分析与处理，将其转化为可理解的内部表示形式。
2. 语义角色标注：识别句子中的动词、名词等成分，并为其关联上相应的语义角色，以支持句子的语义理解。
3. 实体识别与链接：识别句子中的实体 (如人物、地点、组织等)，并将其链接到知识库中的相应实体，以便进行后续的关联推理与查询。
二、知识表示与存储技术1. 知识图谱构建：将海量的结构化和半结构化数据进行融合，构建一个包含丰富实体关系及属性的知识图谱。
2. 知识表示学习：利用深度学习技术，将知识库中的实体和关系嵌入到低维向量空间中，以便进行更高效的相似性计算和语义推理。
3. 知识更新与维护：定期对知识图谱进行更新和维护，及时加入新的信息和删除过时的数据，以保持知识的时效性和准确性。
三、问题解析与推理技术1. 问题分类与归类：将用户提出的问题进行分类归类，以便系统能够更好地理解问题的意图并采取相应的解决策略。
2. 信息检索与过滤：通过查询知识图谱或其他数据库，筛选出与问题相关的信息并进行排序，提高问题回答的准确性和效率。
3. 推理与推理机制：通过逻辑推理、规则推理等技术，基于已有的知识和问题的上下文信息，进行问题答案的推测和推理。
四、问答生成与展示技术1. 答案生成：根据问题的意图和上下文信息，生成符合用户需求的问题答案，可以是文本形式的、图像形式的或其他形式的答案。
2. 答案评估与排序：根据答案的准确性、完整性和可信度等指标，对生成的答案进行评估并进行排序，以便选择最优的答案进行展示。
3. 界面设计与交互优化：设计用户友好的交互界面，提供多种交互方式（如文字输入、语音输入等），以便用户更方便地进行提问和获取答案。
汉语树库构建——标注规范.pdf
1 引言
周强
清华大学计算机系 智能技术与系统国家重点实验室
北京 100084 zhouq@
对汉语语料库的多级加工处理，主要分为以下几个阶段：切词、词类标注、语块标注、 分析树标注、语义信息标注等。本规范主要涉及汉语句子的句法树标注问题。内容包括：1） 句法标记集的内容描述和不同句法标记的功能结构说明，2）句法树的划分规范，包括同形 结构的处理、多切分问题、结构分析的方向性等方面。
表 2 汉语句法结构标记集
序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
标记代码
标记名称及其实例
ZW 主谓结构，如：我们买 态度和蔼
PO 述宾结构，如：看电影 给他一本书 SB 述补结构，如：做完 冷得直哆嗦
DZ 定中结构, 如：他的学生 中国内地 战争初期 这群 ZZ 状中结构，如：特别安静 努力工作
2 短语和单句的标注规范
在现代汉语中，对短语进行分类一般采用下面两大标准：① 内部结构，② 外部功能。 按照内部结构，可分为联合短语、偏正短语、述宾短语、述补短语、主谓短语、连谓短语等 几类；而按照外部功能，则一般可分为名词短语、动词短语、形容词短语和副词短语等几类。 两种分类方法在研究内容和方法上有不同的侧重点。一些比较系统地描述汉语短语的语言学 著作，如：范晓(1991)，李子云(1991) 大多采用了结构分类的方法。针对中文信息处理的特 殊要求，陈小荷（1998）和詹卫东（1999）提出了汉语短语的功能分类体系，并在深入分析
下面以功能标记为主线，详细地分析各个句法成分的功能结构分布特点。
2.1 名词短语 np：
汉语中名词短语的常见组合包括： 1） 定中结构，主要分为以下情况：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• P(SEj | q)
– 基于单搜索引擎进行答案标注的可信度 – 依据查询用户数来计算
P(SEj | q) log(#(session of q in SEj ))
j
log(#(session of q in SE ))
j
SogouT语料库构建 – 标注语料
• P(urli | SEj , q) – 单独某个搜索引擎标注答案的可信程度 – 依据此搜索引擎的用户点击的宏观集中程度 来确定
– 与中文用户实际需求量匹配：100 Million量级 – 达到100 Million/Terabyte量级，保证研究成果的可信性
• 网页质量筛选
– 网页质量相对较高：重复语料、垃圾语料的处理。
• 辅助语料的构建问题
– 链接关系语料 – 点击日志信息
网络信息检索评测集合
• 主要困难
– 查询语料库构建
• 根据结果网页的查询词及近义词词频进行评判 • Amitay et.al, 2004 • 初始标注工作量大，评判的可靠性不高
Байду номын сангаас
SogouT语料库构建 – 标注语料
• 前人工作
– 基于个体用户行为分析
• Joachims et.al.(1997) 创建了一个元搜索接口，将不同 搜索引擎的结果加以混杂，把用户点击不同结果的 情况加以记录，并以此作为评判依据 • 用户行为分析的思路值得肯定
/
/crazyenglish.htm / /
Yahoo
/
• 缺点：改变用户检索习惯、个体用户行为不可靠等
SogouT语料库构建 – 标注语料
• 我们的研究思路
– 通过对搜索引擎记录下的用户行为日志进行分 析，不额外增加用户负担。
• 隐式反馈信息
– 用户群体，而不是个体的点击行为作为依据
• 个体用户可能在点击过程中出现谬误
• 用户群体的点击信息则是很大程度上可靠的
• 统计用户群体的点击行为，进而对查询对应的结果 进行标注
SogouT语料库构建 – 标注语料
• 对导航类查询
– 结果唯一，不存在“找不全”的问题 – 搜索引擎检索性能高，点击准确度较可靠
– 能够发现用户的关注热点，如
“163‖ => ―搜狗” =>
– 索引数据偏置 – 检索策略偏置
• 结果不唯一，全面性难以保证
• 不适合使用单一搜索引擎的日志信息，作为完全自动 评测的对象
SogouT语料库构建 – 标注语料
• 针对信息事务类查询需求的答案自动标注
– 基于多搜索引擎用户行为挖掘
1. 利用单搜索引擎标注方式，进行各自独立的标注
2. 借鉴Pooling做法，综合不同标注者（这里为搜索引 擎用户的宏观行为）的意见
• 规模问题
– 有充分的代表性
– 考虑到标注工作量
• 查询样例选择
– 真实用户需求 – 有充分的代表性 – 覆盖不同用户信息需求
已有的评测语料库相关研究
• 主要困难
– 标注语料库构建
• Voorhees 估计，对一个规模为800万的文档集合进行 针对1个查询主题的相关性评判需要耗费1名标注人 员9个月的工作时间 • TREC提出pooling方法，在保证评价结果可靠性的基 础上大大减少了评判工作量 • 缺点：处理的查询数目少，针对小规模的查询集合， 仍需要耗费十余名标注人员1-2个月的工作时间
• 文本信息检索会议（TREC）
– NIST组织的研讨文本检索技术的国际性论坛 – 大规模文本检索系统的标准评测平台
– 与网络信息检索相关的评测语料
• VLC track (VLC, VLC2, WT2g, WT10g)
– 6 years, 300 topics, 100gB
• Web track (.GOV corpus)
研究背景
• 搜索引擎与性能评价
– 对搜索引擎用户：选择最有效获取信息的媒介 – 对广告商：选择最有效的盈利平台
– 对研究人员：算法改进、性能监控
• 效果评价是信息检索相关研究的基础内容 评价在信息检索系统的研发中一直处于核心的地位， 以致于算法与它们的效果评价方式是合二为一的。 （Saracevic, 1995）
• 构建过程
网页文本语料库 结果 结果池 检索 查询语料库 查询语料库 生成 网页文本语料库 抓取 标注语料库
自动 标注
手工标注
标注语料库 传统方式
用户查询日志
SogouT构建方式
SogouT语料库构建 – 查询语料
• 查询语料库构建
– 用户查询频度的分布情况
• 2008年6月的日志数据 • 查询频度最高的前10000个查询词
• 抽样方式
– 2008年6月搜狗搜索引擎查询日志 – 选取查询量最高的10000个用户查询
– 用户查询需求
• 抽样标注 • 导航类约占30.6%，信息类约占69.4%
– 具有充分的代表性
• 规模大: 我们所知最大规模的信息检索评测查询集合 • 覆盖率高：覆盖56%以上的用户查询需求
SogouT语料库构建 – 标注语料
SogouT语料库构建
• 设计思路
– 海量规模、符合大多数研究机构的处理能力 – 能够代表中文互联网的基本情况
– 能够代表中文搜索引擎用户的需求情况
– 客观全面评价网络信息检索系统性能
• 实现思路
– 利用搜索引擎资源
• 网页抓取、查询日志获取、网页质量评估数据获取
• 使用自动化的查询语料标注方法
SogouT语料库构建
– q的点击集中度最高的r即为其检索目标页面
SogouT语料库构建 – 标注语料
• 针对导航类查询的结果自动标注
– 标注算法：寻找针对q的ClickFocus值最大的r – 标注样例
查询 读写网 北京现代 自动标注的URL / /
海量规模网络信息检索评测语料库 的设计与实现
清华大学智能技术与系统国家重点实验室 清华—搜狐搜索技术联合实验室 刘奕群 马少平 张扬 茹立云 2008年11月16日
研究背景
• 多少人在使用搜索引擎
– 全球范围内84%的互联网用户使用搜索引擎， 其中超过一半的人几乎每天使用。 – 95%以上的中国网民使用过搜索引擎，84.5%的 用户将搜索引擎作为得知新网站的主要途径。 – 商用搜索引擎竞争日趋激烈(市场规模约56亿元)。 – 从2007年9月开始，中国成为全球首个每月搜索 请求超过100亿次的国家
• 30G 数据
• 30个查询，pooling方式确定答案
• 4个系统参加评测
– 现场评测
• 参与系统少
• 侧重系统稳定性和效率
已有的评测语料库相关研究
• SEWM评测
– 北京大学网络实验室组织 – 类似TREC的评测架构
• 文本语料库：CWT100g, CWT200g
– 去重、去除垃圾，37M网页
其中， j 反映不同搜索引擎的在结果标注 中的重要程度
SogouT语料库构建 – 标注语料nglish/ /crazyenglish.htm /
– 需要考虑的因素
• 用户点击行为差异
• 用户访问量差异 • 搜索引擎相对重要性的差异
– 计算结果对于查询的置信度 P(urli / q)
SogouT语料库构建 – 标注语料
• 合并计算结果url对于查询q的置信度
P(urli | q) P(urli | SEj , q) P(SEj | q)
– 3 years, 550 topics, 1.25 M pages, 18gB
• Terabyte track (.GOV2 corpus)
– 3 years, 1800 topics, 27 M pages, 400gB
已有的评测语料库相关研究
• 863中文信息处理与智能人机接口评测
– 语料库规模
• 网络信息检索评测语料库
– 建立评测语料库的必要性
• 信息检索是实证学科
– 真实规模的评测语料是算法有效性的保证
• 研究人员各自独立构建存在困难
– 海量网络资源抓取 – 真实用户需求获取 – 大规模用户查询的答案标注
– 建立评测语料库的可能性
• 产业界与研究界的合作 • 搜索引擎日志被合理应用
已有的评测语料库相关研究
j
log(#( session of q in SE j )) # ( Sessionsof q that click urli in SE j ) j log(# ( session of q in SE )) # ( Session of q in SE ) j j j j
P (urli | SE j , q ) CD (urli | SE j , q ) # ( Sessions of q that click urli in SE j ) # ( Session of q in SE j )
SogouT语料库构建 – 标注语料
• 查询点击分布合并模型
P(urli | q) P(urli | SE j , q) P( SE j | q)
• 核心：提高标注语料构建的自动化程度 • 前人工作
– 利用伪相关反馈的方法进行结果自动标注
• 伪相关反馈的结果被认为是答案
• Soboroff et.al, 2001; Nuray et.al, 2003; Beitzel et.al., 2003 • 标注的准确程度和可靠性不高
– 对查询词的近义词集合进行标注
– 查询语料
• 真实反映用户需求
– TREC Web, Terabyte, SEWM
– 标注语料
• 规模保证
– TREC million query track: efficiency, not effectiveness