基于BLSTM_attention_CRF模型的新能源汽车领域术语抽取
基于BLSTM-CRF的领域知识点实体识别技术
基于BLSTM-CRF的领域知识点实体识别技术周海华;曹春萍【摘要】传统的中文分词方法是一种基于单词标注的传统机器学习方法,但学习方法需要人工配置和提取中文文本的特征.缺点是同义词库维度较高且CPU训练模型较长.本文针对以上问题进行了研究,构建了内嵌条件随机场的长短时神经网络模型,使用长短时神经网络隐含层的上下文向量作为输出层标注的特征,使用内嵌的条件随机场模型表示标注之间的约束关系采用双向LSTM和CRF相结合的训练方法进行特定领域知识点的中文分词.对中文分词测试常用语料库的实验比较表明,基于BLSTM和CRF网络模型的方法可以获得比传统机器学习方法更好的性能;使用六字标记并添加预训练的字嵌入向量可以实现相对较好的分词性能;BLSTM-CRF网络模型方法更易于推广并应用于其他自然语言处理中的序列标注任务.【期刊名称】《软件》【年(卷),期】2019(040)002【总页数】5页(P1-5)【关键词】实体识别;神经网络;BLSTM;CRF【作者】周海华;曹春萍【作者单位】上海理工大学光电信息与计算机工程学院,上海 200082;上海理工大学光电信息与计算机工程学院,上海 200082【正文语种】中文【中图分类】TP391.41互联网应用的爆发式增长，对海量数据的分类和知识发现提出了新的要求，知识图谱在自然语言处理（Natural Language Processing, NLP）领域的作用越来越大，其中知识库就是构建知识图谱的重中之重，然而这些知识库往往缺乏一定的领域通用性，不能满足特定领域下的需求，对于一个特定领域的知识图谱，领域实体与实体关系的数量庞大，若以人力统计构建，耗时且费力，更重要的是，特定区域中的数据源并非全部是结构化的或半结构化的，并且在大多数情况下以非结构化形式存在。
这也大大增加了特定领域知识的获取难度。
知识是客观事物的属性和联系的反映，是人脑中客观世界的主观形象。
人的学习是以知识点为单位的，对于考生来说，时间是最为宝贵的资源，如何高效准确的找出题目中的关键知识点并加以攻克对于考生针对性复习具有重大意义。
融合attention机制的BI-LSTM-CRF中文分词模型
融合attention机制的BI-LSTM-CRF中文分词模型黄丹丹;郭玉翠【期刊名称】《软件》【年(卷),期】2018(39)10【摘要】中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作.深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率λ对BI-LSTM的输出权重矩阵进行调节,以提升分词效果.使用改进后的模型对一些公开数据集进行了实验.实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能.【总页数】7页(P260-266)【作者】黄丹丹;郭玉翠【作者单位】北京邮电大学理学院北京 100876;北京邮电大学理学院北京 100876【正文语种】中文【中图分类】TP391【相关文献】1.融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注 [J], 张苗苗;刘明童;张玉洁;徐金安;陈钰枫2.基于BI-LSTM-CRF模型的中文分词法 [J], 张子睿;刘云清3.融合依存信息Attention机制的药物关系抽取研究 [J], 李丽双;钱爽;周安桥;刘阳;郭元凯4.融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注 [J], 张苗苗;刘明童;张玉洁;徐金安;陈钰枫;5.融合Self-Attention机制和n-gram卷积核的印尼语复合名词自动识别方法研究 [J], 丘心颖; 陈汉武; 陈源; 谭立聪; 张皓; 肖莉娴因版权原因，仅展示原文概要，查看原文内容请购买。
基于BLSTM-CNN-CRF的中文命名实体识别方法
基于BLSTM-CNN-CRF的中文命名实体识别方法一、引言随着信息技术的发展和智能化应用的日益普及，自然语言处理（NLP）领域的研究和应用也得到了前所未有的发展。
命名实体识别（Named Entity Recognition, NER）作为NLP 领域的重要技术之一，其主要任务是识别和提取文本中具有特定意义的实体名称，如人名、地名、组织机构名等。
在中文命名实体识别任务中，由于中文语言特有的语法结构和词汇特征，NER任务面临着一些挑战，如长词性、歧义性等。
如何有效地利用深度学习模型来解决中文NER问题成为了研究的热点之一。
本文将介绍基于双向长短期记忆网络（Bidirectional Long Short-Term Memory, BLSTM）、卷积神经网络（Convolutional Neural Network, CNN）和条件随机场（Conditional Random Field, CRF）的中文命名实体识别方法。
首先将介绍BLSTM、CNN和CRF模型的原理及其在命名实体识别任务中的应用。
然后结合这三个模型，介绍其联合使用的思路和具体设计。
通过实验分析，验证了基于BLSTM-CNN-CRF的中文命名实体识别方法的有效性和性能优势。
二、BLSTM模型BLSTM是一种适用于序列数据建模的深度学习模型，其能够对历史和未来信息进行建模，因此在处理自然语言等序列数据时表现出良好的性能。
BLSTM模型由两个LSTM（长短期记忆网络）组成，分别沿着时间轴的正向和反向进行推理，并将两个方向的输出连接在一起，形成一个综合的输出。
通过这种方式，BLSTM能够捕捉序列数据中的长期依赖关系和上下文信息，适用于命名实体识别等序列标注任务。
三、CNN模型CNN是一种常见的深度学习模型，主要用于图像处理领域，但在自然语言处理任务中也有着广泛应用。
CNN通过卷积层和池化层来提取输入数据中的特征，并通过全连接层进行分类或标注。
基于ALBERT预训练模型的通用中文命名实体识别方法
基于ALBERT预训练模型的通用中文命名实体识别方法吕海峰;冀肖榆;陈伟业;邸臻炜【期刊名称】《梧州学院学报》【年(卷),期】2022(32)3【摘要】HMM、CRF等机器学习算法在中文实体抽取任务上存在大量依靠特征提取及准确率低的缺陷,而基于BiLSTM-CRF、BERT等深度神经网络算法在中文实体识别准确率高,但BiLSTM模型依赖大规模标注数据,BERT存在参数量大、效率低等问题。
该研究提出了基于ALBERT-Attention-CRF模型进行中文实体抽取的方法。
首先将glove、Word2vec等静态词向量替换为ALBERT预训练模型字向量,可有效解决分词错误、数据稀疏、OOV、过拟合以及一词多义等问题;然后采用ALBERT作为编码层并对其输出利用Attention机制捕获上下文语义特征;最后结合CRF作为解码层输出实体正确标签,摒弃主流BiLSTM-CRF模型,最终在《人民日报》数据的测试集上取得了理想的效果。
试验结果表明,该方法有助于提升通用中文实体识别的准确率和效率,其有效性也得到了较好的验证。
【总页数】8页(P10-17)【作者】吕海峰;冀肖榆;陈伟业;邸臻炜【作者单位】梧州学院大数据与软件工程学院;梧州学院广西机器视觉与智能控制重点实验室;梧州学院广西高校图像处理与智能信息系统重点实验室【正文语种】中文【中图分类】TP391.41【相关文献】1.基于ALBERT的中文命名实体识别方法2.基于ALBERT-BGRU-CRF的中文命名实体识别方法3.基于预训练模型的文博数据命名实体识别方法4.基于ALBERT-CAW模型的时政新闻命名实体识别方法5.基于预训练语言模型的中文地址命名实体识别因版权原因，仅展示原文概要，查看原文内容请购买。
一种基于Bert+BiLSTM+CRF的知识元自动抽取方法[发明专利]
![一种基于Bert+BiLSTM+CRF的知识元自动抽取方法[发明专利]](https://img.taocdn.com/s3/m/9a13973191c69ec3d5bbfd0a79563c1ec5dad7b3.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202110062146.9(22)申请日 2021.01.18(71)申请人 同方知网（北京）技术有限公司地址 100084 北京市海淀区清华园清华大学36区华业大厦B1410、1412、1414室申请人 同方知网数字出版技术股份有限公司(72)发明人 李佳媛 刘晓蒙 罗思明 (74)专利代理机构 北京天奇智新知识产权代理有限公司 11340代理人 陈新胜(51)Int.Cl.G06F 40/279(2020.01)G06F 40/30(2020.01)G06N 5/02(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于Bert+BiLSTM+CRF的知识元自动抽取方法(57)摘要本发明公开了一种基于Bert+BiLSTM+CRF的知识元自动抽取方法包括基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取；所述基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取分别包括模型训练阶段和知识元抽取阶段；所述模型训练阶段基于Bert模型特点，通过分析法律文书的主要内容和篇章结构特点进行方法设计，构建基于Bert的篇章段落标引模型Bert ‑PMC；以及基于Bert ‑PMC，融合双向递归神经网络BiLSTM和条件随机场CRF，构建基于Bert+BiLSTM+CRF的知识元自动抽取模型Bert ‑BiLSTM ‑CRF；所述知识元抽取阶段依次调用训练好的Bert ‑PMC和Bert ‑BiLSTM ‑CRF进行法律知识元抽取。
权利要求书2页 说明书6页 附图2页CN 112836501 A 2021.05.25C N 112836501A1.一种基于Bert+BiLSTM+CRF的知识元自动抽取方法，其特征在于，所述方法包括基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取；所述基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取分别包括模型训练阶段和知识元抽取阶段；所述模型训练阶段基于Bert模型特点，通过分析法律文书的主要内容和篇章结构特点进行方法设计，构建基于Bert的篇章段落标引模型Bert‑PMC；以及基于Bert‑PMC，融合双向递归神经网络BiLSTM和条件随机场CRF，构建基于Bert+ BiLSTM+CRF的知识元自动抽取模型Bert‑BiLSTM‑CRF；所述知识元抽取阶段依次调用训练好的Bert‑PMC和Bert‑BiLSTM‑CRF进行法律知识元抽取。
基于BERT嵌入BiLSTMCRF模型的中文专业术语抽取研究
基于BERT嵌入BiLSTMCRF模型的中文专业术语抽取研究一、概要随着自然语言处理技术的不断发展，中文专业术语抽取已经成为了研究的热点。
本文提出了一种基于BERT嵌入BiLSTMCRF模型的中文专业术语抽取方法。
该方法首先使用BERT模型对文本进行特征提取，然后将提取到的特征输入到BiLSTMCRF模型中进行序列标注。
通过对比实验，我们发现该方法在中文专业术语抽取任务上取得了显著的性能提升。
同时我们还对模型进行了调优和改进，以进一步提高其性能和鲁棒性。
本文的研究为中文专业术语抽取提供了一种有效的解决方案，具有一定的理论和实际应用价值。
1. 研究背景和意义随着自然语言处理技术的不断发展，文本挖掘和信息抽取已经成为了学术界和工业界的热点问题。
在众多的自然语言处理任务中，专业术语抽取是一项具有重要意义的任务。
专业术语是指在特定领域内具有特殊含义和用途的词汇，它们在文本中的出现频率较低，但对于理解文本内容和进行知识推理具有重要价值。
因此研究如何从大量的非结构化文本数据中自动抽取专业术语，对于提高文本分析的效率和准确性具有重要的理论和实际意义。
然而现有的专业术语抽取方法仍然存在一些局限性，首先这些方法主要针对单个领域的专业术语抽取，对于跨领域的专业术语抽取仍存在困难。
其次现有的方法往往需要人工提取特征或设计复杂的模型结构，这增加了算法的复杂性和计算成本。
此外现有方法在处理长文本和多义词等问题时也存在一定的局限性。
2. 相关工作概述在自然语言处理领域，文本挖掘和信息抽取一直是一个重要的研究方向。
针对中文专业术语抽取问题，研究者们提出了许多方法，如基于规则的方法、基于统计的方法和基于机器学习的方法等。
这些方法在一定程度上提高了专业术语抽取的准确性和效率，但仍然存在一些局限性，如对未登录词的处理不足、对长文本的处理能力有限以及对于歧义词汇的处理不够准确等。
近年来随着深度学习技术的快速发展，基于BERT等预训练模型的中文专业术语抽取方法逐渐成为研究热点。
基于BI-GRU-CRF模型的中文分词法
Abstract: As an effective model for processing time series data, recurrent neural network has been widely used in the problem of sequence tagging task. In order to solve the typical sequence tagging task of Chinese word segmentation, this paper proposes an improved bi -directional gated recurrent unit conditional random field (BI 一GRU -CRF) model based on the gated recurrent unit (GRU) neural network. This model can not only effectively utilize two -way contextual information through bi 一 directional gated recurrent units, but also get the globally optimal tagging sequence as a result by considering the correlation between adjacent tags through conditional random field. In this paper, experiments are carried out on the common Chinese word segmentation evaluation set (PKU, MSRA ) and the segment corpus in the military field constructed in this paper with the four-tag-set and sixtag-set respectively. The results show that the BI-GRU-CRF model has high performance in Chinese word segmentation, and the six-tag-set can improve the effect of word segmentation.
基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究
情报学报2020年4月第39卷第4期Journal of the China Society for Scientific and Technical Information,Apr.2020,39(4):409-418DOI:10.3772/j.issn.1000-0135.2020.04.007基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究吴俊1，程垚1，郝瀚1，艾力亚尔·艾则孜2，刘菲雪1，苏亦坡1（1.北京邮电大学经济管理学院，北京100876；2.深圳暴风智能科技有限公司，北京100191）摘要专业术语的识别与自动抽取对于提升专业信息检索精度，构建领域知识图谱发挥着重要基础性作用。
为进一步提升中文专业术语识别的精确率和召回率，提出一种端到端的不依赖人工特征选择和领域知识，基于谷歌BERT 预训练语言模型及中文预训练字嵌入向量，融合BiLSTM和CRF的中文专业术语抽取模型。
以自建的1278条深度学习语料数据为实验对象，该模型对术语提取的F1值为92.96%，相对于传统的浅层机器学习模型（如左右熵与互信息算法、word2vec相似词算法等）和BiLSTM-CRF深度神经网络模型的性能有较为显著的提升。
本文也给出了模型应用的具体流程，能够为中文专业术语库的构建提供实践指南。
关键词BERT；BiLSTM；CRF；专业术语抽取Automatic Extraction of Chinese Terminology Based on BERTEmbedding and BiLSTM-CRF ModelWu Jun1,Cheng Yao1,Hao Han1,Ailiyaer·Aizezi2,Liu Feixue1and Su Yipo1(1.School of Economics and Management,Beijing University of Posts and Telecommunications,Beijing100876;2.Shenzhen Storm Intelligent Technology Co.,Ltd,Beijing100191)Abstract：High quality professional term recognition and its extraction play an important role in the fields of domain infor‐mation retrieval and knowledge graph building.To improve the precision and recall rate of terminology recognition,we propose a Chinese terminology recognition and extraction approach that does not rely on specific domain knowledge or ar‐tificial ing the latest developments in representation learning,this study introduces BERT embedding as a char‐acter-based pre-trained model and incorporates it with a bi-directional long short-term memory(BiLSTM)and a condition‐al random field(CRF)to extract deep learning terminologies from1278annotated datasets collected from domain e-books.The experimental results show that the proposed model reaches92.96%in F-score and outperforms other competing algo‐rithms,such as left and right entropy,mutual information,a word2vec based similar terminology recognition algorithm, and a BiLSTM-CRF model.The best practices and related procedures for the implementation of the proposed model are al‐so provided to guide its users in its further improvement.Key words：BERT；BiLSTM；CRF；terminology recognition and extraction收稿日期：2019-10-10；修回日期：2019-10-30基金项目：国家重点研发计划项目“基于模式创新的科技咨询服务平台研发与应用示范”（2018YFB1403600）；北京市社会科学基金一般项目“基于大数据的北京市共享单车产业监测与发展趋势研究”（17YJB018）。
基于BLSTM-CRF中文领域命名实体识别框架设计
基于BLSTM-CRF中文领域命名实体识别框架设计作者：张俊飞毕志升王静吴小玲来源：《计算技术与自动化》2019年第03期摘; ;要：为在不依赖特征工程的情况下提高中文领域命名实体识别性能，构建了BLSTM-CRF神经网络模型。
首先利用CBOW模型对1998年1月至6月人民日报语料进行负采样递归训练，生成低维度稠密字向量表，以供查询需要;然后基于Boson命名实体语料，查询字向量表形成字向量，并利用Jieba分词获取语料中字的信息特征向量;最后组合字向量和字信息特征向量，输入到BLSTM-CRF深层神经网络中。
实验结果证明，该模型面向中文领域命名实体能够较好的进行识别，F1值达到91.86%。
关键词：BLSTM-CRF;CBOW;Boson;命名实体识别中图分类号：X853; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ;文献标识码：AAbstract：The BLSTM-CRF neural network model is built to improve the performance of Chinese domain named entity recognition in the absence of feature engineering.First，the CBOW model was used to carry out recursion training of negative sampling on the corpus of People's Daily from January to June in 1998 to generate a low-dimensional dense word vector table for the query needs;then，based on Boson entity corpus，the word vector was formed by querying the word vector table，and the information feature vector of the words in the corpus was obtained by using the Jieba participle;finally，the combined word vector and word information feature vector are input into BLSTM-CRF deep neural network.Experimental results show that the model can be well identified for the Chinese domain named entities，and the F1 value is up to 91.86%.Key words：BLSTM-CRF;CBOW;Boson;named entity recognition命名实体识别是自然语言处理中的一项基础任务，旨在从文本中识别命名实体如人名、地名和组织机构名等。
219433889_基于BERT—BiLSTM—CRF_模型的运营商文本命名实体与关系联合提取
33Internet Technology互联网+技术基于BERT—BiLSTM—CRF 模型的运营商 文本命名实体与关系联合提取摘要：本文使用大规模预训练汉语模型的 BERT-BiLSTM-CRF 方法，从运营商的非结构化文本数据中联合提取命名实体与关系。
首先，通过运营商非结构化文本数据建立运营商文本语料库，对语料进行文本标签标注；然后，提出一种基于运营商文本命名实体与关系提取的 BERT-BiLSTM-CRF 模型方法。
实验结果表明，该技术在运营商文本命名实体与关系联合提取中适用性较强，在运营商文本的命名实体与关系联合提取中，F1 值高达 93.2%，可以将该方法应用到实际问题解决中。
关键词：BERT；BiLSTM；CRF；实体识别；词嵌入一、引言随着信息化发展和数据积累，电信运营商拥有数量巨大的用户，沉淀了海量结构化和非结构化数据，作为非结构化的对话文本是运营商办理客户业务和处理客户问题的重要数据资源。
运营商非结构化的对话文本数据具有非结构化、口语化、业务性强等特点，对该数据进行数据挖掘和实体与关系的抽取可以有效利用其中包含的语义信息，推动运营商智能化发展。
实体和关系抽取研究如何自由文本中抽取所需命名实体和关系的技术，但中文自然语言具有表达的灵活性，运营商文本信息具有专业性的特点，进行运营商的文本信息提取是当前研究的难点问题，探索相关有效的信息提取方法具有重要价值。
二、相关工作对运营商领域知识提取的方法研究主要涉及两个方面：①运营商非结构化中文语料库构建与运营商领域文本词嵌入技术；②运营商命名实体识别与关系提取技术。
（一）中文运营商语料库与词嵌入技术词向量是一种表示自然语言中词的方法，把每个词都表示为一个N 维空间内的点，即一个高维空间内的向量。
通过这种做法，把自然语言计算转换为向量计算。
词嵌入技术（Word Embeddings）是一种将文本中的每个字符、词、句封装为向量表达式的技术，是机器学习算法执行自然语言处理的基础。
基于BLSTM的科技文献术语抽取方法
Abstract Term extraction plays an important role in the field of scientific literature. In order to improve the accuracy and recall of the term extraction, this research designed a neural network model based on BLSTM (Bidirectional Long Short-Term Memory) model. The segmentation results in Chinese were mapped into the vectors via pre-trained word vector dictionary, and the output of classification results were
项目基金：国家自然科学基金青年基金项目“面向科技监测的实体识别与关系抽取研究”（71403257）。 作者简介：赵东玥（1992-），硕士研究生，研究方向：自然语言处理，Email：zdy@；杜永萍（1977-），博 士，副教授，研究方向：信息检索，自然语言处理；石崇德（1979-），博士，副研究员，研究方向：自然语言处理、机器翻译。
基于bi-lstm-crf模型的焊接专利新词发现
摘要：针对焊接专利 中 前 沿 技 术 挖 掘 的 问 题，提 出 一 种 基 于 改 进 词 向 量 （Ｔｉｍｅｗｏｒｄ－ｅｍｂｅｄ ｄｉｎｇ）、双向长短期记忆 网 络 （Ｂｉ－ＬＳＴＭ）和 条 件 随 机 场 （ＣＲＦ）相 结 合 的 新 词 发 现 模 型 （Ｔ－Ｂｉ－ ＬＳＴＭ－ＣＲＦ）。该模型首先对专利数据的每个词提取语义词向量和时间特征向量并进行拼接；然 后通过 Ｂｉ－ＬＳＴＭ层获得专利数据的长距离上下文特征，再通过 ＣＲＦ层捕获序列标签的转移特征， 自动完成特征标注；最后通过训练已经内嵌时间特征的损失函数引导该模型学习焊接新词。焊接 专利新词发现实验结果表明，该模型的平均 Ｆ１值为 ９１．４５％，召回率为 ９０．６４％，验证了该模型的 有效性；同时该模型性能显著优于 Ｂｉ－ＬＳＴＭ－ＣＲＦ、曾谁飞提出的 Ｂｉ－ＬＳＴＭ－ＣＲＦ方法，Ｆ１值分 别提升 ５．７６％和 ２．９３％。
４８
黄河科技学院学报
工标注结果和人工特征提取；②难以捕捉文本远距 离上下文信息和更为抽象的深层语义信息。
鉴于此，本文提出一种基于 ＴＢｉＬＳＴＭＣＲＦ的 新词发现模型来提取焊接专利文本信息。本文方案 中的词向量的深层语义表征能力可以充分挖掘文本 的局部信息，同时大幅减少人工特征工程标注工作 量；ＢｉＬＳＴＭＣＲＦ架构的远距离信息俘获能力和序 列标注信息共享机制可以增强网络的特征提取功 能；改进词向量的内嵌时间特征可将新词被动筛选 转变为新词的主动学习。
第 ２２卷 第 ５期
Байду номын сангаас
黄河科技学院学报
Ｖｏｌ．２２ Ｎｏ．５
ＪＯＵＲＮＡＬＯＦＨＵＡＮＧＨＥＳ＆ＴＣＯＬＬＥＧＥ
２０Ｍ２０ａｙ年２０５２０月
基于 Ｂｉ－ＬＳＴＭ－ＣＲＦ模型的焊接专利新词发现
基于BERT+Bi-LSTM+CRF的航天领域命名实体识别研究
基于BERT+Bi-LSTM+CRF的航天领域命名实体识别研究夏旭东;于荣欢
【期刊名称】《兵工自动化》
【年(卷),期】2024(43)2
【摘要】针对互联网开放数据中文本表述模糊、实体边界不清等问题,构建航天语料库Space-Corpus,提出一种基于BERT+Bi-LSTM+CRF的航天领域命名实体识别模型。
基于微调的多层双向Transformer编码器(bidirectional encoder representations from transformer,BERT)模型生成输入语料的向量化表示,结合双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)获取上下文特征,通过条件随机场(conditional random field,CRF)层进行序列解码标注,输出得分最高的预测标签。
实验结果表明,该模型在Space-Corpus语料库上较基于BERT模型、基于BERT+Bi-LSTM以及基于CNN+Bi-LSTM+CRF识别模型的准确率、召回率及F1值均有提升。
【总页数】7页(P78-83)
【作者】夏旭东;于荣欢
【作者单位】航天工程大学复杂电子系统仿真重点实验室
【正文语种】中文
【中图分类】TP391;V557
【相关文献】
1.基于大数据和BiLSTM+CRF的网络空间安全领域命名实体识别研究
2.基于BERT_IDCNN_CRF的军事领域命名实体识别研究
3.基于BERT的Base与Large 版的领域命名实体识别研究
4.基于预训练模型的军事领域命名实体识别研究
5.基于领域知识的意图和命名实体识别方法研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于Bi-LSTM-CRF网络的语义槽识别
基于Bi-LSTM-CRF网络的语义槽识别徐梓翔;车万翔;刘挺【期刊名称】《智能计算机与应用》【年(卷),期】2017(007)006【摘要】自然语言理解任务的主要目标是运用自然语言处理的相关方法,对用户发出的语句进行解析,转化成结构化的语义表示.本文重点研究了基于语义槽抽取的自然语言理解方法.在基于语义槽抽取的自然语言理解任务中,任务的输入是用户的指令型语句,输出为指令的语义槽实体标注序列,如出发日期、出发地点等,故可将语义槽抽取任务看作类似于命名实体识别任务,以序列标注任务的方法解决.本文研究提出了基于Bi-LSTM-CRF模型的语义槽抽取方法,在英文语料ATIS上进行了实验.实验结果表明,基于Bi-LSTM-CRF网络的方法相比于传统机器学习的基准方法,结果得到了大幅度的提升.对于模型识别的结果,研究中采用F1值进行评价.【总页数】4页(P91-94)【作者】徐梓翔;车万翔;刘挺【作者单位】哈尔滨工业大学计算机科学与技术学院,哈尔滨150001;哈尔滨工业大学计算机科学与技术学院,哈尔滨150001;哈尔滨工业大学计算机科学与技术学院,哈尔滨150001【正文语种】中文【中图分类】TP391.4【相关文献】1.基于Bi-LSTM-CRF网络的语义槽识别 [J], 徐梓翔;车万翔;刘挺;2.基于Attention+Bi-LSTM的公交出行意图和语义槽填充联合识别 [J], 陈婷婷; 林民; 李艳玲3.基于长短期记忆网络的装配工艺语义识别方法 [J], 陈治宇;鲍劲松;郑小虎;丁司懿;刘天元4.基于深度学习的意图识别与语义槽填充联合建模研究 [J], 王明星5.基于深度学习的意图识别与语义槽填充联合建模研究 [J], 王明星因版权原因，仅展示原文概要，查看原文内容请购买。
基于Attention-BIGRU-CRF的中文分词模型
基于Attention-BIGRU-CRF的中文分词模型
周慧;徐名海;许晓东
【期刊名称】《计算机与现代化》
【年(卷),期】2022()8
【摘要】自然语言处理是人工智能发展的重要分支,而中文分词是自然语言处理的第一步,提高中文分词的效率可以提高自然语言处理的结果的准确性。
因此提出一
种Attention-BIGRU-CRF模型,首先将中文文本通过词向量转换,将文本转换成向
量的形式,再利用BIGRU进行序列化学习,随后引入attention机制将BIGRU的输
入和输出进行相关性计算获取更精确向量值,最后将该向量值与BIGRU序列化得到的向量值进行拼接作为CRF层的输入并得到标签预测结果。
由仿真结果可
知,Attention-BIGRU-CRF模型在人民日报2014和MSRA的语料库得到的F1值分别为97.34%和98.25%,处理文本的分词速率为248.1 KB/s。
故融合attention 机制和BIGRU-CRF网络的模型既能够提高分词准确率,又能提高分词时间和效率。
【总页数】7页(P7-12)
【作者】周慧;徐名海;许晓东
【作者单位】南京邮电大学通信与信息工程学院
【正文语种】中文
【中图分类】TP301
【相关文献】
1.基于深度神经网络模型的中文分词方案
2.基于字簇的多模型中文分词方法研究
3.一种基于特征迁移的跨领域中文分词模型
4.义务教育阶段免试就近入学分配策略研究——基于中文分词技术和贝叶斯概率模型
5.基于ACNNC模型的中文分词方法
因版权原因，仅展示原文概要，查看原文内容请购买。
基于BI-LSTM-CRF模型的限定领域知识库问答系统
基于BI-LSTM-CRF模型的限定领域知识库问答系统
程树东;胡鹰
【期刊名称】《计算机与现代化》
【年(卷),期】2018(000)007
【摘要】随着开放领域问答系统的发展,迫切需要机械行业与人工智能融合,建立面向机械领域的知识库问答系统是十分必要的.基于机械行业数据和自然语言处理技术,本文提出采用条件随机场和长短期记忆神经网络结合构建网络模型,提升信息抽取性能,建立机械行业的知识库问答系统.通过实验数据对比分析,本文模型取得了较好的效果.
【总页数】5页(P53-57)
【作者】程树东;胡鹰
【作者单位】太原科技大学计算机科学与技术学院,山西太原 030024;太原科技大学计算机科学与技术学院,山西太原 030024
【正文语种】中文
【中图分类】TP391.1
【相关文献】
1.限定领域的自动问答系统研究 [J], 段建勇;李俊;张梅;马礼
2.面向远程教育的限定领域内自动问答系统设计 [J], 刘旭东;施乐军
3.面向限定领域问答系统的自然语言理解方法综述 [J], 王东升;王卫民;王石;符建辉;诸峰
4.基于知识库的开放领域问答系统 [J], 张涛;贾真;李天瑞;黄雁勇
5.基于双层Bi-LSTM-CRF模型的糖尿病领域命名实体识别 [J], 何春辉; 王梦贤; 何小波
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 ３６卷第 ５期 ２０１９年 ５月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３６Ｎｏ５ Ｍａｙ２０１９
基于 ＢＬＳＴＭ＿ａｔｔｅｎｔｉｏｎ＿ＣＲＦ模型的 新能源汽车领域术语抽取
马建红，张亚梅，姚 爽，张炳斐，郭昌宏
（河北工业大学 计算机科学与软件学院，天津 ３００４０１）
ＴｅｒｍｉｎｏｌｏｇｙｅｘｔｒａｃｔｉｏｎｆｏｒｎｅｗｅｎｅｒｇｙｖｅｈｉｃｌｅｂａｓｅｄｏｎＢＬＳＴＭ＿ａｔｔｅｎｔｉｏｎ＿ＣＲＦｍｏｄｅｌ
ＭａＪｉａｎｈｏｎｇ，ＺｈａｎｇＹａｍｅｉ，ＹａｏＳｈｕａｎｇ，ＺｈａｎｇＢｉｎｇｆｅｉ，ＧｕｏＣｈａｎｇｈｏｎｇ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆ Ｓｏｆｔｗａｒｅ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００４０１，Ｃｈｉｎａ）
摘 要：为提高新能源汽车领域术语抽取准确率，面向新能源汽车专利文本提出一种领域术语抽取模型。传 统 的 领 域 术 语 抽 取 方 法 过 度 依 赖 人 工 定 义 特 征 和 领 域 知 识 ，无 法 自 动 挖 掘 隐 含 特 征 ，其 识 别 性 能 过 度 依 赖 所 选特征的质量。从深度学习的角度出发，提出了一种基于 ａｔｔｅｎｔｉｏｎ的双向长短时记忆网络（ｂｉｄｉｒｅｃｔｉｏｎａｌｌｏｎｇ ｓｈｏｒｔｔｅｒｍ ｍｅｍｏｒｙ，ＢＬＳＴＭ）与条件随机场（ｃｏｎｄｉｔｉｏｎａｌｒａｎｄｏｍ ｆｉｅｌｄｓ，ＣＲＦ）相结合的领域术语 抽 取 模 型 （ＢＬＳＴＭ＿ ａｔｔｅｎｔｉｏｎ＿ＣＲＦ模型），并使用基于词典与规则相结合的方法对结果进行校正，准确率可达到 ８６％以上，方法切 实可行。 关键词：领域术语抽取；ａｔｔｅｎｔｉｏｎ机制；双向长短时记忆网络；条件随机场；词典；规则 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０５０２２１３８５０５ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．１１．０７４１
利文本及新能源汽车相关文献，发现专利文本中的新能源汽车 领域术语主要存在以下特点：
ａ）中文领域 术 语 是 一 个 开 放 的 集 合，随 着 时 间 转 移 会 不 断出现新词，所以抽取过程中的新词发现情况无法很好处理。
ｂ）新能源汽车领域术语组合方式多变，词长主要从 ２～１０ 字不等，其中包含较多的长术语和中英文混合的术语，如 ＡＣ／ ＤＣ电源、ＣＡＮ总线接口。
０ 引言
领域术语是以语音或文字为载体来表达或限定专业概念 的约定性符号 ［１］，可 以 是 词，也 可 以 是 词 组，在 我 国 又 称 为 名 词或科技名词。领域术语抽取技术在自然语言处理领域被广 泛研究，并应用于多个领域，如文本分类、句法分析、自然语言 生成、语料库语言学、统计机器翻译、信息检索、自动问答系统 等领域［２］。随着科学技术的不断发展、新技术的不断涌现，以 及互联网大数据、云计算时代的到来，使得特定领域的术语抽 取需求不断扩大、更新，以往靠人工收集和非监督学习算法的 抽取已经远远不能满足人们的需求，利用计算机自动抽取领域 术语已经成为 必 然 ［３］。 专 利 文 献 具 有 新 颖 性、可 靠 性 和 权 威 性，是科技信息工作的重要研究对象，通常被认为是一种重要 的知识来源。专利中的领域术语能够准确快捷地了解专利的 方向以及核心技术，专利的有效利用能够提高国家和企业的发 展速度［４～６］。由此，本文面向新能源汽车领域的专利文本抽取 领域术语，基于深度学习建立自动抽取模型。经过大量分析专