[课件]深度学习在自然语言处理的应用PPT
合集下载
人工智能工程师：深度学习与自然语言处理培训ppt
技术创新
人工智能工程师需要具备创新精神，不断探索新技术、新方法，推动人工智能技术的发 展和应用。THANKSຫໍສະໝຸດ 感谢观看模型训练与优化
模型训练
使用大量语料库训练模型，使其能够理解并生成自然语言。
优化技巧
使用学习率衰减、正则化等技术，提高模型泛化能力。
部署与测试
部署方式
选择合适的平台或框架进行部署，如 TensorFlow Serving或KFServing等 。
测试与评估
通过自动化测试和用户反馈，评估聊 天机器人的性能和用户体验。
03
CATALOGUE
深度学习在自然语言处理中的 应用
文本分类与情感分析
文本分类
利用深度学习技术对文本进行分 类，例如新闻分类、邮件分类等 。通过训练神经网络模型，自动 识别文本所属的类别。
情感分析
通过深度学习算法分析文本中的 情感倾向，判断文本是积极、消 极还是中性的情感态度。
机器翻译与语音识别
人工智能与深度学习基础
人工智能概述
人工智能定义
人工智能应用领域
人工智能是一门研究、开发用于模拟 、延伸和扩展人的智能的理论、方法 、技术及应用系统的新技术科学。
人工智能已广泛应用于医疗、金融、 交通、教育等领域，为人类带来便利 。
人工智能发展历程
从符号主义、连接主义到深度学习， 人工智能经历了漫长的发展过程，技 术不断革新。
重。
02
CATALOGUE
自然语言处理基础
自然语言处理概述
自然语言处理（NLP）
是指让计算机理解和处理人类语言的技术。
NLP的应用
机器翻译、智能客服、情感分析、智能写作等。
NLP的挑战
语言的复杂性和歧义性、语境的动态性、语言的演化等。
人工智能工程师需要具备创新精神，不断探索新技术、新方法，推动人工智能技术的发 展和应用。THANKSຫໍສະໝຸດ 感谢观看模型训练与优化
模型训练
使用大量语料库训练模型，使其能够理解并生成自然语言。
优化技巧
使用学习率衰减、正则化等技术，提高模型泛化能力。
部署与测试
部署方式
选择合适的平台或框架进行部署，如 TensorFlow Serving或KFServing等 。
测试与评估
通过自动化测试和用户反馈，评估聊 天机器人的性能和用户体验。
03
CATALOGUE
深度学习在自然语言处理中的 应用
文本分类与情感分析
文本分类
利用深度学习技术对文本进行分 类，例如新闻分类、邮件分类等 。通过训练神经网络模型，自动 识别文本所属的类别。
情感分析
通过深度学习算法分析文本中的 情感倾向，判断文本是积极、消 极还是中性的情感态度。
机器翻译与语音识别
人工智能与深度学习基础
人工智能概述
人工智能定义
人工智能应用领域
人工智能是一门研究、开发用于模拟 、延伸和扩展人的智能的理论、方法 、技术及应用系统的新技术科学。
人工智能已广泛应用于医疗、金融、 交通、教育等领域，为人类带来便利 。
人工智能发展历程
从符号主义、连接主义到深度学习， 人工智能经历了漫长的发展过程，技 术不断革新。
重。
02
CATALOGUE
自然语言处理基础
自然语言处理概述
自然语言处理（NLP）
是指让计算机理解和处理人类语言的技术。
NLP的应用
机器翻译、智能客服、情感分析、智能写作等。
NLP的挑战
语言的复杂性和歧义性、语境的动态性、语言的演化等。
深度学习应用于自然语言处理
深度学习应用于自然语言处理自然语言处理(Natural Language Processing, NLP)是人工智能领域中的一个重要研究方向。
NLP是指通过计算机技术处理人类自然语言的过程，涉及到文本分析、语音识别、语义理解、机器翻译等多个领域。
而深度学习(Deep Learning, DL)则是当今机器学习领域中的前沿技术，可以更准确地识别和处理复杂模式。
深度学习在自然语言处理领域的应用，也引起了广泛关注。
深度学习原理简介深度学习是一种基于神经网络的算法。
在神经网络的基础上，通过多层不同种类的神经元进行非线性变换，实现对数据深层次的抽象和表示。
其主要原理是带参数的神经网络对输入数据进行逐层变换，最终对输出做出预测。
对于文本数据，深度学习可以实现自动抽取特征和进行分类，有效提高自然语言处理的精度。
深度学习在自然语言处理中的应用深度学习在自然语言处理领域中涉及的应用场景非常广泛。
下面列举一些主要的应用案例。
1. 词向量表示词向量表示(word embedding)是深度学习中常用的自然语言处理方法。
词向量可以将单词表示成固定维度的向量，并且能够通过统计学习的方式学习到单词之间的相似度。
词向量的优点在于，能够处理大量的单词和相应的语义信息，并快速地得到词汇的相似词和对应的上下文信息。
2. 文本分类文本分类是自然语言处理中的一个重要问题。
深度学习可以通过卷积神经网络和循环神经网络等算法实现文本分类。
卷积神经网络可以对文本信息进行空间特征抽取，并通过池化层将文本长度压缩，最终得到文本的分类结果。
循环神经网络则可以处理序列信息，将文本的历史信息考虑进去，从而得到更加准确的分类结果。
3. 机器翻译机器翻译是自然语言处理领域中的一个重要问题，深度学习也在这个领域中得到了广泛的应用。
深度学习通过神经网络对源语言和目标语言之间的映射进行建模，并利用端到端的训练方法进行模型优化。
在机器翻译任务中，深度学习可以不依赖于显式的特征工程，从原始数据中学习到翻译模型的所有特征。
《自然语言处理》课件
自然语言处理
自然语言处理是指将人类语言转换为计算机语言，从而让计算机能够理解、 学习、翻译和生成人类语言。这是人工智能领域中最具挑战性和最前沿的研 究方向之一。
自然语言处理的应用领域
智能客服
让语音或文本聊天机器人代替 人类客服工作，帮助用户快速 查询和解决问题。
语音助手
智能语音助手能够协同多个硬 件设备，为用户提供便捷的日 常操作和查询。
2
歧义理解
同一段话在不同语境下可以产生不同含义，自然语言处理中如何理解歧义是非常 具有挑战性的。
3
语言差异
语言的表达方式、文化、历史背景等都会影响理解和生成文本的方式，使得自然 语言处理受到语言差异的限制。
自然语言处理的发展现状
智能家居
借助自然语言处理技术，让用 户轻松地控制家居设备，实现 自然语言处理中最难的一步。
语义分析
从文本中提取有用信息、知识和数据。包括 实体识别、关系提取、文本分类和情感分析。
语音识别
将语音信号转换成可处理的文本表示，为语 音助手和智能客服提供支持。
自然语言处理的挑战和难点
1
多语言处理
自然语言处理需要处理大量不同语言的语音和文本，且不同国家和地区间的表达 方式也存在不同之处。
医疗健康
自然语言处理可以帮助医生理 解和分析语音和文本信息，辅 助医学诊断和治疗，提高医疗 质量和效率。
虚拟助理
自然语言处理可以使语音和文 本通讯更加方便、智能、自然。 用户可以用自然语言与虚拟助 理进行交互。
自然语言处理的前景和趋势
1 个性化处理
根据用户的语言特点、 兴趣偏好和习惯等，实 现自然语言内容和体验 的个性化处理和优化。
2 深度学习
自然语言处理将会进一 步推动深度学习技术发 展，达到更高效、精确 和智能的处理效果。
自然语言处理是指将人类语言转换为计算机语言，从而让计算机能够理解、 学习、翻译和生成人类语言。这是人工智能领域中最具挑战性和最前沿的研 究方向之一。
自然语言处理的应用领域
智能客服
让语音或文本聊天机器人代替 人类客服工作，帮助用户快速 查询和解决问题。
语音助手
智能语音助手能够协同多个硬 件设备，为用户提供便捷的日 常操作和查询。
2
歧义理解
同一段话在不同语境下可以产生不同含义，自然语言处理中如何理解歧义是非常 具有挑战性的。
3
语言差异
语言的表达方式、文化、历史背景等都会影响理解和生成文本的方式，使得自然 语言处理受到语言差异的限制。
自然语言处理的发展现状
智能家居
借助自然语言处理技术，让用 户轻松地控制家居设备，实现 自然语言处理中最难的一步。
语义分析
从文本中提取有用信息、知识和数据。包括 实体识别、关系提取、文本分类和情感分析。
语音识别
将语音信号转换成可处理的文本表示，为语 音助手和智能客服提供支持。
自然语言处理的挑战和难点
1
多语言处理
自然语言处理需要处理大量不同语言的语音和文本，且不同国家和地区间的表达 方式也存在不同之处。
医疗健康
自然语言处理可以帮助医生理 解和分析语音和文本信息，辅 助医学诊断和治疗，提高医疗 质量和效率。
虚拟助理
自然语言处理可以使语音和文 本通讯更加方便、智能、自然。 用户可以用自然语言与虚拟助 理进行交互。
自然语言处理的前景和趋势
1 个性化处理
根据用户的语言特点、 兴趣偏好和习惯等，实 现自然语言内容和体验 的个性化处理和优化。
2 深度学习
自然语言处理将会进一 步推动深度学习技术发 展，达到更高效、精确 和智能的处理效果。
《自然语言处理》课件
过拟合问题
模型在训练数据上表现良好，但在测试数据上表现不佳，这是因为模型过于复 杂并过度拟合训练数据。为了解决这个问题，可以采用正则化、早停法、集成 学习等技术。
语义理解的深度与广度问题
深度问题
目前自然语言处理模型主要关注词义和 句子的表面结构，难以理解更深入的语 义信息和语境。为了解决这个问题，需 要研究如何让模型更好地理解语境、把 握对话进程、理解比喻和隐喻等。
句法分析可以采用基于规则 的方法或基于统计的方法进 行。
基于规则的方法主要依靠人 工制定的规则进行句法分析 ，而基于统计的方法则通过 训练模型进行句法分析。
语义分析
01
语义分析是指对句子进行语义理解，识别句子中的 概念、实体、关系等语义信息。
02
语义分析是自然语言处理中的高级任务，需要结合 上下文信息和领域知识进行理解。
03
分词算法可以分为基于规则的方法和基于统计的方法两类。
04
基于规则的方法主要依靠人工制定的规则进行分词，而基于统计的方 法则通过训练模型进行分词。
词性标注
01 02 03 04
词性标注是指在分词的基础上，对每个词进行语义分类，确定其词性 。
词性标注是自然语言处理中的重要任务之一，有助于理解句子的结构 和语义。
06
自然语言处理前沿技术
预训练语言模型
预训练语言模型概述
预训练语言模型是一种深度学习模型，通过对大量文本数据的学 习，获得对语言的内在理解和生成能力。
代表性模型
如Transformer、BERT、GPT系列等，这些模型在自然语言处理任 务中表现出色，具有强大的语言生成和理解能力。
预训练语言模型的应用
VS
广度问题
自然语言处理模型在处理不同领域Байду номын сангаас不同 语言的文本时，表现往往不够稳定。为了 提高模型的泛化能力，需要研究如何让模 型更好地适应不同领域和语言的文本。
模型在训练数据上表现良好，但在测试数据上表现不佳，这是因为模型过于复 杂并过度拟合训练数据。为了解决这个问题，可以采用正则化、早停法、集成 学习等技术。
语义理解的深度与广度问题
深度问题
目前自然语言处理模型主要关注词义和 句子的表面结构，难以理解更深入的语 义信息和语境。为了解决这个问题，需 要研究如何让模型更好地理解语境、把 握对话进程、理解比喻和隐喻等。
句法分析可以采用基于规则 的方法或基于统计的方法进 行。
基于规则的方法主要依靠人 工制定的规则进行句法分析 ，而基于统计的方法则通过 训练模型进行句法分析。
语义分析
01
语义分析是指对句子进行语义理解，识别句子中的 概念、实体、关系等语义信息。
02
语义分析是自然语言处理中的高级任务，需要结合 上下文信息和领域知识进行理解。
03
分词算法可以分为基于规则的方法和基于统计的方法两类。
04
基于规则的方法主要依靠人工制定的规则进行分词，而基于统计的方 法则通过训练模型进行分词。
词性标注
01 02 03 04
词性标注是指在分词的基础上，对每个词进行语义分类，确定其词性 。
词性标注是自然语言处理中的重要任务之一，有助于理解句子的结构 和语义。
06
自然语言处理前沿技术
预训练语言模型
预训练语言模型概述
预训练语言模型是一种深度学习模型，通过对大量文本数据的学 习，获得对语言的内在理解和生成能力。
代表性模型
如Transformer、BERT、GPT系列等，这些模型在自然语言处理任 务中表现出色，具有强大的语言生成和理解能力。
预训练语言模型的应用
VS
广度问题
自然语言处理模型在处理不同领域Байду номын сангаас不同 语言的文本时，表现往往不够稳定。为了 提高模型的泛化能力，需要研究如何让模 型更好地适应不同领域和语言的文本。
NLP课件(自然语言处理课件)ppt
自然语言处理是一种人工智能技术 自然语言处理主要研究如何让计算机理解和生成自然语言 自然语言处理技术可以应用于语音识别、文本生成、机器翻译等领域 自然语言处理技术对于人机交互、智能客服等方面有着重要的应用价值
早期：语言学、计算机科学和人 工智能的结合
1990年代：NLP研究开始繁荣， 应用范围扩大
语言文本
自然语言理解：让计算机能 够理解人类语言的含义，实
现人机交互
目的：使计算机能够理解和 处理人类语言
定义：对自然语言文本进行 处理、分析和理解的过程
应用领域：搜索引擎、机器 翻译、情感分析、智能客服
等
中文自然语言处理的特点： 语言文字的复杂性、多义性、
歧义性等
定义：将中文文 本分割成单独的 词语
添加标题
添加标题
添加标题
添加标题
1950年代：出现首批NLP相关研 究
2000年代至今：深度学习引领 NLP发展，取得突破性成果
机器翻译 语音识别 文本分类 信息检索
语言模型：建立语言模型， 对文本进行分类、聚类等操 作
基础理论：语言学、计算机 科学、数学等学科交叉的研 究
自然语言生成：让计算机自 动生成符合语法规则的自然
NLTK库的应用领 域
NLTK库的未来发 展
SpaCy库是什么？ SpaCy库在自然语言处理中的优势 SpaCy库的主要功能 SpaCy库的使用场景和案例
介绍StanfordNLP库 展示代码示例 讲解应用场景 演示效果及优势
介绍Hugging Face Transformer s 库 讲解其在自然语言处理中的优势 举例说明其在具体任务中的应用 总结其在实际应用中的重要性
结果展示：将分析结果以图表、报告等形式展示给用户，以便用户能 够直观地了解舆情分析的情况。
深度学习在自然语言处理的应用v共56页
• 探讨与思考
29
语言模型
30
语言模型
Bilinear-LM
31
语言模型
RNNLM
32
深度学习用于中文分词-思路1
33
深度学习用于中文分词-思路2
34
深度学习用于中文分词
• 两者思路基本相同
– 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 – 思路2引入全局的Viterbi解码（分类后处理）
翻译模型
ACL2019 Best Paper：Fast and Robust
Neural Network Joint Models for Statistical Machine Translation
42
机器翻译-很多地方可以引入DL
• 单词对齐 • 短语对齐 • 短语重排序 • 语言模型 • 翻译模型 • 联合模型 • 翻译结果重排序
单字：雯
14
无监督训练获得单词的WE-word2vec
单字：葱
15
Word2vec
CBOW：
16
word2vec
Skip-Gram:
17
word2vec
CBOW+ Hierarchical Softmax
18
word2vec
最大化： st：
正例 负例
CBOW+Negative Sampling
47
DL for IR
一种直观的方法
48
DL for IR
一种没那么直观的方法
49
大纲
• 深度学习简介 • 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示
29
语言模型
30
语言模型
Bilinear-LM
31
语言模型
RNNLM
32
深度学习用于中文分词-思路1
33
深度学习用于中文分词-思路2
34
深度学习用于中文分词
• 两者思路基本相同
– 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 – 思路2引入全局的Viterbi解码（分类后处理）
翻译模型
ACL2019 Best Paper：Fast and Robust
Neural Network Joint Models for Statistical Machine Translation
42
机器翻译-很多地方可以引入DL
• 单词对齐 • 短语对齐 • 短语重排序 • 语言模型 • 翻译模型 • 联合模型 • 翻译结果重排序
单字：雯
14
无监督训练获得单词的WE-word2vec
单字：葱
15
Word2vec
CBOW：
16
word2vec
Skip-Gram:
17
word2vec
CBOW+ Hierarchical Softmax
18
word2vec
最大化： st：
正例 负例
CBOW+Negative Sampling
47
DL for IR
一种直观的方法
48
DL for IR
一种没那么直观的方法
49
大纲
• 深度学习简介 • 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示
深度学习在自然语言处理中的应用2
机器把一种语言(源语言)翻译为另一种语言(目标语言)
自然语言处理的研究目标
弱人工智能目标：
建立一个足够精确的语言数学模型使计算机通过编程来完成 自然语言的相关任务。如：听、读、写、说，释义，翻译， 回答问题等；
强人工智能目标：
让用户能通过自然语言与计算机自由对话；
NLP研究内容
数字图书馆、电子商务、 电子政务、远程教育、语言学习
传统神经网络
深度神经网络
深度学习发展历程
1986，BP ， Nature Rumelhart, Hinton, Williams 2011 PhD candidate of Hinton, MSR 2015 DeeperNetwork ImageNet Classification Speech
ห้องสมุดไป่ตู้
2006
内容层的信息处理
形态丰富的语言（inflecting language）：处理难 形态不丰富的语言（analytic language）：处理更难
中文 学生们都来了 李教授都来了 编辑工作很难 怎样成为一个好的编辑
英文 All the students are here. Even Prof. Li ishere. Editing is very difficult.
分词的难点
歧义字段处理 未登入词处理: 人名识别, 地名识别, 译名识别, 新词识别
分词歧义
例：南京市长江大桥 南京|市长|江大桥 南京市|长江|大桥 例：我们研究所有东西
• 我们--研究所--有--东西（交叉歧义） • 我们--研究--所有--东西 把手放在桌上 • 把--手--放在--桌上（组合歧义） • 把手--放在--桌上
智能搜索引擎、自动问答、信息获取、语义网 语音识别，文字识别、输入法 机器翻译，自动文摘，跨语言检索 文本分类、文本聚类、文本分析（结构、内容、情感）、文 本挖掘（主题跟踪：人物跟踪，企业跟踪)、文本过滤
自然语言处理的研究目标
弱人工智能目标：
建立一个足够精确的语言数学模型使计算机通过编程来完成 自然语言的相关任务。如：听、读、写、说，释义，翻译， 回答问题等；
强人工智能目标：
让用户能通过自然语言与计算机自由对话；
NLP研究内容
数字图书馆、电子商务、 电子政务、远程教育、语言学习
传统神经网络
深度神经网络
深度学习发展历程
1986，BP ， Nature Rumelhart, Hinton, Williams 2011 PhD candidate of Hinton, MSR 2015 DeeperNetwork ImageNet Classification Speech
ห้องสมุดไป่ตู้
2006
内容层的信息处理
形态丰富的语言（inflecting language）：处理难 形态不丰富的语言（analytic language）：处理更难
中文 学生们都来了 李教授都来了 编辑工作很难 怎样成为一个好的编辑
英文 All the students are here. Even Prof. Li ishere. Editing is very difficult.
分词的难点
歧义字段处理 未登入词处理: 人名识别, 地名识别, 译名识别, 新词识别
分词歧义
例：南京市长江大桥 南京|市长|江大桥 南京市|长江|大桥 例：我们研究所有东西
• 我们--研究所--有--东西（交叉歧义） • 我们--研究--所有--东西 把手放在桌上 • 把--手--放在--桌上（组合歧义） • 把手--放在--桌上
智能搜索引擎、自动问答、信息获取、语义网 语音识别，文字识别、输入法 机器翻译，自动文摘，跨语言检索 文本分类、文本聚类、文本分析（结构、内容、情感）、文 本挖掘（主题跟踪：人物跟踪，企业跟踪)、文本过滤
第三章自然语言的处理共152张PPT2024新版
常用方法
基于规则的方法、基于词 典的方法、基于机器学习 的方法等。
词汇关系与语义网络
词汇关系
指词汇之间的语义关系， 如上下位关系、同义关系 、反义关系等。
语义网络
一种表达词汇之间复杂语 义关系的网络结构，有助 于理解词汇的深层含义和 语境。
常用方法
基于知识图谱的方法、基 于深度学习的方法、基于 语料库的方法等。
3
基于神经网络的机器翻译
使用深度学习技术，构建神经网络模型实现端到 端的翻译。
文本生成技术及应用
文本生成技术
包括基于模板、基于规则、基于统计 和基于深度学习的方法。
应用领域
自动摘要、对话系统、智能写作、自 动问答等。
多模态自然语言处理
多模态数据
包括文本、图像、音频、视频等多种类型的数据。
多模态自然语言处理技术
上下文感知
利用上下文信息来提高词义消歧和实体链接的准确性。例如，通过考虑句子或段落中的其 他词语和语境信息，可以更准确地确定一个词的含义或链接到正确的实体。
情感分析与观点挖掘
情感分析
识别和分析文本中的情感倾向，如积极、消极或中立。情感分析技术可以应用于产品评论、社交媒体帖子、 新闻报道等各种文本数据。
第三章自然语言的处理共152张 PPT
• 自然语言处理概述 • 词汇处理 • 句法分析 • 语义理解 • 信息抽取与知识图谱 • 机器翻译与文本生成 • 自然语言处理前沿技术
01
自然语言处理概述
自然语言处理定义
01
自然语言处理（NLP）是人工智 能领域的一个分支，旨在让计算 机理解和生成人类语言。
深度学习阶段
采用深度神经网络模型进行自然语 言处理，如循环神经网络、卷积神 经网络、Transformer等。
深度学习在自然语言处理的应用v
38
从自由文本中挖掘结构化知识
整体结构
词法级特征
39
从自由文本中挖掘结构化知识
句子级特征抽取：卷积网络
40
机器翻译（通用模型）
Decoder 语义向量 Encoder
最常见的通用模型：Encoder-Decoder Model
41
机器翻译（Encoder-Decoder具体例子）
语言模型
网络结构
• 探讨与思考
29
语言模型
30
语言模型
Bilinear-LM
31
语言模型
RNNLM
32
深度学习用于中文分词-思路1
33
深度学习用于中文分词-思路2
34
深度学习用于中文分词
• 两者思路基本相同
– 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 – 思路2引入全局的Viterbi解码（分类后处理）
翻译模型
ACL2019 Best Paper：Fast and Robust
Neural Network Joint Models for Statistical Machine Translation
42
机器翻译-很多地方可以引入DL
• 单词对齐 • 短语对齐 • 短语重排序 • 语言模型 • 翻译模型 • 联合模型 • 翻译结果重排序
19
不同粒度语言单元的表示-字符/单字
字符上下文向量 英文：捕获构词法 中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？
20
不同粒度语言单元的表示-短语/句子/文档
• 方法一：单词词向量取和（Summrization）
从自由文本中挖掘结构化知识
整体结构
词法级特征
39
从自由文本中挖掘结构化知识
句子级特征抽取：卷积网络
40
机器翻译（通用模型）
Decoder 语义向量 Encoder
最常见的通用模型：Encoder-Decoder Model
41
机器翻译（Encoder-Decoder具体例子）
语言模型
网络结构
• 探讨与思考
29
语言模型
30
语言模型
Bilinear-LM
31
语言模型
RNNLM
32
深度学习用于中文分词-思路1
33
深度学习用于中文分词-思路2
34
深度学习用于中文分词
• 两者思路基本相同
– 基于字的Word Embedding+三层神经网络+BEMS标记序列分类 – 思路2引入全局的Viterbi解码（分类后处理）
翻译模型
ACL2019 Best Paper：Fast and Robust
Neural Network Joint Models for Statistical Machine Translation
42
机器翻译-很多地方可以引入DL
• 单词对齐 • 短语对齐 • 短语重排序 • 语言模型 • 翻译模型 • 联合模型 • 翻译结果重排序
19
不同粒度语言单元的表示-字符/单字
字符上下文向量 英文：捕获构词法 中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？
20
不同粒度语言单元的表示-短语/句子/文档
• 方法一：单词词向量取和（Summrization）
深度学习在自然语言处理的应用v
RAE(Recursive AutoEncoders)
• 推导短语及句子级别的Word Embedding表 示
Neural Tensor Networks
• 表达多个实体之间的关系 /两个单词之间某种 操作
Neural Tensor Networks
卷积网络〔 Convolutional Deep Neural Network 〕
探讨与思考
• 与传统方法比较DL的优势所在 • 抛掉特征选择步骤 • 简洁地融入语义级特征 • 很多应用可以直接绕过NLP的中间场景比方
POS，句法，减少错误累加 • 语言长程依赖容易建模：词向量+卷积网络 • 可以解决语言模型的数据稀疏问题：15-Gram • 很多场景如果优化速度非常快，方便应用的工
• 词向量表征了单词使用上下文中的句法语义特征 • One-Hot的字面匹配到DR的语义匹配
无监视训练获得单词的WE-word2vec
单词：苹果
无监视训练获得单词的WE-word2vec
单词：长颈鹿
无监视训练获得单词的WE-word2vec
单字：张
无监视训练获得单词的WE-word2vec
单字：雯
现有知识库的新知识推理
现有知识库的新知识推理
最小化目标函数：
正例： 负例：
从自由文本中挖掘构造化知识
整体构造
词法级特征
从自由文本中挖掘构造化知识
句子级特征抽取：卷积网络
机器翻译〔通用模型〕
Decoder 语义向量 Encoder
最常见的通用模型：Encoder-Decoder Model
机器翻译〔Encoder-Decoder具体例子〕
• 全局特征选择与融合/不定长转换为定长表示
深度学习在自然语言处理中的应用
缺点：长距离依赖问题
RNN是图灵完全等价的 (Siegelmann and Sontag, 1995) FNN：模拟任何函数 RNN：模拟任何程序（计算过程）。
序列模型：RNN
序列到序列模型
文本序列的卷积
输入 Filter 卷积层 Pooling层 输出
基于卷积模型的句子表示
Y. Kim. “Convolutional neural networks for sentence classification”. In: arXiv preprint arXiv:1408.5882 (2014).
发展历程
1990年以前，基于规则（rule-based）的方法
使用手写的规则
1990年以后，基于语料库（corpus-based）的方法
也叫实证（ empirical ）方法或数据驱动（data-driven）方法 大量使用统计或机器学习模型 典型应用：The mathematics of statistical machine translation: parameter estimation.1993
2011年以后，基于神经网络（neural-based）的方法
端到端的神经网络模型 典型应用：Sequence to Sequence Learning with Neural Networks, 2014
基于语料库的方法
语料库:文本数据的集合 技术手段：
统计模型 机器学习模型
实际的自然语言处理流程
白天鹅在水里游泳 该研究所获得的成果
自然语言处理
自然语言处理包括语音识别、自然语言理解、自然语言 生成、人机交互以及所涉及的中间阶段。
是人工智能和计算机科学的子学科。
自然语言处理不等于研究语言学（计算语言学）、文学。
RNN是图灵完全等价的 (Siegelmann and Sontag, 1995) FNN：模拟任何函数 RNN：模拟任何程序（计算过程）。
序列模型：RNN
序列到序列模型
文本序列的卷积
输入 Filter 卷积层 Pooling层 输出
基于卷积模型的句子表示
Y. Kim. “Convolutional neural networks for sentence classification”. In: arXiv preprint arXiv:1408.5882 (2014).
发展历程
1990年以前，基于规则（rule-based）的方法
使用手写的规则
1990年以后，基于语料库（corpus-based）的方法
也叫实证（ empirical ）方法或数据驱动（data-driven）方法 大量使用统计或机器学习模型 典型应用：The mathematics of statistical machine translation: parameter estimation.1993
2011年以后，基于神经网络（neural-based）的方法
端到端的神经网络模型 典型应用：Sequence to Sequence Learning with Neural Networks, 2014
基于语料库的方法
语料库:文本数据的集合 技术手段：
统计模型 机器学习模型
实际的自然语言处理流程
白天鹅在水里游泳 该研究所获得的成果
自然语言处理
自然语言处理包括语音识别、自然语言理解、自然语言 生成、人机交互以及所涉及的中间阶段。
是人工智能和计算机科学的子学科。
自然语言处理不等于研究语言学（计算语言学）、文学。
自然语言处理课件PPT课件2024新版
基于机器学习的观点挖掘
利用标注数据训练观点挖掘模型，实现对文本中观点的自动识别和 提取。
基于深度学习的观点挖掘
通过神经网络模型学习观点的表征，提高观点挖掘的效果。
典型案例分析
电影评论情感分析
对电影评论进行情感分析，识别评论者的情感倾向。
商品评价观点挖掘
从商品评价中挖掘出消费者对商品的观点和态度。
社交媒体情感分析
依存关系图
表示词语之间的依存关系 ，如主谓关系、定中关系 等，通常用有向图表示。
深层语义表示
将句子转换为逻辑形式或 语义网络，揭示句子深层 的语义关系。
句法分析算法及实现
基于规则的方法
通过预定义的语法规则进行句法 分析，如上下文无关文法、转换
生成语法等。
基于统计的方法
利用大规模语料库学习句法结构 概率模型，如基于PCFG、RNN 、Transformer等的句法分析模
自然语言处理课件PPT课件
• 自然语言处理概述 • 基础知识与技术 • 词法分析与词性标注 • 句法分析与句子理解 • 语义理解与表示学习
• 信息抽取与问答系统 • 情感分析与观点挖掘 • 机器翻译与自动摘要 • 自然语言处理前沿技术
01
自然语言处理概述
自然语言处理定义
自然语言处理（NLP）是计算机科学 和人工智能领域的一个分支，研究如 何实现人与计算机之间用自然语言进 行有效通信的各种理论和方法。
词法分析原理及方法
基于规则的方法
通过定义一系列词法规则，对输入的文本进行分词、词性标注等处理。这种方法需要人工 编写规则，对语言知识的依赖程度较高。
基于统计的方法
利用大规模语料库进行统计学习，自动获取词语的词性、用法等信息。常见的统计模型包 括隐马尔可夫模型（HMM）、条件随机场（CRF）等。
利用标注数据训练观点挖掘模型，实现对文本中观点的自动识别和 提取。
基于深度学习的观点挖掘
通过神经网络模型学习观点的表征，提高观点挖掘的效果。
典型案例分析
电影评论情感分析
对电影评论进行情感分析，识别评论者的情感倾向。
商品评价观点挖掘
从商品评价中挖掘出消费者对商品的观点和态度。
社交媒体情感分析
依存关系图
表示词语之间的依存关系 ，如主谓关系、定中关系 等，通常用有向图表示。
深层语义表示
将句子转换为逻辑形式或 语义网络，揭示句子深层 的语义关系。
句法分析算法及实现
基于规则的方法
通过预定义的语法规则进行句法 分析，如上下文无关文法、转换
生成语法等。
基于统计的方法
利用大规模语料库学习句法结构 概率模型，如基于PCFG、RNN 、Transformer等的句法分析模
自然语言处理课件PPT课件
• 自然语言处理概述 • 基础知识与技术 • 词法分析与词性标注 • 句法分析与句子理解 • 语义理解与表示学习
• 信息抽取与问答系统 • 情感分析与观点挖掘 • 机器翻译与自动摘要 • 自然语言处理前沿技术
01
自然语言处理概述
自然语言处理定义
自然语言处理（NLP）是计算机科学 和人工智能领域的一个分支，研究如 何实现人与计算机之间用自然语言进 行有效通信的各种理论和方法。
词法分析原理及方法
基于规则的方法
通过定义一系列词法规则，对输入的文本进行分词、词性标注等处理。这种方法需要人工 编写规则，对语言知识的依赖程度较高。
基于统计的方法
利用大规模语料库进行统计学习，自动获取词语的词性、用法等信息。常见的统计模型包 括隐马尔可夫模型（HMM）、条件随机场（CRF）等。
深度学习在自然语言处理的应用
May 15, 2015
Yong Jiang (ShanghaiTech University)
Word Embedding:An Introduction and Its Application in Sentence May Parsing 15, 2015
1 / 50
Tranditional Word Representation
One-hot Vector
One-hot Vector
In tranditional NLP task, One-hot Vector is mostly used. ”I”=[1,0,0,...,0,0] ”love”=[0,0,1,...,0,0] ”ShanghaiTech”=[0,0,,...,1,0] ”University”=[0,0,,...,0,1] Advantage Each dimention denotes the meaning of a word. Disadvantage The dimention will be pretty high for large corpus It cannot capture the word similarity VI · Vlove = 0 = VShanghaiTech · VUniversity
Tranditional Word Representation
Class-based Word Representations
Class-based Word Representations
Figure: Latent Dirichlet Allocation(Topic Model)
α,η are all super-parameters,to be fixed in training. θ,Z ,β are hidden variables that we want to infer. And we only observe W .
深度学习算法在自然语言处理中的应用
计算机理解和生成人类语言。
NLP涉及多个层面，包括词法分 析、句法分析、语义理解等，旨 在从文本数据中提取有意义的信
息。
传统NLP方法主要基于手工提取 的特征和规则，而深度学习算法
为NLP提供了新的解决方案。
深度学习算法在自然语言处理中的意义
深度学习算法能够自动学习文本数据的特征表 示，避免了手工提取特征的繁琐和主观性。
REPORTING
情感分析任务中深度学习算法应用
1 2
文本表示学习
通过词嵌入（word embedding）技术将文本转 换为向量表示，捕捉词汇间的语义和情感关系。
循环神经网络（RNN）
利用RNN对文本序列进行建模，捕捉文本中的时 序依赖关系，适用于情感分类任务。
3
卷积神经网络（CNN）
通过卷积操作提取文本中的局部特征，结合池化 操作进行特征降维，用于情感分析任务。
深度学习模型如循环神经网络（RNN）、卷积 神经网络（CNN）和Transformer等，能够处 理序列数据，捕捉文本中的长期依赖关系。
深度学习算法在NLP任务中取得了显著成果， 如情感分析、机器翻译、问答系统等。
论文研究目的和内容
研究目的：探讨深度学习算法在自然语 言处理中的应用，并分析其优势和局限 性。
模型调优技巧
包括学习率调整、批量大 小选择、正则化方法等， 以提高模型的训练效果和 泛化能力。
PART 03
自然语言处理任务与数据 集
REPORTING
常见自然语言处理任务分类
机器翻译
将一种自然语言文本自动翻译 成另一种自然语言文本。
文本分类
将文本按照预定义的类别进行 分类，如新闻分类、电影评论 分类等。
机器翻译任务中深度学习算法应用
NLP涉及多个层面，包括词法分 析、句法分析、语义理解等，旨 在从文本数据中提取有意义的信
息。
传统NLP方法主要基于手工提取 的特征和规则，而深度学习算法
为NLP提供了新的解决方案。
深度学习算法在自然语言处理中的意义
深度学习算法能够自动学习文本数据的特征表 示，避免了手工提取特征的繁琐和主观性。
REPORTING
情感分析任务中深度学习算法应用
1 2
文本表示学习
通过词嵌入（word embedding）技术将文本转 换为向量表示，捕捉词汇间的语义和情感关系。
循环神经网络（RNN）
利用RNN对文本序列进行建模，捕捉文本中的时 序依赖关系，适用于情感分类任务。
3
卷积神经网络（CNN）
通过卷积操作提取文本中的局部特征，结合池化 操作进行特征降维，用于情感分析任务。
深度学习模型如循环神经网络（RNN）、卷积 神经网络（CNN）和Transformer等，能够处 理序列数据，捕捉文本中的长期依赖关系。
深度学习算法在NLP任务中取得了显著成果， 如情感分析、机器翻译、问答系统等。
论文研究目的和内容
研究目的：探讨深度学习算法在自然语 言处理中的应用，并分析其优势和局限 性。
模型调优技巧
包括学习率调整、批量大 小选择、正则化方法等， 以提高模型的训练效果和 泛化能力。
PART 03
自然语言处理任务与数据 集
REPORTING
常见自然语言处理任务分类
机器翻译
将一种自然语言文本自动翻译 成另一种自然语言文本。
文本分类
将文本按照预定义的类别进行 分类，如新闻分类、电影评论 分类等。
机器翻译任务中深度学习算法应用
Python人工智能技术与应用课件：基于深度学习的自然语言处理技术应用
应用形式
由于目前的大多数信息（80％）是以文本的形式来保存，文本挖掘被认为具有较高的商业潜在价 值。
文本数据的定义与主要特点
（二）文本数据的主要特点
半结构化，包含标题、作者、分类
等结构字段，又包含非结构化的文
字内容
1
蕴含语义、情感，如一词多义、一
义多词、起承转合、时间关系等
2
文本数据的采集方法和数据来源
自然语言处理技术的定义
定义
语言是人类所特有的一种能力，而实现用自然语言与计算机进行通信，是人们长期以来追求的目 标。自然语言处理（Natural Language Processing，NLP）就是实现人机间通过自然语言交流的 一项技术。
NLP将人类交流沟通所用 的语言经过处理转化为机 器所能理解的机器语言， 是一种研究语言能力的模 型和算法框架。
文本数据的采集方法和数据来源
（一）文本数据的采集方法
网络爬虫
很多情况所研究的是面向某种特 定的领域，这些开放语料库经常无 法满足使用需求，可使用爬虫爬取 相应的信息。
文本数据的采集方法和数据来源
（二）文本数据的来源参考 文本数据集的来源通常是在调查报告、社交媒体、在线评论中。以社交媒体为例，在社交平台上， 人们通过社交帖子中的语言和表情符号表达自己的想法、感受和行动。社交帖子对于理解目标受众 并引起共鸣非常有价值，社交媒体可视为世界上最大的文本数据池。
➢ 特征化/向量化：将分词后的字和词表示成计算机可计 算的类型(向量)，这样有助于较好地表达不同词之间的 相似关系
➢ 模型训练：包括传统的有监督、半监督和无监督学习 模型等，可根据应用需求不同进行选择。
➢ 建模后的效果进行评价：常用的评测指标有准确率 (Precision)、召回率(Recall)、F 值 (F-Measure) 等。
由于目前的大多数信息（80％）是以文本的形式来保存，文本挖掘被认为具有较高的商业潜在价 值。
文本数据的定义与主要特点
（二）文本数据的主要特点
半结构化，包含标题、作者、分类
等结构字段，又包含非结构化的文
字内容
1
蕴含语义、情感，如一词多义、一
义多词、起承转合、时间关系等
2
文本数据的采集方法和数据来源
自然语言处理技术的定义
定义
语言是人类所特有的一种能力，而实现用自然语言与计算机进行通信，是人们长期以来追求的目 标。自然语言处理（Natural Language Processing，NLP）就是实现人机间通过自然语言交流的 一项技术。
NLP将人类交流沟通所用 的语言经过处理转化为机 器所能理解的机器语言， 是一种研究语言能力的模 型和算法框架。
文本数据的采集方法和数据来源
（一）文本数据的采集方法
网络爬虫
很多情况所研究的是面向某种特 定的领域，这些开放语料库经常无 法满足使用需求，可使用爬虫爬取 相应的信息。
文本数据的采集方法和数据来源
（二）文本数据的来源参考 文本数据集的来源通常是在调查报告、社交媒体、在线评论中。以社交媒体为例，在社交平台上， 人们通过社交帖子中的语言和表情符号表达自己的想法、感受和行动。社交帖子对于理解目标受众 并引起共鸣非常有价值，社交媒体可视为世界上最大的文本数据池。
➢ 特征化/向量化：将分词后的字和词表示成计算机可计 算的类型(向量)，这样有助于较好地表达不同词之间的 相似关系
➢ 模型训练：包括传统的有监督、半监督和无监督学习 模型等，可根据应用需求不同进行选择。
➢ 建模后的效果进行评价：常用的评测指标有准确率 (Precision)、召回率(Recall)、F 值 (F-Measure) 等。
2023人工智能工程师深度学习与自然语言处理培训教案ppt
效果。
问答系统与对话生成
问答系统任务
问答系统是一种能够根据用户提 出的问题自动返回相关答案的系 统，例如智能客服、知识问答等
。
对话生成任务
对话生成是模拟人类对话过程，生 成自然、连贯的对话文本的任务， 例如聊天机器人、智能语音助手等 。
深度学习模型
深度学习模型如序列到序列（ Seq2Seq）模型、Transformer模 型和生成对抗网络（GAN）等在问 答系统和对话生成任务中得到了广 泛应用。
自然语言处理与知识图谱 融合
自然语言处理技术将与知识图 谱技术相结合，实现更加智能 化的文本处理和知识推理，推 动人工智能在智能问答、智能 推荐等领域的应用。
多模态数据处理与融合
未来人工智能将更加注重多模 态数据的处理与融合，包括文 本、图像、音频、视频等多种 类型的数据，实现更加全面和 准确的信息提取和理解。
由Facebook开发的动态图 深度学习框架，易于使用 和调试。
Keras
基于TensorFlow的高级深 度学习框架，提供简洁易 用的API。
常见深度学习模型
卷积神经网络（CNN）
适用于图像处理和计算机视觉任务的 深度学习模型。
循环神经网络（RNN）
适用于序列建模和自然语言处理任务 的深度学习模型。
文本分类与情感分析
文本分类任务
文本分类是将文本数据自动分类 到预定义的类别中的任务，例如
新闻分类、垃圾邮件识别等。
情感分析任务
情感分析是对文本数据进行情感 倾向性判断的任务，例如电影评 论情感分析、产品评价情感分析
等。
深度学习模型
深度学习模型如卷积神经网络（ CNN）、循环神经网络（RNN ）和Transformer等在文本分类 和情感分析任务中取得了显著的
问答系统与对话生成
问答系统任务
问答系统是一种能够根据用户提 出的问题自动返回相关答案的系 统，例如智能客服、知识问答等
。
对话生成任务
对话生成是模拟人类对话过程，生 成自然、连贯的对话文本的任务， 例如聊天机器人、智能语音助手等 。
深度学习模型
深度学习模型如序列到序列（ Seq2Seq）模型、Transformer模 型和生成对抗网络（GAN）等在问 答系统和对话生成任务中得到了广 泛应用。
自然语言处理与知识图谱 融合
自然语言处理技术将与知识图 谱技术相结合，实现更加智能 化的文本处理和知识推理，推 动人工智能在智能问答、智能 推荐等领域的应用。
多模态数据处理与融合
未来人工智能将更加注重多模 态数据的处理与融合，包括文 本、图像、音频、视频等多种 类型的数据，实现更加全面和 准确的信息提取和理解。
由Facebook开发的动态图 深度学习框架，易于使用 和调试。
Keras
基于TensorFlow的高级深 度学习框架，提供简洁易 用的API。
常见深度学习模型
卷积神经网络（CNN）
适用于图像处理和计算机视觉任务的 深度学习模型。
循环神经网络（RNN）
适用于序列建模和自然语言处理任务 的深度学习模型。
文本分类与情感分析
文本分类任务
文本分类是将文本数据自动分类 到预定义的类别中的任务，例如
新闻分类、垃圾邮件识别等。
情感分析任务
情感分析是对文本数据进行情感 倾向性判断的任务，例如电影评 论情感分析、产品评价情感分析
等。
深度学习模型
深度学习模型如卷积神经网络（ CNN）、循环神经网络（RNN ）和Transformer等在文本分类 和情感分析任务中取得了显著的
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
26
Neural Tensor Networks
27
卷积网络（ Convolutional Deep Neural Network ）
• 全局特征选择与融合/不定长转换为定长表示
28
大纲
• • 深度学习简介 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示 • 字符/单字/单词/短语/句子/文档
35
深度学习用于知识挖掘
• 两大类问题
– 现有知识库的新知识推理
• CYC,WordNet,FreeNet…… • 目前的文献做法大思路基本一致
– – – 已知实体用Word Embedding表示 实体关系用Tensor Network建模 后向传播+SGD训练
– 从自由文本中挖掘结构化知识
36
41
机器翻译（Encoder-Decoder具体例子）
语言模型
翻译模型 网络结构 ACL2014 Best Paper：Fast and Robust Neural Network Joint Models for Statistical Machine Translation
现有知识库的新知识推理
37
现有知识库的新知识推理
最小化目标函数：
正例：
负例：
38
从自由文本中挖掘结构化知识
词法级特征
整体结构
39
从自由文本中挖掘结构化知识
句子级特征抽取：卷积网络
40
机器翻译（通用模型）
Decoder 语义向量 Encoder
最常见的通用模型：Encoder-Decoder Model
20
不同粒度语言单元的表示-短语/句子/文档
• 方法一：单词词向量取和（Summrization）
– 很多情况都做此种简化处理 – 过于简单,但是仔细思考有一定道理
•
方法二：单词词向量加权求和
– Huang’s Work – 权重：类似于IDF
• 方法三：RNN
21
不同粒度语言单元的表示-短语/句子/文档
• •
值得重点关注的模型
– RAE/Tensor Network/卷积网络
NLP的应用
– – – – – – – 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR
• 探讨与思考
8
One-Hot 表示
• One Hot表示在传统NLP中很常用
Similarity(dog,cat)=0
9
Word Embedding
• 词向量：单词的分布向量表示（Distributional Representation）
Similarity(dog,cat)>Similarity(dog,the) Similarity(“the dog smiles.”,“one cat cries.”）
• 词向量表征了单词使用上下文中的句法语义特征
NLP的应用
– – – – – – – 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR
• 探讨与思考
24
RAE(Recursive AutoEncoders)
• 推导短语及句子级别的Word Embedding表示
25
Neural Tensor Networks
• 表达多个实体之间的关系 /两个单词之间某种 操作
33
深度学习用于中文分词-思路2
34
深度学习用于中文分词
• 两者思路基本相同
– 基于字的Word Embedding+三层神经网络+BEMS标记序列分类
– 思路2引入全局的Viterbi解码（分类后处理）
– 效果：和主流分词算法效果接近
• CRF/Maxent+二元特征
– 类似思路同样可以套用到POS/NER/Parser等场景 – 这是利用Word Embedding解决NLP问题最直观的NLP应用思路 – 考虑探索下非标准三层神经网络结构的复杂模型
深度学习在自然语言处理 的应用
大纲
• • 深度学习简介 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示 • 字符/单字/单词/短语/句子/文档
• •
值得重点关注的模型
– RAE/Tensor Network/卷积网络
NLP的应用
– – – – – – – 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR
– One-Hot的字面匹配到DR的语义匹配
10
无监督训练获得单词的WE-word2vec
单词：苹果
11
无监督训练获得单词的WE-word2vec
单词：长颈鹿
12
无监督训练获得单词的WE-word2vec
单字：张
13
无监督训练获得单词的WE-word2vec
单字：雯
14
无监督训练获得单词的WE-word2vec
• 方法四：Matrix-Vector NN
22
不同粒度语言单元的表示-短语/句子/文档
• 方法五：卷积神经网络
23
大纲
• • 深度学习简介 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示 • 字符/单字/单词/短语/句子/文档
• •
值得重点关注的模型
– RAE/Tensor Network/卷积网络
• •
值得重点关注的模型
– RAE/Tensor Network/卷积网络
NLP的应用
– – – – – – – 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR
• 探讨与思考
29
语言模型
30
语言模型
Bilinear-LM
31
语言模型
RNNLM
32
深度学习用于中文分词-思路1
单字：葱
15
Word2vec
CBOW：
16
word2vec
Skip-Gram:
17
word2vec
CBOW+ Hierarchical Softmax
18
word2vec
最大化：
st：
正例
负例
CBOW+Negative Sampling
19
不同粒度语言单元的表示-字符/单字
字符上下文向量
英文：捕获构词法 中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？
• 探讨与思考
2
深度学习（表示学习）
3
深度学习（表示学习）
4
Layer-Wise Pre-Training
5
Denoising Autoencoder
自然语言交互的时代
7
大纲
• • 深度学习简介 基础问题：语言表示问题
– Word Embedding – 不同粒度语言单元的表示 • 字符/单字/单词/短语/句子/文档