大数据导论 7.2.2 数据的内在预测性——语义分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
例如:从某些博客文章中,提取关键词
2.自然语言处理
自然语言处理(NLP)是计算机科学领域与 人工智能领域中的一个重要方向,是一门融语言 学、计算机科学、数学于一体的科学。
具体来说,包括将句子分解为单词的语素分 析、统计各单词出现频率的频度分析、理解文章 含义并造句的理解等。
Big Data
智能手机iPhone中的语音助手Siri
Big Data
感谢聆听!
Big Data
6.语义检索——例子
例如,搜索框中输入“孟字去掉子”时,深谙语义搜索的搜索引 擎就能够判断出,用户想要找的并不是含有“孟”、“去掉子”等字 眼的内容,而是想要查找与“皿”这个字相关的内容;
Big Data
5.语义检索的优势
语义检索是基于“知识”的搜索,即利用机器学习、人工智能等模拟或扩展人的认识思维,提高信息 内容的相关性。
语义检索具有明显的优势:检索机制和界面的设计均体现“面向用户”的思想,即用户可以根据自己 的需求及其变化,灵活地选择理想的检索策略与技术;语义检索能主动学习用户的知识,主动向用户提供 个性化的服务:综合应用各种分析、处理和智能技术,既能满足用户的现实信息需求,又能向用户提供潜 在内容知识,全面提高检索效率。
3.自然语言处理——产品
自然语言处理包括文本和语音识别。对语音识别,系统尝 试着理解语音然后行动,例如转录文本。
语音客服机器人 智能音箱 语音识别
Big Data
4.文本分析
相比于结构化的文本,非结构化的文本通常更难分析
与搜Fra Baidu bibliotek。文本分析是专门通过数据挖掘、机器学习和自然
语言处理技术去发掘非结构化文本价值的分析文本的应用。 文本分析的基本原则是,将非结构化的文本转化为可以搜
《大数据导论》
语义分析
1.什么是语义分析
在不同的语境下,文本或语音数据的片段可 以携带不同的含义,而一个完整的句子可能会保 留它的意义,即使结构不同。为了使机器能提取 有价值的信息,文本或语音数据需要像被人理解 一样被机器所理解。语义分析是从文本和语音数 据中提取有意义的信息的实践。
Big Data
姓名
URL
城市
国家
图片编号
索和分析的数据。
文本分析通常包括两步:
文本
(1)解析文档中的文本提取;
(2)用这些提取的实体和事实对文档进行分类。
Big Data
5.语义检索
是指搜索引擎的工作不再拘泥于用户所输入请求语句 的字面本身,而是透过现象看本质,准确地捕捉到用户所 输入语句后面的真正意图,并以此来进行搜索,从而更准 确地向用户返回最符合其需求的搜索结果。