大数据管理PPT课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 互联网文本大数据管理对大数据系统和技术的挑 战是全面的、跨学科领域的，需要创新，也需要 继承传统数据管理技术和数据仓库分析技术的精 华。
精品课件
基于大数据分析的用户建模
面向用户建模的大数据系统架构 面向大众的信息服务类应用在为大规模的
用户提供信息服务的同时，通过用户原创内 容（User Generated Content，UGC）或者系 统日志等方式不断地收集数据。这些数据与 用户的行为紧密相关，被用来分析用户的兴 趣特征，创建用户的描述文件，这就是基于 大数据分析的用户建模。
精品课件
大数据的特征
巨量（Volume） 多样（Variety） 快变（Velocity） 价值（Valuห้องสมุดไป่ตู้）
精品课件
大数据的特征—巨量
➢大数据的首要特征是数据量巨大，而且在 持续、急剧地膨胀。
➢大规模数据的几个主要来源有：科学研究、 互联网应用和电子商务领域、传感器数据、 网站点击流数据、移动设备数据、无线射 频识别数据等。
精品课件
大数据的特征—快变
➢大数据的快变性也称为实时性，一方面指 数据到达的速度很快，另一方面指能够进 行处理的时间很短，或者要求响应速度很 快，即实时响应。
数据到达或者产生的速度太快，对系统处理造 成巨大的压力。
例如，入库速度要求：100GB/S。
精品课件
大数据的特征—快变
时间 0时0分52秒 0时14分16秒 1时 6时54分53秒 15时19分13秒 24时
“现象级”应用：在某一个时期，对系统的压力突 然暴增，极易导致系统的崩溃。
精品课件
大数据的特征—价值
大数据的价值是潜在的、巨大的。大数据 不仅具有经济价值和产业价值，还具有科 学价值。这是大数据最重要的特点，也是 大数据的魅力所在。
精品课件
大数据的应用
➢大数据的应用特征：
大数据作为一种新的战略资源，要重视对数据 对象的管理、重视数据治理。
交易额 超过10亿 超19亿 突破353亿 超571亿 912亿 超1207亿
描述 一分钟超10亿的交易额 超过2012年双十一全天交易额 超过2013年双十一全天交易额 超过2014年双十一全天交易额 超过2015年双十一全天交易额 交易额翻了一番 无线交易额占比81.87%，覆盖235个 国家和地区
精品课件
互联网文本大数据管理与挖掘
互联网媒体文本大数据应用：时事探针 该系统可以有效地帮助用户、企业以及政府机构
对所关注的新闻话题在互联网媒体中的报道进行感 知、获取、跟踪、预警和深入分析，具有极大应用 价值。
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理的挑战
无法事先预定义关系模式和值域 无法直接用关系型数据进行存储和查询 可扩展性和实时性要求高
➢ 从现在起，每18个月，新增的存储量等于有史以 来存储量之和！ ——1998年图灵奖获得者Jim Gray
精品课件
大数据的特征—多样
➢数据的多样性通常是指异构的数据类型、 不同的数据表示和语义解释。
➢现在，越来越多的应用所产生的数据类型 不再是纯粹的关系数据，更多的是非结构 化、半结构化的数据，如文本、图形、图 像、音频、视频、网页、推特、和博客等。
对于文本大数据处理，目前广泛使用的互联网 搜索引擎只是对文本数据的简单索引和查找，不 能满足用户对所关注的话题进行实时监测、深入 分析以及决策支持等需求。
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理系统
时事探针系统 时事探针系统是一个面向互联网文本大数据的通用的 管理和分析平台。整个系统分为离线处理和在线处理 两个部分。其中离线部分是设计的重点，主要功能有： 1. 多源异构网络大数据的感知和获取 2. 文档理解及结构化数据抽取和集成 3. 数据存储和索引 4. 离线主题文本立方体建立及更新
精品课件
基于大数据分析的用户建模
面向用户建模的大数据系统架构 用户建模的目标是为了准确地把握用户的
行为特征、兴趣爱好等，进而较为精准地向 用户提供个性化地信息服务或信息推荐。
互联网媒体文本大数据应用：时事探针
高速发展的互联网媒体在给人们获取信息带来便利 的同时，也带来了新的挑战，其中之一便是“信息过 载”问题。当一个重要新闻事件发生后，各种互联网 媒体会有大量相关报道。 时事探针系统可以实时监控、收集互联网媒体数据， 并对数据进行深入的挖掘和分析。其主要功能包括 动态数据抓取、历史数据保留、数据深度智能分析、 数据可视化展示、敏感信息实时捕捉、预定阈值报 警等。
数据库系统概论
An Introduction to Database System
第14章 大数据管理
xxxxx
精品课件
1
目录
➢ 大数据概述 ➢ 大数据的应用 ➢ 大数据管理系统 ➢ 小结
精品课件
大数据概述
什么是大数据？
精品课件
什么是大数据
精品课件
什么是大数据
分类：
按大数据的应用类型将大数据分为海量交易数 据（企业OLTP应用）、海量交互数据（社交网、 传感器、全球定位系统、Web信息）和海量处理 数据（企业OLAP应用）。
大数据作为一种新的研究方法，已经在许多学 科领域取得成效在：第四研究范型
大数据作为一种新的信息化的思维，强调跨界 应用，数据整合基础上的创新。
精品课件
大数据的应用
➢应用案例：
感知现在 预测未来 ——互联网文本大数据管理与挖掘
数据服务 实时推荐 ——基于大数据分析的用户建模
精品课件
互联网文本大数据管理与挖掘
精品课件
大数据的特征—巨量
➢ 观点：大是相对的，是和当时的计算机处理能力 相关的，超过了现有技术的能力。
➢ 但是，“大规模”又是大数据的基本要求。
80年代，百万条记录就是VERY LARGE DATA 00年代，TB级别就是DATA INTENSIVE 10年代，100T以上，甚至PB级才能够算得上是大数据
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理的特点：
• 互联网文本大数据蕴含着丰富的社会信息，可以 看作是对真实社会的网络映射
• 实时、深入分析互联网文本大数据，帮助人们在 海量数据中获取有价值的信息，发现蕴含的规律， 可以更好地感知现在、预测未来，体现了第四范 式数据密集型科学发现的研究方式和思维方式。
精品课件
基于大数据分析的用户建模
面向用户建模的大数据系统架构 面向大众的信息服务类应用在为大规模的
用户提供信息服务的同时，通过用户原创内 容（User Generated Content，UGC）或者系 统日志等方式不断地收集数据。这些数据与 用户的行为紧密相关，被用来分析用户的兴 趣特征，创建用户的描述文件，这就是基于 大数据分析的用户建模。
精品课件
大数据的特征
巨量（Volume） 多样（Variety） 快变（Velocity） 价值（Valuห้องสมุดไป่ตู้）
精品课件
大数据的特征—巨量
➢大数据的首要特征是数据量巨大，而且在 持续、急剧地膨胀。
➢大规模数据的几个主要来源有：科学研究、 互联网应用和电子商务领域、传感器数据、 网站点击流数据、移动设备数据、无线射 频识别数据等。
精品课件
大数据的特征—快变
➢大数据的快变性也称为实时性，一方面指 数据到达的速度很快，另一方面指能够进 行处理的时间很短，或者要求响应速度很 快，即实时响应。
数据到达或者产生的速度太快，对系统处理造 成巨大的压力。
例如，入库速度要求：100GB/S。
精品课件
大数据的特征—快变
时间 0时0分52秒 0时14分16秒 1时 6时54分53秒 15时19分13秒 24时
“现象级”应用：在某一个时期，对系统的压力突 然暴增，极易导致系统的崩溃。
精品课件
大数据的特征—价值
大数据的价值是潜在的、巨大的。大数据 不仅具有经济价值和产业价值，还具有科 学价值。这是大数据最重要的特点，也是 大数据的魅力所在。
精品课件
大数据的应用
➢大数据的应用特征：
大数据作为一种新的战略资源，要重视对数据 对象的管理、重视数据治理。
交易额 超过10亿 超19亿 突破353亿 超571亿 912亿 超1207亿
描述 一分钟超10亿的交易额 超过2012年双十一全天交易额 超过2013年双十一全天交易额 超过2014年双十一全天交易额 超过2015年双十一全天交易额 交易额翻了一番 无线交易额占比81.87%，覆盖235个 国家和地区
精品课件
互联网文本大数据管理与挖掘
互联网媒体文本大数据应用：时事探针 该系统可以有效地帮助用户、企业以及政府机构
对所关注的新闻话题在互联网媒体中的报道进行感 知、获取、跟踪、预警和深入分析，具有极大应用 价值。
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理的挑战
无法事先预定义关系模式和值域 无法直接用关系型数据进行存储和查询 可扩展性和实时性要求高
➢ 从现在起，每18个月，新增的存储量等于有史以 来存储量之和！ ——1998年图灵奖获得者Jim Gray
精品课件
大数据的特征—多样
➢数据的多样性通常是指异构的数据类型、 不同的数据表示和语义解释。
➢现在，越来越多的应用所产生的数据类型 不再是纯粹的关系数据，更多的是非结构 化、半结构化的数据，如文本、图形、图 像、音频、视频、网页、推特、和博客等。
对于文本大数据处理，目前广泛使用的互联网 搜索引擎只是对文本数据的简单索引和查找，不 能满足用户对所关注的话题进行实时监测、深入 分析以及决策支持等需求。
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理系统
时事探针系统 时事探针系统是一个面向互联网文本大数据的通用的 管理和分析平台。整个系统分为离线处理和在线处理 两个部分。其中离线部分是设计的重点，主要功能有： 1. 多源异构网络大数据的感知和获取 2. 文档理解及结构化数据抽取和集成 3. 数据存储和索引 4. 离线主题文本立方体建立及更新
精品课件
基于大数据分析的用户建模
面向用户建模的大数据系统架构 用户建模的目标是为了准确地把握用户的
行为特征、兴趣爱好等，进而较为精准地向 用户提供个性化地信息服务或信息推荐。
互联网媒体文本大数据应用：时事探针
高速发展的互联网媒体在给人们获取信息带来便利 的同时，也带来了新的挑战，其中之一便是“信息过 载”问题。当一个重要新闻事件发生后，各种互联网 媒体会有大量相关报道。 时事探针系统可以实时监控、收集互联网媒体数据， 并对数据进行深入的挖掘和分析。其主要功能包括 动态数据抓取、历史数据保留、数据深度智能分析、 数据可视化展示、敏感信息实时捕捉、预定阈值报 警等。
数据库系统概论
An Introduction to Database System
第14章 大数据管理
xxxxx
精品课件
1
目录
➢ 大数据概述 ➢ 大数据的应用 ➢ 大数据管理系统 ➢ 小结
精品课件
大数据概述
什么是大数据？
精品课件
什么是大数据
精品课件
什么是大数据
分类：
按大数据的应用类型将大数据分为海量交易数 据（企业OLTP应用）、海量交互数据（社交网、 传感器、全球定位系统、Web信息）和海量处理 数据（企业OLAP应用）。
大数据作为一种新的研究方法，已经在许多学 科领域取得成效在：第四研究范型
大数据作为一种新的信息化的思维，强调跨界 应用，数据整合基础上的创新。
精品课件
大数据的应用
➢应用案例：
感知现在 预测未来 ——互联网文本大数据管理与挖掘
数据服务 实时推荐 ——基于大数据分析的用户建模
精品课件
互联网文本大数据管理与挖掘
精品课件
大数据的特征—巨量
➢ 观点：大是相对的，是和当时的计算机处理能力 相关的，超过了现有技术的能力。
➢ 但是，“大规模”又是大数据的基本要求。
80年代，百万条记录就是VERY LARGE DATA 00年代，TB级别就是DATA INTENSIVE 10年代，100T以上，甚至PB级才能够算得上是大数据
精品课件
互联网文本大数据管理与挖掘
互联网文本大数据管理的特点：
• 互联网文本大数据蕴含着丰富的社会信息，可以 看作是对真实社会的网络映射
• 实时、深入分析互联网文本大数据，帮助人们在 海量数据中获取有价值的信息，发现蕴含的规律， 可以更好地感知现在、预测未来，体现了第四范 式数据密集型科学发现的研究方式和思维方式。