数据价值链--大数据时代漫谈(PPT28张)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
▪ 2008年，《Nature》杂志出版专刊，讨论大数据处理相关的一系列技术问题 和挑战[1]。
▪ 2012年3月底，美国政府发布了大数据研发专项研究计划 (Big Data Initiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育 和国家安全等重大领域和行业所急需的大数据处理技术和工具，把大数据研 究上升到为国家战略[2]。
•
4、努力本就是年轻人应有的状态，是件充实且美好的事，可一旦有了表演的成分，就会显得廉价，努力，不该是为了朋友圈多获得几个赞，不该是每次长篇赘述后的自我感动，它是一件平凡而自然而然的事，最佳的努力不过是：但行好事，莫问前程。愿努力，成就更好的你！
hwx@xmu.edu.cn
hong.xmu.edu.cn
-1-
Think Big
-2-
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
People
Topic
NBA
Timewk.baidu.com
World Cham
People
Men Women
Title: Heat Preseason… Title: Settle in: LeBron James Title: Knicks VS Lakers…
Time
Fiction
Oct 15th Oct 16th
Criminal
Men Women
Title: Red: He’s got time to kill. Title: Conviction… Title: As good as Dead…
- 27 -
谢谢！
数据价值链：大数据时代漫谈 Q&A
洪文兴
hwx@xmu.edu.cn
- 28 -
•
1、想要体面生活，又觉得打拼辛苦；想要健康身体，又无法坚持运动。人最失败的，莫过于对自己不负责任，连答应自己的事都办不到，又何必抱怨这个世界都和你作对？人生的道理很简单，你想要什么，就去付出足够的努力。
▪ 2012年10月，中国计算机学会于成立大数据专家委员会，并在2012年12月 发布调研报告，说明数据科学的热点问题和发展趋势[3]
-5-
大数据
-6-
大数据
-7-
-8-
-9-
大数据-4V 特征
- 10 -
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
Artists Scientists SportsStar Movie Stars
User Profile Topic Interest:
Basketball Action Film People Preference: Basketball Stars Idol Movie Stars
Flexible Query
双向特征表 示及匹配
人才信息智能 搜索与推荐
i.xmrc.com.cn
多源数据及 多维度结果
创新驿栈、 政府个性化门户
智能推荐
cloud.xm.gov.cn
2011
2012
2013
- 25 -
案例：数据可视化（数值表示）
✓ 交通实时数据 http://lu.ditu6.com/xm/ （厦门） http://map.sogou.com/traffic （北京）
- 21 -
案例：推荐系统
- 22 -
案例：推荐系统截图
- 23 -
- 24 -
案例：研究对象变迁图
研究对象
商品
音乐、图书
人才
专家、新闻
典型特征
基础推荐
关键技术 数据价值链
课题支撑
企业横向
实例
diapers.com 2010
多媒体推荐
互惠推荐
社交网络推荐
特征提取
知识资源港 智能服务 cadal.cn
✓ 街景地图 Google Street View （香港会展中心） SO SO 街景 .故宫
- 26 -
案例：数据可视化（模式发现）
Topic
Sports Politics Health Law Science Entertainment Environment Economy
Oct 18th Oct 17th Oct 16th Oct 15th
- 16 -
数据价值链 (基本处理方法)
- 17 -
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
- 18 -
- 19 -
•
2、时间是最公平的，活一天就拥有24小时，差别只是珍惜。你若不相信努力和时光，时光一定第一个辜负你。有梦想就立刻行动，因为现在过的每一天，都是余生中最年轻的一天。
•
3、无论正在经历什么，都请不要轻言放弃，因为从来没有一种坚持会被辜负。谁的人生不是荆棘前行，生活从来不会一蹴而就，也不会永远安稳，只要努力，就能做独一无二平凡可贵的自己。
-3-
致谢
✓ 本演讲所引用之数据大部分来自于
分析：大数据在现实世界中的应用 (IBM, 2012)
✓ 本演讲所引用之部分学术观点来自于
大数据研究的技术层面与主要研究内容
(黄宜华，Hadoop与大数据技术大会，2012）
-4-
大数据(Big Data)
▪ 2007年，图灵奖获得者Jim Gray，提出“数据密集型科学发现(DataIntensive Scientific Discovery)” 将成为科学研究的第四范式，“数据科学 ”拉开了帷幕。
案例：搜索图谱
▪ Google Knowledge Graph
http://www.google.com/insidesearch/features/search/knowledge.html
▪ 搜狗知立方 ▪ 中搜 ▪ 搜索华尔兹（soso，腾讯）
- 20 -
案例：搜索比价、评论综合
▪ Google Shopping (Google Product Search) ▪ 一淘网 ▪ 自动评论（实验室产品）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
- 11 -
大数据与云计算
▪ 大数据是云计算的两大核心内容之一。
- 12 -
大数据与云计算
- 13 -
- 14 -
数据价值链 (Data Value Chain)
- 15 -
数据价值链 (基本处理方法)
▪ 2012年3月底，美国政府发布了大数据研发专项研究计划 (Big Data Initiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育 和国家安全等重大领域和行业所急需的大数据处理技术和工具，把大数据研 究上升到为国家战略[2]。
•
4、努力本就是年轻人应有的状态，是件充实且美好的事，可一旦有了表演的成分，就会显得廉价，努力，不该是为了朋友圈多获得几个赞，不该是每次长篇赘述后的自我感动，它是一件平凡而自然而然的事，最佳的努力不过是：但行好事，莫问前程。愿努力，成就更好的你！
hwx@xmu.edu.cn
hong.xmu.edu.cn
-1-
Think Big
-2-
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
People
Topic
NBA
Timewk.baidu.com
World Cham
People
Men Women
Title: Heat Preseason… Title: Settle in: LeBron James Title: Knicks VS Lakers…
Time
Fiction
Oct 15th Oct 16th
Criminal
Men Women
Title: Red: He’s got time to kill. Title: Conviction… Title: As good as Dead…
- 27 -
谢谢！
数据价值链：大数据时代漫谈 Q&A
洪文兴
hwx@xmu.edu.cn
- 28 -
•
1、想要体面生活，又觉得打拼辛苦；想要健康身体，又无法坚持运动。人最失败的，莫过于对自己不负责任，连答应自己的事都办不到，又何必抱怨这个世界都和你作对？人生的道理很简单，你想要什么，就去付出足够的努力。
▪ 2012年10月，中国计算机学会于成立大数据专家委员会，并在2012年12月 发布调研报告，说明数据科学的热点问题和发展趋势[3]
-5-
大数据
-6-
大数据
-7-
-8-
-9-
大数据-4V 特征
- 10 -
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
Artists Scientists SportsStar Movie Stars
User Profile Topic Interest:
Basketball Action Film People Preference: Basketball Stars Idol Movie Stars
Flexible Query
双向特征表 示及匹配
人才信息智能 搜索与推荐
i.xmrc.com.cn
多源数据及 多维度结果
创新驿栈、 政府个性化门户
智能推荐
cloud.xm.gov.cn
2011
2012
2013
- 25 -
案例：数据可视化（数值表示）
✓ 交通实时数据 http://lu.ditu6.com/xm/ （厦门） http://map.sogou.com/traffic （北京）
- 21 -
案例：推荐系统
- 22 -
案例：推荐系统截图
- 23 -
- 24 -
案例：研究对象变迁图
研究对象
商品
音乐、图书
人才
专家、新闻
典型特征
基础推荐
关键技术 数据价值链
课题支撑
企业横向
实例
diapers.com 2010
多媒体推荐
互惠推荐
社交网络推荐
特征提取
知识资源港 智能服务 cadal.cn
✓ 街景地图 Google Street View （香港会展中心） SO SO 街景 .故宫
- 26 -
案例：数据可视化（模式发现）
Topic
Sports Politics Health Law Science Entertainment Environment Economy
Oct 18th Oct 17th Oct 16th Oct 15th
- 16 -
数据价值链 (基本处理方法)
- 17 -
提纲
▪ 何为大数据？
• 谁来定义？ • 4V特征
▪ 大数据与云计算？ ▪ 数据价值链：从采集到利用 ▪ 大数据产业链（案例）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
- 18 -
- 19 -
•
2、时间是最公平的，活一天就拥有24小时，差别只是珍惜。你若不相信努力和时光，时光一定第一个辜负你。有梦想就立刻行动，因为现在过的每一天，都是余生中最年轻的一天。
•
3、无论正在经历什么，都请不要轻言放弃，因为从来没有一种坚持会被辜负。谁的人生不是荆棘前行，生活从来不会一蹴而就，也不会永远安稳，只要努力，就能做独一无二平凡可贵的自己。
-3-
致谢
✓ 本演讲所引用之数据大部分来自于
分析：大数据在现实世界中的应用 (IBM, 2012)
✓ 本演讲所引用之部分学术观点来自于
大数据研究的技术层面与主要研究内容
(黄宜华，Hadoop与大数据技术大会，2012）
-4-
大数据(Big Data)
▪ 2007年，图灵奖获得者Jim Gray，提出“数据密集型科学发现(DataIntensive Scientific Discovery)” 将成为科学研究的第四范式，“数据科学 ”拉开了帷幕。
案例：搜索图谱
▪ Google Knowledge Graph
http://www.google.com/insidesearch/features/search/knowledge.html
▪ 搜狗知立方 ▪ 中搜 ▪ 搜索华尔兹（soso，腾讯）
- 20 -
案例：搜索比价、评论综合
▪ Google Shopping (Google Product Search) ▪ 一淘网 ▪ 自动评论（实验室产品）
– 搜索引擎-知识图谱 – 搜索引擎-比价、评论综合 – 社会化网络-推荐系统 – 大数据可视化
- 11 -
大数据与云计算
▪ 大数据是云计算的两大核心内容之一。
- 12 -
大数据与云计算
- 13 -
- 14 -
数据价值链 (Data Value Chain)
- 15 -
数据价值链 (基本处理方法)