十三五 大数据行业深度研究

中国：传统IT公司发展晚， 技术储备也偏弱。主要公 司有华为、浪潮和中科曙 光，但是其业务偏重于服 务器硬件 中国：阿里巴巴、百度、 腾讯等，目前以服务自身 的业务需求为主
互联网企业
专业大数据企 业
中国：开始出现东方国信、 拓而思等专业第三方数据 服务公司
Oracle的大数据解决方案框架
7
大数据在重点行业中的应用
4V的属 性
数据时效高（Velocity） 大数据往往以数据流的形式动态、 快速地产生，具有很强的时效性
处理大数据面临的挑战

几种数据类型
数据类型
结构化数据
数量大
数据处理量从计算机时代早期的 GB ，膨胀到 TB---PB---EB---ZB ， 每一步都是1000倍的增长 需要从原来的批量处理转变为实时 处理，否则会失去时效性
“十三五”大数据行业深度研究
研究部 2016年5月
“十三五”规划纲要简介

2016 年 3 月 17 日发布的《十三五规划纲要》，是根据《中共中央关于制定国民经 济和社会发展第十三个五年规划的建议》由国务院牵头各个部委编制的，主要阐 明国家战略意图，明确经济社会发展宏伟目标、主要任务和重大举措，是市场主 体的行为导向，也是政府履行职责的重要依据。
表现形式
数据库表等
典型场景
企业ERP、财务、HR 数 据库等 邮件系统、网页信息、报 表系统等 在线视频内容、音频内容、 图形图像信息等

速度快
半结构化数据
邮件、HTML、报 表等 视频、音频等

种类庞杂
从早期的结构化数据，转变为大量 的非结构化数据
非结构化数据
4
大数据的基本概念和处理工具介绍
数据规模在飞速增长
受困于体制、行业特点等原因，发展较为 缓慢 但是政府及公用事业部门具有极为宝贵的 数据源，例如：企业及个人财税、医院及 医保体系、泛城市管理方面
9
大数据在重点行业中的应用
大数据在数字营销中的作用：程序化购买的快速增长

据预测中国整体广告花费在 未来三年仍然保持 10% 以上 的增幅。特别是互联网广告 领域，未来几年的 CAGR 将 达到20%左右 从占比来看，到2016年，预 计互联网广告将占据广告整 体花费的 49% ，接近其他所 有媒体的总和。到2019年， 广告花费的 6 成将投放在互 联网上 从另外角度来看，2015年中 国程序化广告市场规模总量 将达到 73亿人民币，而中国 展示类广告市场规模总量将 达到千亿元，再算上其他类 型的数字广告，总体将突破 2千亿人民币。 不过，相比美国市场，其程 序化购买广告份额在2015年 接近6成；而中国市场在 2015年的程序化购买比例仅 占5%，仍然有巨大的提升空 间。
2013-2019中国广告总规模
中国数字广告规模


资料来源：国信证券
资料来源：国信证券
美国程序化数字广告快速成长
200 180 160 140 120 100 80 60 40 20 0
中国程序化数字广告开始爆发
市场规模（亿元）
168% 141% 123% 116.4
增速
187.6
180% 160% 140% 120% 100% 61% 80% 60% 40% 20% 0%
广告主
输入需求和 预算报价

DMP 把分散的数据进行整合纳入统一的技术平台 ，进行标准化和细分，为DSP 提供定位受众支持。 数据的来源和质量以及相应技术的处理是 DMP 的 关键。
不过，在当下的国内生态环境中，各方 DMP 之间 数据相对独立，数据的流通性差，更多的合作以及 更高的开放性是未来市场发展的主要方向
输入需求和 预算报价
广告主
DSP(demand side platform)
媒体资源
单独协商 报价
由互联网巨头控制
DSP是当前争夺的焦点

Ad Exchange垄断业态，往往也兼营SSP平台

DSP 通过公开的GOOGLE ADX，腾讯滕果等主流公开流量和门户网站 +垂直媒体的私有流量，在Ad Exchange交易中按照标准化的 CPM结算 。而向广告主既可以按照 CPM，也可以按照转化后的CPC 进行出价（ 取决于广告主的报价方式），这种情况下DSP可以获取一定的转化报价 差额收益。 因此流量对于 DSP 来说，不仅是其收入来源的保证，而且流量可以为 DSP 扩充其用户数据库，提升定向技术与竞价有效性。 理论上DSP 可以接入任何广告交易平台，包括私有、公开平台，但并非 所有的DSP都会对接所有的广告交易平台，这涉及到运营DSP 的公司自 身业务性质和其同各大广告交易平台的合作谈判能力。
8
大数据在重点行业中的应用
大数据在不同行业的发展、应用处于不同的阶段
数据特征
金融企业
结构化数据：大多实 名制账户，信息分类 明确且与账户对应
行业应用情况
精准营销、征信参考、风险控制、业务的 运营优化、预测等
成熟模式
大型互联网 公司
非结构化数据：存在 大量零散的数据有待 挖掘利用 不同互联网细分板块的应用程度有所不同， 但是均已经具有了成熟的应用模式 极高程度：电商、社交、搜索 中等：广告、在线娱乐
DSP(demand side platform) DMP协助

媒体资源
输入广告资源 信息和卖价
SSP(side side platform)

DMP 盈利模式主要为：技术服务费+营收或广告费 分成。不过由于目前 DMP+DSP的捆绑式服务是主 流模式，且DMP的强大数据分析能力对提升DSP的 准确报价有至关重要的作用，因此未来一段时期 DSP厂商都会同时努力发展DMP的技术能力 特别是对于大型互联网企业，本身有相对丰富的大 数据源和大数据分析处理能力较强，在发展 DMP+DSP方面有天然的优势

《十三五规划纲要》明确提出，发挥科技创新在全面创新中的引领作用，加强基 础研究，强化原始创新、集成创新和引进消化吸收再创新，着力增强自主创新能 力，为经济社会发展提供持久动力。
1
1. 2. 3.
大数据的基本概念和处理工具介绍 大数据在重点行业中的应用 重点公司列表
2
大数据的基本概念和处理工具介绍
过去10年中，由企业、高校或 科研机构所研发并开源的分布 式计算/存储架构，是当前大数 据发展的基础 Hadoop：起源于雅虎公司， 是当前主流的大数据存储和处 理平台 Spark：诞生于加州伯克利大 学AMP实验室，是新一代大数 据分布式处理框架 NoSQL：著名的分布式数据库
数据挖掘：基于不同的数据类型 和格式呈现出数据的各种特性， 挖掘其中蕴涵的价值 预测性分析：通过训练数据建立 模型，并以此为基础预测未来的 趋势和走向
3
大数据的基本概念和处理工具介绍
大数据的几个特征
Volume数据量大 2010 年全球数据量已经达1.2ZB， 超过人类有史以来所有印刷材料数 据总量 数据价值密度低（Value） 大数据的价值需要深度发掘，原数 据本身价值较低
Variety数据类别多 大数据不仅包括结构化数据，还包 括大量的半结构化、非机构化数据
非结构化分析：针对海量的音频、 图像、视频和文本数据，结合人 工智能技术抽取和提炼，使之能 够用于后续的分析的挖掘
可视化分析：直观的呈现数据统 计分布特性，使普通用户能够对 数据形成大致的理解
6
大数据的基本概念和处理工具介绍
大数据分析处理工具（续）
参与大数据业务的几类主要企业

专业咨询公司 Wikibon 统 计了 2014 年全球大数据 领域收入排名 TOP 30 的 公司，其中不仅包括 IBM 、 HP 等传统综合IT 企业， 也包括palantir等专注于特 定领域数据分析的新兴企 业
全球产生数据规模（ZB）
中国网民规模（亿）


资料来源：中信证券
资料来源：中信证券

全球连接入网的智能设备经历了数次飞跃与扩大
广义智能设备
智能手机+平板
宽带互联网爆发 个人电脑
90年代初 90年代末 08年后 未来
5
大数据的基本概念和处理工具介绍
大数据分析处理工具
数据源
数据存储、计算、分析
数据的最终应用
Ad Exchange 连接了DSP 和SSP，并提供了程序化购买的交易和 竞价平台，针对每次展示进行实时竞价 目前国内的广告交易平台往往也同时运营SSP 产品，甚至DSP和 DMP Ad Exchange 是一个以技术为驱动的环节。程序化购买过程通常只 有百毫秒时间，而Ad Exchange 又是交易的中枢系统，这就要求其 建立高效、稳定的大流量交易程序。需求端和供给端覆盖越广，交 易频率越高，以交易费用作为收入来源的Ad Exchange的收入也越 多。 广告平台目前以网络巨头为主，代表公司有国外的AdMob(谷歌)、 InMobi；国内的TANX（阿里）、广点通（腾讯）、百度。
积极探索、 拓展
通信企业、 交通行业等
非结构化数据：存在 大量零散的数据有待 挖掘利用
主要体现在能够拥有较大规模的数据源， 在数据的使用和变现方面有很大的想象空 间 但是目前大数据的应用模式仍处于积极探 索、拓展的阶段
有待挖掘
政府及公用 事业部门
除了存在大量非结构 化数据外，各个部门 之间数据不通，“信 息孤岛”现象严重
传统IT公司
美国：以IBM、HP、dell、oracle 等企业为 代表，该类企业具有完整的软、硬件产品线， 并通过既有产品线、hadoop 等开源计算框 架的融合，迅速构建出综合性大数据解决方 案。 美国：以google、amazon 为代表，本身具 有雄厚的技术和资金支持，云计算业务强大， 且自身的数据源丰富，对大数据具有较强的 需求。 美国：以palantir、splunk 等为代表，依赖 于融合的计算框架和强大的技术实力，并叠 加对特定行业的深入理解，提供相应的数据 分析服务，典型的技术、行业认知驱动。
DMP+DSP捆绑发展是主流形式
类型
特点 优势
第一方私有DMP
大型广告主自建或服务 商自建，仅供自己使用 数据安全性和针对性较 强
11





大数据在重点行业中的应用
大数据在数字营销中的作用：DMP是精准营销的拳头产品

从本质上讲，数据是精准广告的核心。而面对海量 的数据，数据管理、交易和分析就成为产业链中不 可或缺的核心需求，DMP也由此应运而生
大数据对DMP(Digital management platform)的关键作用
基础硬件
基础软件/架构
数据分析与可视化处理
金融：银行、保险的大 量账户 电子商务：大量的买卖 交易发生
广义互联网：社交、搜 索、娱乐等
通信厂商：掌握互联网 的入口 政府公用事业单位：包 括医疗、交通等
云计算具有高性能、 高可拓展性的特点， 强大的服务器集群、 存储能力为大数据 处理提供了硬件基 础 这也是云计算厂商 amazon 等积极布局 大数据业务的优势 之一
输入广告资源 信息和卖价
广告主
媒体资源
由互联网巨头（facebook google 阿里巴巴）或第三 方专业广告营销公司提供
由互联网巨头提供， 如google、阿里巴巴、 腾讯等垄断
由媒体自己提供，或 依靠互联网巨头及第 三方专业营销公司
非公开竞价
适合部分有特殊要 求的品牌广告主， 或小流量广告位， 或互联网巨头自身 控制的媒体

52.3 21.7 8.1
2012
资料来源：国信证券
2013
2014
2015
2016E
资料来源：国信证券Байду номын сангаас
10
大数据在重点行业中的应用
大数据在数字营销中的作用：程序化购买的产业链条
程序化购买广告的环节
全市场公开竞 价
特别适合PC端 和主流移动APP ，面对所有广告 主
输入需求和 预算报价
Real Time Bidding DSP(demand side platform) Ad Exchange(广告 交易平台) Real Time Bidding SSP(side side platform)

根据IDC 数据，2014年全球 数 据 总 量 约 为 5.9ZB ， 是 2010 年的4 倍多 中信证券预计 2020 年世界 新产生的数据总量将达到近 40ZB，是2014年的6倍 回顾过去15年，从数据的可 获得性、流动性来看，互联 网的发展创造了大量的线上 数据，同时互联网和传统行 业 的 融 合 ， 以 及 IOT （ internet of things 物联网） 时代的到来，数据的可获得 途径正在被持续拓宽 未来，随着一系列新的智能 设备的推出，包括智能汽车、 智能家居、可穿戴设备、工 业及基础领域的传感器等， 产生的数据规模将更为庞大