大数据时代分析PPT

大数据使用的领域
互联网大数据的典型代表性包括： 1-用户行为数据（精准广告投放、内容推荐、行为习惯和喜好分析、产品优 化等） 亚马逊、SMG、淘宝 • 2-用户消费数据（精准营销、信用记录分析、活动促销、理财等） 信用卡中心、蚂蚁金服 • 3-用户地理位置数据（O2O推广，商家推荐，交友推荐等） 谷歌地图、大众点评、美团等APP的自动定位系统 • 4-互联网金融数据（P2P，小额贷款，支付，信用，供应链金融等） 支付宝、陆金所 • 5-用户社交等UGC数据（趋势分析、流行元素分析、受欢迎程度分析、舆论 监控分析、社会问题分析等） fackbook、新浪 • •
一只数据狗的成长历程-高级篇
高级篇： 统计分析；（回归分析、相关分析、银子分析、方差分析、 聚类分析、时序分析、决策树、神经网络等数据分析方法） 算法精研；（马尔科夫链、最大值算法等） 数据挖掘；（数据挖掘主要实现描述、分类、预测、关联 四个方面的功能；sas中的em模块，sql server，r语言） 商业智能。（BI)
多样Variety
大数据的异构
和多样性；数 据类型繁多。 比如，网络日 志、视频、图 片、地理位置 信息等等。
价值Value
大量的不相关 信息；对未来 趋势与模式的
速Velocity
可预测分析； 深度复杂分析
（机器学习、 人工智能Vs传 统商务智能(咨 询、报告等）。
实时分析；处
理速度快。1S 是临界点。
R语言：R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、 免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。 特点： 弊. 只是用于统计分析，无法像SAS那样全面； 利： 免费，中小型公司数据分析师的最爱。 • SPSS：SPSS(Statistical Product and Service Solutions)，"统计产品与服务解决方案" 软件。 利：它集数据录入、整理、分析功能于一身，还可以制作精美的图标用于展示； 弊：很难与一般办公软件如Office或是WPS2000直接兼容，如不能用Excel等常用表格处理 软件直接打开，只能采用拷贝、粘贴的方式加以交互。在撰写调查报告时往往要用电子表 格软件及专业制图软件来重新绘制相关图表。 •
口诀：作为一名互联网的数据分析师，看得懂数据，用的了 工具，玩得转代码，建的了模型，深谙算法之精髓。
软件分析
SAS：SAS 是一个模块化、集成化的大型应用软件系统。它由数十个专用模块构成， 功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、 运筹学方法、计量经济学与预测等等。 特点： 利： 比较全面的建模软件系统； 弊： 贵，一般小公司无法使用（一般简单的SAS模块的维护费用在10万以上）。 •
一只数据狗的成长历程-入门篇
一只数据狗的成长历程： 入门篇： 了解数字化营销的精髓 理解各种指标（广告数据、网站数据、电子商务 数据、PV/UV） 看的懂数据报告 分析工具（Excel、SPSS、SAS、SQL等） 学会呈现（PPT\Mind\亿图\Visio\PS等）
一只数据狗的成长历程-进阶篇
•
Hadoop分布式文件系统(Distributed File System) － HDFS (HadoopDistributed File System)(文件系统，数据存储技术相关，路径和目录
简历
Hadoop
• 搜寻关键词：Hadoop、Hbase、Hive、 MapReduce。 • 薪资范围（互联网公司）： 2年：15W/Y - 18W/Y； 3年：18W/Y - 22W/Y； 传统行业：通信/软性/金融行业稍微低于以上的薪 资水平。
大数据时代之职位分析
Yolanda
目
录
Contents
A B C
何为大数据？
职位，你在哪里？
具体职位分析
何为大数据？
定义、特点、模式、应用领域
电影——少数派报告（minority report）
定义
• • • 大数据(Big data)，或称巨量资料，指的是需要新处理模式才能具有更强的决 策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 云计算：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成 的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服 务，本质上是一种数据处理技术。 Hadoop（分布式文件系统）：实现云计算的技术支撑；
进阶篇： 监测工具（熟悉Google Analytics \web trends等 监测工具） 代码部署（在监测数据的地方部署代码） 测原理与局限性（了解Http协议、JavaScript、 Cookie原理和数据收集的两种常用技术（页面标 签技术、服务器日志技术）） 立体式营销（SEM/SEO、软宣、微博、博客、论 坛、百科问答）
简历
• 搜寻关键词：数据分析、数据挖掘、SAS等；
• 薪资标准： 2-3年：15-20万/年； 3-5年：20-30万/年。 信用卡中心的数据分析师一般在：7-9K/M。
Yolanda
THANKS
职位，你在哪里？
数据研发工程 数据工 程师 ELT工程师和ETL 工程师 数据存储层：负责 数据信息的存储、 访问及其优化 展现层
商业智能 R SIT AMET
访问应用层
数据分析师
源数据层Βιβλιοθήκη 分析层数据挖掘职位分析
职位分析_技术类
数据研发工程/数据工程师/ELT工程师
一句话概括：主要通过程序操作数据 把数据写入到数据仓库
•
•
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。 人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪 潮的到来。”——麦肯锡 在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。 编者话：大数据是一种预测，先知。
•
特点
量Volume
非结构化数据 的超大规模和 增长；大数据 的起始计量单 位至少是P （1000个T）、
E（100万个T）
或Z（10亿个 T）；
天下武功无坚不摧，无快不破；速度是和传统的数据挖掘技术有着本质的不同。
大数据目前的三种模式
•
• • •
从大数据的价值链条来分析，存在三种模式：
1- 手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府 机构等。 2- 没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和 服务企业，比如，埃森哲，IBM，Oracle等。 3- 既有数据，又有大数据思维；比较典型的是Google，Amazon，阿里、 腾讯等。
大数据应用的技术
• • • • • • Hadoop用到的一些技术有： HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS （路径和目录） MapReduce：并行计算框架（数据处理） HBase: 类似Google BigTable的分布式NoSQL列数据库。（数据库） Hive：数据仓库工具，由Facebook贡献。 其他……
数据分析/挖掘师（客户与商业智能分析）
岗位要求： • 1)客户价值分析： • 通过对客户信息，涵盖行为和资产信息（包括银行、保险、交易、积分等数据）的分析，支持战略 及运营决策，并且指导客户迁徙； • 2)网站数据分析： • 进行公司网站的数据分析与监控策划，进行数据监测、分析、统计和设计，包括但不限于（网站的 UV、PV、访问深度、跳失率、转化率、网站产品、用户行为）为产品、运营及市场推广的优化提 供数据支持； • 能依据网站用户行为数据推测客户潜在需求，提高目标转换率； • 3)数学建模： • 在SAS的环境中，建立线性回归模型（Linear Regression），逻辑回归模型（Logistic regression），时间序列模型（Time Series）和生存模型 ( Survival Model)。 职位难点：既要精通数据，又要熟悉业务，要能用数据解决业务问题。 职位要求： • 本科以上学历，数学、统计学、计算机，电子信息技术等相关专业 • 熟悉数据库及SQL语言，能自己获取数据； • 熟悉SAS， R， SPSS， Excel等统计工具，熟悉Cognos等BI产品； • 熟悉数据分析与数据挖掘理论，互联网应用技术知识、网络知识，了解互联网营销； • 有CRM、电子商务类（B2B/B2C）网站数据分析经验者优先； • 有SAS建模经验者优先；