移动网络大数据探究

……
智能终端的普 及率和网络的 发展存在矛盾
目前全球120家运营商中，已经有48%的企业正在实施大数 据战略，通过提高数据分析能力，正在视图打造着全新的商 业生态圈，实现从电信网络运营商(Telecom)到信息运营商 (Infocom)、再到数据运营商的华丽转身。
数据应用的困境
数据内容 没有充分挖掘
移动网络大数据的探究
大数据篇
1 2 3 4
大数据的定义
大数据的特征 大数据分析工具 大数据的应用
大数据的定义
关于大数据的定义目前尚未达成一致说法。
从数据规模的量级上进行度量：认为仅当数据累加值在10TB至1PB（P为T的千倍）以上方可称 为“大数据”； 在2008年科学杂志的出版中，大数据被定义为“代表了人类认知过程的进展情况”，通常包括
Velocity（快速）
大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分 析结果等到明天才能看到，那么将会使电商很难类似补货这样的决策，从而导致这些数 据失去了分析的意义。
大数据的特征：4V+1C
Vitality（灵活）
在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析 和处理模型必须快速地适应新的业务需求。
• 用户目的地预测
• 通过分析用户历史轨迹，当前用户位置预测用户下次出行的目的 地
移动网络大数据应用场景（二）：商业应用
• 用户肖像建立
• 从用户历史轨迹和用户移动端行为中提取特征，对用户群进行 有监督的分类或无监督的聚类。
• 用户兴趣推荐
• 通过分析用户历史轨迹和用户移动端行为历史记录，分析用户 可能的兴趣点，为用户推荐潜在的兴趣地点。
移动网络大数据就是移动通信网络与大数据的结合！
1、应用困境
基于个人画像的数据应用步入困境
法律约束 个人对隐私保护的关注 公众对精准营销的反感
大数据应用的困惑：
要求掌握的技术多 面对的众多行业 想做、感觉能做的很多，如何支撑？ 这么多数据，如何利用？ 如何释放出大能量？
2、生态系统的变化
概念
是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过时，DPI 系统通过深入读取IP包载荷的内容来对协议中的应用层信息进行分析读取，进而识别各类 型应用。
应用场景
流量识别：对网络上流量进行识别，区分不同的应用类型和协议类型。 网络控制：识别出网络上的流量后，按需求对流量进行控制。 业务分析与统计：运营商可得知网络状况，从而发现优化网络的方法，发掘签在的 业务价值。 增值业务：提供绿色上网、在线计费、URL过滤等增值业务。
移动网络数据目前的应用目标
网络优化：
业务质量、用户感知
经营分析：
市场预测 CRM 流量经营：基于用户画像、精准营 销
决策分析
网络优化
流量经营
策略计费控制（PCC）：
DPI + PCC
目前的数 据生态圈
PCC
其他数据分析服务
智能交通 智慧旅游 城市安全 城市规划 ……
网络爬虫
又称为网页蜘蛛、网络机器人、网页追逐者，是按照一定的规则，自动地抓 取万维网信息的程序或者脚本。
网络爬虫是在没有 数据的情况下，抓 取万维网信息的一 种方式！ 获得数据后，将进 行下一步操作来分 析用户行为！
大数据的分析方法
DPI(Deep Packet Inspection)：深度包检测
超过当前技术和方法，在一个可容忍的经过时间的数据范围去捕获、管理和处理能力的数据集；
有人也给给出这样的定义：大数据是大容量、快速和多样化的信息资产，它要求处理新的形式 来使得增强决策，洞察发现和优化流程。
结合各方面的理解、综合各方说法形成的一个统一认识：
所谓大数据的核心就是在浩瀚的数据模型中，找到有价值的信息、获得有意义的线
产品使用分段 套餐使用分段 用户在网时长分段
音乐 电影 体育 阅读 …
工作产品需求 生活产品需求 交友产品需求
ARPU分段 用户流量价值分类 流量趋势分类
用户渠道偏 好 操作系统 用户终端偏好
用户肖像建立：③用户组与产品的匹配
• 用户分类系统 • 利用用户网络行为数据接合爬虫库建立用户偏好群组 • 通过用户的调研数据、分析营销反馈数据，用户上网日志数据，建立产品——客 户群——营销用语的立体关系网络
热点上网时段
上海交大通过分析校园网数据，得出一天中的热点上网时段及上网地点分布。 通过这些热点上网时段和上网地点分布，得出，如果热点上网时段在上课期间，说明该节课 学生不感兴趣，可以由此调整老师的上课方式。 …………. 通过数据，我们可以获取很多的信息，若合理的加以利用，可以带来很大的价值。
移动网络大数据篇
索。
大数据的特征：4V+1C
Variety（多样化）
大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音 信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。
Volume（海量）
通过各种智能设备产生了大量的数据，PB级别可谓是常态，国内大型互联网企业每天的 数据量已接近TB级别。
用户肖像建立：①基于机器学习的用户分类
• 从用户历史轨迹、移动端行为（语音服务、移动应用、网页浏览）中提取特征，
对用户群进行有监督的分类或无监督的聚类。
用户肖像建立：②建立用户细分标签库
• 通过针对每一位独立移动互联网用户的网页，搜索关键字的浏览行为跟踪,结合经
分数据形成超细分的用户标签体系。
工作地点 生活社区 社交地点
游戏爱好者 年轻父母 游戏 体育爱好者 采 集 数 据 用户 内容 偏好 模型 算法 白领 小说爱好者 股民 音乐爱好者 有车族
电子产品发烧友 游戏爱好者 有车一族 旅游爱好者
产品库
业务目标客户
网易游戏爱好者
ຫໍສະໝຸດ Baidu
…… ……
挖掘 分析
音乐爱好者
……
移动网络大数据应用场景（三）：城市应用
• 城市用户迁移规律挖掘 • 区域功能和热度分析
“互联网、移动互联网、物联网， 给我们带来的不仅是技术上的变化、 应用上的变化。就我们企业而言它 给我们带来最大的变化是价值链的 变化和生态系统的变化。” “最近国庆长假的时候很多人 去 风景旅游区，媒体上有很多照片是 人山人海，看到八达岭长城上全是 密密麻麻的人群。这个时候如果想 知道这里究竟有多少人，这个范围 内究竟有多少人。我们的 数学家 提供了很多好的方法来计算，但是 这些方法相当相当的复杂”。 2014年10月23日在北京举办《哈佛商业评论》中国年会·2014
• 通过OD分析城市人口通勤特征
• 通过群体用户的移动特征，推断区域功能和热度
谢 谢！
数据服务
大数据是大趋势
生态环境愈来愈复杂
移 动 互 联 生 态 系 统
运营商将面对诸多挑战
大量移动互联 网应用进入运 营商语音、短 信类传统语音 业务领域 自有业务竞争 过大，影响营 销效果与客户 体验
应用/ 内容 网络
……
用户细 分缺乏 竞争劣 势的自 有业务 渠道的 健全管 理
终端/ 平台
1 2 3 4
移动网络大数据的应用背景 移动网络大数据的应用目标 大数据战略是大趋势 移动网络大数据的应用场景
移动网络大数据的应用背景
随着整个社会对通信服务需求量的上升，使得移动通信网络的数据流量大幅度上升，面临这
样的客观形势，移动通信企业想要获得可观的经济效益，就要善于利用大数据背景，获取更 加丰富的数据资源，从而拓展自身的网络业务，增加自身的经济收益。 简单地说：
……
数据存储分散， 数据量大 没有有效的据 分析平台 缺少科学的 分析方法
数据价值不能 最大化 缺少多方位的推 广渠道
缺乏成熟的 应用模型
大数据应用的挑战
• 数据种类多源化 • 管道流量，网络信令，用户身份，地图POI等 • 多源数据融合是大数据分析的优势之一
• 数据特征多维化 • 四个基本属性：用户，时间，地点，事件 • 属性之间的组合形成更高维的特征
Complexity（复杂）
虽然传统的BI（Business Intelligence，商业智能）已经很复杂了，但是由于前面4个V的存在， 使得针对大数据的处理很分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜 了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。
大数据的分析方法
大数据的分析方法
DPI(Deep Packet Inspection)：深度包检测
关键技术
“特征字”识别技术：可能是特定的端口、特定的字符串或者特定的Bit序列。 关联识别技术：首先识别出控制流，然后从控制流中解析出数据流的五元组信息， 最后将数据流的五元组信息加入关联表中，使用关联表识别后续的数据流流量。 行为模式识别技术：基于对终端已经实施的行为的分析，判断出用户正在进行的动 作或者即将实施的动作。通过分析数据包的发送接收频率，应用的连接数，单IP的连 接模式，上下行流量的比例等来区分应用的类型。
大数据的应用
分析用户行为
用户偏好
通过DPI技术，可以获取用户的上网习惯，上网偏好。比如通过抓取校园网数据，并进行分析， 可以得出喜欢购物的人数、喜欢看球赛的人数、喜欢追剧的人数等等，进而进行分类归纳。 对于一个爱购物的人，如果卖家获得这些数据，就可以根据该用户的购物习惯及喜好，及时 的向该用户推荐他感兴趣的商品。也可以根据某些用户常用的收货地点，把相关商品先预存到该 收货点，等到用户下次购买时，就可以大大缩短送货时间。 ………..
• 数据结构复杂化 • 结构化、半结构化、以及非结构化数据 • 数据规模空前化 • 移动网络每天产生的原始数据达到P比特级别，解析出来的特征数据也在T比特级水平， 对计算和存储都提出了较高要求
移动网络大数据应用场景（一）：交通问题
• 交通拥堵分析
• 通过历史交通拥堵记录，当前交通拥堵情况，推测出交通拥堵的 成因和即将拥堵的路段