互联网大数据案例分享

互联网大数据案例

手中握有数据的公司站在金矿上，挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，这就是大数据的价值。

有某互联网咨询公司，其手中有大量用户行为数据，希望建立用户行为分析系统，但面临数据量大，无法做到分析的实时性。也曾组建过Hadoop团队，但基于Hive 的分析系统不够实时，且项目预算有限。

这家咨询公司后来通过Yonghong Z-Suite搭建大数据分析平台，完成了大数据量下的用户行为实时分析，那么下面就介绍下这个互联网大数据案例：

首先需要分析的数据量是90 天细节数据约50 亿条数据，硬盘存储空间10TB左右。这些数据已经存储在Hadoop上，只是Hadoop无法做到实时分析，需要将其导入到Data Mart 中。考虑到数据压缩到Data Mart中后所需存储空间会变小，10TB的数据导入到Data Mart 中会经过压缩后大致需要900G的存储空间。假设900G的数据中有1/3是热数据需要分析的，则认为系统内存量需要300G，假设每台机器有64G内存，则大致需要5台机器。于是有如下配置：

90天的50亿详细数据已经导入到Data Mart中，经过系统调优，基于这些数据做的电商用户行为分析，互联网视频分析，互联网金融网站访问分析等等都可以在秒级响应。

之后进行每日数据增量更新，并删除超过90天的数据，保存用于分析的数据为90天。

如何达到高性能计算呢？

目前很多产品都是通过分布式并行计算来处理大数据计算，需要的技术有分布式文件系统，分布式通讯，计算任务拆解为可分布执行的分布式任务，需要库内计算等技术；另外列存储也是大数据高性能计算所需要的技术。

上述互联网大数据案例的大数据分析平台的架构

有了大数据，还要从大数据中提取价值，离不开分析工具，通过丰富的分析功能，在繁杂的数据中找到其中的价值。而大数据给分析提供了一定的挑战，需要高性能计算做支撑，才能在大数据的金矿中挖到金子。