银联海量数据分析平台

中国银联海量数据分析平台

1.用户需求

➢为了创新业务的需求，更好地服务银行业，中国银联积极探索新的技术，进军大数据领域

➢作为首期应用示范，需要用hadoop构建字段合规性分析系统，商户推荐系统，数据规模是，数据导入性能每小时80GB,全年数据30TB左右，每条记录模式是刷卡交易信息，每条大小200~500字节不等

2.解决方案

曙光公司给上海银联提供的整个方案采用14台曙光高性能A620服务器构建Hadoop 海量数据分析平台，交换环境千兆以太网，整个集群平均导入速度为10W/s,随机单条记录查询时间少于3s。完全达到首期平台建设要求。

银联Hadoop二期建设规划：Hadoop集群一共150台服务器，目前正在实施当中，二期建设规划如下图所示。三期Hadoop建设规划集群数据预计提升至400台。