智慧金融大数据平台建设方案

智慧金融大数据平台
建
设
方
案
目录
第1章前言 0
第2章金融大数据现状分析 (1)
2.1、基本现状 (1)
2.2、总体现状 (1)
2.2.1、行领导 (1)
2.2.2、业务人员 (1)
2.3、数据架构方面 (1)
2.3.1、业务表现 (2)
2.3.2、问题 (2)
2.4、数据应用难题 (3)
2.4.1、缺少统一的应用分析标准 (3)
2.4.1.1、业务表现 (3)
2.4.1.2、问题 (3)
2.4.2、缺少统一的基础数据标准 (4)
2.4.2.1、业务表现 (4)
2.4.2.2、问题 (4)
2.4.3、缺少反馈机制 (5)
2.4.3.1、业务表现 (5)
2.4.3.2、问题 (6)
2.5、数据应用现状总结 (6)
第3章金融大数据治理阶段目标 0
3.1、数据平台逻辑架构 0
3.2、数据平台部署架构 (1)
3.3、建设目标 (1)
3.3.1、建设大数据基础设施，完善全行数据体系架构 (1)
3.3.2、开发大数据资源，支撑全行经营管理创新 (2)
3.3.3、培养大数据人才队伍，建立大数据分析能力 (2)
3.4、数据治理目标 (2)
3.4.1、发现数据质量问题，推动大数据治理工作的开展，建立数据质量检核系统 (2)
3.4.2、分析、梳理业务系统，推动数据标准的建立，统一全行口径 (2)
3.4.3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库 (3)
3.5、目标建设方法 (3)
3.5.1、建设内容 (3)
3.5.2、工作阶段 (4)
3.5.2.1、源系统分析阶段 (4)
3.5.2.1.1、工作内容 (4)
3.5.2.1.2、工作依据 (4)
3.5.2.1.3、工作重点 (4)
3.5.2.2、数据质量问题检查阶段 (4)
3.5.2.2.1、工作内容 (5)
3.5.2.2.2、工作依据 (5)
3.5.2.2.3、工作重点 (5)
3.5.2.3、数据质量问题分析阶段 (5)
3.5.2.3.1、工作内容 (5)
3.5.2.3.2、工作依据 (6)
3.5.2.3.3、工作重点 (6)
3.6、预期建设效益 (6)
3.6.1、实现数据共享 (6)
3.6.2、加强业务合作 (6)
3.6.3、促进业务创新 (6)
3.6.4、提升建设效率 (7)
3.6.5、改善数据质量 (7)
第4章金融大数据建设总体规划 0
4.1、功能需求 0
4.1.1、个人和企业画像 0
4.1.2、实现精准营销 (2)
4.1.3、为金融业提供风险管控 (3)
4.1.4、运营优化 (4)
4.2、金融大数据应用架构远景 (4)
4.2.1、金融需要从“坐商”转型为“行商” (5)
4.2.2、客户下沉 (5)
4.2.3、与“互联网金融”进行差异化竞争 (5)
4.3、金融大数据平台应用架构 (6)
4.4、金融大数据平台架构 (7)
4.5、金融大数据支撑平台 (7)
4.5.1、大数据虚拟化平台 (7)
4.5.1.1、设计原则 (8)
4.5.1.2、虚拟化平台设计 (10)
4.5.1.3、硬件基础设施层 (10)
4.5.1.4、虚拟化存储 (11)
4.5.1.5、虚拟化计算 (11)
4.5.1.6、平台管理 (12)
4.5.1.7、数据存储系统设计 (12)
4.5.1.8、高性能SAN存储系统 (13)
4.5.1.9、存储方案优势 (15)
4.5.2、大数据分析管理平台 (16)
4.6、大数据分析处理平台 (16)
4.6.1、分布式内存分析引擎 (17)
4.6.2、数据挖掘引擎 (17)
4.6.3、分布式实时在线数据处理引擎 (17)
4.6.4、流处理引擎 (18)
4.6.5、大数据分析支撑系统 (18)
4.6.6、大数据分析节点群 (24)
4.6.7、软硬件配置 (24)
4.6.8、虚拟化平台关键特性 (26)
4.6.9、虚拟化平台配置 (27)
4.7、安全保障系统 (28)
4.7.1、设计原则 (28)
4.7.2、总体设计 (29)
4.7.3、物理安全设计 (29)
4.7.4、网络安全设计 (31)
4.7.4.1、外网边界安全 (31)
4.7.4.2、网络基础设施安全 (31)
4.7.5、主机安全设计 (32)
4.7.6、应用安全设计 (33)
4.7.7、数据库安全设计 (33)
4.7.8、安全制度与人员管理 (34)
4.7.9、安全管理体系建设 (35)
4.7.10、安全运维 (36)
4.7.11、安全人员管理 (36)
4.7.12、技术安全管理 (37)
4.7.13、安全保障系统配置 (37)
4.8、计算机网络系统 (38)
4.8.1、设计原则 (38)
4.8.2、系统设计 (39)
4.8.3、计算机网络系统配置 (41)
4.9、基础支撑软件 (42)
4.9.1、地理信息软件 (42)
4.9.2、操作系统软件 (44)
4.9.3、数据库管理软件 (45)
4.9.4、机房建设方案 (46)
4.9.5、基础支撑系统软硬件配置 (48)
智慧金融大数据平台建设方案
第1章前言
随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。

经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。

大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。

人们越来越期望能实现海量数据的处理，从数据中发现价值。

数据越来越成为一种重要的资产。

我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。

互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。

因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。

做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度挖掘数据内含的巨大价值，探索金融业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。

按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。

第2章金融大数据现状分析
2.1、基本现状
金融已建立面向整个金融业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向金融的管理分析应用；
金融大数据积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求。

2.2、总体现状
2.2.1、行领导
缺乏数据梳理，造成行领导看到的数据相互冲突和矛盾；
IT架构中中都是以部门级应用为主（如计财、资金计划部等），缺乏从大的管理职能（财务、风险、运营等）综合方面的数据整合、数据标准和统一业务定义。

2.2.2、业务人员
业务职能不清晰或相互重叠，观察数据视角不尽相同，缺少数据标准与业务统一定义，语轨不一致；
由于业务系统输入的随意性，导致部分关键业务数据质量较差。

2.3、数据架构方面
由于全行的数据散落在各个业务系统中，没有进行有效整合，形
成竖井式架构，造成多个信息孤岛，整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。

无法支撑未来共享性应用。

2.3.1、业务表现
➢信息孤岛
➢数据冗余
➢共享性差
➢历史数据缺失
2.3.2、问题
➢数据分散，难以管理
➢没有一个稳定的，抗源变化的数据层
2.4、数据应用难题
2.4.1、缺少统一的应用分析标准
2.4.1.1、业务表现
➢各集市系统指标存在重复
➢各集市系统在保有存量的同时，不断产生新的指标（增量）➢集市指标派生无法实现
➢指标逻辑视图（指标分类）不一致
2.4.1.2、问题
➢重复投入
➢数据不一致
➢指标设计、口径不一致
➢指标难以共享
2.4.2、缺少统一的基础数据标准
2.4.2.1、业务表现
➢各系统存在冗余数据
➢各系统存在业务含义一致，名称定义不一致的属性➢各系统存在含义不一致，名称定义一致的情况
➢业务代码定义混乱
2.4.2.2、问题
➢重复投入
➢数据不一致、不准确
➢难以利用和管理
➢各系统数据难以共享
2.4.3、缺少反馈机制
没有归纳并总结数据质量问题，缺少反馈机制,导致长期存在各类数据质量问题。

2.4.
3.1、业务表现
➢指标难以共享
➢数据不一致、不准确
2.4.
3.2、问题
➢部分关键业务数据缺失
➢源系统校验关系缺失及业务人员操作随意
2.5、数据应用现状总结
随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决数据架构、数据标准、数据质量问题，随着信息化建设的深入，这些问题将像雪球一样越滚越大，越积越多。

智慧金融大数据平台建设方案
第3章金融大数据治理阶段目标
通过数据平台和BI应用建设，金融大数据将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为金融各层次用户提供统一的决策分析支持，提升数据共享与流转能力。

3.1、数据平台逻辑架构
3.2、数据平台部署架构
3.3、建设目标
以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧金融，提升核心竞争力。

3.3.1、建设大数据基础设施，完善全行数据体系架构
构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。

3.3.2、开发大数据资源，支撑全行经营管理创新
建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动。

3.3.3、培养大数据人才队伍，建立大数据分析能力
结合大数据项目的落地实施，建立起一支大数据技术和分析人员队伍，具备自主运营和开发大数据的能力，以更好推动业务创新，提升我行核心竞争力。

3.4、数据治理目标
3.4.1、发现数据质量问题，推动大数据治理工作的开
展，建立数据质量检核系统
➢对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表
➢对数据质量问题进行归类总结，分析成因和改进建议
➢建设数据质量检核系统
3.4.2、分析、梳理业务系统，推动数据标准的建立，
统一全行口径
➢建立基础标准和指标标准框架
➢确定标准化范围，对重要属性进行标准化
3.4.3、建立数据仓库模型框架，优化我行数据架构，
建设稳定、可扩展的数据仓库
➢引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行特点的数据仓库模型框架
➢覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据
➢存储历史数据，解决新报表上线才有数的问题。

➢汇总层建设（共性加工）
3.5、目标建设方法
3.5.1、建设内容
分析源系统表数据，从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校验，发现并记录数据质量问题，生成数据质量问题报告。

建设数据质量检核系统，对源系统基础业务数据的进行全面的数据质量检查，并实现重要业务数据质量的周期性动态检查，对发现的数据质量问题生成数据质量报告，反馈给业务部门。

3.5.2.1、源系统分析阶段
全面分析主要源业务系统。

3.5.2.1.1、工作内容
➢全面分析和消化主要源业务系统
➢重点分析核心业务系统和信贷两个系统
3.5.2.1.2、工作依据
➢源系统文档：《源系统操作手册》、《源业务系统设计说明书》、《源系统数据字典》
➢源系统环境及调研数据
3.5.2.1.3、工作重点
➢系统内：梳理业务流程、业务逻辑、业务关联、数据库表和字段的设计
➢系统间：梳理业务关联关系、数据关联关系
3.5.2.2、数据质量问题检查阶段
根据制定的检查规则编写程序，对源系统数据进行检查。

➢梳理和制定数据质量检查规则，定义标准模板
➢依据数据检查规则，编写程序，对核心业务系统、信贷管理系统的进行检查
3.5.2.2.2、工作依据
➢系统调研和分析成果
➢数据质量检查规则的依据调研成果的以下内容进行梳理：
✧业务流程、业务逻辑
✧数据逻辑设计
✧报表数据应用
3.5.2.2.3、工作重点
重点报表用到的表进行分析
3.5.2.3、数据质量问题分析阶段
分析有质量问题数据对现有应用的影响；提出解决措施。

3.5.2.3.1、工作内容
➢分析有质量问题数据对现有报表应用的影响
➢对数据质量问题的成因进行分析和总结
➢对数据质量问题的解决措施进行分析和总结
➢数据质量检查结果
➢源数据与报表依赖关系
3.5.2.3.3、工作重点
重点分析报表平台的1104等报表存在的部分数据质量问题。

3.6、预期建设效益
3.6.1、实现数据共享
通过数据平台实现数据集中，确保金融大数据各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值。

3.6.2、加强业务合作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础。

3.6.3、促进业务创新
金融大数据业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了
有利条件。

3.6.4、提升建设效率
通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率。

3.6.5、改善数据质量
从中长期看，数据仓库对金融大数据分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性。

智慧金融大数据平台建设方案
第4章金融大数据建设总体规划
4.1、功能需求
4.1.1、个人和企业画像
国内不少金融已经开始尝试通过大数据来驱动业务运营，为个人客户画像和企业客户“画像”。

个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。

客户画像作用：
1、用户的所有属性特征、订单特征、行为特征集合到一个系统中，然后只需要在一个报表层面，只需要输入用户ID、手机号、用户名等即可实现完整的用户信息查询。

2、当处理用户的私人财务信息时候，用户喜欢一对一的个性化服务。

用户画像可以展示用户的每一次活动，例如用户注资、消费等主要的行为。

3、通过软件的实时分析，可以及时跟踪用户的注册、交易等关键环节遇到的问题。

4、实时衡量广告活动的有效性，通过实时在线访客工作，及时评估活动的引流用户的活动参与性。

可以及时调整广告的投放策略，减少广告的浪费。

客户画像：在金融方面有非常大的潜力，市面上有一些完善的软件和解决方案，但能够真正打入到金融内部的比较少，同时金融在手机端和电商方面有很大的突破，对于大数据的信息也非常的需要。

建议：通过市面上的软件进行oem。

4.1.2、实现精准营销
在客户“画像”的基础上，金融业可以有效地开展精准营销。

例如，根据客户的实时状态来进行营销，根据所在地、客户最近一次消费等信息来有针对地进行营销，或者将改变生活状态的事件视为营销机会。

精准营销：通过对大数据信息的掌握，采用多种方法论和技术去分析得出结论，进行营销。

目前市面上也有类似的软件，也有详细的方法论，在金融方面还有待验证。

建议：继续进行市场的验证。

4.1.3、为金融业提供风险管控
金融业结合大数据，可以实现对中小企业贷款风险评估和欺诈交易识别。

金融可通过企业的生产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。

风险管控：
1、通过客户在社交媒体上的行为数据、客户在电商网站的交易数据、企业客户的产业链上下游数据、其他有利于扩展金融对客户兴趣爱好的数据来进行数据的分析；
2、目前金融的风险主要来自于大中型企业信用风险、小微型企业信用风险、个人/消费者信用风险等；
风险管控：金融对于大数据的信息有比较全面的机制，信用体系、贷款体系、金融体系都有比较多的专家和方法来管理风险。

建议：多走访金融风控体系，看看是否新的突破点
4.1.4、运营优化
运营优化：通过大数据的各个指标，进行市场和渠道的分析，同时可以对自身的产品进行优化和舆情的预报分析。

建议：继续进行市场的验证。

4.2、金融大数据应用架构远景
4.2.1、金融需要从“坐商”转型为“行商”
➢潜在客户在哪里？
➢这些客户有什么样的金融需求？
➢如何进行主动营销？精准营销？即时营销？
➢内部管理，绩效考核等，如何配套转型？
4.2.2、客户下沉
➢面向个体规模小但是数量众多的客户群体，金融产品如何设计才有吸引力？
➢面向个性化十足的客户需求，如何低成本地改善客户体验？➢小客户的风险、成本如何控制？
4.2.3、与“互联网金融”进行差异化竞争
➢网点优势——面对面地达成交易；
➢专业优势
➢全方位的客户体验
4.3、金融大数据平台应用架构。