互联网金融公司大数据分析平台总体架构共83页文档
互联网金融公司大数据分析平台总体架构83页文档
互联网金融公司大数据分析平台总体 架构
6、法律的基础有两个，而且只有两个……公平和实用。——伯克 7、有两种和平的暴力，那就是法律和礼节。——歌德
8、法律就是秩序，有好的法律才有好的秩序。——亚里士多德 9、上帝把法律和公平凑合在一起，可是人类却把它拆开。——查·科尔顿 10、一切法律都是无用的，因为好人用不着它们，而坏人又不会因为它们而变得规矩起来。——德谟耶克斯
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特
55、 为 中 华 之 崛起而 读书。 ——周 恩来
互联网金融平台的架构设计
互联网金融平台的架构设计近年来，随着互联网的发展，互联网金融平台也异军突起。
不同于传统金融机构，互联网金融平台运用互联网技术为用户提供快捷、便利的金融服务。
然而，架构设计对于互联网金融平台的发展至关重要。
本文将对互联网金融平台的架构设计进行探讨。
一、概述互联网金融平台架构包含服务层、数据层、应用层三个部分。
1. 服务层：负责处理用户请求及向用户提供应答服务。
2. 数据层：负责处理数据的存储、提取。
3. 应用层：是整个系统的核心，它提供了具体的业务功能和服务。
二、服务层服务层主要包括三方面的服务：用户管理服务、产品管理服务和交易管理服务。
1. 用户管理服务用户管理服务主要包括用户注册、用户认证、用户信息管理、用户安全管理、用户反馈管理等服务。
用户注册是互联网金融平台的第一步，是基础服务。
用户认证服务主要包括身份认证、银行卡认证、征信认证、手机认证等内容。
用户信息管理服务主要包括查看用户信息、修改密码、修改个人资料等内容。
用户安全管理服务主要包括密码找回、用户安全提示、风险控制等内容。
用户反馈管理服务主要包括用户反馈的查看、回复等内容。
2. 产品管理服务产品管理服务主要包括发布产品、产品审核、产品查询等服务。
发布产品是互联网金融平台最基础的服务，包括信用贷款、车贷、房贷等各类产品。
产品审核是互联网金融平台防范风险的重要手段，包括审核用户信息、审核用户身份等。
产品查询是用户最重要的服务之一，用户可以通过互联网金融平台查询不同种类产品的信息、申请信息等。
3. 交易管理服务交易管理服务主要包括交易流程、执行交易、结算交易等服务。
交易流程指整个交易过程中的流程，包括产品查询、申请、审核、签约、放款等环节。
执行交易主要包括还款、提前还款、逾期还款等服务。
结算交易主要包括利率计算、手续费计算、结算等服务。
三、数据层数据层主要包括三方面的服务：数据存储服务、数据分析服务和数据安全服务。
1. 数据存储服务数据存储服务主要包括用户信息存储、产品信息存储、交易信息存储等内容。
京东金融集团大数据分析平台总体架构PPT课件
1. 数据文件通过HDFS命令行copyfromlocal进 行归档
1. 通过数据库数据交换组件获取增量 数据，加载到实时数据区
2. 通过大数据交换组件获取非结构化 数据，并利用Storm处理数据，加 载到实时数据区
3. 针对实时数据区数据执行标准化处 理和贴源整合
大数据分析平台总体架构——流程调度层归 档数据处理流程 数据归档的对象包括业务系统数据文件、贴源数
定时抽取用户访问 日志，加载到数据 平台大数据区HDFS 指定目录，MR程序 加工处理
开发网络爬虫程序 ，扫描用户微博， 抓取用户微博内容 ，社交圈信息，存 入大数据区
大数据分析平台总体架构——数据 交换层数据库数据交换组件
处理对象
企业内部业务系统产 生的结构化数据，包 括两大来源：
❖ 商城零售业务数据，数 据存储在Oracle、 SQLServer、MySQL和 MongoDB四类数据库
外部用户
用户访 问层
实时数 历史数 据查询 据查询
内部管理分析
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
业务沙盘演练
数据增 值产品
金融集团大数据分析平台总体架构培训课件
实时数 历史数 据查询 据查询
内部管理分析
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
外部用户
用户访 问层
业务沙盘演练
数据增 值产品
数据应 用层
……
沙盘演练数据区
增值产 品数据区
2.加强业务协作
实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础
3.促进业务创新
金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融 业务创新（客户服务创新、产品创新等）创造了有利条件
通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行 前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力
统一制定目标和分 析模型
自定义报表工具 行＋列的简单定义方式
多种格式报表
BI 分析工具
云数据推送平台已实现了 主要零售及金融业务系统 数据清洗、整合，为未来 金融集团数据平台提供了
源数据内容
内部业务系统产生的结构化数据
❖ 商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水…… ❖ 金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……
金融大数据分析平台的架构设计与数据处理技巧
金融大数据分析平台的架构设计与数据处理技巧随着金融行业的不断发展和数字化转型，金融数据的规模和复杂性不断增加。
在这样的背景下，金融机构需要一个高效可靠的数据分析平台来管理和分析海量的金融数据。
本文将介绍金融大数据分析平台的架构设计和数据处理技巧。
架构设计：1. 数据采集层：金融机构需要从多个数据源采集数据，包括交易系统、业务系统、外部数据提供商等。
在架构设计中，应考虑采用分布式消息队列或流处理框架来实时接收和处理数据。
同时，应确保数据采集过程具有高可扩展性和高容错性，以应对数据量的不断增加和系统的故障。
2. 数据存储层：金融数据的存储要求高效、安全、可靠。
可考虑使用分布式文件系统或分布式数据库来存储数据，以实现数据的分布式存储和高可用性。
此外，应结合数据的特点和业务需求，选择适当的数据存储技术，例如关系型数据库、列式数据库或内存数据库等。
3. 数据处理层：金融大数据平台需要支持多种数据处理技术，包括数据清洗、数据转换、数据聚合、数据挖掘等。
应选择适当的数据处理框架来实现这些功能，如Hadoop、Spark、Flink等。
另外，还可以使用机器学习和人工智能算法来进行数据分析和预测，以帮助金融机构做出更明智的决策。
4. 数据展示层：在金融大数据分析平台中，数据的可视化是非常重要的，可以帮助分析师和决策者更直观地理解数据。
可以使用BI工具或数据可视化库来设计和展示数据报表、仪表盘等。
数据处理技巧：1. 数据清洗：金融数据的质量直接影响到分析结果的准确性。
在数据清洗过程中，应注意处理缺失值、异常值和重复值等问题，并采取适当的处理策略，如删除、填充或插值等。
2. 数据转换：金融数据常常需要进行格式转换或归一化处理，以满足不同分析需求。
在数据转换过程中，应注意数据类型转换、单位换算、数据标准化等操作，保证数据的一致性和可比性。
3. 数据聚合：金融数据通常是多维度、多层次的，需要进行聚合操作才能得到更有价值的信息。
互联网金融公司大数据分析平台总体架构PPT文档共83页
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的。——伯克
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒。——莎士比亚
大数据平台的整体架构介绍
⼤数据平台的整体架构介绍近年来，互联⽹公司中⼤数据平台的建设和安全⼀直是热点。
笔者计划发两篇⽂章参与⼀下讨论，⼀篇架构+⼀篇安全。
本本⽂不依托于任何⼀家⼤⼚的平台架构，⽤通俗的语⾔介绍⼀下⼤数据平台的整体架构。
作者：superhuawei；来源：FreeBuf下⾯⽤两个问题开篇：什么是⼤数据平台?是将互联⽹产品和后台的⼤数据系统整合起来，将应⽤系统产⽣的数据导⼊⼤数据平台，经过计算后导出给应⽤系统使⽤。
为什么⼤数据平台在互联⽹⾏业⾮常重要?⼤数据平台将互联⽹应⽤和⼤数据产品整合起来，将实时数据和离线数据打通，使数据可以实现更⼤规模的关联计算，挖掘出数据更⼤的价值，从⽽实现数据驱动业务。
⼤数据平台使得⼤数据技术产品可以落地应⽤，实现了⾃⾝价值。
总体来说：⼤数据平台可以分为四个部分：数据采集、数据处理、数据输出和任务调度管理。
⼀、数据采集按照数据源可以分为如下4点：1. 数据库数据⽬前⽐较常⽤的数据库导⼊⼯具有Sqoop和Canal。
Sqoop 是⼀个数据库批量导⼊导出⼯具，可以将关系数据库的数据批量导⼊到 Hadoop，也可以将 Hadoop 的数据导出到关系数据库。
Sqoop 适合关系数据库数据的批量导⼊，如果想实时导⼊关系数据库的数据，可以选择Canal。
Canal是阿⾥巴巴开源的⼀个 MySQLbinlog 获取⼯具，binlog 是 MySQL 的事务⽇志，可⽤于MySQL数据库主从复制，Canal 将⾃⼰伪装成 MySQL 从库，从 MySQL 获取binlog。
2. ⽇志数据⽇志是⼤数据平台重要数据来源之⼀，应⽤程序⽇志⼀⽅⾯记录各种程序执⾏状况，⼀⽅⾯记录⽤户的操作轨迹。
Flume 是⼤数据⽇志收集常⽤的⼯具。
Flume 最早由 Cloudera 开发，后来捐赠给 Apache 基⾦会作为开源项⽬运营。
3. 前端程序埋点所谓前端埋点，是应⽤前端为了进⾏数据统计和分析采集数据。
⽤户的某些前端⾏为并不会产⽣后端请求，⽐如⽤户页⾯停留时间、⽤户浏览速度、⽤户点选⼜取消等等。
大数据分析平台
大数据分析平台大数据分析平台是一种基于大数据技术的数据处理和分析工具，它能够匡助企业或者组织从海量的数据中提取有价值的信息和洞察，并支持决策制定和业务优化。
本文将详细介绍大数据分析平台的标准格式，包括平台架构、功能模块、数据处理流程、数据分析方法和应用案例等内容。
一、平台架构大数据分析平台通常由以下几个主要组件构成：1. 数据采集模块：负责从各种数据源（如传感器、日志文件、数据库等）中采集数据，并进行预处理和转换，以便后续的分析和挖掘。
2. 数据存储模块：用于存储采集到的原始数据和处理后的数据，常见的存储方式包括关系型数据库、NoSQL数据库、分布式文件系统等。
3. 数据处理模块：包括数据清洗、数据集成、数据转换等功能，用于将原始数据进行清理、整合和转换，以满足后续分析的需求。
4. 数据分析模块：提供各种数据分析算法和模型，用于从数据中发现模式、趋势和关联规则，以及进行预测和预警等分析任务。
5. 可视化模块：将分析结果以图表、报表等形式展示，匡助用户更直观地理解数据和分析结果，支持用户进行交互式的数据探索和查询。
二、功能模块1. 数据采集与存储：支持多种数据源的接入和数据的实时或者批量采集，提供高效的数据存储和管理机制，确保数据的安全性和可靠性。
2. 数据预处理：包括数据清洗、数据集成、数据转换等功能，用于解决数据质量问题、数据冗余问题和数据格式不一致等问题。
3. 数据分析与挖掘：提供各种数据分析算法和模型，包括统计分析、机器学习、数据挖掘等方法，用于发现数据中的潜在规律和关联。
4. 数据可视化与交互：将分析结果以可视化的方式展示，支持用户进行交互式的数据探索和查询，匡助用户更好地理解数据和分析结果。
5. 数据安全与隐私保护：提供数据加密、权限管理、访问控制等安全机制，确保数据的安全性和隐私性。
6. 平台管理与监控：提供平台的配置管理、任务调度、性能监控等功能，方便管理员对平台进行管理和监控。
三、数据处理流程大数据分析平台的数据处理流程通常包括以下几个步骤：1. 数据采集：从各种数据源中采集数据，可以是结构化数据（如数据库表格）、半结构化数据（如日志文件）或者非结构化数据（如文本、图片等）。
大数据平台系统架构图
大数据应用
经营KPI 客户分析 库存分析
收视率分析
用户行为分析
数
据
营销分析 财务分析 专题分析
广告推荐
视频推荐
应
数据分析工具
用
图表展示
OLAP分析
Dashboard
Ad-hoc
即席查询 360度客户视图 历史数据查询
If-then分析
运维监控
平台监控
数
据
任务监控
平
台
资源监控
系统监控
告警管理
接口服务
实时计算平台 实时计算引擎 规则匹配引擎
数据服务 数据推送
数据下载
离线计算平台 数据集市
EDW ODS
大数据平台
采集任务Байду номын сангаас理
ETL平台 采集调度管理
采集数据传输
基础架构平台
Kettle
Spark
HDFS
Storm
HQ
数据质量 规则 配置
质量 监控
问题 处理
质量 评估
数据安全 数据 隐私
访问 控制
存储 保护
安全 分析
数据资产 资产 分类
资产 注册
资产 管理
资产 统计
元数据管理
血缘分析
影响分析
元模型 元数据导入 元数据管理
互联网金融数据平台架构
• 机器学习与建模分析：
✓Spark MLlib / Graphx
• OLAP引擎：
✓待实施
• 数据治理
✓元数据管理 ✓数据重要性分级 ✓表级别血缘关系管 理 ✓列级别血缘关系管 理
• 数据质量告警
✓数据SLA告警 ✓数据增量阈值告警
• 数据脱敏
✓用户PII数据脱敏
• 数据权限分级
✓根据数据敏感级别进行分 级 ✓数据访问权限控制
• 审计
✓数据表访问记录 ✓数据表下载记录 ✓数据表授权记录 ✓数据文件查看记 录 ✓集群访问记录
THANK YOU
201 1
201 2
201 3
201 4
201 5
201 6
201 7
• 数据库
• 设计目标是事务处理，OLTP • 关系模型，面向应用
• 数据仓库
• 设计目标是决策支持，OLAP • 多维模型，面向主题，反映历史变化
• 数据湖泊
• 存储结构化的、半结构化的原始数据
数据查询引擎
数据可视化平台
数据产品
智慧IT
互联网金融数据平台架构
技术创新，变革未来
Dianrong History
➢ Founded in Shanghai, China with technology platform from Lending Club
➢ We are Six years old
➢ VC investment from Northern Light Venture Capital, Tiger Global, Standard Chartered Private Equity, China Internet Fintech Fund, Bohai Financial, and Max Giant ➢ Over 2,600 employees and 28 offices across China ➢Launched China’s First Block chain platform with Foxconn ➢ As of end of Apr 2017, total lender volume reached 29 billion RMB, accumulated interest for lenders exceeded 1 billion RMB.
互联网金融公司大数据分析平台总体架构
实现功能
组件以实时和批量 两种模式实现下列 功能：
❖ 数据采集 ❖ 数据传输到数据交换平
台（接口服务器）NAS 指定目录 ❖ 存储数据到数据平台大 数据区指定HDFS目录
实现技术
批量采集：大数据 源以SFTP协议批量 传输数据文件
……
数据平台、数据应用、数据管控……
关注的内容
数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境 ……
基础数据平台和BI应用建设是未来一段时间的重点！
大数据分析平台建设目标
与主题区/贴源区/集市区构成一个Hadoop集群（Hive） 无单点故障，7×24小时+非工作日有限停机
贴源数据区
业务系统前日快照数据和一段时间的流水数据 数据标准化，为后续主题模型、集市和沙盘演练提供数据
贴源数据模型 不保存历史
主题数据区、集市数据区和沙盘演练数据区批量作业访问 无最终用户访问
实现功能
组件以批量方式实 现下列数据交换功 能：
❖ 贴源数据区和主题数据 区到集市数据区
❖ 大数据区到主题数据区 和集市数据区
❖ 主题数据区、贴源数据 区、集市数据区到沙盘 数据区
❖ 各个数据区数据归档
实现技术
Sqoop实现集市数据 区与数据平台其他 Hadoop数据区的数 据交换
Hadoop 命令、Hive 外部表、MR程序实 现数据平台Hadoop 数据区间的数据交 换
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
互联网金融数据云平台架构
MySQL从
MySQL从
爱可生高可用读写分离集群
爱可生高可用读写分离集群
2. 基于QRep的两地三中心场景
生产机房
管理节点 管理节点
DBProxy 管理
DBProxy 管理
DBProxy 配置
• •
告 警 管 理
未处理告警 已处理告警
数 据 库 实 例 管 理 监控报表
数据库实例管理 备份策略管理 还原数据库备份
日 志 管 理
数据库日志 节点日志
•
操作日志
• 用 户 管 理
用户管理 角色管理 权限配置
•
数据库监控
系统监控
报表生成
基于QRep的数据库容灾架构原理
●数据复制基于binlog 日志进行解析、过滤、
主库
主库
主库
主库
传输、回放
Dump协议
●优化了异地网络传输，
采用SQL合并及压缩提 升处理性能 ●基于行格式binlog的
主端Agent(解析/提取/压缩/传输)
管理 监控 节点
Qrep数据压缩传输
备端Agent(接收/解压/合并/回放) SQL 备库 备库 备库 备库
keepalived Backup 192.168.1.4
存储设备
• 不支持故障节点自动修复
“互联网+”需要这样的数据库云
集高可用技术之大成
合横向扩展能力于一身
互联网金融高可用数据云平台架构
应用
客服 市场 风控 交易 活动 通知 秒杀 分析 其他
Redis
Redis
数据 缓存
Redis Redis Redis
My SQL 1 My SQL 2
其他n
大数据整体架构
基础设施（服务器、存储、网络、虚拟化、私有云、公有云）
应用服务平台
报表\OLAP服务 查询可视化
定制+ECharts 数据挖掘服务 开放平台API
移动服务
数据流
数据规划和 梳理数据源
1、获取外部数据
数据采集 平台
数据清洗
3 数据清洗 2（a）数据存储
4 清洗后的数据存 储
数据中心
2（b）对数据实时 处理
据
实时决策 引擎
治
理
多结构数据存储与管理
多结构原始数据存储 （Raw Data）
融合数据存储 （Integrated Data）
共
分布式分 析与挖掘
享
引擎
和
基础数据区
传统数据存储与管理
整合数据区 通用语义区 数据集市
运
行
环
报表分
境
析与挖 掘引擎
数
据
平
台
数据交换
文件交换
数据库共享
Web services
1、整体架构
数据源
航班
航空 器
机场
空域
气象
航空 情报 监控 视频 地空 通话
数据 采集 平台
实时事 件侦听 页面请求 侦听
网络爬虫
Map/ Reduce
Sqoop
API编程
CDC
ETL
数据管理
元数据
数据质量管理 数据传输任务与管理
数据安全
数据标准
数
快数据处理（实时事件）
快数据流处理（Event Processing）引擎
5 数据分析、挖掘
数据实时分析 （流式计算）
3 （b）推送到数据应用端
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
Thank you
45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂，怯懦通往地狱。——塞内加 9、有时候读书是一种巧妙地避开思考的方法。——赫尔普斯 10、阅读一切好书如同和过去最杰出的人谈话。——笛卡儿