互联网+供应链金融数据平台建设研究

互联网+供应链金融数据平台建设研究

背景

互联网顾名思义：“互——交互、联——连接、网——网络”。随着互联网的发展，社会公众的大量结构化和非结构化的行为数据已经在各种互联网应用上沉淀下来。互联网用户数据的大规模增加和大数据技术的运用，改变了金融行业信息获取、分析和运用的渠道和机制，孕育出互联网金融的新模式。供应链金融是金融机构通过核心企业联系与其链条上的相关企业，提供综合金融产品和服务的一种融资方式，其为金融机构拓展服务范围的同时能为中小企业融资提供业务机制保障。国务院于2017年10月颁布指导意见支持供应链创新和应用，在政策上予以保障。

将互联网与供应链金融联系构成互联网+供应链金融方式，使用信息技术使供应链金融线上化、自动化，并且在市场参与全链条、中小企业全生命周期服务、数字化风险防控等方面进行金融服务创新，通过互联网在支付模式、信息处置和资源调配方面实现供应链金融的核心要旨，互联网+供应链金融是实现普惠金融、改善中小微企业融资状况和降低融资成本的重要领域，是支撑2019年政府工作报告部署的重要方面，同时也是互联网金融实现普惠金融的重要发力点。

互联网+供应链金融通过技术创新带来普惠金融服务的同时也须预防其风险，这在前两年的政府工作报告的互联网金融方面有所表述。无论是促进普惠金融，还是数字化风险预警方面都需要及时有效的数据收集及加工，需要考虑整合市场数据源并建设综合性的互联网供应链金融

生态平台，和传统金融相比，互联网+供应链金融数据来源多元化，包括多种不同种类金融主体和多种业务形态，需要有效梳理数据，同时也需要考虑数据的有效共享融合和安全保护问题。

以下从互联网+供应链金融数据平台建设和数据共享融合问题两方面阐述：

互联网+供应链金融数据平台建设

可以将数据产生价值的过程比作一道美食制作过程。数据产生价值需要各种原材料，数据类似各种原材料，数据模型相当于装各种原材料的模具，数据标准相当于对原材料的检验规范，而大数据技术相当于烹饪原材料的工具，数据仓库将原材料按照模具和规范分门别类存储在容器中制作美食。建设数据平台需要遵循“三分平台，七分业务数据理解”原则，在建设互联网供应链金融数据平台过程中，通过梳理供应链金融行业链条数据，建立多层次数据模型并以数据元标准加以规范，以合适的技术架构实现数据平台并探索适合的业务场景需求，确保数据平台建设有效开展并发挥价值。

下面依次从数据仓库建设途径、数据模型层次、数据标准建设及数据平台技术实现来阐述：

建立数据仓库途径

数据仓库将业务归纳总结分为若干主题域，是为管理决策提供分析服务的数据集合，是数据平台建设的重要部分，目前数据仓库建设途径分为两种办法：比尔·恩门（Bill Inmon）提出自上而下的数据仓库建设途径，很多商业银行采用此种方法通过合适的主题模型自上而下来建设

数据仓库；而金博尔（Ralph Kimball）提出了自下而上的构建数据仓库的方法，采取维度建模，随着大数据的兴起互联网公司普遍采用此方法建立数据集市以适应快速业务发展，通过递增方式构建数据仓库。

在建设数据仓库实践过程中，可以结合上述两种方法，先提出统一数据模型框架，同时以建立相关应用集市为突破口，逐步完善填补数据仓库内容。这就需要有统一的数据模型框架，以下探讨数据模型的多层次框架。

建立层次数据模型

互联网+供应链金融终究到底仍属于金融范畴，其中主要要素可以沿金融基本要素支付、融资、投资、风险管理划分，经过分析互联网供应链金融行业基础要素，可将数据资源划分为公共属性部分、基本业务部分、特色应用部分，其数据模型可以划分为三层：

第一层次是基础部分。可以选取基本要素例如参与主体和账户形成通用主题，以通用主题形成公共部分数据模型，基础部分模型可以被下一层次业务模型复用。

第二层次涉及互联网供应链金融平台的基本业务流程，从物流、信息流、商流和资金流的角度，按照参与机构主体各自业务特征对其业务进行梳理，比如金融机构涉及的资金流、物流公司涉及的物流、线上线下交易平台涉及的商流、核心企业涉及的信息流, 总结业务流程，完成数据归纳提取，以业务主线梳理形成模型。

第三层次数据模型结合特别的应用系统，该部分的数据和表为某应用所专门设计的，可以是整合物流、信息流、商流和资金流的经营统计类指标, 比如企业经营状况指标、风险评价指标等。

上述通过基础部分、业务部分、特定应用部分梳理数据，形成多层次互联网+供应链金融数据模型框架。

数据标准建设

前面阐述纵向建立数据层次模型框架，供应链金融涉及链条上多个机构的数据联通，需要依据相应的数据属性建设相应的规范，保证对数据的统一理解和规范。通过建立相应数据元规范, 对互联网+供应链金融所涉及的数据进行统一定义与解释。包含业务视角、技术视角和管理视角三个方面，分别对应业务人员、技术人员和管理人员。业务视角方面主要是规范业务含义，统一编码保证一致、规范、开放和共享。技术定义是对数据在信息系统中的各种技术规范。管理信息明确数据的所有权、使用权及管理权对应的人员，做到数据有所管控。

数据平台技术实现

建立互联网供应链金融全生态数据平台需要采集加工海量数据，可以采用大数据技术分布式架构来实现，大数据技术思想起源于Google发布的分布式文件系统文章，其思想发展为HADOOP大数据产品中的分布式文件系统和分布式计算架构，在HADOOP架构里，文件被分割成很多块，并以多个副本形式储存于成本较低集群上。由于大数据分布式架构扩展性好，也具备高可用性，对于互联网金融海量数据采集存储处理比较适用。

海量数据经过采集系统和数据抽取转化加载过程沉淀到数据仓库中，并通过适当的大数据组件进行查询分析应用。

采集系统属于数据平台的前端，汇聚供应链金融参与链条的数据，多种数据源采集后经过ETL（抽取、转化、加载）工具实现数据从数据源向目的数据仓库转化，如果将数据仓库看成制作美食的原料房间，ETL过程就是建设原料房间的过程。数据是原料，通过ETL 工具将数据日积月累抽取并同步加工转化入库。

数据仓库属于数据平台的后端，HIVE组件属于HADOOP大数据产品生态圈，采集上的数据通过ETL转化后在HIVE 上建立数据仓库，并与HADOOP分布式文件系统建立映射关系。针对数据仓库的查询分析应用场景，如批处理离线统计分析、交互式查询和实时查询分别采用大数据产品生态圈的不同组件实现。比如说HIVE组件的最佳适用场合是互联网环境下的大数据集的批量统计分析。

互联网+供应链金融数据共享融合问题

建设综合性的互联网供应链金融数据平台需要考虑数据共享融合问题，供应链金融数据存放在不同机构, 需要将割裂的数据打通，数据的跨领域协同联系能产生整合价值，数据共享融合后可以利用大数据技术挖掘产生价值；数据融合共享产生价值同时也须在数据生命周期过程中考虑数据安全隐私，相关国家已出台数据保护条例，例如2018年5月欧盟正式实施通用数据保护条例（GDPR），条例规定个人数据是个人所有的数据资产，定义了个人数据所有权的规范。在发展综合互联网供应链金融平台方面，需要一种有效的技术或规范来平衡数据共享融合和数