基于银行业务的大数据分析应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从某些意义上来讲，大数据是分析数据的领先技术。简单概括就是，从各类型数据中快速取得较高价值信息的能力，即为大数据技术。正因为大数据的这个特点，使得该技术具备走向许多企业的能力。
2.1.3相关理论与技术
（1）HadoopMapReduce
由于一些新技术的产生，思维模式需要发生些转变，它们能面对大数据分析带来的问题。Hadoop是现在大数据分析中采用率最高的技术，尤其是针对像视频、文本这些非结构化数据。与Hadoop一起的有进行大数据集处理的MapReduce架构。目前已经有很多企业尝试将Hadoop技术当作其它们大数据平台的标准。
Abstract
The rapid development of network in the Internet, cloud computing andbigdata objects, into people's vision. At the same time, due to the popularity of Internet, to the maturity of database technology, a variety of high performance storage devices, people have a huge amount of data in normal life, work. "Big data" (Big Data Problem) was born in this era, has become a hot topic in all walks of life.
[Key words]Big data; Banking business; business model; development strategy
1绪论
1.1研究背景与研究意义
1.1.1研究背景
在网络技术、信息技术快速发展过程中，社会主体行为产生了大量的信息数据，这些数据来源于不同的经济单元体，将这些单元体进行加工、挖掘、分析建立符合自身利益需求的关联信息，有助于作出正确的判断。作为银行单元体，其自身就是数据依赖性行业，对银行业务中产生的大量数据进行挖掘、分析有助于银行作出信用评级、贷款发放、金融投资等的正确判断。同时，由众多银行所构建的大数据集中处理和管理体系，对银行的经营管理、风险管理和客户需求管理等提供了具有实际价值的基础数据。在银行业务的载体与互联网电子商务紧密融合的时代背景下，银行已经转变了传统依靠存贷款利差创作利润的模式，而转向产品多元化、零售的发展方向。同时，银行间原有同质化问题也会随着数据挖掘方向的不同而建立起符合自身发展需要的金融系统，开发出不同类型的金融产品。
The banking industry as a centralized data management industry, under the background of big data to data mining, analysis, processing and utilization is one of the important topics inthe development of banking industry. The banking business in our country at present there are three major problems. First, the current bank product management system, there is a homogenization of the situation; secondly, to carry out the banking intermediary business is not mature, it is difficult to make good use of information technology, network technology,capital and credit and other aspects of the advantages of non interest income business. Third,risk, effective risk prevention and control in the screening of the risk.
（4）集成设备
因为数据仓库设备(Data Warehouse Appliance)的诞生，大数据分析具有了更大潜力，一些企业会将数据仓库的优势转变为自身核心竞争力。集成设备把企业数据仓库中硬软件相互结合，从而提高性能、扩充空间并获得其他额外功能。集成设备必然会成为企业迎接数据挑战的一个武器。
2.2国内外研究现状
2.2.1国外研究现状
研究主要是对多种来源的数据进行规律探索，由于大数据的复杂性，一些专家试着对数据定量分析，并且他们发现了一些统计规律。Barabás通过对电子邮件数据的分析，表明通信、娱乐和工作模式是因为存在优先级而导致任务执行时间具有重尾效应[11]。KlБайду номын сангаасinbere根据分散方法提出大规模社会网络的小规模网络规律，利用模型解释六度分割现象[12]。针对大数据的复杂性，还有一些人使用统计与复杂网络法探究怎样对大数据按照特定需求来约简。例如，Cervante提出了基于支持向量机的数据约简法，利用了最小封闭球聚类方法[13]。
Therefore, this paper based on the analysis of large data bank based business application as the research subject, through introducing the concept of big data, characteristics,classification and related theory and technology research, the current data analysis application in the banking business, aiming at the above-mentioned problems, proposed the use of big data analysis of banking activities, innovation in the business model, make big data analysis application for banking business benefits.
2.2.2国内研究现状
大数据在最近几年在我国国内也慢慢开始发展起来，带动了各界热情。自从2011年来，中国通信协会、中国计算机协会先后成立委员会来研究大数据中的问题，科技部和工信部都将大数据技术作为重点。工信部发布的物联网规划上，信息处理技术成为了创新工程关键技术之一，在此之中包括数据挖掘、数据存储、智能分析，这些与大数据密切相关。
问题分析法：按解决问题的思维过程，寻找出大数据时代银行面临的问题所在，并确定问题发生原因。
1.2.3研究内容
探讨大数据在银行业务中的可行性，银行业务与大数据结合的必要性，以及目前一些银行已经在大数据分析上所获得的效益，提出大数据在银行业务中未来的基本应用方向。
2大数据研究综述
2.1大数据
2.1.1大数据的概念
银行业作为数据集中管理型行业，在大数据背景下如何进行数据挖掘、分析、加工和利用是银行业发展的重要课题之一。我国银行业务目前主要有三大问题。第一，目前银行产品、经营管理系统存在着同质化的情况；其次，银行中间业务开展尚不成熟，难以利用好信息技术、网络技术、资金和信用等方面的优势进行非利息收入业务。第三，在有效甄别风险、防范风险和控制风险方面的问题。
（2）NoSQL数据库
NoSQL数据库包含了几种技术。总体而言，NoSQL更关注关系型数据库引擎的限制。相比较关系型数据库引擎，在索引、流媒体等这些领域，NoSQL的效率相对更高。
（3）内存分析
内存分析具有实时、高性能的特点，伴着越来越多低价内存被用到数据中心，它成为大数据时代下的新宠。内存分析能让大数据具有最佳的洞察力。大数据时代下，人们应将它作为长远的技术发展趋势。
1.2研究课题的思路、方法、内容
1.2.1研究思路
通过对目前大数据技术和银行业务的了解，再通过对海外银行较成熟的业务模式分析，试着提出大数据在银行业务应用方面的简单思路。然后探讨银行业务未来基本发展方向，比如与同行的竞争、合作关系，目前业务能力的欠缺点等。最后提出未来大数据在银行业务的基本应用方向。
大数据有很强的的决策、洞察、流程优化能力，是多样化的信息资产。大数据一般用作描述一个公司缔造的大量非结构化或半结构化数据。云计算经常被大数据联系在一起，因为实时大型数据集分析须要向成千上百的电脑分配工作。
一些特殊的技术经常被大数据所需要，来更好地处理大量容忍经过时间内的数据。有很多能被大数据适用的技术，比如数据挖掘电网、云计算平台、分布式文件系统、大规模并行处理（MPP）数据库、分布式数据库等等。
国外针对大数据的计算理论和算法的研究现在主要集中在大数据机器学习的基础理论、参数估计方法、优化算法等这些面，这些研究成果替大数据高效计算提供了理论支持。
波士顿咨询在银行的各重大领域中发现了许多项潜在的大数据应用，遍布在零售、公司、资本市场、交易银行、资产管理、财富管理和风险管理等各方面业务。
根据查找资料调查海外银行对大数据技术整体应用情况。得出有三分之一处在普及大数据概念阶段，三分之一处在试点阶段。另外有大概三分之一的已差不多谙熟于大数据的应用，正在稳步提升自我竞争能力，将大数据所要求的工作机制融入了商业与运营模式之中，进入了变革时段。总的来说，大数据在银行业务的应用也许还要走较长的路。
基于银行业务的大数据分析应用
摘
在互联网、云计算和物联网的高速发展下，大数据走入了人们的视野。同时，由于Internet的火速普及、数据库技术的成熟、各种高性能的存储设备出现，人们在平时生活、工作中产生了庞大的数据量。“大数据问题”( Big Data Problem)在这样的时代下产生了，成为各界的热点话题。
因此，本文以基于银行业务的大数据分析应用为研究课题，通过介绍大数据的概念、特点、分类及相关理论与技术，研究目前大数据分析在银行业务中的应用现状，针对以上所提出的问题，提出利用大数据分析进行银行业务活动，在商业模式上进行创新，让大数据分析应用为银行的业务带来效益。
【关键词】大数据；银行业务；商业模式；发展战略
1.2.2研究方法
本文所采用的研究方法包括文献分析法、观察法、调查法和问题分析法。
文献分析法：通过图书馆、阅览室、互联网等途径收集大量相关理论素材进行整理作为论文撰写参考依据。
观察法：根据基于银行业务的大数据分析与应用提纲，用自己的感官和辅助工具去直接观察被研究对象，从而获得参考资料。
调查法：对光大银行进行调研，与其信息技术部相关认识进行交流，获取一手材料。
1.1.2研究意义
目前银行的BI分析中的数学模型构建方式比较简单，数据仓库所能解决的方案难以满足实际的需要，在银行业务中存在的问题主要包括五个方面。第一，在数据源方面，非结构化或半结构化的数据让银行现有数据仓库无法组织；其次，对于海量的碎片化数据无法提供有效的模式进行分析，所以，构建基于银行业务的大数据分析平台，有助于提高银行的创新能力和专业化经营管理的水平，并能够通过数据分析作出高效决策，研究基于银行业务的大数据分析应用对于银行未来发展具有非常重要的现实意义。
2.1.2大数据的特点
大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型多。视频，地理位置，图片等。第三，处理速度迅捷，可以从各类型的数据中迅速获取很有价值的讯息。第四，通过合理地对数据进行分析，会得到很高的价值回报。所以总结为4个“V”——Volume、Variety、Velocity、Value。数据量大、数据类型多、处理速度迅速、价值密度低。
2.1.3相关理论与技术
（1）HadoopMapReduce
由于一些新技术的产生，思维模式需要发生些转变，它们能面对大数据分析带来的问题。Hadoop是现在大数据分析中采用率最高的技术，尤其是针对像视频、文本这些非结构化数据。与Hadoop一起的有进行大数据集处理的MapReduce架构。目前已经有很多企业尝试将Hadoop技术当作其它们大数据平台的标准。
Abstract
The rapid development of network in the Internet, cloud computing andbigdata objects, into people's vision. At the same time, due to the popularity of Internet, to the maturity of database technology, a variety of high performance storage devices, people have a huge amount of data in normal life, work. "Big data" (Big Data Problem) was born in this era, has become a hot topic in all walks of life.
[Key words]Big data; Banking business; business model; development strategy
1绪论
1.1研究背景与研究意义
1.1.1研究背景
在网络技术、信息技术快速发展过程中，社会主体行为产生了大量的信息数据，这些数据来源于不同的经济单元体，将这些单元体进行加工、挖掘、分析建立符合自身利益需求的关联信息，有助于作出正确的判断。作为银行单元体，其自身就是数据依赖性行业，对银行业务中产生的大量数据进行挖掘、分析有助于银行作出信用评级、贷款发放、金融投资等的正确判断。同时，由众多银行所构建的大数据集中处理和管理体系，对银行的经营管理、风险管理和客户需求管理等提供了具有实际价值的基础数据。在银行业务的载体与互联网电子商务紧密融合的时代背景下，银行已经转变了传统依靠存贷款利差创作利润的模式，而转向产品多元化、零售的发展方向。同时，银行间原有同质化问题也会随着数据挖掘方向的不同而建立起符合自身发展需要的金融系统，开发出不同类型的金融产品。
The banking industry as a centralized data management industry, under the background of big data to data mining, analysis, processing and utilization is one of the important topics inthe development of banking industry. The banking business in our country at present there are three major problems. First, the current bank product management system, there is a homogenization of the situation; secondly, to carry out the banking intermediary business is not mature, it is difficult to make good use of information technology, network technology,capital and credit and other aspects of the advantages of non interest income business. Third,risk, effective risk prevention and control in the screening of the risk.
（4）集成设备
因为数据仓库设备(Data Warehouse Appliance)的诞生，大数据分析具有了更大潜力，一些企业会将数据仓库的优势转变为自身核心竞争力。集成设备把企业数据仓库中硬软件相互结合，从而提高性能、扩充空间并获得其他额外功能。集成设备必然会成为企业迎接数据挑战的一个武器。
2.2国内外研究现状
2.2.1国外研究现状
研究主要是对多种来源的数据进行规律探索，由于大数据的复杂性，一些专家试着对数据定量分析，并且他们发现了一些统计规律。Barabás通过对电子邮件数据的分析，表明通信、娱乐和工作模式是因为存在优先级而导致任务执行时间具有重尾效应[11]。KlБайду номын сангаасinbere根据分散方法提出大规模社会网络的小规模网络规律，利用模型解释六度分割现象[12]。针对大数据的复杂性，还有一些人使用统计与复杂网络法探究怎样对大数据按照特定需求来约简。例如，Cervante提出了基于支持向量机的数据约简法，利用了最小封闭球聚类方法[13]。
Therefore, this paper based on the analysis of large data bank based business application as the research subject, through introducing the concept of big data, characteristics,classification and related theory and technology research, the current data analysis application in the banking business, aiming at the above-mentioned problems, proposed the use of big data analysis of banking activities, innovation in the business model, make big data analysis application for banking business benefits.
2.2.2国内研究现状
大数据在最近几年在我国国内也慢慢开始发展起来，带动了各界热情。自从2011年来，中国通信协会、中国计算机协会先后成立委员会来研究大数据中的问题，科技部和工信部都将大数据技术作为重点。工信部发布的物联网规划上，信息处理技术成为了创新工程关键技术之一，在此之中包括数据挖掘、数据存储、智能分析，这些与大数据密切相关。
问题分析法：按解决问题的思维过程，寻找出大数据时代银行面临的问题所在，并确定问题发生原因。
1.2.3研究内容
探讨大数据在银行业务中的可行性，银行业务与大数据结合的必要性，以及目前一些银行已经在大数据分析上所获得的效益，提出大数据在银行业务中未来的基本应用方向。
2大数据研究综述
2.1大数据
2.1.1大数据的概念
银行业作为数据集中管理型行业，在大数据背景下如何进行数据挖掘、分析、加工和利用是银行业发展的重要课题之一。我国银行业务目前主要有三大问题。第一，目前银行产品、经营管理系统存在着同质化的情况；其次，银行中间业务开展尚不成熟，难以利用好信息技术、网络技术、资金和信用等方面的优势进行非利息收入业务。第三，在有效甄别风险、防范风险和控制风险方面的问题。
（2）NoSQL数据库
NoSQL数据库包含了几种技术。总体而言，NoSQL更关注关系型数据库引擎的限制。相比较关系型数据库引擎，在索引、流媒体等这些领域，NoSQL的效率相对更高。
（3）内存分析
内存分析具有实时、高性能的特点，伴着越来越多低价内存被用到数据中心，它成为大数据时代下的新宠。内存分析能让大数据具有最佳的洞察力。大数据时代下，人们应将它作为长远的技术发展趋势。
1.2研究课题的思路、方法、内容
1.2.1研究思路
通过对目前大数据技术和银行业务的了解，再通过对海外银行较成熟的业务模式分析，试着提出大数据在银行业务应用方面的简单思路。然后探讨银行业务未来基本发展方向，比如与同行的竞争、合作关系，目前业务能力的欠缺点等。最后提出未来大数据在银行业务的基本应用方向。
大数据有很强的的决策、洞察、流程优化能力，是多样化的信息资产。大数据一般用作描述一个公司缔造的大量非结构化或半结构化数据。云计算经常被大数据联系在一起，因为实时大型数据集分析须要向成千上百的电脑分配工作。
一些特殊的技术经常被大数据所需要，来更好地处理大量容忍经过时间内的数据。有很多能被大数据适用的技术，比如数据挖掘电网、云计算平台、分布式文件系统、大规模并行处理（MPP）数据库、分布式数据库等等。
国外针对大数据的计算理论和算法的研究现在主要集中在大数据机器学习的基础理论、参数估计方法、优化算法等这些面，这些研究成果替大数据高效计算提供了理论支持。
波士顿咨询在银行的各重大领域中发现了许多项潜在的大数据应用，遍布在零售、公司、资本市场、交易银行、资产管理、财富管理和风险管理等各方面业务。
根据查找资料调查海外银行对大数据技术整体应用情况。得出有三分之一处在普及大数据概念阶段，三分之一处在试点阶段。另外有大概三分之一的已差不多谙熟于大数据的应用，正在稳步提升自我竞争能力，将大数据所要求的工作机制融入了商业与运营模式之中，进入了变革时段。总的来说，大数据在银行业务的应用也许还要走较长的路。
基于银行业务的大数据分析应用
摘
在互联网、云计算和物联网的高速发展下，大数据走入了人们的视野。同时，由于Internet的火速普及、数据库技术的成熟、各种高性能的存储设备出现，人们在平时生活、工作中产生了庞大的数据量。“大数据问题”( Big Data Problem)在这样的时代下产生了，成为各界的热点话题。
因此，本文以基于银行业务的大数据分析应用为研究课题，通过介绍大数据的概念、特点、分类及相关理论与技术，研究目前大数据分析在银行业务中的应用现状，针对以上所提出的问题，提出利用大数据分析进行银行业务活动，在商业模式上进行创新，让大数据分析应用为银行的业务带来效益。
【关键词】大数据；银行业务；商业模式；发展战略
1.2.2研究方法
本文所采用的研究方法包括文献分析法、观察法、调查法和问题分析法。
文献分析法：通过图书馆、阅览室、互联网等途径收集大量相关理论素材进行整理作为论文撰写参考依据。
观察法：根据基于银行业务的大数据分析与应用提纲，用自己的感官和辅助工具去直接观察被研究对象，从而获得参考资料。
调查法：对光大银行进行调研，与其信息技术部相关认识进行交流，获取一手材料。
1.1.2研究意义
目前银行的BI分析中的数学模型构建方式比较简单，数据仓库所能解决的方案难以满足实际的需要，在银行业务中存在的问题主要包括五个方面。第一，在数据源方面，非结构化或半结构化的数据让银行现有数据仓库无法组织；其次，对于海量的碎片化数据无法提供有效的模式进行分析，所以，构建基于银行业务的大数据分析平台，有助于提高银行的创新能力和专业化经营管理的水平，并能够通过数据分析作出高效决策，研究基于银行业务的大数据分析应用对于银行未来发展具有非常重要的现实意义。
2.1.2大数据的特点
大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型多。视频，地理位置，图片等。第三，处理速度迅捷，可以从各类型的数据中迅速获取很有价值的讯息。第四，通过合理地对数据进行分析，会得到很高的价值回报。所以总结为4个“V”——Volume、Variety、Velocity、Value。数据量大、数据类型多、处理速度迅速、价值密度低。