大数据与应用系统怎样管理

大数据与应用系统怎样管理
《易达乐-DT大数据营销系统-创富平台》推荐：
大数据时代是信息时代新的起点，大数据概念是对思维模式的冲击，大数据改变的是人们对于事物的常规理解思路，对社会理解提供了更为广阔的信息空间和数据支撑；“大数据”对于应用系统的运营管理提出了新的挑战，也提供了更好的机遇；大数据对于本单位的业务开展提供了更好的机会：1、充分挖掘本单位现有数据，本单位每天各个系统产生的数据约近100G，从交易数据到客户申请信息、客户服务请求信息等等，这些数据并未完全被应用，我们已有的数据尚不能充分运用，更何谈外部的社会数据，这些数据可以为活跃客户提供更佳的服务目标、市场目标等，目前的数据分析还基于样本数据抽取的模式，与大数据的全本数据要求有差距，是否能在数据分析上开拓云分析的模式；2、系统稳定是业务开展的基础，大数据时代对系统的开发、运行、分析都提出了更高的要求，现有的基础设施基本上都是基于传统模式的，为了适应大数据时代，基础架构上是否可以思考别的方式，譬如分布式内存数据库等，同时我们也缺乏对系统数据的收集分析工具；3、传统客户服务中心对于每一个客户的服务内容都是一样的，而电销商城之类的，往往会记录每一个用户在网站上的活动轨迹，并根据活动轨迹来分析客户近期对于商品的购买意愿，并推送不同的服务给不同客户，我们的客户服务中心是否也能根据客户的交易、请求等活动信息进行分析，为每一个客户定制
不同的服务。

大数据改变了人类的思维方式。

互联网、移动、存储、计算能力等科技的发展催生了“大数据”的产生，大数据的“大”是相对的，大数据是指被数据化的信息，随着科学的进步，能够被数据化的信息会越来越多，而目前只是数据爆炸时代的开始，就如同宇宙的发现一样。

大数据的概念，一方面反映了信息时代数据到了一个爆炸式突变的年代，一方面也反映出人类对于这样一个突变年代的心理感知。

无论如何，当下正处于数据爆炸发展的起始阶段，正如同当年的工业革命、信息革命年代开始一样，因此，思维模式的转变才是迎接大数据时代的根本。

社会数据化是大数据时代的标志，这个标志是随着互联网技术，特别是移动互联网技术的发展而突出出来的，10多年前互联网时代开始，在网上冲浪的人数有限，特别是需要一定的空间和时间，还需要那么一点点技术知识，能够在网上分享的数据已经很多，虚拟社区类的网站逐步兴起，电子商务也慢慢改变着人们的传统供需手段，而智能终端最终成为互联网技术的最有力推进器，越来越简单的上网方式使得更多的人参与进来，虚拟社会的雏形已经形成，可以预见，未来社会必定会存在一个实体社会和一个虚拟社会，而目前的各种移动社区、互联社区将成为虚拟社会的起源并不断发展，若干科幻片中描述的场景将成为现实，而这一切，都源于大数据时代，未来将证明，今天就是大数据的爆发点。

大数据时代的改变在于，越来越多、越来越复杂、越来越广阔的信息将被数据化，数据化的方式各种各样，数据的社会化越来越完整，而因为共享程度的放开，越来越多的人也将参与进来，这些数据被用于各种
各样的分析、应用，被不同的人进行加工、生产、改进、优化，传统样
本数据采集分析的方式将被抛弃，云端世界将提供我们全量数据分析的
基础，寻找有用的数据、提高数据分析及提取能力、加工数据的能力将
成为数据挖掘师的重要职责。

犹如今天的矿产，拥有数据即拥有了最基
本的财产，但是光有矿产还不够，没有能力提取出来也一样会饿死，光
有能力提取还不够，还要提取的效率高、成本低、精度优，提取的有效
数据还要能被加工，形成更加有价值的物品。

大数据的优点在于够大、
够广、够全，缺点也同样在于太大、太广、太全，发现、抽取、加工、
运用是大数据这一财富的运用主体，而如何加工、再加工、创造和使用
才是大数据的思想。

从实际工作中来看，IT对于数据并不陌生，也见证了大数据的产生，我至今还保存着一块200M的硬盘，那就是当年某个银行综合业务系统的所有应用，也带动着数百个柜面业务的展开，而今天，家用PC的内存都
已经4G、8G进行计量，即便是小小一个手机，也有着1G、2G的内存，更不用说动辄2T、3T的硬盘。

本单位信息系统的存储增长同样是快速的，本着不浪费的原则，今天本单位的存储相对于五年前已经增长了若干倍，相信用不了多久，数据存储的级别将从T级上升至P级，即便如此，也
解决不了大数据带来的压力，必须用其他的方式加以解决；近些年，随
着本单位业务的发展，卡量从2004年的数百张增长到如今的3000万，随之带来的是随着上千万客户用卡带来的各种各样的用卡数据，而“用
卡数据”代表的，绝对不仅仅只有交易信息，某些信息我们暂时无法得到，某些信息我们得到了但没有应用；我们的系统从最初的发卡、客服、
催收到现在的各种渠道、短信、手机、微信。

数据千差万别，各式各样，如何处理这些数据，我们的处理能力有多少？为了适应“卡社会”的发展变化，我们的系统跟在后面拼命地追，那么我们的思维呢？大数据是急速膨胀的表现，我们该跟着膨胀还是有的放矢？
“云”是另外一个概念，“云”的概念比“大数据”的概念来的要早些，云的概念对大数据形成了支撑，从事IT行业的，对这两个概念可以说既陌生又似曾相识。

的确，大数据的其本质还是数据，只是到了一定的时候，量化转换为质变，今天的大数据其覆盖范围之广是之前难以想象的，如此巨量的数据如何存储、怎样处理是一个大麻烦，而“云”的出现正好为此提供了解决方案，可以说“云”是大数据的一个解决方案，说到底，“云”是当年分布式计算的衍生和扩展，当初的分布式计算是为了解决单机处理能力而提出的，现今的“云”则把这一概念抽象到另外一个层次，不仅仅用于计算、而且用于存储，随着互联网应用的兴起，云的概念也深入人心，云里雾里，其实没有那么复杂，云技术供应商把若干单元计算的服务器或存储积聚在一起封装起来，对外提供统一的服务，在利用分布式技术把需要计算和存储的数据或算法分布到独立的服务单元中，当然，其核心就是分布式技术，可以理解，存储的分散远比计算的分散要容易，这也是目前为什么云存储应用远比云计算应用要多要成熟的原因，可以想象把这种计算对比天上真实的云朵，天上的云，其实就是水汽与尘埃所构成的，而远远看去，把这样一堆堆的水与尘就看成了一朵朵漂亮的云，说到最后，云要落地，终究还要变成水，否则也只能在天上飘着。

本单位的云计算项目也正是从云存储开始，利用中
金提供的云服务，将录音数据传递至中金云存储，由中金进行存储，极大地减少了本单位存储这些数据的软硬件成本，另一方面，原来在磁带机上的数据被数字化，录音调阅、检索、分析都成为现实，录音云存储实施的意义并不在于节省了大量的人力物力成本，更重要的是思维上的开拓，为本单位未来数据的处理开辟出一条新的路线。

本单位IT技术维护团队的工作是对本单位各应用系统进行运行保障，为了充分了解本团队的工作内容，最近进行了员工工作内容的调研，对25项日常工作工作量占比、重要程度、紧急程度进行排序，从十多名员工的调查中可以看到，工作量最大的占比是事件和问题处理，其次是变更，变更中，很大一部分是存储的扩容，这从另一个侧面证明，数据正在不断地扩张，数据扩张给本单位系统正常运行带来了极大的威胁，首先是存储空间，存储空间每年都在扩，但是存储柜、机房空间始终有限，很快数据就会撑爆机房，大数据提出的一个重要观念是敢于舍弃，历史数据需要移开，但是由于各种各样的原因，这些历史数据还必须存着，相当程度上，我们对于历史数据的调阅时效几乎和生产数据一样，这就要求不但要存着，还必须用好的存储，换句话说等于不移动；再次，数据量的增加加大了数据库的压力和文件系统的压力，为了检索数据库的速度，一方面要设置更多的索引，一方面这些索引又要占据更多的空间，特别的，因为索引过多，又引发数据插入效率的低下，对系统的稳定性造成了非常大的影响，访问效率是近年来本单位重大生产事件发生的最大诱因之一；接下来，数据库和文件系统对于性能的要求又反馈到服务器性能，PC服务器无论从性能、稳定性上都无法和小型机相比，于是重
要系统逐步向小型机迁移，而小型机的处理能力受制于CPU与内存，随着小型机CPU、内存的耗尽，新的小型机需求又提出来。

周而复始，数
据的膨胀对处理能力提出了更高的要求，如果用常规的思维来考虑大数
据时代的要求，恐怕很难有什么出路，历史让IT系统从最初的分散到了集中，又从集中提出了分散的要求，这也是《驾驭大数据》中所描述的
大数据MapReduce分布处理的要求。

事件和问题处理是IT运营管理最主要的工作内容，每年处理的事件数量以数千计算，这些事件和问题的数据管理依靠本单位的流程平台进行，记录存放在数据库中，而关于事件和问题的描述，则以文本方式存放在
数据表的某个字段中，对于事件记录，是结构化数据，对于事件描述和
解决方式，则是非结构化的，结构化的事件记录能够让我们统计不同系
统不同模块不同时间点出过什么事情，而非结构化的原因、描述等信息
却无法提供给更有效的分析，通过检索工具或知识库能够给我们更多的
参考，而分析事件的原因、趋势、时间点及解决方法，或许能够为预防
或避免类似事件提供更多的帮助。

运行管理的另一个重要工作是容量管理，容量管理看似简单，实则复杂，随着应用系统复杂程度越来越高，
系统架构中影响整个系统容量的因素也越来越多，容量管理与木桶原理
很有可比性，短板决定了木桶能装多少水，整个系统的短板也决定了系
统的容量有多少，不光如此，勒木桶的绳子也是短板，绳子的结实程度
也是木桶容量的决定因素，还有木桶本身的材质、木板之间的胶水强度、木板之间的缝隙程度。

系统同样如此，除了硬件、还有软件、网络、存储、程序效率、流程长度、某个服务的响应等等，这些都是形成系统
容量的技术因素，业务原因对系统容量的影响也是系统容量的决定因素，访问人数、访问并发度、访问某个服务的并发度、操作方式、外界干扰
等等，考虑不全就是一个隐患，这也是为什么每次变更后的事件都会明
显增加的原因，容量管理的原理就是收集到所有的相关联数据，在业务
操作模式与技术数据之间建立某种关联关系，即模型，在业务发生变化
的时候能够做出及时的响应而避免风险。

从某种意义上看，容量管理与
本单位的风险管理是一样的，需要有大量的数据采集并由专门的团队进
行分析，而这些数据的采集也需要一定的工具进行辅助才行。

与社会化
的大数据相比，本单位各系统的运行数据虽微不足道，但也足够大。

除了系统运行之外的数据，本单位也有数据宝藏。

目前本单位业务系统总体架构上存在两个总线级系统：ESB与FCC，即企业服务总线与文件服务中心，一个是本单位所有实时交易服务的中枢节点，一个是所有文
件往来的中心。

ESB每天产生的数据量大约为30G以上，每天有2000多万交易通过ESB，交易的详细信息都在报文里面，这些数据目前还仅作为查问题时候使用，好好分析，也许可以从中发掘出更多有价值的东西，
比如说操作交易的分布、客户查询的分布等，也许可以据此重新定义我
们的服务系统，根据每个客户近期的交易请求来定制不同的服务，就像
现在上网，广告上都是你近期曾经访问过的内容的同类一样，而这些数据，我们并没有更多的加以应用；当初为FCC取名时定义为文件服务中心，而不是文件传输中心，想法是有如此多的文件会通过这个中心，除
了提供传输服务，是否还能从这些文件当中发掘出更多的价值。

除了两
个核心的总线级系统，其它系统也有着丰富的数据资源，征信审批系统
中的申请信息、客服的录音与服务数据、催收的电话、积分乐园的商品
交易、收单的第三方交易等等，无一不是宝贵的财富，这些数据构成了
本单位客户用卡的大数据社会，如何有效地结合关联起来，正是大数据
时代需要解决的问题，也是我们的机会。

大数据时代，为我们的发展提供了想象的空间，我们可以利用自己拥有的数据，也可以利用外部的数据，“云”、互联网、行业非行业数据交流，都为我们提供了更多的素材，正如《大数据时代》所讲，大数据价值链
的三大构成是：拥有数据、拥有技能与拥有思维，数据是基础，技能是
方法，思维是挑战。