大数据与系统运营管理

大数据与应用系统运营管理

大数据时代是信息时代新的起点，大数据概念是对思维模式的冲击，大数据改变的是人们对于事物的常规理解思路，对社会理解提供了更为广阔的信息空间和数据支撑；“大数据”对于应用系统的运营管理提出了新的挑战，也提供了更好的机遇；大数据对于本单位的业务开展提供了更好的机会：1、充分挖掘本单位现有数据，本单位每天各个系统产生的数据约近100G，从交易数据到客户申请信息、客户服务请求信息等等，这些数据并未完全被应用，我们已有的数据尚不能充分运用，更何谈外部的社会数据，这些数据可以为活跃客户提供更佳的服务目标、市场目标等，目前的数据分析还基于样本数据抽取的模式，与大数据的全本数据要求有差距，是否能在数据分析上开拓云分析的模式；2、系统稳定是业务开展的基础，大数据时代对系统的开发、运行、分析都提出了更高的要求，现有的基础设施基本上都是基于传统模式的，为了适应大数据时代，基础架构上是否可以思考别的方式，譬如分布式内存数据库等，同时我们也缺乏对系统数据的收集分析工具；3、传统客户服务中心对于每一个客户的服务内容都是一样的，而电销商城之类的，往往会记录每一个用户在网站上的活动轨迹，并根据活动轨迹来分析客户近期对于商品的购买意愿，并推送不同的服务给不同客户，我们的客户服务中心是否也能根据客户的交易、请求等活动信息进行分析，为每一个客户定制

不同的服务。

大数据改变了人类的思维方式。互联网、移动、存储、计算能力等科技的发展催生了“大数据”的产生，大数据的“大”是相对的，大数据是指被数据化的信息，随着科学的进步，能够被数据化的信息会越来越多，而目前只是数据爆炸时代的开始，就如同宇宙的发现一样。大数据的概念，一方面反映了信息时代数据到了一个爆炸式突变的年代，一方面也反映出人类对于这样一个突变年代的心理感知。无论如何，当下正处于数据爆炸发展的起始阶段，正如同当年的工业革命、信息革命年代开始一样，因此，思维模式的转变才是迎接大数据时代的根本。

社会数据化是大数据时代的标志，这个标志是随着互联网技术，特别是移动互联网技术的发展而突出出来的，10多年前互联网时代开始，在网上冲浪的人数有限，特别是需要一定的空间和时间，还需要那么一点点技术知识，能够在网上分享的数据已经很多，虚拟社区类的网站逐步兴起，电子商务也慢慢改变着人们的传统供需手段，而智能终端最终成为互联网技术的最有力推进器，越来越简单的上网方式使得更多的人参与进来，虚拟社会的雏形已经形成，可以预见，未来社会必定会存在一个实体社会和一个虚拟社会，而目前的各种移动社区、互联社区将成为虚拟社会的起源并不断发展，若干科幻片中描述的场景将成为现实，而这一切，都源于大数据时代，未来将证明，今天就是大数据的爆发点。

大数据时代的改变在于，越来越多、越来越复杂、越来越广阔的信息将被数据化，数据化的方式各种各样，数据的社会化越来越完整，而因为共享程度的放开，越来越多的人也将参与进来，这些数据被用于各种

各样的分析、应用，被不同的人进行加工、生产、改进、优化，传统样本数据采集分析的方式将被抛弃，云端世界将提供我们全量数据分析的基础，寻找有用的数据、提高数据分析及提取能力、加工数据的能力将成为数据挖掘师的重要职责。犹如今天的矿产，拥有数据即拥有了最基本的财产，但是光有矿产还不够，没有能力提取出来也一样会饿死，光有能力提取还不够，还要提取的效率高、成本低、精度优，提取的有效数据还要能被加工，形成更加有价值的物品。大数据的优点在于够大、够广、够全，缺点也同样在于太大、太广、太全，发现、抽取、加工、运用是大数据这一财富的运用主体，而如何加工、再加工、创造和使用才是大数据的思想。

从实际工作中来看，IT对于数据并不陌生，也见证了大数据的产生，我至今还保存着一块200M的硬盘，那就是当年某个银行综合业务系统的所有应用，也带动着数百个柜面业务的展开，而今天，家用PC的内存都已经4G、8G进行计量，即便是小小一个手机，也有着1G、2G的内存，更不用说动辄2T、3T的硬盘。本单位信息系统的存储增长同样是快速的，本着不浪费的原则，今天本单位的存储相对于五年前已经增长了若干倍，相信用不了多久，数据存储的级别将从T级上升至P级，即便如此，也解决不了大数据带来的压力，必须用其他的方式加以解决；近些年，随着本单位业务的发展，卡量从2004年的数百张增长到如今的3000万，随之带来的是随着上千万客户用卡带来的各种各样的用卡数据，而“用卡数据”代表的，绝对不仅仅只有交易信息，某些信息我们暂时无法得到，某些信息我们得到了但没有应用；我们的系统从最初的发卡、客服、

催收到现在的各种渠道、短信、手机、微信。。。。。。数据千差万别，各式各样，如何处理这些数据，我们的处理能力有多少？为了适应“卡社会”的发展变化，我们的系统跟在后面拼命地追，那么我们的思维呢？大数据是急速膨胀的表现，我们该跟着膨胀还是有的放矢？

“云”是另外一个概念，“云”的概念比“大数据”的概念来的要早些，云的概念对大数据形成了支撑，从事IT行业的，对这两个概念可以说既陌生又似曾相识。的确，大数据的其本质还是数据，只是到了一定的时候，量化转换为质变，今天的大数据其覆盖范围之广是之前难以想象的，如此巨量的数据如何存储、怎样处理是一个大麻烦，而“云”的出现正好为此提供了解决方案，可以说“云”是大数据的一个解决方案，说到底，“云”是当年分布式计算的衍生和扩展，当初的分布式计算是为了解决单机处理能力而提出的，现今的“云”则把这一概念抽象到另外一个层次，不仅仅用于计算、而且用于存储，随着互联网应用的兴起，云的概念也深入人心，云里雾里，其实没有那么复杂，云技术供应商把若干单元计算的服务器或存储积聚在一起封装起来，对外提供统一的服务，在利用分布式技术把需要计算和存储的数据或算法分布到独立的服务单元中，当然，其核心就是分布式技术，可以理解，存储的分散远比计算的分散要容易，这也是目前为什么云存储应用远比云计算应用要多要成熟的原因，可以想象把这种计算对比天上真实的云朵，天上的云，其实就是水汽与尘埃所构成的，而远远看去，把这样一堆堆的水与尘就看成了一朵朵漂亮的云，说到最后，云要落地，终究还要变成水，否则也只能在天上飘着。本单位的云计算项目也正是从云存储开始，利用中