论大数据的泡沫、价值与应用陷阱

论大数据的泡沫、价值与应用陷阱

1大数据源起：对未来不确定性的恐惧。

我们所生活的世界，就像一片混沌（chaos），大数据时代，我们周围更是充斥着各种不同的理论、知识、信息和噪音，数据爆炸式增长和科技高速发展所带来的冲击，加大了未来的不确定性。当我们接收的数据和信息越多，面临的选择就越多，如若不善于过滤、挖掘和处理，对各种决策就可能会造成负面影响，当然也会放大我们对未来不确定性的恐惧。小到个人命运大到国家前途，都是在这样一片混沌中煎熬着。如何从混沌中发现规律，成为预测未来的“先知”，抑或是少出几只黑天鹅？是历代人类的梦想，不管是古人的占卜、算命还是现在的专家系统、商业智能、数据挖掘、机器学习、人工智能、智慧地球、智慧城市等应用，都源于我们对未来不确定性的恐惧。当然还有应对当前管理走向的失控，软件在加速吞噬世界，而大部分人类对其原理和特性却知之甚少，就像华尔街的金融交易一样，系统越复杂出现黑天鹅的概率就会增大；社交网络的实时性打破了时空限制，信息的流动速度和广度让也管理者越发难以掌控。随着舍恩伯格教授《大数据时代》一书的面世，给我们带来了“醍醐灌顶”式的认知洗礼，难道抓住大数据这根救命稻草，我们就有机会做“先知”？从而也更有能力把自己和周遭世界管理得更好吗？在一定程度上是这样的，但我们也要知道，任何技术都是把双刃剑。舍恩伯格其实没有机器学习背景，书上所说的某些内容也是有争议的，不过在教育民众和政府官员科普方面，还是具有重要意义，至少让大家知道了什么是大数据，也能在一定程度上促使我们思考大数据的价值和潜力，从而提升大数据应用水平以应对管理失控和黑天鹅等问题。

2大数据泡沫：泡沫是必然但有其深远意义。

数据科学其实已经兴起多年，从早年的专家系统、数据挖掘到前些年的商业智能，不少大型企业和机构在管理大数据方面积累了丰富的经验，笔者10年前就曾参与过运营商的数据挖掘系统建设，那都是实实在在的大数据，只不过当时技术手段有限罢了，所以很少人能挖出什么高价值的东西，更谈不上智能化决策了。但这些年的技术积累和数据积累，却是极大地促进了大数据领域的发展，不然也没有那么多人认同舍恩伯格教授书中的观点。甲骨文公司CEO埃里森曾说过，高科技是唯一能媲美好莱坞的产业，说明高科技领域的技术明星也是变换极快的。技术和产品一样，有其发展周期规律，大数据也只是一种技术手段，最终目的还是要解决现实问题，不管是科研、商业还是政府管理问题。关注大数据的人多了，自然就有泡沫，个人认为泡沫主要体现在如下几个方面：（1）这几年社会上关于大数据的宣传，媒体人的引进和炒作，有部分内容是在误导大家，主要原因还是很多人在盲人摸象，少有系统的研究和理解。（2）只知其然不知其所以然，导致对大数据应用的期望太高，大数据技术不是万金油，在新的技术泛型和技术生态下，现阶段技术的稳定性、成熟性和有效性还待进一步发展。（3）关注重点有问题，导致目前的很多大数据应用并未涉及到核心业务和计算模型，多是数据的采集和存储管理，这也是造成行业整体门槛还不够高，同质化竞争激烈，没有发挥出应有价值的原因。大数据泡沫显然是客观存在的，但其长期的应用价值却不容小觑，泡沫不代表没有价值，就像2000年的互联网泡沫，泡沫破灭之后的涅磐，让人类真正跨入了互联网时代。大数据泡沫的价值就是让全民认识到大数据时代数据分析和数据决策的重要性，这波泡沫过去，也许我们能正式跨入人工智能时代。

3大数据价值：需要你自己去定义。

大数据绝不只是数据大，不能光看字面意思。可以说大数据是一套技术体系，可以说是一种认知挖掘过程，也可以说是一种方法论和管理决策思维。我们要搞懂大数据的价值，首先绕不开数据挖掘（或更窄的机器学习、或更广义的人工智能技术）。数据挖掘（Data

Mining），又称为资料探勘、数据采矿，或数据库知识发现（Knowledge-Discovery in Databases，KDD)。数据挖掘一般是指从大量的数据中通过各种算法挖掘隐藏于其中的规律和有价值信息的过程，通常通过统计方法、机器学习、专家系统、模式识别和在线分析处理等诸多方法来实现上述目标。现阶段大数据领域注重数据采集、数据存储、基础计算和可视化等层面，唯独对数据挖掘建模和决策支持这两个硬骨头没有展开深入研究和对接，这是大数据难以落地的根本原因。我们大多数人决策其实是靠感觉、个人经验或别人建议，少部分人会亲自对报表等小数据进行客观数据分析。而大数据为我们提供了一种更加可靠的决策支持，毕竟数据不会说假话。大数据本身不产生价值，大数据的根本用途是利用大数据挖掘分析对我们的决策提供规律、知识和经验等科学依据，客观上减少面对未来决策的不确定性。所以，以业务决策支持为分析目标，大数据不靠大，小数据也一样有大价值。为什么大数据的价值需要我们自己去定义呢？因为对于未来、对于未知领域，我们每个人或组织面临的不确定性问题是不一样的，有的偏个体（如疾病诊断，犯罪预测），有的偏大众（如广告营销、客户细分），有的偏微观（如基因序列，个性化教育），有的偏宏观（环境监测、天文数据处理），有的关注资源优化配置（如供需匹配，出行服务），有的关注宏观决策（如政府资产分析、综合管控）…可以说大数据分析需求无处不在，而又大不相同。这就需要从自身实际需求和数据、技术现状出发，自行设定大数据分析的价值和应用目标，生搬硬套互联网公司那套做法，不可取。

4大数据陷阱：应用前先问自己几个问题。

综上所述，大数据无疑是好东西，很多组织机构也正在规划或建设大数据平台，很多创业玩家也正在计划或进行大数据领域的技术服务或产品研发。但大数据领域面临的陷阱也是不少，光看大数据、云计算、机器学习、数据挖掘、人工智能、深度学习、分布式计算等目不暇接的技术和概念，就够眼花缭乱了，要真正理解各种技术的原理及相互联系就更难，如

何才能不畏浮云遮望眼，走出一条扎实的大数据应用落地之路。我以个人粗浅的理解提几个问题供大家参考：

（1）第一问：我属于什么级别的玩家？

大数据的核心优势在于规模效应，你的业务量越大、业务覆盖性越广、数据量越大，大数据投入的成本就越容易被摊薄，而长远获取的大数据应用价值就越巨大。所以，我一直认为政府才是最适合大数据应用的超级玩家，这也是为什么大数据独角兽企业Palantir的产品只有政府定制版（ＦＢＩ，ＣＩＡ专用）和金融定制版（华尔街金融巨头专用）的原因！一般企业或个人根本玩不起大数据，小的个体只能像《黑客帝国》的孵化人为Matirx系统提供生物电池一样，为超级玩家贡献数据和技术还差不多。所以做大数据之前，先问问自己，我属于什么级别的玩家。我有特定领域的海量数据吗？有数据科学能力相关的核心技术（应用建模）吗？有机会成为BAT吗？或者降一级有机会成为Uber、滴滴、摩拜吗？研发的产品能否等到大规模应用之时？提供的技术是否符合客户的业务需求？因为一般来讲，大数据的初始投入成本是很高的，自我定位很关键。当然成不了甲方还是可以做乙方，成不了BAT 还是有机会被BAT收购的，另外采用敏捷大数据方法论，也有低成本的玩法。

（2）第二问：我是搞技术驱动、业务驱动还是数据驱动？

当前不少公司的大数据产品和服务不接地气，从开始规划上就有一定问题。很多公司都号称自己有云计算和大数据方面的产品和服务，覆盖面从Hadoop、Spark、MPP、NOSQL、OpenStack等，到公有云、私有云、商业智能、人工智能、深度学习等等方面，偌大一片浮云，客观上促进了大数据领域的技术高速发展，可惜最终少有几家能活到赚钱。首先，大数据领域，没有几把刷子是很难玩技术驱动的，像Hadoop,Spark这些基础框架，AlphaGo 系统、Nvidia的核心产品等，后面都有一帮名校博士、教授等技术大牛的身影在支持；其次，业务驱动最靠谱，但要有足够的创新和资本支持，最近几年出现的Uber、滴滴、摩拜、