大数据与智慧物流

大数据与智慧物流

随着大数据时代的到来，云计算和大数据技术加快向物流业渗透，通过海量的物流数据挖掘新的商业价值。物流之争在一定程度上逐渐演变为大数据技术之争。在大数据技术的支持下，人与物流设备之间、设备与设备之间形成更加密切的结合，形成一个功能庞大的智慧物流系统，实现物流管理与物流作业的自动化与智能化。可以说，大数据技术是构建智慧物流的基础。

京东商城作为中国最大的自营式B2C电商平台，流转着千万级的订单数据信息，京东大数据拥有覆盖供应链最前端的供应商到末端最终用户的整个信息数据，无论广度、完整度，还是自营模式所独有的用户数据准确度都独具优势。

为了深入系统地展示大数据在智慧物流各个环节的应用及其发挥的重要作用，本刊特邀数位京东大数据专家以《大数据与智慧物流》为话题，根据京东的最佳实践，包括如何利用大数据技术来实现物流网络布局、仓储运营管理优化，运输路由的最优策略、物流开放业务个性化、以及物流决策系统的实现等内容，以连载的方式详细介绍，希望为业内提供借鉴。

一、大数据与智慧物流概述

智慧物流就是以大数据处理技术为基础，利用软件系统把人和设备更好地结合起来，系统不断提升智能化水平，让人和设备能够发挥各自的优势，达到系统最佳的状态，并且不断进化。

在“互联网+”的大环境下，智慧物流成为业界一致追求，智慧物流的基础就是大数据相关的技术。以大数据为基础的智慧物流，在效率、成本、用户体验等方面将具有极大的优势，也将从根本上改变目前物流运行的模式，“双11”就是典型的案例。

二、大数据的发展过程及价值

大数据的发展可以分为三个阶段。

首先是数的产生，早在公元前8000年，两河流域的苏美尔人将各种形状的小的粘土记号像珠子一样串在一起，保留记数实物来记数信息。

第二阶段是产生于近代的数据科学，是以统计学作为基础，一个重要的假设就是采样遵守独立同分布，其中很大的原因就是当时的技术对于巨量的数据无法进行计算，或者成本无法承受。2014年，随着技术的发展，特别是云计算等技术的成熟，巨量数据的计算存储都不再是问题，并且大数据应用显现出巨大价值的时候。

第三阶段，大数据时代就到来了。大数据时代的显著特征之一就是可以利用数据的相关性来解决问题，而不只是依赖因果关系，创新的数据应用开始层出不穷。而基于大数据技术的深度学习等人工智能的发展，特别是谷歌AlphaGo的成功，是个标志性事件，让我们更加认识到大数据技术可以突破人的认知能力极限，因此，一个真正革新的时代来临了。

大数据的价值不仅在于其原始价值，更在于数据之间的连接、大数据扩展、再利用和重组。例如，京东利用物流大数据加上用户交易数据，推出的移动商店就大受欢迎。另外，大数据开放对于提升整个社会的发展水平具有重要作用。大数据作为数字资产，可以重复利用，不像资源类的零和游戏，政府、协会等社会组织可以收集数据脱敏后对社会开放，为社会服务，创造出更大的社会价值。

三、大数据是构建智慧物流的基础

京东商城依托物流的优势，快速崛起，目前已经成为自营B2C电商的领头羊。其整个物流系统日处理数量达到百万级，大促销期间甚至高达上千万，物流操作人员多达数十万，庞大的业务规模下，智慧化物流系统成为迫切需求。青龙系统作为支撑京东物流的核心系统，不仅保证了京东物流的准时高效，同时保证了极高的用户体验，在京东的不断发展过程中，青龙系统也逐渐为外界瞩目，从2012年研发版本1.0到目前的6.0的演进过程中，我们逐步认识到，以大数据处理为核心的系统是构建智慧物流的关键。

“大数据”的经典定义可以归纳为4个V：海量的数据规模（volume）、快速的数据流转和动态数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）。

从青龙系统看，每天处理亿级数据，具有海量信息的数据规模；支持快速的数据流转，实现了物流各个节点实时数据监控优化；系统处理各种各样的信息，包含了结构化和非结构化数据；数据具有极大

的价值，如推动系统成本和效率优化1%，则可以节约上亿成本。因此，青龙系统具有显著的大数据特征。

我们在实战中认识到，把大数据转化为智慧系统，需要具备两个基础。

第一，业务数据化，并且具有数据质量保障。京东物流在青龙系统的支撑下，实现了所有物流操作的线上化，也就数据化，并且，对每个操作环节都可以进行实时分析，这就奠定了很好的数据基础。如果业务都是线下操作，或者系统无法准确及时收集数据，那么，即使

数据量够大，缺乏关键数据和数据不准确，也会给大数据处理带来很大的困难。

第二，大数据处理技术，包括数据收集、传输、存储、计算、展示等一系列技术。青龙系统在数据处理技术上也踩过很多坑，最早我们用数据库生产库做一些数据的分析，发现很快性能就跟不上了，因为数据分析SQL（结构化查询语言）一执行，生产库性能急剧下降；随后又开始利用读库，并结合MQ（程序化交易平台），也就是操作数据库的时候，会发出一个MQ，数据分析处理系统接收MQ重新解析，但是也不能很好解决问题；最后，我们总结发现，作为传统的技术人员，我们是试图用OLTP（联机事务处理）的方法来解决OLAP（联机分析处理）的问题，这在方向上就存在问题。

最后我们总结发现，当做大数据应用时，首先是要分清企业的应用场景，至少需要考虑两个维度：

一是实时性维度，大数据分析是秒级的还是离线的，也就是24小时以后拿到也没问题；

二是一致性维度，即对一致性到底是什么样的要求，是否要求100%一致。

由此可以划分四个场景。当企业重新做数据系统或者大数据应用时，肯定要考虑所用的业务场景到底如何，再加上数据量维度（从现在新系统发展来看，企业架构支撑业务两年发展已经足够）。这几个维度确定以后，从ETL（数据仓库技术）数据抽取到数据传输到数据存储，包括数据计算，技术相对来讲比较成熟了，从而可以选择合适的技术。

京东在大数据处理技术上也做了很多工作，现在对于实时数据、离线数据，都有完整的解决方案，这样对于青龙系统来讲，可以基于公司大数据平台，进行对应的实时数据处理和离线数据分析。大数据平台技术栈其实非常重要，因为它从技术上提供了一个基础数据质量保障。如果数据质量得不到保障的，那么后面所进行的分析就不靠谱；整个系统都是不可靠的。

四、以大数据为基础构建智慧物流系统的步骤

传统物流系统的数据处理，也被称为BI（商业智能）分析，往往是事后进行的。而我们认为的智慧物流系统，不同于传统物流系统，它是以数据作为开始，数据的应用贯穿其中，并且是以数据为终点的一个循环上升过程。在可靠的数据源和处理技术基础上，我们就可以以大数据为基础逐步构建智慧物流系统，这个构建过程主要分为以下四步。