大数据在物流管理中的应用

大数据在物流管理中的应用

[摘要] 当前，随着电子商务的发展物流业也随之迅猛的发展起来。仅在2015年“双11”期间，快件业务量或将突破5亿件，比去年同期增长近五成；最高日处理量或将达到9000万件，比去年增长38.5％。因此如何及时、准确地收集和分析各种信息与数据,对于制定科学的物流解决方案、提高物流企业管理水平和效益,具有积极重要的作用。在技术趋于成熟下，带动了以大数据应用为基础的智能物流的兴起，极大的促进了产业优化，实现物流产业各个环节的信息共享和协调合作，优化配置。本文的研究意义在于，如何在大数据技术的基础上对于物流产业产生的数据进行分析，整合，做出科学的决策。

[关键词]大数据；物流；管理

一、大数据概述 (1)

（一）大数据的定义 (1)

（二）大数据的特征 (1)

（三）大数据的关键技术 (2)

二、物流管理及物流管理系统概述 (4)

（一）物流管理的定义 (4)

（二）物流管理的特点 (4)

（三）物流管理的基本内容 (4)

（四）物流管理系统 (5)

三、物流管理现状 (7)

四、大数据在物流管理中的应用 (9)

（一）物流管理系统数据库 (9)

（二）物流管理系统中大数据技术的应用 (11)

（三）大数据应用于物流管理的重要意义 (12)

五、总结与展望 (13)

致谢语 (16)

参考文献 (17)

引言

电子商务已越来越深入人心，随之发展的首要问题就是物流的问题。当前，我国的物流业也保持着高速的增长，物流的各个环节产生的数据正已爆炸性的增长。在现今物联网、云计算、大数据等技术的发展下。如何运用大数据技术运用到物流管理上，对物流数据进行挖掘、分析、提炼、整合，以便了解物流的状况和业务情况，并进行战略规划，制定物流企业决策，提升物流业的服务水平。

本文介绍大数据的相关术语和技术；介绍现代物流管理以及分析物流管理的现状；分析大数据在物流管理的前景，研究大数据技术可运用在物流管理的技术；发现如今在物流管理中存在的问题并提出相关的对策建议。

一、大数据概述

（一）大数据的定义

大数据技术(Big data）[1]，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

（二）大数据的特征

（1）体重（Volume）：体重是大数据的空间属性。数据体量巨大，非结构化数据的超大规模和增长，从TB级别跃升到PB级别。

（2）多样性（Variety）：多样式大数据的结构属性。数据类型繁多，有很多不同类型的数据，如文本、图像、视频、机器数据、地理位置信息等。

（3）价值密度（Value）：价值密度是大数据的内容属性。价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

（4）速度（Velocity）：速度是大数据的时间属性。处理速度快，遵循1秒定律，

实时分析而非批量式分析。

（三）大数据的关键技术

大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中都可以采用MapReduce[2]等处理。如下图1所示：

图1适用MapReduce的各环节处理

1.大数据的并行处理利器——MapReduce如下图2所示

大数据可以通过MapReduce这一并行处理技术来提高数据的处理速度。MapReduce 的设计初衷是通过大量廉价服务器实现大数据并行处理，对数据一致性要求不高，其突出优势是具有扩展性和可用性，特别适用于海量的结构化、半结构化及非结构化数据的混合处理。

MapReduce将传统的查询、分解及数据分析进行分布式处理，将处理任务分配到不同的处理节点，因此具有更强的并行处理能力。作为一个简化的并行处理的编程模型，MapReduce还降低了开发并行应用的门槛。

MapReduce是一套软件框架，包括Map（映射）和Reduce（化简）两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。

图2 MapReduce工作流程

MapReduce的工作原理其实是先分后合的数据处理方式。Map即“分解”，把海量数据分割成了若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作以得到最终结果。如右图所示，如果采用MapReduce来统计不同几何形状的数量，它会先把任务分配到两个节点，由两个节点分别并行统计，然后再把它们的结果汇总，得到最终的计算结果。数据处理方式如下图3所示：MapReduce适合进行数据分析、日志分析、商业智能分析、客户营销、大规模索引等业务，并具有非常明显的效果。通过结合MapReduce技术进行实时分析，某家电公司的信用计算时间从33小时缩短到8秒，而MKI的基因分析时间从数天缩短到20分钟。

图3 使用MapReduce进行形状计数

2.大数据技术在数据采集方面采用的方法

（1）系统日志采集方法

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop 的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（2）网络数据采集方法：对非结构化数据的采集

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。