港口发展与大数据时代的对接

随着信息化水平的不断提高，全球很多港口尝试将物联网技术、大数据技术、云计算技术、地理信息系统（ＧＩＳ）等信息技术应用到港口生产中，业界对大数据理念的认识逐步提升，数据应用的重心将从传统收集管理转向深度挖掘应用。以数据资源为核心，打造港口信息枢纽，提供多层次、多元化的便捷而又精细的服务，实现信息服务产业化，将成为新的经济增长点。数据资源的安全可控和深度应用，将成为港口信息化的重中之重。

一、大数据应用对港口企业的重要意义

大数据又称巨量资料、海量资料［１］，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策的资讯。合理利用和管理大数据被视为改变企业决策、价值创造和价值实现的重要方式。

港口作为物流链上的重要节点，沉淀了海量的数据资源，拥有明显的数据优势，随着大数据技术和解决方案的创新和完善，港口企业能够将港口实际生产过程中的数据进行存储、分类、加工，再借助数据挖掘技

术，优化港口作业各环节，深化与客户关系，进一步提升企业的业绩。将大数据技术应用于港口企业生产是一个比较新的课题，对于提高港口企业的生产效率，为港口企业决策提供参考依据有着重要的意义。

港口的信息是经济发展变化的晴雨表。通过分析港口货物运量的变动信息，可以发现一个地区或国家的经济消长态势，这比腹地货物市场所反映的信息要敏感；通过对港口货种结构信息的分析，可以发现一个地区或国家产业结构的变动趋势；通过对港口货物关联信息的深入挖掘分析，可以发现港口的经营发展趋势；通过对港口船舶相关信息的挖掘分析，可以为港口拥塞等问题提供解决方案；对于港口企业发现新市场，明确经营方向和制定发展战略，调整港口功能布局和建设规划，都具有重要的作用。

二、港口信息化建设中大数据应用的关键技术

大数据技术在港口信息化的应用中，

首先要通过建立统一的信息集成平台，覆盖包括生产管理系统、

＊基金项目：

上海高校知识服务平台建设项目资助（编号：ＺＦ１２０９）徐凯1

郭胜童2

彭翀3

（１，２．上海海事大学上海国际航运研究中心上海２０００８２；

３．上海国际港务（集团）股份有限公司上海２０００８０）

港口发展与大数据时代的对接

摘要：

本文通过对大数据在港口企业的关键技术及其应用现状的分析，提出了大数据在港口应用中亟待解决的关键问题，并展望了未来的发展前景。

关键词：

港口；大数据；信息化技术；数据挖掘

集装箱管理系统、财务系统、设备系统、物资系统、固定资产管理系统、人力资源管理系统、工程管理系统等各应用系统的数据。再利用数据仓库技术，对数据进行抽取、清洗、整合等进一步处理，实现基础应用系统的数据由原来分散的、无规则或规则不强的业务数据的集成，形成分业务主题的各主题数据库。最后运用数据挖掘技术，通过大量的数据分析，得到对港口企业决策有一定指导作用的信息，从而达到大数据和应用的集成。

１．港口数据采集技术

在港口运作业务流程中，会生产数量非常庞大的数据，因此，通过各种方法获取数据信息显得格外重要。航运数据的采集是大数据处理流程中最基础的一步，目前常用的数据采集手段有传感器采集、ＲＦＩＤ射频识别、ＡＩＳ船舶自动识别技术等［２］，并且由于移动设备如智能手机和平板电脑的迅速普及，使得大量移动软件被开发应用，这也加快了信息的流通速度，提高了信息采集精度。

２．港口数据存储技术

港口大数据技术应用中的大数据处理对实时性、有效性提出了更高的要求，传统常规技术手段已经无法应付，目前最适用的技术是以Ｈａｄｏｏｐ、Ｓｐａｒｋ为代表的分布式存储和计算框架，基于Ｋｅｙ－Ｖａｌｕｅ型ＮｏＳＱＬ数据库进行存储，例如：Ｄｙｎａｍｏ、ＢｉｇＴａｂｌｅ、Ｃａｓａｎｄｒａ、ｈｙｐｅｒｔａｂｌｅ等。

以船舶ＡＩＳ数据为例，由于卫星ＡＩＳ数据和岸站ＡＩＳ数据的融合，目前全球ＡＩＳ船舶数据每分钟产生约２～３万条数据，一天产生３Ｇ的船舶轨迹数据，一年产生超过１００亿条轨迹数据。

为了实现千亿级的数据存储，需要有灵活可扩展的底层硬件技术支持。目前比较先进的是基于主机池概念的私有云计算技术，可随时根据需要动态调整分配的系统资源，包括ＣＰＵ、内存、存储及网络带宽。基于ＸｅｎＳｅｒｖｅｒ的虚拟化技术，服务器物理主机失效后，也可自动转移到另外一台备用的服务器主机上，提供了高可靠性服务。可采用关系型数据库存储，这一领先技术支持各类指标自定义配置，随时新建或调整指标，并指定具体的存储表。

３．港口数据加工技术

运用数据仓库技术，将港口业务数据、港区设备运作数据、船舶装卸数据、船舶ＡＩＳ数据、运输量、货物类型和港口吞吐量等不同来源的异构数据，经过ＥＴＬ［３］（Ｅｘｔｒａｃｔ抽取——

—Ｔｒａｎｓｆｏｒｍ转换——

—Ｌｏａｄ装载）的处理形成统一的数据仓库。

数据加工技术主要有以下方法：

（１）处理重复数据的方法：排序、聚类、分组，Ａｐｒｉｏｒｉ算法［４］、ＶＳＭ算法、Ｎ－ｇｒａｍ方法等。

（２）处理错误数据的方法：利用统计分析或人工智能的方法检测属性可能的错误值或异常值，分箱，使用简单数据清洗规则库检测和修正错误。

（３）处理噪声数据的方法：聚类算法（孤立点挖掘），包括基于统计的孤立点检测、基于距离的孤立点检测和基于偏离的孤立点检测。

（４）处理缺失值的方法：推导，用平均值、中间值、最大值、最小值或更为复杂的概率统计函数值代替缺失的值，人工输入一个可接受的值。

（５）数据压缩：道格拉斯—普克算法，折线矢量压缩算法，改进的道格拉斯—普克算法［５］。

４．港口数据查询技术

对于港口大规模数据量，迅速找到所需对应的计算数据，并调用对应的经济技术指标，得出分析结果，需要引入分布式，支持ＲＥＳＴｆｕｌ架构的数据库技术及概念，同时还需设计支持云计算，包括高容错、高模块化、高随机读取、高可扩展等特性。目前，专门针对大数据检索的方法主要有：布隆过滤器、散列法、索引、倒排索引、Ｔｒｉｅ树等方法。

５．港口数据分析技术

数据分析是大数据技术的核心部分，传统数据分析方法有预测技术、绩效分析、能耗分析、关联规则分析和聚类分析，而港口大数据较复杂，针对大数据分析的方法主要有：并行计算、粒度计算、数据挖掘等方法。例如基于船舶实时监控数据以及电子海图，利用大数据分析中的感知技术对港口拥堵情况进行统计，可以推断出任意时间港口的拥堵情况。对港口企业的货物种类和客户群进行分析，可以找出货物之间的关联关系，以便对前方堆场及后方货运提供决策支持。另外，