港口物流信息发布平台建设方案

港口物流信息发布平台

建设方案

201×年××月××日

目录

图19业务属性结构图

③根据业务流程、物流信息数据流向来划分系统用户结构

系统业务主要包括“信息发布”、“信息展示”、“信息自动匹配”、“信息统计”。主要涉及用户类型有：货主企业、运输企业、监管部门。业务数据流向有以下几种：货主企业对企业基本信息及企业产品信息等静态信息以及企业的物流需求信息进行采集（采集方式有多种，包括手工采集、设备采集、其他应用系统采集等），并通过信息发布功能，将物流需求信息发布到“物流信息发布平台”；运输企业对企业基本信息及企业服务标准等静态信息以及企业的物流服务业务信息及运输在途信息等动态信息进行采集（采集方式有多种，包括手工采集、设备采集、其他应用系统采集等），并通过信息发布功能，将物流服务信息发布到“物流信息发布平台”；监管机构通过信息发布平台进行行业政策地方法规及行业动态等动态信息的发布；平台将运输企业发布的物流动态信息与货主企业发布的物流需求信息进行自动匹配后，将运输企业的物流服务提供信息推送给货主企业；平台将运输企业发布的物流动态信息与货主企业发布的物流需求信息进行自动匹配后，将货主企业的物流需求信息推送给运输企业；平台将系统中的物流需求信息及物流服务提供信息进行统计分析，并将结果提供给行业监管部门。

系统业务数据流向如下图：

图20系统业务数据流向

根据业务数据流向，可将系统用户划分为以下几种类型：信息采集发布员、物流信息数据查阅员、信息统计决策员。同时，针对业务运行，需对系统业务进行类别、业务属性等基础业务数据维护的系统维护员。

2、多种数据传输通道

（1）重点难点分析

×××港信息发布平台与其它信息系统交互时要能够支持HTTP/Socket/MQ/FTP/JMS/Email/Fax等交互方式，要能够处理外围异构系统的各种数据报文格式，如EDIFact/X12/InhouseFlat/XML/分隔符等。

需要设计良好的数据交换架构，对新增数据格式的接入仅仅通过灵活配置即可支持，而不需要每次都进行新的设计和开发。

（2）解决方案

①采用ESB数据总线

图21ESB数据总线示意图

×××港物流信息发布平台通过ESB将各企事业单位系统之间进行通信，实现数据交互。

在SOA集成环境中，ESB传输层能够提供消息可靠传输，同时ESB和应用之间的桥接的消息也具备支持多种协议（如Web服务、FTP、JMS、RMI，MQ,JMS,Socket等）的能力。

使用统一ESB，可以让×××港域管理员使用一个管理控制台来

管理域中所有各企事业单位节点，在这个控制台中可看到全部的拓扑结构。这种方式的主要好处在于管理员可以查看域中所有实例活动（资源消耗、服务调用统计等）以及管理ESB的行为。

3、海量数据

（1）重难点分析

×××港港区多，规模大，物流业务繁忙，平台要支持每天数百万甚至上千万的数据交换需求，并提供满足客户要求的交换性能指标，如100TPS（每秒交易笔数）以上的交换吞吐量，同时对所有交换数据提供交易可追踪性等系统功能需求。这些数据对于应用系统来讲，是超海量数据，如果系统设计时，不进行有效考虑，系统性能以及数据处理的及时性将面临较大问题。针对平台将出现的海量业务数据情况，系统将会存在以下问题：数据存储工具及存储方式，将决定数据能否有效被保存及被查询；系统中进行数据关联匹配时，性能将如何得到确保；如何从海量数据中进行高效率数据检索。

（2）解决方案

针对以上分析，我们对平台中少量数据的处理，将通过以下方式来进行有效解决，从而确保系统的可用性和系统性能。

①数据库、系统环境

选用合适数据库工具。现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或

者DB2，而使用较广泛的SQLServer、MySQL等中小型数据库，在对海量数据的处理上就有些力不从心了。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，同时，好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。通常，对每天6000万条的日志数据进行处理，使用SQLServer2000需要花费6小时，而使用SQLServer2005则只需要花费3小时。

进行合理的系统虚拟内存配置。如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6+1024=25600 M，解决了数据处理中的内存不足问题。

硬件保障。目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

选择合理的操作系统。海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

②数据存储与处理方式

对数据进行分批处理。系统中的数据通常可分为两种类型：一种是即时性较强的数据（即维护频率较高，发生变化的可能性较大的数据），另一种为静态数据（通常是在系统中已经不再被频繁使用的，或者数据已经固定，不再会发生改变的数据）。如：系统中每天发布的货物运送信息，以及每天船运数据信息，在当天都是即时性较强的数据，而当这些数据作为历史数据时，数据本身不再会发生改变。基于这些数据进行统计分析供决策的统计数据也不再会发生变化，这样，系统可将进行静态数据处理的工作放在系统相对空闲时进行处理。海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

使用数据仓库和多维数据库存储。数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

使用临时表和中间表。数据量增加时，处理中要考虑提前汇总。