港航大数据实验室介绍20150422
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013 年 8 月，交通运输部科学研究院发 函邀请上海国际航运研究中心承担“交
通科学数据共享网” 的航运数据共享平
台的建设工作。 “中国航运数据库”获得2014年度“中 国航海学会科学技术奖”三等奖。 交科院关于邀请参加交通科 学数据共享平台理事会的函 《中国航运数据库》软件著作权证书
使用单位发来感谢信
毕业于北京大学（物理学士， 1996 ），爱荷华大学
（城市与区域规划硕士，经济学硕士，1998），及伯
克利加州大学（土木与环境工程工程博士交通工程方 向，2004）。李博士2004-2005年在伯克利加州大学 交通研究所从事博士后研究，2005年起任助理研究工
程师， 2006 年 -2011 年出任伯克利加州大学未来城市
2008.7.14：挂牌成立 2009.1：正式入驻虹口霍山路150号 2009.10：发起成立“上海地区航运业界航运组织联席会议” 2010：成为“上海国际航运中心推进小组成员单位” 2010.3：加入“交通运输部水运经济运行分析”工作组 2011.12：在交通运输部科学研究院成立“航运研究中心北京分中心” 2012：成为上海市第一批“上海高校知识服务平台” 2012.8.10：交通运输部和上海市人民政府在沪签署《交通运输部、上海市政府 加快推进国际航运中心建设深化合作备忘录》，明确共同支持上海国际航运研 究中心的发展 2011.3：与香港理工大学万邦曹文锦海事图书馆和研发中心、香港万邦航运发 展基金会共同成立沪港国际航运研发与交流中心 2013.6：上海市建交委与上海海事大学签署战略合作协议，明确航运研究中心 为“共建单位” 2013.8：加入“交通数据共享平台”理事会 2014.2：列入上海高校人文社会科学重点研究基地建设计划 2014.9：成为“上海市协同创新中心—上海国际航运协同创新中心”
【虹口区：中国航运数据库机房】 【临港新城：上海海事大学机房】
时空数据采用Key-Value型NoSQL数据库存储； 基于Key-Value型NoSQL数据库进行存储Casandra实现 分布式存储；
历史数据既不删除、也不转存，而是全部数据在线，可以
方便的进行单船历史轨迹回放、区域历史场景回放，更容 易开展大数据分析。
还有缺什么？ 例如： 主机功率； 辅机功率； 吃水深度； 碳排放量；
耗油量；
货种； ……
右边这些AIS没有，但是
我们的系统设计了。
数据去重 卫星数据和岸基数据的融合，重复数据在特定时间窗口内通过树状结 构的分类来去重。
检测和处理错误数据 利用统计分析或人工智能的方法检测属性可能的错误值或异常值，并 做丢弃处理，不做恢复。
时任交通运输部副部长徐祖远、上海市副市长沈骏共 同为“上海国际航运研究中心”揭牌
上海国际航运研究中心第一届理事长单位： 中国海运（集团）
上海国际航运研究中心第二届理事长单位： 上海国际港务（集团） 上海国际航运研究中心挂靠单位（常务副理事长单位）： 上海海事大学
常务副市长杨雄向黄有方校长授予“上海海事大学上海 高校知识服务平台—上海国际航运研究中心”的铜牌
数据压缩 由于大数据传输、计算过程中涉及的数据量巨大，因此又必须要研究 性能良好、失真率低的数据压缩算法。主要采用改进的道格拉斯-普克算 法。
由4块55寸 1080P液晶显 示屏拼接成的 大屏幕，拼缝 小于6mm。
方向一：港航统计指标大数据分析 包括：交通量预测（含道路通行量、航道通行量、港口吞吐量等预测）、流向统计和 预测（含运输路径、航线、货流方向等聚类分析）、运输需求量、运行效率分析等；
MTP分为动态报文和静态报文
支持多种监控对象
除了移动情况外，还可以监控其它状态
MTP
MTP协议基于UDP/IP协议
实验室存储了全球过去3年的船舶轨迹数据，大约300多亿条数据； 汇集了全球AIS基站数据和卫星AIS数据，每分钟新增约2-3万条数据； 2015年，上海航运中心建设重点任务：搭建适合港航领域大数据存 储和分析的实验环境，建立港航大数据实验室。（上海市交通委员会）
使用单位开具应用证明
从事港航信息化、物联网、人工智能算法等方面的科研工作，主讲 《物联网导论》课程。参与申请软件著作权7项，发明专利1项，出版 专著《大数据时代的航运信息平台》，以第一作者发表学术论文4篇， 参与发表论文十余篇。
嵌入式开发经验：集装箱监控黑匣子（图）、FluxGate磁强监测仪； 云计算与大数据：中国航运数据库、港航大数据实验室； 其它信息系统：《航运手机报》、《舟山港务局指挥中心船舶监控项 目》、《云南省海事局内河船员管理系统开发项目》、《南极中山站 远程监控系统项目》、《中国航运景气指数问卷调查系统》等项目。
存储
分析
港航大 数据
加工
展现
底层硬件支持采用基于主机池概念的私有云计算技术 可随时根据需要动态调整分配的系统资源，包括CPU、内 存、存储及网络带宽。基于XenServer的虚拟化技术，服
务器物理主机失效后，也可自动转移到另外一台备用的服
务器主机上，提供了高可靠性服务。
搭建了私有云计算环境 实现了异地数据备份
中国港口协会； 交通运输部水运科学研究院 交通运输部科学研究院； 交通运输部规划研究院； 上海航运交易所； 上海船东协会； 上海货代协会
上海市教育委员会； 上海市交通委员会； 上海海事局； 上海市虹口区人民政府； 上海组合港管委会办公室
中国数据量最大的“中国航运数据库”
入库指标数据400余种 入库数据量达2,000,000余条 注册企业达1200余家
搭建了由产学研各方构成的理事会
由22家理事长、副理事长单位 的负责人组成了理事长会议
院校
企业
相关 机构
政府
上海海事大学； 上海交通大学； 上海外贸学院； 宁波大学； 世界海事大学
上海国际港务（集 团）股份有限公司； 中国海运（集团） 总公司； 中远集装箱运输 有限公司； 中外运华东公司； 上海市锦江航运有 限公司
-另一方面，为船舶航行全程提供全程一体化安全信息服务，在提高海事服务水平方便 船舶驾驶的同时，采集海事所需的监管数据。
上海国际航运研究中心于2008年7月初创，时任上海 市委副书记、市长韩正发来贺信，时任交通运输部副部长 徐祖远、上海市副市长沈骏共同为“研究中心”揭牌 上海国际航运研究中心由上海海事大学、上海市教育 委员会、上海市建设交通委、上海市交通港口局、上海市 虹口区人民政府等21家单位共同发起
方向二：基于大数据的船舶安全航行预警技术研究
-根据基于AIS数据和电子海图，分析港口拥塞情况，并给船舶航行航速建议，以便减 少事故隐患、减少能耗和碳排放；
-分析事故原因、事故发生规律，对特殊季节、气象、洋流变化给出安全航行预警建议 方向三：船舶安全信息服务平台可行性分析与规划研究 -一方面，协助海事部门解决船舶签证取消后面临的通航监管问题，特别是“危化品” 监管与风险预警；
船舶轨迹的数据库查询结果截图
Target_history 目标历史轨迹
target_fresh 当前目标位置
历史
Zone_history 历史区域分布统计
当前
Zone_cash 当前区域分 布统计
已有船舶定位AIS数据300亿条， 时间跨度从2012-2014年，至 少包括下列相关字段： Shipid : 船舶ID nav_status: 状态 rot: 转向率 sog: 速度 pos_acc: 定位设备精确度 longitude: 纬度 latitude: 经度 cog: 航向 true_head: 船首向 eta: 预计到达时间 destid: 目的港ID srcid: 数据源标识 distance: 到目的港剩余距离 speed: 平均航速
交通中心副主任。2011年入选上海市东方学者，2012 年起任上海海事大学特聘教授，博士生导师。
于 2011-2012 年担任美国能源部车辆科技项目评审专 家。 从事海事传感网，港航智能交通与货运节能减排方向 的研究。
车、船、人监控融合平台 徐凯 kernxu@gmail.com
Leabharlann Baidu
通用目标监测系统 Generic Target Monitoring System, GTMS 构成： 1、采集装置； 2、传输协议MTP和网络； 3、分布式数据存储架构； 4、海量数据查询； 5、图形可视化和大数据分析。
通科学数据共享网” 的航运数据共享平
台的建设工作。 “中国航运数据库”获得2014年度“中 国航海学会科学技术奖”三等奖。 交科院关于邀请参加交通科 学数据共享平台理事会的函 《中国航运数据库》软件著作权证书
使用单位发来感谢信
毕业于北京大学（物理学士， 1996 ），爱荷华大学
（城市与区域规划硕士，经济学硕士，1998），及伯
克利加州大学（土木与环境工程工程博士交通工程方 向，2004）。李博士2004-2005年在伯克利加州大学 交通研究所从事博士后研究，2005年起任助理研究工
程师， 2006 年 -2011 年出任伯克利加州大学未来城市
2008.7.14：挂牌成立 2009.1：正式入驻虹口霍山路150号 2009.10：发起成立“上海地区航运业界航运组织联席会议” 2010：成为“上海国际航运中心推进小组成员单位” 2010.3：加入“交通运输部水运经济运行分析”工作组 2011.12：在交通运输部科学研究院成立“航运研究中心北京分中心” 2012：成为上海市第一批“上海高校知识服务平台” 2012.8.10：交通运输部和上海市人民政府在沪签署《交通运输部、上海市政府 加快推进国际航运中心建设深化合作备忘录》，明确共同支持上海国际航运研 究中心的发展 2011.3：与香港理工大学万邦曹文锦海事图书馆和研发中心、香港万邦航运发 展基金会共同成立沪港国际航运研发与交流中心 2013.6：上海市建交委与上海海事大学签署战略合作协议，明确航运研究中心 为“共建单位” 2013.8：加入“交通数据共享平台”理事会 2014.2：列入上海高校人文社会科学重点研究基地建设计划 2014.9：成为“上海市协同创新中心—上海国际航运协同创新中心”
【虹口区：中国航运数据库机房】 【临港新城：上海海事大学机房】
时空数据采用Key-Value型NoSQL数据库存储； 基于Key-Value型NoSQL数据库进行存储Casandra实现 分布式存储；
历史数据既不删除、也不转存，而是全部数据在线，可以
方便的进行单船历史轨迹回放、区域历史场景回放，更容 易开展大数据分析。
还有缺什么？ 例如： 主机功率； 辅机功率； 吃水深度； 碳排放量；
耗油量；
货种； ……
右边这些AIS没有，但是
我们的系统设计了。
数据去重 卫星数据和岸基数据的融合，重复数据在特定时间窗口内通过树状结 构的分类来去重。
检测和处理错误数据 利用统计分析或人工智能的方法检测属性可能的错误值或异常值，并 做丢弃处理，不做恢复。
时任交通运输部副部长徐祖远、上海市副市长沈骏共 同为“上海国际航运研究中心”揭牌
上海国际航运研究中心第一届理事长单位： 中国海运（集团）
上海国际航运研究中心第二届理事长单位： 上海国际港务（集团） 上海国际航运研究中心挂靠单位（常务副理事长单位）： 上海海事大学
常务副市长杨雄向黄有方校长授予“上海海事大学上海 高校知识服务平台—上海国际航运研究中心”的铜牌
数据压缩 由于大数据传输、计算过程中涉及的数据量巨大，因此又必须要研究 性能良好、失真率低的数据压缩算法。主要采用改进的道格拉斯-普克算 法。
由4块55寸 1080P液晶显 示屏拼接成的 大屏幕，拼缝 小于6mm。
方向一：港航统计指标大数据分析 包括：交通量预测（含道路通行量、航道通行量、港口吞吐量等预测）、流向统计和 预测（含运输路径、航线、货流方向等聚类分析）、运输需求量、运行效率分析等；
MTP分为动态报文和静态报文
支持多种监控对象
除了移动情况外，还可以监控其它状态
MTP
MTP协议基于UDP/IP协议
实验室存储了全球过去3年的船舶轨迹数据，大约300多亿条数据； 汇集了全球AIS基站数据和卫星AIS数据，每分钟新增约2-3万条数据； 2015年，上海航运中心建设重点任务：搭建适合港航领域大数据存 储和分析的实验环境，建立港航大数据实验室。（上海市交通委员会）
使用单位开具应用证明
从事港航信息化、物联网、人工智能算法等方面的科研工作，主讲 《物联网导论》课程。参与申请软件著作权7项，发明专利1项，出版 专著《大数据时代的航运信息平台》，以第一作者发表学术论文4篇， 参与发表论文十余篇。
嵌入式开发经验：集装箱监控黑匣子（图）、FluxGate磁强监测仪； 云计算与大数据：中国航运数据库、港航大数据实验室； 其它信息系统：《航运手机报》、《舟山港务局指挥中心船舶监控项 目》、《云南省海事局内河船员管理系统开发项目》、《南极中山站 远程监控系统项目》、《中国航运景气指数问卷调查系统》等项目。
存储
分析
港航大 数据
加工
展现
底层硬件支持采用基于主机池概念的私有云计算技术 可随时根据需要动态调整分配的系统资源，包括CPU、内 存、存储及网络带宽。基于XenServer的虚拟化技术，服
务器物理主机失效后，也可自动转移到另外一台备用的服
务器主机上，提供了高可靠性服务。
搭建了私有云计算环境 实现了异地数据备份
中国港口协会； 交通运输部水运科学研究院 交通运输部科学研究院； 交通运输部规划研究院； 上海航运交易所； 上海船东协会； 上海货代协会
上海市教育委员会； 上海市交通委员会； 上海海事局； 上海市虹口区人民政府； 上海组合港管委会办公室
中国数据量最大的“中国航运数据库”
入库指标数据400余种 入库数据量达2,000,000余条 注册企业达1200余家
搭建了由产学研各方构成的理事会
由22家理事长、副理事长单位 的负责人组成了理事长会议
院校
企业
相关 机构
政府
上海海事大学； 上海交通大学； 上海外贸学院； 宁波大学； 世界海事大学
上海国际港务（集 团）股份有限公司； 中国海运（集团） 总公司； 中远集装箱运输 有限公司； 中外运华东公司； 上海市锦江航运有 限公司
-另一方面，为船舶航行全程提供全程一体化安全信息服务，在提高海事服务水平方便 船舶驾驶的同时，采集海事所需的监管数据。
上海国际航运研究中心于2008年7月初创，时任上海 市委副书记、市长韩正发来贺信，时任交通运输部副部长 徐祖远、上海市副市长沈骏共同为“研究中心”揭牌 上海国际航运研究中心由上海海事大学、上海市教育 委员会、上海市建设交通委、上海市交通港口局、上海市 虹口区人民政府等21家单位共同发起
方向二：基于大数据的船舶安全航行预警技术研究
-根据基于AIS数据和电子海图，分析港口拥塞情况，并给船舶航行航速建议，以便减 少事故隐患、减少能耗和碳排放；
-分析事故原因、事故发生规律，对特殊季节、气象、洋流变化给出安全航行预警建议 方向三：船舶安全信息服务平台可行性分析与规划研究 -一方面，协助海事部门解决船舶签证取消后面临的通航监管问题，特别是“危化品” 监管与风险预警；
船舶轨迹的数据库查询结果截图
Target_history 目标历史轨迹
target_fresh 当前目标位置
历史
Zone_history 历史区域分布统计
当前
Zone_cash 当前区域分 布统计
已有船舶定位AIS数据300亿条， 时间跨度从2012-2014年，至 少包括下列相关字段： Shipid : 船舶ID nav_status: 状态 rot: 转向率 sog: 速度 pos_acc: 定位设备精确度 longitude: 纬度 latitude: 经度 cog: 航向 true_head: 船首向 eta: 预计到达时间 destid: 目的港ID srcid: 数据源标识 distance: 到目的港剩余距离 speed: 平均航速
交通中心副主任。2011年入选上海市东方学者，2012 年起任上海海事大学特聘教授，博士生导师。
于 2011-2012 年担任美国能源部车辆科技项目评审专 家。 从事海事传感网，港航智能交通与货运节能减排方向 的研究。
车、船、人监控融合平台 徐凯 kernxu@gmail.com
Leabharlann Baidu
通用目标监测系统 Generic Target Monitoring System, GTMS 构成： 1、采集装置； 2、传输协议MTP和网络； 3、分布式数据存储架构； 4、海量数据查询； 5、图形可视化和大数据分析。