浙江大学-刘仁义-浙江大学地理空间大数据创新技术及应用
海洋遥感数据一体化管理方法
相结合的数据高效安全传输实现方法,分析了双效数据库连接池机制,并提出了结合动态数据文件
生成与可视化缓冲技术的海洋遥感数据高效可视化策略.系统运行实例结果表明:该系统能够支持
分布式异构数据库,支持多用户的并发操作,具有较高的安全性和与客户端平台无关等优点.
关键词:海洋遥感数据;地理信息系统;一体化管理
摘 要:将WebGIS、空间数据存取、网络传输等技术引入海洋光学遥感数据一体化管理中,设计
了面向海洋遥感数据的速报地理信息系统(GIS).系统集成了数据自动批量入库、数据批量自动远
程分发、空间数据可视化实时发布等功能模块,具备海洋遥感数一体化管理功能和数据网络实时发
布功能.同时,研究了海洋遥感数据存取方法,探讨了将数据加密验证与Java Socket网络通信技术
中图分类号:TP 311.52;TP 79
文献标识码:A
Study on Integrated Management of Marine Remote Sensing Data
TENG Long—meil”,LIURen—yi 2。L工【,Nan2 (1.Zhejiang Land Surveying&Planning Institute,Hangzhou 310007,China; 2.Department of Geographic Information System,Zhejiang University,Hangzhou 310027,China)
.塑墅燮≯‘ 在固定位置检测、 l●生…成…列~表 ’’文’件
读取列表文件I 并预分类 I
每
读取文件存储至对应 元数据表,成对数据入库
在对应元数据表中插入 文件名,数据入库
N
\/ 否遍历列表?
浙大计算机学院各大实验室介绍
国际学术前沿,大力开展原始性创新研究及应用集成开发研究,使实验室成为具有国际影响
的计算机辅助设计与图形学的研究基地、高层次人才培养的基地、学术交流的基地和高技术
的辐射基地。
近二十年来,实验室依托浙江大学计算机、数学、机械 等学科,作为项目 负责单位先后
承担了一批国家级科重大研项目和国际合作项目,在计算机辅助设计与图形学的基础研究和
系统集成等方面取得了一批重要成果,其中多项成果获国家奖励,并形成了一支学风正派、
勤奋踏实、勇于创新的学术队伍。实验室积极推进国际合作,与美国、德国、英国、法国、
日本等国外相关研究机构展开了广泛的学术合作和交流,产生了较大的国际学术影响,曾被
国际权威期刊 SCIENCE 列为中国 TOP-LEVEL 国家重点实验室。实验室曾两次获得由国家
More Information only in 天勤论坛
更 多 惊 喜 , 更 多 内 幕 !!
天勤论坛: 一:实验室及导师介绍
天道酬勤,厚德载物
浙大大大小小总共有 15 个实验室和团队。大部分的导师会以团队或者实验室的形式在 一起工作,也有个别的导师单干。浙大各实验室工程居多,也有搞科研,发论文的。
天勤论坛:
天道酬勤,厚德载物
浙江大学实验室及导师介绍
Version Last Update
——师兄师姐们的现身说法
1.2 20110505
天道酬勤,厚德载物!
More Information only in 天勤论坛
更 多 惊 喜 , 更 多 内 幕 !!
天勤论坛:
天道酬勤,厚德载物
这里所列的是一些比较大的实验室和部分导师的信息,更加详细的实验室和导师介绍我
们会在复试前组织复试交流会,到时我们会请更多的师兄师姐与大家当面交流,解答大家关
SDE影像数据存储
收稿日期:2004-03-10;修返日期:2004-05-22基金项目:国家“863”计划资助项目(2001AA630301);国家自然科学基金项目(40271087);浙江省自然科学基金项目(401006)基于SDE API 的影像数据高效存储研究*沈林芳,刘仁义,刘 南(浙江大学地理信息科学研究所,浙江杭州310028)摘 要:对于目前与日俱增的影像数据,难以实现快捷高效的管理存储,应有更有效的管理方法来满足目前应用需要。
阐述了SDE 中影像数据存储机理。
在此基础上,分析了用API 开发影像管理系统时,存储影像数据的关键技术,并给出了实现代码。
关键词:SDE;API;影像数据;关系型数据库中图法分类号:TP391.41 文献标识码: A 文章编号:1001-3695(2005)02-0024-02S tu dy of Efficien tly St ora gin g Im ages Dat a Based on S DE AP ISHE N Lin-fa ng,LIU Ren-yi,LIU Na n(Institute of G eographic Inform ation S cience Resear ch,Zhejiang Univers ity,Hangzhou Zhejiang 310028,China)Abst ract :With the developm ent of rem ot e sens ing technolog y,im ag es dat a are becom ing bigg er and big ger at present .It is difficult t o rea lize t he st orag e a nd m a na gem ent of t he m ass iv e dat a.Thus,we need an efficient m anag em ent to m eet the a ppli-cat ion dem a nd.Bas ed on t he resea rch of architect ure a nd principle of ArcSDE for im ag es dat a,the paper focuses on t he key t echnology of storag ing im a ges da ta a nd the codes a re g iv en.Key words:S DE ;AP I;Im a ges Da ta;Rela tional Da taba se1 引言由于影像数据具有直观和信息量丰富等特点,在地质勘探、海洋监测等领域里备受青睐。
【专业名称】地理学
【专业名称】地理学
【专业代码】070500
【内容简介】培养具有坚实的地理科学理论基础的专业知识,了解本学科的发展动向,掌握地理学的理论研究方法和实际应用开发技术;具有独立开展本学科领域内科学研究、大学教学或独立担负专门技术工作的能力;具有较强的综合能力,包括创新能力、分析问题与解决问题的能力,语言表达能力及写作能力;从事地理信息系统应用开发、区域发展及规划、房地产投资及评估、旅游资源评价及规划、土地利用及管理等方面的高层次管理及技术人才。
【研究所(或实验室)】地理信息科学研究所(浙江省GIS重点实验室)、资源环境与城乡规划研究所
【研究方向】GIS软件研发及应用,海洋遥感与GIS,土地资源规划与利用,旅游规划,历史地理等。
【学科带头人】刘南、刘仁义、欧阳安蛟、金平斌
【主干课程】地理信息系统科学导轮、地图设计与研究、土地资源与管理、房地产市场分析方法、不动产估价理论与实务、GIS程序设计、投资项目可行性研究、旅游规划与设计。
全球化视野下的遗产保护与利用研究、城市化进程中的行政区划改革研究、遥感图像处理与分析等。
【特色课程】
【主要实践性教学环节】GIS编程实践、旅游规划设计、土地评估、社会调查等一般安排3-4周
【修业年限】硕士2.5年,博士3年,硕博连读:5年
【授予学位】理学硕士,理学博士
【就业流向】研究所、高校、政府相关机构、评估所、公司等。
浙江大学地理信息专业
浙江大学地理信息专业
本专业培养适应数字地球空间信息时代和我国社会主义市场经济需要,德智体全面发展,掌握地理信息科学和地理信息系统(GIS)技术的基本理论、知识和技能,能在GIS高科技领域进行应用系统开发的高级技术人才,和能在科研机构、高等学校、企事业单位和行政管理部门从事相关科研、教学和管理等工作的高级专门人才。
地理信息系统专业可授工学和理学两种学士学位。
培养要求
鉴于该专业为地学、计算机和信息科学等之间的交叉学科,要求学生一方面掌握地学(主要是地理和测绘科学)的基础知识,了解其主要精髓,另一方面要求学生掌握较多的计算机和信息科学基础知识、技能、程序设计和应用开发能力;在此基础上,要求学生掌握GIS理论和技术的基本原理、方法和技能,了解其前沿研究、应用前景和最新发展;该专业特别强调GIS应用开发的动手能力和实践能力的训练,并能将所学应用于资源、环境和区域管理的科学化、自动化实践中,具有在GIS高科技领域进行应用系统开发的能力。
专业核心课程
地理信息系统、遥感与图像处理基础、测量技术与实践、地理信息系统与网络技术、地理空间数据库、GIS程序设计、GPS原理与应用、地理信息科学前沿、自然地理学、地理信息系统新技术研讨
教学特色课程
双语教学课程:地球科学进展、地理信息科学前沿
原版外文教材课程:遥感与图像处理基础
讨论型课程:地理信息系统新技术研讨
自学型课程:文献阅读
计划:4年毕业最低学分160+4+5授予学位理学学士
3。
浙江大学学报(理学版)2020第47卷1~6期目录索引
目录索引(理学版)2020第47卷1~6期作者期页题目•人工智能与可视计算•在线社交网络控制实验的现状与展望…………………金诚,江婷君,闵勇,金小刚,葛滢,常杰11一种基于主题时空价值的服务器端瓦片缓存算法……陆晔,张伟,李飞,杜震洪,张丰,刘仁义112DenseNet -centercrop:一个用于肺结节分类的卷积网络………………………………………………刘一璟,张旭斌,张建伟,周哲磊,冯元力,陈为120基于排名学习和多源信息的地图匹配方法………………卢家品,罗月童,黄兆嵩,张延孔,陈为127面向仿真数据的电网运行方式可视分析……………………赵喆,张天野,黄彦浩,郑文庭,陈为136基于着色模型实时构造的海洋流场动态流线可视化方法研究…………………………………………………………嵇晓峰,张丰,王中一,杜震洪,刘仁义145交通事故的时空热点分析…………………………刘尧,王颖志,王立君,张丰,杜震洪,刘仁义152•文字与计算•基于多源异构数据的甲骨学知识图谱构建方法研究……………………熊晶,焦清局,刘运通2131网络驱动的未识甲骨字特性及场景语义预测………………………………………焦清局,刘永革,仇利萍,金园园,熊晶,刘国英,高峰2142•文化计算•文化遗产数字化展示与互动技术研究与进展…………………潘志庚,袁庆曙,陈胜男,张明敏3261基于图像的二维剪纸自动生成方法………………陈佳舟,王宇航,Amal Ahmed Hasan Mohammed ,黄可妤,卢周扬,彭群生3274基于故事情景链语法的偶动画短片分析与建模…………宋建文,罗江林,王博,张倩,王献悦3284对流失海外的克孜尔石窟壁画的数字化复原探索………………………赵莉,翁子扬,胡译丹6651苗族服饰色彩体系构建研究………………………………………………………赵海英,银宇堃6660基于规则学习的传统纹样统一生成模式研究…………………李华飙,侯小刚,王婷婷,赵海英6669•数字书法•数字书法生成方法……………………………………………………弓彦周,李猛,王健,黄卫星4391云端结合的书法大数据平台………………………杨颐,李国清,王健,王海军,翟翊辰,黄卫星4397•数学与计算机科学•完全二部图K 10,n (215≤n ≤466)的点可区别E -全染色………………包丽娅,陈祥恩,王治文160广义拟Sugeno 积分的次可加性和自连续性………………………………………………李艳红167时间尺度上二阶拟线性阻尼动力方程的振动性分析……………………………李继猛,杨甲山172一个带权函数的拟线性椭圆方程的有界弱解………………………………………………李仲庆177关于两个单形顶点的距离、侧面积及体积的不等式及其应用……………………………陈士龙181多圆柱上加权Bergman 空间到Bloch 型空间的加权Cesàro 算子………………………………………………………………赵艳辉,廖春艳,邓春红,吴修云2151一类完全四阶边值问题解的存在性………………………………………………陈雪春,李永祥2155具正负系数和多变时滞的高阶微分方程的振动性……………………覃桂茳,刘玉周,杨甲山2159广义矩阵代数上的一类局部非线性三重可导映射………………………费秀海,戴磊,朱国卫2167II浙江大学学报(理学版)第47卷NSD序列生成的移动平均过程的矩完全收敛性…………………………………高云峰,邹广玉2172三次DP曲线定义区间的扩展及其形状优化………………………………张迪,查东东,刘华勇2178基于高斯混合模型的肿瘤纯度估计………………………………………………闫占正,李玉双2191一个算术函数及其有关的恒等式……………………………………………………………沈慧津3297几类整循环图的秩的界………………………………………………………………………周后卿3301一般齐次核Hardy-Mulholland型不等式…………………………………黄启亮,杨必成,王爱珍3306纽结理论在数论中的应用……………………………………………………………………陶志雄3312左删失恒定应力部分加速寿命试验下逆Rayleigh分布的参数估计………………龙兵,张忠占3315基于同构理论的三支概念格的构造方法与算法研究………………………钱婷,赵思雨,王军涛3322基于语义相似度与XGBoost算法的英语作文智能评价框架研究…………………吕欣,程雨夏3329考虑决策者后悔规避的瓦斯爆炸案例决策方法………………………………………郑晶,张恺3337关于伯努利多项式和Dirichlet L-函数的均值问题…………………………………………张艺雪4435具非正中立项的二阶非自治延迟动态系统的动力学性质研究…………………李继猛,杨甲山4442带振荡随机力的大尺度海洋三维原始方程组对边界参数的连续依赖性…………………李远飞4448计算OWA算子权重的最小最大不一致方法及讨论………………………………张晓慧,冯源4455奇异摄动问题在修正的Bakhvalov-Shishkin网格上的混合差分格式………郑权,刘颖,刘忠礼4460浙江大学函数论学派1928—1950年的学术贡献……………………………薛有才,刘炜,彭佳5521短区间中整数及其逆的分布…………………………………………………………赵艳,吕星星5531一类分数阶p(x)-拉普拉斯方程的多重解…………………………………………………张申贵5535有界线性算子的Weyl定理的判定…………………………………………………王静,曹小红5541 D*-度量空间广义弱压缩映射的不动点定理………………………………………张瑜,薛西锋5548一个R2上含双曲函数核的Hilbert型不等式………………………………………有名辉,孙霞5554 END随机变量序列移动平均过程的极限性质……………………………宋明珠,邵静,刘彩云5559虚拟场景中图形化交互组件的深度冲突缓解研究……………………吕德生,孙煜超,王嘉忆5564有限群共轭类长度的一点注记……………………………………………………徐向阳,李样明6677一类高阶非线性非自治动态方程的动力学性质……………………………………张萍,杨甲山6681有界线性算子的限制及其谱性质…………………………………………………陈俐宏,苏维钢6687两参数拉普拉斯BS疲劳寿命分布的统计分析…………………………徐晓岭,顾蓓青,王蓉华6691直觉正态模糊数Choquet积分算子及其决策应用………………………常娟,杜迎雪,刘卫锋6705•电子科学•基于RTD的三变量特征阈值逻辑门及通用阈值逻辑门设计……………姚茂群,冯杰,王竹萍186•化学•高效液相色谱手性固定相法拆分BETTI碱及其衍生物对映体……………………支明玉,朱岩195阳离子交换皂石黏土在基质辅助激光解吸电离飞行时间质谱分析中的应用……………………………………………………………………丁宇琦,朱价,周霞,罗金文4469气相环境下丙氨酸Ca2+配合物的手性转变机理及水分子的催化作用………………………………………徐锐英,刘芳,马宏源,张雪娇,潘宇,杨晓翠,王佐成5630•环境科学•反渗透淡化水调质稳定性及健康性实验研究………………武云霞,赵丹,陈莎莎,张平,杨岳平1101饮用水中三氯甲烷与其他氯消毒副产物在活性炭上的吸附竞争研究……………………………………………………………张平,杨岳平,赵丹,武云霞,陈莎莎1107泉州湾滨海退化湿地红树林修复工程对土壤酶活性的影响………………………………李云桑,党玮,郭沛涌,洪怡萍,单子轩,万媛宁,陈晓霞,邓俊5624•地球科学•基于SEM模型的轨道交通对住宅价格的空间效应——以杭州市为例…………冯友建,陈天一1115土地城镇化与公共品供给之间的协调发展度评价………………张娟锋,俞婷,张丹霞,赵国超1123基于神经网络集合预报的台风路径预报优化……………………周笑天,张丰,杜震洪,刘仁义2196III 第6期浙江大学学报(理学版)总目录明代生命损失型地震的时空分布特征及成因分析………………………殷田园,殷淑燕,李富民2203虚拟震源测深法及其在INDEPTH-3台阵中的应用…………………………………………江洋2218西北太平洋表层沉积物地球化学特征及其物源指示意义……………………………………………邱忠荣,马维林,张霄宇,董彦辉,章伟艳,杨克红3345青海乐都断层气氡的年变异常特征分析……………………刘磊,李霞,赵玉红,冯丽丽,马茹莹3355 1961—2018年我国气温日较差日数的时空演变特征及区域差异…………………………孔锋4422倾斜固体潮及其组合信息与强震响应特征分析…………苏维刚,马震,冯丽丽,赵玉红,孙玺皓4484东海区海岸带景观格局变化对生态系统服务价值的影响………………………………童晨,李加林,叶梦姚,童亿勤,田鹏,王丽佳,刘瑞清,周子靖4492基于空间自回归神经网络模型的空间插值研究………曾金迪,张丰,吴森森,杜震洪,刘仁义5572福建登陆北上台风对杭州影响的对比分析………………沈杭锋,崔洁,刘敏,方桃妮,陈光宇5582对风廓线雷达和L波段雷达探空观测的水平风场的一致性评估………………………………………………………王丽吉,陈晔峰,吴书成,高祝宇,杨程5593野外砾石统计方法的应用与对比…………………………………黄佳轮,安凯旋,陈汉林,吴磊5601 1995—2015年关中平原城市群生态系统服务价值(ESV)及其时空差异…………张艳芳,李云5615基于多尺度学习与深度卷积神经网络的遥感图像土地利用分类…………王协,章孝灿,苏程6715基于PI法的门源M S6.4地震前震中附近地震热点图像异常变化研究…………………………………………………………………余娜,张晓清,袁伏全,杨晓霞6724•城市科学•基于加权流量介数中心性的路网脆弱性分析——以无锡市为例…………………………………………………………………杜佳昕,张丰,杜震洪,刘仁义2223基于类型化的城市地铁站点用地开发研究…………………………………………饶传坤,高雪2231浙江省对美投资民营企业的时空格局演变及其影响因素…………………………韩佳祥,陈瑛3370基于CEEMD的重大事件对香港住宅价格影响的实证分析………………………张凌,杨霖尊3380更新视角下的上海近郊型工业园区公共活动空间网络构建………………………郑立南,王云6762基于文化距离视角的美国OFDI区位选择研究…………………………罗钦方,陈瑛,颜洁花6771•旅游学•湖北省国内旅游规模均衡分布了吗?——位序-规模法则对高首位度区域的适用分析…………………………………………………………………………………朱海艳,孙根年2244国际旅游扶贫研究进展与知识演化………………………………………………王金伟,张丽艳4408游客情感计算的文本大数据挖掘方法比较研究……………………………李君轶,任涛,陆路正4507一种基于百度指数的城市日游客规模预测方法……任欢,刘婷,康俊锋,潘宁,李敏靓,艾顺毅6753•海洋科学•鱼雷锚在钙质砂床中的贯入深度研究………………………………………王呈,陈晓辉,喻国良2253一种新型贝壳基质蛋白的重组表达与功能分析…………………………………………孙琦,姜雨婷,徐焕志,申望,张晓林,范美华,廖智6730•生命科学•小黄鱼和棘头梅童鱼肌肉营养成分分析及品质评价…………高学慧,张小军,余海霞,俞超超3362蛋清溶菌酶基因的密码子优化及其在毕赤酵母中的分泌表达…………………………………………………………张赛南,施柳佳,廖志银,王珍,王首锋4476浙江大戟科植物新资料……………………………………………张芬耀,陈锋,谢文远,陈征海6743浙江槭属植物新记录…………………………………………陈林,林坚,雷祖培,谢文远,陈锋6749•其他•大型公共建筑工程质量保险纯费率厘定研究——基于GLM及GAM的实证比较分析………………………………………………………………盛金喜,李慧民,段品生,郭海东5642Subject Index(Science Edition )Vol.47No.1~6,2020IssuePage Thesis No.No.Author Journal of Zhejiang University•Artificial Intelligence and Visual Computation •Review of control experiments on online social networks……………………………JIN Cheng ,JIANG Tingjun ,MIN Yong ,JIN Xiaogang ,GE Ying ,CHANG Jie 11A server -side tile caching algorithm based on theme temporal and spatial value……………………………………LU Ye ,ZHANG Wei ,LI Fei ,DU Zhenhong ,ZHANG Feng ,LIU Renyi 112DenseNet -centercrop :A novel convolutional network for lung nodule classification………………LIU Yijing ,ZHANG Xubin ,ZHANG Jianwei ,ZHOU Zhelei ,FENG Yuanli ,CHEN Wei 120An information fusion map matching method based on ranking learning……………………………LU Jiapin ,LUO Yuetong ,HUANG Zhaosong ,ZHANG Yankong ,CHEN Wei 127Simulation -based visual analysis of power grid operation mode……………………………ZHAO Zhe ,ZHANG Tianye ,HUANG Yanhao ,ZHENG Wenting ,CHEN Wei 136Research on dynamic streamline visualization of ocean flow field with real -time construction of coloring model ……………………………………JI Xiaofeng ,ZHANG Feng ,WANG Zhongyi ,DU Zhenhong ,LIU Renyi 145Spatial -temporal hotspots analysis on traffic accidents………………………LIU Yao ,WANG Yingzhi ,WANG Lijun ,ZHANG Feng ,DU Zhenhong ,LIU Renyi 152•Character Computing •Oracle bone studies knowledge graph construction based on multi -source heterogeneous data ………………………………………………………………………XIONG Jing ,JIAO Qingju ,LIU Yuntong 2131Network -driven prediction of unknown oracle character ’s features and scene semantics…………JIAO Qingju ,LIU Yongge ,QIU Liping ,JIN Yuanyuan ,XIONG Jing ,LIU Guoying ,GAO Feng 2142•Cultural Computation •State of the art on the digital presentation and interaction of culture heritage…………………………………………PAN Zhigeng ,YUAN Qingshu ,CHEN Shengnan ,ZHANG Mingmin 3261Image -based automatic generation of 2D paper -cuts …………………………………………………CHEN Jiazhou ,WANG Yuhang ,Amal Ahmed Hasan Mohammed ,HUANG Keyu ,LU Zhouyang ,PENG Qunsheng 3274Analysis and &modeling of short film about puppet animation based on the grammar of story scenario -chain …………………………………SONG Jianwen ,LUO Jianglin ,WANG Bo ,ZHANG Qian ,WANG Xianyue 3284The exploration on digital restoration of Kizil Grottoes murals lost abroad…………………………………………………………………………ZHAO Li ,WENG Ziyang ,HU Yidan 6651V 第6期浙江大学学报(理学版)总目录Study on the construction of the Miao’s costume color system………………………ZHAO Haiying,YIN Yukun6660 An unified generation scheme of traditional patterns based on rule learning……………………………………………LI Huabiao,HOU Xiaogang,WANG Tingting,ZHAO Haiying6669•Digitul calligraphy•Digital calligraphy generation method………………GONG Yanzhou,LI Meng,WANG Jian,HUANG Weixing4391 O2O service-based Chinese calligraphy big data platform…………………YANG Yi,LI Guoqing,WANG Jian,WANG Haijun,ZHAI Yichen,HUANG Weixing4397•Mathematics and Computer Science•Vertex-distinguishing E-total coloring of complete bipartite graph K10,n with215≤n≤466……………………………………………………………………BAO Liya,CHEN Xiangen,WANG Zhiwen160 The subadditivity and autocontinuity of the generalized quasi Sugeno integral……………………………LI Yanhong167 Oscillation analysis of second-order quasilinear damped dynamic equations on time scales…………………………………………………………………………………………LI Jimeng,YANG Jiashan172 Bounded weak solutions to a quasi-linear elliptic equation with weight function…………………………LI Zhongqing177 Inequlities for vertex distances and face areas and volumes of two simplexes with applications………CHEN Shilong181 Extended Cesàro operators from weighted Bergman space to Bloch-type spaces on the unit polydisk………………………………………………ZHAO Yanhui,LIAO Chunyan,DENG Chunhong,WU Xiuyun2151 Existence of solutions for a class of fully fourth-order boundary value problems……CHEN Xuechun,LI Yongxiang2155 Oscillation of higher order differential equations with positive and negative coefficients and multiple variable delays ……………………………………………………………………QIN Guijiang,LIU Yuzhou,YANG Jiashan2159 A class of local nonlinear triple derivable maps on generalized matrix algebras………………………………………………………………………………FEI Xiuhai,DAI Lei,ZHU Guowei2167 Complete moment convergence for moving average processes generated by NSD sequences……………………………………………………………………………………GAO Yunfeng,ZOU Guangyu2172 Interval extension of the cubic DP curve and its shape optimization…ZHANG Di,ZHA Dongdong,LIU Huayong2178 Tumor purity estimation based on Gaussian mixture model…………………………YAN Zhanzheng,LI Yushuang2191 An arithmetical function and related identity………………………………………………………………SHEN Huijin3297 Bounds of rank for some integral circulant graphs……………………………………………………ZHOU Houqing3301 A Hardy-Mulholland-type inequality with the general homogeneous kernel……………………………………………………………HUANG Qiliang,YANG Bicheng,WANG Aizhen3306 An application of knot theory in number theory…………………………………………………………TAO Zhixiong3312 Parameter estimation of inverse Rayleigh distribution for constant-stress partially accelerated life tests with left censoring………………………………………………………………………LONG Bing,ZHANG Zhongzhan3315 Research on construction methods and algorithms of three-way concept lattices based on isomorphism theory ………………………………………………………………………QIAN Ting,ZHAO Siyu,WANG Juntao3322 A study of automated English essay evaluating framework based on semantic similarity and XGBoost algorithm…………………………………………………………………………………………LYU Xin,CHENG Yuxia3329 Case-based decision method for gas explosion considering decision maker′s regret aversion…………………………………………………………………………………………ZHENG Jing,ZHANG kai3337 On the Bernoulli polynomials and mean square value of the Dirichlet L-functions……………………ZHANG Yixue4435VI浙江大学学报(理学版)第47卷Study on the dynamical properties of second-order nonautonomous delay dynamic equations with nonpositive neutral coefficients……………………………………………………………………………LI Jimeng,YANG Jiashan4442 Continuous dependence on the boundary parameter for the3D primitive equations of large scale ocean under oscillating random force……………………………………………………………………………………………LI Yuanfei4448 Minimax disparity model for obtaining OWA operator weights:Issues of multiple solutions…………………………………………………………………………………ZHANG Xiaohui,FENG Yuan4455 The hybrid finite difference schemes on the modified Bakhvalov-Shishkin mesh for the singularly perturbed problem …………………………………………………………………………ZHENG Quan,LIU Ying,LIU Zhongli4460 An investigation on contributions from the school of function theory in Zhejiang University from1928to1950………………………………………………………………………………XUE Youcai,LIU Wei,PENG Jia5521 Distribution of an integer and its inverse in a short interval……………………………ZHAO Yan,LYU Xingxing5531 Multiple solutions of a class of fractional p(x)-Laplacian equations………………………………ZHANG Shengui5535 The judgement of Weyl’s theorem for bounded linear operators……………………WANG Jing,CAO Xiaohong5541 Fixed point theorems for generalized weakly contractive maps in D*-metric spaces……ZHANG Yu,XUE Xifeng5548 A Hilbert-type inequality defined on R2with the kernel involving hyperbolic functions…YOU Minghui,SUN Xia5554 Limiting properties of moving average processes for END random variable sequence……………………………………………………………………SONG Mingzhu,SHAO Jing,LIU Caiyun5559 Research on depth conflict reduction of graphical interactive components in virtual scenes……………………………………………………………………LYU Desheng,SUN Yuchao,WANG Jiayi5564 A note on the length of conjugacy classes of finite group……………………………XU Xiangyang,LI Yangming6677 Dynamical properties of certain higher-order nonlinear nonautonomous dynamic equations……………………………………………………………………………………ZHANG Ping,YANG Jiashan6681 Restrictions of bounded linear operators and their spectral properties…………………CHEN Lihong,SU Weigang6687 Statistical analysis of two-parameter Laplace BS fatigue life distribution…………………………………………………………………XU Xiaoling,GU Beiqing,WANG Ronghua6691 Intuitionistic normal fuzzy number Choquet integral operators and their application on decision making……………………………………………………………………CHANG Juan,DU Yingxue,LIU Weifeng6705•Electronic Science•Design of three-variable characteristic threshold logic gates and universal threshold logic gates based on RTD ……………………………………………………………………YAO Maoqun,FENG Jie,WANG Zhuping186•Chemistry•Enantioseparation of Betti bases on chiral stationary phase by HPLC………………………ZHI Mingyu,ZHU Yan195 Cation-exchanged smectite layers for matrix-assisted laser desorption/ionization mass spectrometry analysis ………………………………………………………………DING Yuqi,ZHU Jia,ZHOU Xia,LUO Jinwen4469 Chiral transition mechanism of Ala and Ca2+complexes in gas phase and catalysis of water molecules…XU Ruiying,LIU Fang,MA Hongyuan,ZHANG Xuejiao,PAN Yu,YANG Xiaocui,WANG Zuocheng5630•Environmental Science•Study on stability and health of mineralizerd reverse osmosis desalted permeat…………………………………WU Yunxia,ZHAO Dan,CHEN Shasha,ZHANG Ping,YANG Yueping1101VII 第6期浙江大学学报(理学版)总目录Study on adsorption competition on activated carbon between chloroform and other chlorine disinfectant in drinking water…………………………ZHANG Ping,YANG Yueping,ZHAO Dan,WU Yunxia,CHEN Shasha1107 Effects of mangrove restoration on the soil enzyme activity at Quanzhou bay degraded coastal wetland……LI Yunsang,DANG Wei,GUO Peiyong,HONG Yiping,SHAN Zixuan,WAN Yuanning,CHEN Xiaoxia,DENG Jun5624•Earth Science•The spatial effect of rail transit on residential prices based on SEM model:A case study of Hangzhou……………………………………………………………………………………FENG Youjian,CHEN Tianyi1115 Evaluation of coordinated development between land urbanization and public goods supply……………………………………………ZHANG Juanfeng,YU Ting,ZHANG Danxia,ZHAO Guochao1123 Optimization of typhoon track prediction based on neural network ensemble prediction…………………………………………………ZHOU Xiaotian,ZHANG Feng,DU Zhenhong,LIU Renyi2196 Temporal and spatial distribution and cause analysis of life-loss earthquakes in the Ming Dynasty…………………………………………………………………………YIN Tianyuan,YIN Shuyan,LI Fumin2203 Virtual deep seismic sounding method and its application in Tibet………………………………………JIANG Yang2218 Geochemical characteristics of surface sediments in Northwest Pacific and their indication of material sources ………QIU Zhongrong,MA Weilin,ZHANG Xiaoyu,DONG Yanhui,ZHANG Weiyan,YANG Kehong3345 Analysis on the anomaly characteristics of fault gas radon annual variation in Ledu of Qinghai……………………………………………………LIU Lei,LI Xia,ZHAO Yuhong,FENG Lili,MA Ruying3355 Spatial and temporal variation characteristics and regional differences of days of diurnal temperature range in China from1961to2018……………………………………………………………………………………KONG Feng4422 Analysis of the correlation between the characteristics of the tilt tide and strong earthquake…………………………………………SU Weigang,MA Zhen,FENG Lili,ZHAO Yuhong,SUN Xihao4484 The effects of landscape pattern change on ecosystem services value in the coastal zone of the East China Sea …TONG Chen,LI Jialin,YE Mengyao,TONG Yiqin,TIAN Peng,WANG Lijia,LIU Ruiqing,ZHOU Zijing4492 Spatial interpolation based on spatial auto-regressive neural network………………………………………ZENG Jindi,ZHANG Feng,WU Sensen,DU Zhenhong,LIU Renyi5572 Comparative analysis of Fujian-landfall and northward-moving typhoons regrading their influence on Hangzhou …………………………………………SHEN Hangfeng,CUI Jie,LIU Min,FANG Taoni,CHEN Guangyu5582 Consistency assessment of the horizontal wind field based on the data from the wind profiler radar and the L-band upper-air meteorological sounding………………………………WANG Liji,CHEN Yefeng,WU Shucheng,GAO Zhuyu,YANG Cheng5593 Application and comparison of field gravel statistical methods………………………………………………………HUANG Jialun,AN Kaixuan,CHEN Hanlin,WU Lei5601 Ecosystem service value(ESV)and spatial-temporal difference of urban agglomeration in Guanzhong plain from1995to2015……………………………………………………………………ZHANG Yanfang,LI Yun5615 Land use classification of remote sensing images based on multi-scale learning and deep convolution neural network ………………………………………………………………………WANG Xie,ZHANG Xiaocan,SU Cheng6715 A Study on the anomalous seismic activities in the Menyuan region and its adjacent areas before the Menyuan M S6.4earthquake by the pattern informatics(PI)method………………………………………………YU Na,ZHANG Xiaoqing,YUAN Fuquan,YANG Xiaoxia6724VIII浙江大学学报(理学版)第47卷•Urban Science•Assessing vulnerability of road networks based on traffic flow betweenness centrality:A case study in Wuxi …………………………………………………………DU Jiaxin,ZHANG Feng,DU Zhenhong,LIU Renyi2223 Study on the land development around metro stations by typing:A case study of Hangzhou metro line1…………………………………………………………………………………………RAO Chuankun,GAO Xue2231 The spatio-temporal distribution pattern of Zhejiang private enterprises invested in the United States and its formation mechanism………………………………………………………………HAN Jiaxiang,CHEN Ying3370 The impact of major events on Hong Kong housing prices:A CEEMD based empirical analysis……………………………………………………………………………………ZHANG Ling,YANG Linzun3380 Public activity space network construction of Shanghai inner-suburban industrial park in a renewal view……………………………………………………………………………………ZHENG Linan,WANG Yun6762 Location choice of the United States OFDI based on cultural distance perspective………………………………………………………………………LUO Qinfang,CHEN Ying,YAN Jiehua6771•Tourism•Has the domestic tourism of Hubei province been distributed balancedly:An analysis by applying the rank-size rule to high priority regions………………………………………………………………ZHU Haiyan,SUN Gennian2244 Progress of international tourism-led poverty alleviation research……………………WANG Jinwei,ZHANG Liyan4408 A comparative study of big text data mining methods on tourist emotion computing…………………………………………………………………………………LI Junyi,REN Tao,LU Luzheng4507 A prediction method of urban daily tourist scale based on Baidu index………………………………REN Huan,LIU Ting,KANG Junfeng,PAN Ning,LI Minliang,AI Shunyi6753•Marine Science•The study on penetration depth of a torpedo anchor in calcareous sandy bed…………………………………………………………………WANG Cheng,CHEN Xiaohui,YU Guoliang2253 Recombinant expression and functional analysis of a new type of shell matrix protein………SUN Qi,JIANG Yuting,XU Huanzhi,SHEN Wang,ZHANG Xiaolin,FAN Meihua,LIAO Zhi6730•Life Science•Analysis and evaluation of the nutritional components in the muscle of Pseudosciaena polyactis and collichthys lucidus …………………………………………………GAO Xuehui,ZHANG Xiaojun,YU Haixia,YU Chaochao3362 Codon optimization of egg white lysozyme gene and its secretory expression in Pichia pastoris………………………………ZHANG Sainan,SHI Liujia,LIAO Zhiyin,WANG Zhen,WANG Shoufeng4476 New judgements on some species of Euphorbiaceae in Zhejiang……………………………………………ZHANG Fenyao,CHEN Feng,XIE Wenyuan,CHEN Zhenghai6743 New records of Acer L.in Zhejiang………………CHEN Lin,LIN Jian,LEI Zupei,XIE Wenyuan,CHEN Feng6749•Others•Research on the pure premium rate making of quality insurance for large-cale public buildings:Empirical comparative analysis based on GLM and GAM……………SHENG Jinxi,LI Huimin,DUAN Pinsheng,GUO Haidong5642。
地理信息科学专业课程思政建设的探索和实践
地理信息世界GEOMATICS WORLD 第28卷 第1期2021年2月2021.2Vol.28 No.1地理信息科学专业课程思政建设的探索和实践引文格式:王 苑,张 丰,李 睿,等. 地理信息科学专业课程思政建设的探索和实践[J].地理信息世界,2021,28(1):16-20.【摘要】人才培养是高等学校的职责和使命,教育教学要以立德树人为中心,把思想政治工作贯穿始终,实现全程育人、全方位育人。
地理信息科学对一个国家的经济社会发展与国家安全都具有十分重要的意义,地理信息科学的人才培养不仅是培养拥有一技之长的专业人才,更要具有胸怀家国的担当意识和社会责任感。
地理信息科学专业教师在传授专业知识的同时,更要着重弘扬“真善美”,培养学生的地学之爱。
课堂上讲思政,课堂下做思政,课堂后倡导思政,达成全过程、全方位协同育人的目标。
【关键词】课程思政;地理信息科学;全方位育人【中图分类号】G4 【文献标识码】A 【文章编号】1672-1586(2021)01-0016-05Exploration and Practice of Ideological and Political Education for GeographicInformation Science MajorsAbstract: Talent cultivation is the duty and mission of colleges and universities. To realize all-sided moraleducation, one should focus on morality cultivation and insist on ideological and political education in course construction. Geographic information science is of great significance to national economic, social development and national security. The education of geographic information science majors covers specialized skills, and emphasizes national identity and social responsibility. Teachers in geographic information science should stimulate students' love for their major through teaching professional knowledge and carrying forward "truth, goodness and beauty". To achieve the entire process and all-round collaborative education, the ideological and political education ,we need to carry out the ideological and political education before, in and after class.Key words: ideological and political education; geographic information science; all-round educationWANG Yuan, ZHANG Feng, LI Rui, LIU Renyi( School of Earth Science, Zhejiang University, Hangzhou 310028, China)基金项目:国家自然科学基金(41671391)、浙江大学课程思政建设项目(A20190909)、浙江大学一流本科专业综合改革项目(20200901B04)资助。
一种多源矢量空间数据的联动增量更新模型
一种多源矢量空间数据的联动增量更新模型何榕健;戴韫卓;杜震洪;张丰;刘仁义【期刊名称】《浙江大学学报(理学版)》【年(卷),期】2013(040)005【摘要】提出了一种可扩展的多源矢量空间数据的联动增量更新模型.该模型以不同来源的矢量空间数据库作为局域网中的数据节点,通过动态建立和维护不同节点的数据之间的依赖关系,并根据依赖关系信息提取和派发增量更新数据,实现了矢量空间数据节点与节点之间传递联动更新,有效地解决了依靠大量的人工更新操作去维护不同来源的国土资源矢量空间数据库之间现势性和一致性的问题.【总页数】8页(P580-587)【作者】何榕健;戴韫卓;杜震洪;张丰;刘仁义【作者单位】浙江大学浙江省资源与环境重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江省土地勘测规划院,浙江杭州310007;浙江大学浙江省资源与环境重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学浙江省资源与环境重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学地理信息科学研究所,浙江杭州310027【正文语种】中文【中图分类】TP391【相关文献】1.一种面向空间数据库矢量数据的授权模型与实现方法 [J], 张德胜;冯登国;陈驰2.一种多源空间数据统一访问模型的实现 [J], 谢斌;俞乐;吕扬;张登荣3.多级格网框架下多源矢量空间数据动态存取优化方法 [J], 常春雷;刘信;马天福;杨大伟4.多源矢量空间数据关联分析及应用 [J], 刘善磊;张大骞5.一种矢量地理空间数据文件细粒度访问控制模型 [J], 毛健;朱长青;张兴国;苏笛因版权原因,仅展示原文概要,查看原文内容请购买。
基于文档数据库的全栈式地理空间数据传播模型
基于文档数据库的全栈式地理空间数据传播模型
梅继赟;杜震洪;刘仁义
【期刊名称】《计算机应用研究》
【年(卷),期】2010(027)009
【摘要】针对基于关系型数据库的地理信息传播模型在互联网虚拟计算环境下的不足,提出了一种基于文档数据库的全栈式地理信息传播模型.该模型以多粒度地理特征的映射规约分析计算和文档数据库的多版本并发控制为框架,用统一的内建域指定语言作为传播媒介描述载体,结合数据的运行时元编程和地理服务的REST风格部署,实现地理空间数据的动态开放式传播,证明非结构化地理空间数据的传播模型能满足逻辑语义和物理存储双重易扩展性.
【总页数】5页(P3390-3394)
【作者】梅继赟;杜震洪;刘仁义
【作者单位】浙江大学,浙江省资源与环境重点实验室,杭州,310028;浙江大学,地理信息科学研究所,杭州,310027;浙江大学,浙江省资源与环境重点实验室,杭
州,310028;浙江大学,地理信息科学研究所,杭州,310027;浙江大学,地理信息科学研究所,杭州,310027
【正文语种】中文
【中图分类】TP311
【相关文献】
1.基于栈式自编码器模型的汇率时间序列预测 [J], 寇茜茜;何希平
2.基于栈式自编码BP神经网络预测水体亚硝态氮浓度模型 [J], 付泰然;刘广鑫;万全元;吴霆;赵丽娟;林蠡;杨灵
3.基于沉浸式传播的博物馆的传播对策与模型建构 [J], 陈晓静; 马艾柯; 马丽
4.基于沉浸式传播的博物馆的传播对策与模型建构 [J], 陈晓静; 马艾柯; 马丽
5.基于移动粒子半隐式方法波传播模型的声传播数值求解方法研究 [J], 周子棋;孙一颉;韩沛东;孙中国;席光
因版权原因,仅展示原文概要,查看原文内容请购买。
基于GIS技术的淹没区确定方法及虚拟现实表达
基于GIS技术的淹没区确定方法及虚拟现实表达
刘仁义;刘南
【期刊名称】《浙江大学学报(理学版)》
【年(卷),期】2002(029)005
【摘要】给出了基于数字高程模型的GRID结构,适合两种不同类型淹没区的计算方法,尤其是第2种"洪水淹没" 类型方法较有特色.对于采用本方法计算淹没区,准确性受地形图等高距大小、数字化采集精度、数字地面模型(DEM)高程精度以及格网间隔大小、像素探测分辨率等因素的影响.等高距越小,数字化跟踪误差越小,数字地面模型内插越密,格网跨度越短,探测分辨率越高,淹没区计算精度也就越好.空间数据总量及探测分辨率决定了整个算法模型的效率.最后,介绍了将淹没区范围采用OpenGL工具进行虚拟现实三维可视化所涉及的关键技术和方法.该方法在已完成的九五国家地方重大攻关项目所开发的<大型网络级水利防汛及流域规划动态管理信息系统>中得到实现.
【总页数】6页(P573-578)
【作者】刘仁义;刘南
【作者单位】浙江大学,地理信息科学研究所,浙江,杭州,310028;浙江大学,地理信息科学研究所,浙江,杭州,310028
【正文语种】中文
【中图分类】P331.1;X4;N941
【相关文献】
1.一个基于Web的立体表达方法虚拟现实系统 [J], 冯开平;左宗义;张士芬
2.空间思维的虚拟现实表达r——基于VR技术应用的环境设计专业教学方式的改革与创新 [J], 夏远
3.基于交互式虚拟现实的室内设计表达研究 [J], 孙斌
4.基于交互式虚拟现实基础上的室内设计表达研究 [J], 孙斌
5.基于GIS技术的洪水淹没区确定 [J], 刘小生;陈英俊;黄玉生
因版权原因,仅展示原文概要,查看原文内容请购买。
集成多种GIS平台和技术的浙江省水利综合管理信息系统研究
集成多种GIS平台和技术的浙江省水利综合管理信息系统研究刘仁义【期刊名称】《浙江大学学报(理学版)》【年(卷),期】2001(028)002【摘要】This paper introduced the functional module composition of Zhejiang Provincial Water Conservancy Management Information System, and analyzed the database structure and logic relations of the system. The paper also discussed the characteristics of main developing tools and operational platform. The applications in Zhejiang Provincial governmental offices and other administrative departments show that the system has an advanced design, powerful functions, high stability and good practicability.%本文介绍了浙江省水利综合信息系统的功能模块组成,对系统数据库结构及逻辑关系进行了分析,论述了系统主要开发工具和运行平台的特点。
通过在浙江省政府等部门的应用表明,系统设计先进,功能强大,运行稳定,具有很强的实用性。
【总页数】7页(P204-210)【作者】刘仁义【作者单位】浙江大学 GIS省重点实验室,【正文语种】中文【中图分类】N941【相关文献】1.电网GIS平台与数字湖南地理信息公共服务平台集成研究 [J], 李向楠2.基于GIS云技术的辽宁省水利地理信息服务平台的建设研究 [J], 李文雄3.基于GIS技术的水利文化景观保护平台构建研究 [J], 李扬4.云GIS技术在区域水利信息化综合服务平台的研究与应用 [J], 佟保根5.GIS和BIM集成平台架构设计在水利工程管理中的应用探讨 [J], 李名哲因版权原因,仅展示原文概要,查看原文内容请购买。
基于远程渲染的移动三维GIS构建方法
基于远程渲染的移动三维GIS构建方法赖冬林;张丰;杜震洪;刘仁义【摘要】随着移动互联网的发展,移动GIS应用逐渐从二维GIS发展为三维GIS.受制于3D场景数据量大、移动设备图形渲染能力低等因素,常用的移动三维GIS渲染效果较差,交互低效.结合预处理策略、客户端预载入策略与远程渲染技术提出一种高效的移动三维GIS构建方法.该方法利用QEM算法在服务器端预处理模型,减少移动端计算量,通过移动端预载入策略,减少帧之间的延迟,提高移动端的实时性,具有较好的渲染效果、高效的交互性和较低的耗电量.最后通过实验证明该方法的可用性.该方法适用于移动设备甚至可穿戴设备中GIS应用的构建.【期刊名称】《计算机应用与软件》【年(卷),期】2015(032)007【总页数】4页(P196-199)【关键词】远程渲染;移动GIS;三维GIS;网格化简【作者】赖冬林;张丰;杜震洪;刘仁义【作者单位】浙江大学浙江省资源与环境信息系统重点实验室浙江杭州310028;浙江大学地理信息科学研究所浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室浙江杭州310028;浙江大学地理信息科学研究所浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室浙江杭州310028;浙江大学地理信息科学研究所浙江杭州310027;浙江大学地理信息科学研究所浙江杭州310027【正文语种】中文【中图分类】TP39;P2080 引言随着移动互联网的发展,移动三维GIS 及其渲染方式是目前移动GIS 领域的研究热点[1]。
常见移动三维GIS 的构建方式有两种:①利用WorldWind、Unity3D、M3D 等已有的移动三维框架针对GIS 需求进行改造[2,5];②在硬件支持的图形绘制接口如OpenGL ES 等API 基础上开发特定的移动三维GIS 应用[3-5]。
这些构建方式都使用本地渲染作为渲染方式,服务端只用来存储GIS 空间数据[2-5]。
一种海陆交错带气象等值线间隔自动设置方法
一种海陆交错带气象等值线间隔自动设置方法林贤辉;张丰;杜震洪;曹敏杰;方磊;刘仁义【期刊名称】《浙江大学学报(理学版)》【年(卷),期】2015(042)001【摘要】常规的海洋气象要素绘制方法会造成等值线在海洋和陆地上分布不均匀,降低海洋区域可获取的信息量.据此,提出一种海陆交错带气象等值线间隔自动设置方法.首先将原始要素与海陆分界数据进行叠加分析,提取出海洋区域,然后进行斑点去噪计算,得到海洋区域数值范围,再结合映射表选择合适的间隔值,最后合并海洋和陆地区域,获得不等间距间隔.实验结果表明,该方法可以实现海洋气象等值线不等间距间隔的自动设置,有效突出海洋区域要素的变化,适用于海洋气象专题图制作等领域.【总页数】5页(P65-69)【作者】林贤辉;张丰;杜震洪;曹敏杰;方磊;刘仁义【作者单位】浙江大学浙江省资源与环境信息系统重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室,浙江杭州310028;浙江大学地理信息科学研究所,浙江杭州310027;浙江大学地理信息科学研究所,浙江杭州310027【正文语种】中文【中图分类】P208【相关文献】1.一种用于离散点数据的自动绘制等值线图方法 [J], 冯信一2.一种煤层埋深等值线图的自动生成方法 [J], 陈练武;姬海明;王鹏;贺俊3.海陆交错带水环境监测预警与主动服务系统设计 [J], 田涛;胡宝清;覃开贤4.广西北部湾海陆交错带两栖动物对生境的选择 [J], 庾太林;张良建;刘晓辉;吴云韩5.广西山口红树林保护区海陆交错带夏季鸟类多样性调查 [J], 许亮;周放;蒋光伟;余辰星;吴映环因版权原因,仅展示原文概要,查看原文内容请购买。
云环境下基于预分片的遥感数据并行重采样方法
云环境下基于预分片的遥感数据并行重采样方法
池子文;张丰;杜震洪;刘仁义
【期刊名称】《上海交通大学学报》
【年(卷),期】2014(48)11
【摘要】面向海量高分辨率遥感影像数据快速发布需求,针对当前云环境下遥感影像数据并行重采样存在的难题,结合云平台MapReduce并行计算框架特性和遥感影像数据处理特点,提出了一种基于预分片的遥感影像数据并行重采样方法,通过预分片机制有效实现了该框架中对影像数据分片和并行重采样任务的控制,解决了MapReduce难以用于并行处理非结构化、具有空间位置特征的遥感影像数据的问题,从而实现了云环境下遥感影像数据的高效并行重采样.通过在开源云平台Hadoop上的实验和分析表明,该方法具有良好的重采样性能,能够实现高分辨率遥感影像数据的高效重采样.
【总页数】7页(P1627-1632)
【关键词】云计算;预分片;并行计算;并行重采样;遥感影像
【作者】池子文;张丰;杜震洪;刘仁义
【作者单位】浙江大学浙江省资源与环境信息系统重点实验室;浙江大学地理信息科学研究所
【正文语种】中文
【中图分类】P208
【相关文献】
1.云环境下基于jQuery与JSON数据传递方法设计 [J], 邓蓉;陆涛;胡建华
2.基于大数据并行技术下的卫星遥感大气场景仿真设计与实现 [J], 袁帅
3.基于大数据并行技术下的卫星遥感大气场景仿真设计与实现 [J], 袁帅
4.基于子任务区域分片下的分布式空间查询处理与并行调度方法 [J], 何永强;谷春英
5.GIS辅助下的基于数据挖掘的林型遥感分类方法研究 [J], 邓书斌;武红敢;江涛因版权原因,仅展示原文概要,查看原文内容请购买。
面向分片地图的多分辨率格点数据统一存取方法
面向分片地图的多分辨率格点数据统一存取方法王叶晨梓;杜震洪;张丰;刘仁义【摘要】不同的海洋环境要素对象、数据文件格式及数据分辨率使得对异构且离散的场数据访问和应用受到了限制.设计了面向分片地图的统一数据多级存储组织架构,定义了适用于不同分片地图对象的海洋场数据组织方式,提出了多分辨率格点场数据分层和分块方法,并通过建立索引编码,实现将多要素、多时次、多深度、多高度的海洋环境场数据按统一维度的小区块存储并管理于多级组织架构中.该方法在海洋环境预报综合信息服务平台的应用中有效支持了异构场数据的整合、时空统计分析及可视化表达等.%The wide variety of marine environmental objects and multi-resolution scientific data bring challenges to the current approaches of data storage and processing.This paper proposes a unified architecture of marine environmental field data storage and organization for tiled map.The diversified multi-resolution field data can be organized into multiple blocks with the unified dimensions after stratification and partitioning.These blocks can be stored and managed in the architecture by index encoding.Its application to the service platform for marine environmental forecasting information shows that the proposed method supports efficiently the heterogeneous data integration, temporal-spatial statistical analysis and visualization.【期刊名称】《浙江大学学报(理学版)》【年(卷),期】2017(044)005【总页数】7页(P584-590)【关键词】海洋环境;场数据;分片地图;统一架构;分层;分块【作者】王叶晨梓;杜震洪;张丰;刘仁义【作者单位】浙江大学浙江省资源与环境信息系统重点实验室, 浙江杭州 310028;浙江大学地理信息科学研究所, 浙江杭州 310027;浙江大学浙江省资源与环境信息系统重点实验室, 浙江杭州 310028;浙江大学地理信息科学研究所, 浙江杭州310027;浙江大学浙江省资源与环境信息系统重点实验室, 浙江杭州 310028;浙江大学地理信息科学研究所, 浙江杭州 310027;浙江大学浙江省资源与环境信息系统重点实验室, 浙江杭州 310028;浙江大学地理信息科学研究所, 浙江杭州310027【正文语种】中文【中图分类】P208快速发展的立体海洋环境监测技术催生了空间覆盖范围广、时空分辨率高、更新频率快的超海量观测数据,涵盖了海洋表面及其表层以上大气环境和以下水体环境.同时,基于获取的多时空分辨率、点线面结合的实时观测数据,可运用多种有效的预报方法进行不同模式下的数值模拟及反演,得到准实时的多要素、多时次、多深度、多高度的海洋环境预报数据.海量异构多维时空场数据的复杂性与多样性,对海洋数据本身的综合应用提出了更高的要求和挑战.为确保信息的完整性以及数据存储和传输效率,原始的海洋环境时空场数据基本以规则或非规则格点数值形式进行组织.因此,如何对不同的描述对象、科学数据文件格式及数据分辨率的异构离散数据进行有效整合,并构建统一的数据模型以实现异构数据的统一存取是关键所在.中国科学院海洋环境研究所研发的“SDG”新型格网数据格式,在结构层面上整合了数十家研究机构的异构数据资源,构建了跨数据库的海洋监测数据统一访问平台[1].张志远等[2]提出了以网络通用数据格式(简称NetCDF)为核心的数据访问和存储策略,将其他格式数据转换成NetCDF标准格式后在不同模式间进行通信,并利用数据切分算法实现并行读写,最终生成结果文件用于存储.NetCDF Operators[3]可实现对NetCDF格式文件内容的常用查询,为支持时空监测数据的组织和在线综合分析服务,SWAMP 项目[4]则在多计算节点内实现NetCDF Operators的并行查询.ZHAO等[5]将NetCDF等文件格式转换成通用描述语言(CDL)格式,并将大规模CDL文件存放在Hadoop分布式文件系统(HDFS)中.但从某种意义上说,转换后的数据块在频繁访问原始数据时其相互间关联性维持、解析应用效率及可扩展性并不优于直接使用NetCDF接口函数库[6].本文着眼于异构数据的一体化高效存储和组织,提出了一种面向分片地图服务的多分辨率格点数据统一存取方法,实现多分辨率格点场数据的统一分层、分块、编码管理,以打通跨数据文件和多数据块的综合应用,有效支持分片地图的相关数据服务和计算服务.NetCDF、HDF(hierarchical data file)等是多时空分辨率格点场数据的主要文件存储格式,均基于多维数组模型,虽可通过标识在文件内部的索引号对不同数据块进行快速定位[7],但难以实现数据的有效压缩、可扩展存储及高效传输[8].另一方面,部分数据分析及综合应用须提取或合并若干个场数据文件中的相关逻辑单元.当前大多采用跨原始场数据文件访问多个数据块的方式实现按需实时调取数据,该过程须重复调用异构文件数据访问接口,且无法真正克服数据分散、应用割离、管理成本高等瓶颈问题.当前海洋环境场数据的常用可视化表达形式大多采用单幅图片格式的专题图,因此缺少完整的地理空间信息,空间分析能力及应用受到限制.运用GIS技术可直观描述多尺度多维度对象的空间分布特征和时间变化趋势.分片地图技术在WebGIS及桌面端GIS中的应用已十分广泛,充分提高了地图绘制和传输效率[9].为进一步丰富地图服务内容,设计面向分片地图服务的数据多级存储架构,可统一将多源异构的海量场数据有机组织成与分片地图相适应的管理模式,并建立各场数据块间的索引,高效支持海洋环境多要素间的时空关联查询分析和应用服务.面向分片地图服务的统一数据多级存储组织架构采用与地图切片相似的组织方式,按照与目标分片地图相一致的空间分辨率进行分级,各级别由若干行和列的小区块容器构成相同的完整区域.各层级容器包含的各小区块容器具有既定的相同数据分辨率,且小区块容器间符合一定的命名规则和组织顺序,各级共同组成多分辨率层次的类分片金字塔模型容器,用于映射和存放一定空间范围内不同海洋环境要素和不同分辨率的数据,从容器的底层到顶层,分辨率逐渐降低,而所覆盖的空间范围不变.谷歌地图、百度地图、天地图等均采用分片地图技术进行发布,虽然采用的缩放级别(包含各级分辨率)及索引方法各异,但是以上分片数据的地理空间覆盖面广,各类分片均遵循TMS标准、WMTS标准或者经简单变化后进行组织.因此它们作为地理底图被广泛应用于桌面端GIS和WebGIS.类分片金字塔模型容器具备无缝、多尺度层级结构特征,具有与目标地理底图相同的数据切分方法、坐标原点、坐标系统、层级关系及各层切片分辨率等组织形式,搭建架构须定义以下内容.(1)完整模型容器的坐标原点及全覆盖的投影坐标范围[x1, y1, x2, y2],其中,x1、x2分别为经向最小、最大投影坐标值,y1、y2分别为纬向最小、最大投影坐标值.以Google切片地图作为目标地理底图为例,将容器在Web Mercator投影下经纬度均为0°的方位点定义为坐标原点(0,0);完整容器具有完整经纬度地理空间,范围为[-85.05, -180.00, 85.05, 180.00],对应Web Mercator投影下的坐标范围为[-20 037 508.34, -20 037 508.34, 20 037 508.34, 20 037 508.34].(2)各层级的所有小区块容器默认具有统一的像素分辨率px*py,单个像素代表的实际空间范围为d*d,且满足下列条件:以Google切片地图作为目标地理底图为例,默认容器中各小区块容器均为正方形,其像素分辨率均为256pixel*256pixel;单像素代表的实际距离为156 543.033 9 m.(3)完整模型容器的层级数、层级编号及层级间关系.一般对仅包含完整区域范围的单个小区块容器所在层级进行初始编号,随着空间分辨率的增大,层级号依次增加.确定层级间关系即是对各层级容器的空间分辨率进行定义.以Google切片地图作为目标地理底图为例,模型容器分为20个层级,且在相同区域范围内第L级正方形小区块容器经向与纬向的空间分辨率分别是第(L-1)级的2倍.(4)小区块容器间索引机制按照行列顺序对各层级小区块容器进行递增编码.以Google切片地图作为目标地理底图为例,各层分别以左上角的第1个小正方形作为起始区块,起始块编码为(0,0),则经向第m列、纬向第n行的小区块可编码为(m-1, n-1).图1所示为类金字塔模型的数据多级存储组织架构示意图.结合分片地图的具体应用,建立统一的数据多级存储组织架构后,地理空间范围和数据分辨率各异的多时次、多高度、多深度、多环境要素格点场数据可有机整合至该统一架构中.图2为对任意分辨率格点数据进行分层分块处理的流程图.对任意空间分辨率的格点数据,首先,获取数据所覆盖的地理空间范围,然后,在不缺失原始格点数据精度的基础上,计算最小分辨率层级作为格点数据块在统一数据存储组织架构中的存放层级,确定该层级下存放数据块内容的小区块容器编号范围,最后,在相同空间范围内将插值和缺省值填充后的数据矩阵按照统一分辨率的小区块容器边界划分进行组织和存储.该多分辨率格点数据分层分块方法实现了不同分辨率格点数据的统一分层、分块、编码管理,以支持多源数据的快速检索、复杂分析及并行处理.获取任意空间分辨率的格点数据经纬度范围,将经纬度坐标转换为目标分片地图所使用的投影坐标,并计算格点数据所覆盖空间区域在最小分辨率层级容器上包含的像素范围.假设获取任意一个空间分辨率为n行m列的规则格点数据,该数据的经度范围为[Lonmin, Lonmax],纬度范围为[Latmin, Latmax].以Google切片地图作为目标地理底图为例,将元数据中描述的WGS84地理坐标转换为Web Mercator投影坐标,坐标范围分别为[wLonmin, wLonmax]及[wLatmin, wLatmax].利用公式(1)~ (3)计算格点数据所覆盖空间区域在最小分辨率层级容器上包含的像素范围.p代表该格点数据在最小分辨率层级容器经向的像素列数,q代表数据在最小分辨率层级容器纬向的像素行数,对p、q暂不进行取整操作.根据统一存储组织架构的层级关系,从最小分辨率层级起依次计算在不同层级容器上覆盖的像素范围,直至经向及纬向的像素分辨率均不小于原始格点数据的分辨率.满足以上条件时将所对应的层级作为格点数据块存放层级,同时应确保不缺失原始数据精度.以Google切片地图作为目标地理底图为例,相同区域范围内第L级正方形小区块容器经向与纬向的空间分辨率分别是第(L-1)级的2倍.通过计算格点数据所覆盖空间区域在最小分辨率层级容器上包含的像素范围得到p、q,并取最小整数level的值作为数据块存放层级号,当且仅当同时满足式(4)和(5):根据格点数据地理空间范围及数据块存放层级,确定在level层级下涵盖原始数据范围的所有小区块容器编码集合.利用式(6)~(9)计算该层级下小区块容器编码最值,以快速定位边界小区块的相对位置.,其中,ymin为所有小区块容器中最小行编号,ymax为小区块容器中最大行编号,xmin为小区块容器中最小列编号,xmax为小区块容器中最大列编号;Floor(x)为向下取整函数.则涵盖原始数据空间范围的所有小区块容器编号分别为(xmin,ymin),(xmin+1,ymin),…,(xmax,ymin),(xmin,ymin+1),…,(xmax,ymin+1),…,(xmin,ymax),…,(xmax,ymax),即由(xmax-xmin+1)*(ymax-ymin+1)个连续且无缝的小区域分块组成规则大数据块[xmin, ymin,xmax, ymax].由于各格点数据的原始数据精度存在差异,为实现数据的统一整合及存放,基于相同地理空间范围,将原始格点数据空间插值成与统一数据多级存储组织架构相一致的数据矩阵.通过运用上述分层分块方法,可得到不小于数据块实际空间覆盖范围的小区块容器集合,且各小区块容器具有统一的数据存储维度和容量.以Google切片地图作为目标地理底图为例,可选用不同的空间插值方式,在相同空间范围内将n行m列的原始格点数据插值成(q*2level)行(p*2level)列的数据矩阵.依照各小区块容器的地理区位及边界,将插值后得到的数据矩阵分割成若干邻接的数据分块,对应存放在各小区块容器中.并且在各小区块容器中剩余的无值区域使用缺省值进行填充,使得包含数据的小区块容器均按照统一分辨率的数据矩阵进行组织和存储.以Google切片地图作为目标地理底图为例,所有数据切片通过插值和缺省值填充后均为256*256的数据矩阵.经切片分割后的相邻切片边界过渡自然,保持了良好的数值稳定性[10].最终,以提取时间、高度/深度、环境要素、层级、列号、行号等作为编码信息建立数据切片间的索引机制.由于与目标分片地图的组织方式相似,构造的数据切片无须再经预处理即可支持基于多级比例尺地图的多关键字检索、跨数据块的时空分析、并行化高效处理以及多维多尺度可视化表达.图3为数据切片构造效果示意图. 基于面向分片地图服务的多分辨率格点数据统一存取方法已应用于中国近海海洋环境预报综合信息服务平台.海洋环境数值预报对象各异、参数繁多、预报更新速度快,平台基于Google分片地图,运用HBase分布式数据库建立预报对象元信息表(MEF_OBJ_CLASS)用于存储各类数值预报数据元信息;建立预报数据元信息表(MEF_FILE_LRYSET)用于记录各类预报数据块存储及预报产品制作情况;以不同的目标预报对象为独立单位动态建立预报对象数据表(MEF_OBJ_VAR),分别用于记录各类数据多个预报对象参数的数据切片内容及产品访问路径.此表结构可一体化存储海洋环境预报数据的元数据信息及具体数据块内容,具体表结构和相互间的逻辑关系如图4所示.该平台中分别存储和整合了4类不同经纬度范围及不同数据分辨率的海洋气象数值预报格点数据,涵盖了我国周边海域、印度洋北部海域等地区不同海面高度的风速风向及不同水深的流速流向信息,表1所示为4类海洋气象预报数据基本信息.分别将4类数据的WGS84地理坐标转换为Web Mercator投影坐标,计算数据各自所包含的空间区域在第0级分片地图上覆盖的像素范围,直至经向及纬向的像素分辨率均大于原始格点数据的分辨率,确定所对应的数据块存放层级,以及涵盖原始数据空间范围的小区块容器集合,最终构造数据切片存储至分布式数据库中.如第1类数据块存放在第3级,其小区块集合内编号分别是(6,2)、(6,3)、(6,4)、(7,2)、(7,3)、(7,4).在统一的数据多级存取架构下,平台客户端可快速检索不同地理范围海域和数据分辨率的数值预报产品,实现了多源数据的综合应用和一体化信息服务.图5和6分别为第1类和第3类海洋环境气象预报数据在某预报时次下海面10 m高处的风向标产品及大风区域产品的叠加可视化表达效果.另一方面,数据统一存储架构同样可灵活支持基于地图的交互式、跨数据块时空检索分析.例如,基于起报时间和空间位置信息,按需获取或通过空间插值计算得到目标预报参数在多目标层次下的预报信息,并以统计图表的形式展示该地理位置的相关预报参数在不同层次下随预报时间的变化情况.图7为中国近海地区某方位点水体在不同深度时的海流流速及流向预报时序图.针对多源异构数据难以整合的问题,提出了一种面向分片地图服务的多分辨率格点数据统一存取方法,通过多分辨率格点数据的分层、分块、编码管理,实现将异构多分辨率场数据融合至统一数据存取模型中,以更灵活的方式支持时空统计分析及复杂应用处理,有效解决了在存储和处理海量异构场数据方面的局限性.该方法所建立的统一场数据存取模型适用于不同分片地图,根据分片地图对象可相应调整和确定模型的组织方式.下一步,笔者将在此基础上着手研究并优化海量场数据块检索策略[11],进一步扩展数据的高性能处理和场数据动态可视化[12]应用.【相关文献】[1] 邵党国.网格数据库系统的设计及应用研究[D].成都:四川大学,2006. SHAO D Y.Grid Database System Design and Applied Research[D].Chengdu: Sichuan University,2006. [2] 张志远,张翔,张权,等.面向海洋环境数值预报的支撑平台框架设计与实现[J].计算机工程与科学,2014(12):2251-2256. ZHANG Z Y, ZHANG X, ZHANG Q, et al.Design and implementation of supporting platform construction oriented to numerical marine environment forecast[J].Computer Engineering and Science,2014(12):2251-2256.[3] SEO S, YOON E J, KIM J, et al.HAMA: An efficient matrix computation with the MapReduce framework[C]// Cloud Computing, Second International Conference-CloudCom 2010. Indiana: IEEE Computer Society,2010:721-726.[4] WANG D L, ZENDER C S, JENKS S F.Clustered workflow execution of retargeted data analysis scripts[C]// IEEE International Symposium on CLUSTER Computing and the Grid.Lyon:IEEE,2008:449-458.[5] ZHAO H, AI S Y, LYU Z H, et al.Parallel accessing massive NetCDF data based on MapReduce[C]// Web Information Systems and Mining.Berlin /Heidelberg: Springer,2010:425-431.[6] GENG Y, HUANG X, ZHU M, et al.SciHive: Array-based query processing with HiveQL[C]// 2013 12th IEEE International Conference on Trust, Security and Privacy in Computing and Communications.Melbourne:IEEE Computer Society,2013:887-894. [7] 胡勇,罗文,俞肇元,等.多维时空场数据的多模式张量表达模型[J].武汉大学学报:信息科学版,2015,40(7):977-982. HU Y, LUO W, YU Z Y, et al.Multi-mode tensor expression model of multidimensional spatio-temporal field data[J].Geomatics and Information Science of Wuhan University,2015,40(7):977-982.[8] 徐胜华,刘纪平,王想红,等.基于三维GIS的海洋标量场数据动态可视化[J].测绘通报,2014(10):50-53.XU S H, LIU J P, WANG X H, et al.Three dimensional dynamic visualization for marinescalar field data based on 3D GIS[J].Bulletin of Surveying and Mapping,2014(10):50-53.[9] 黄梦龙.瓦片地图技术在桌面端GIS中的应用[J].地理空间信息,2011(4):149-151. HUANG M L.Application of tile map technology in desktop GIS[J].Geospatial Information,2011(4):149-151.[10] 李将云,杨勋年,汪国昭.分割图像插值的一种局部算法[J].浙江大学学报:理学版,2002,29(1):55-62. LI J Y, YANG X N, WANG G Z.Local algorithm for segmented imageinterpolation[J].Journal of Zhejiang University:Science Edition,2002,29(1):55-62. [11] ELDAWY A, MOKBEL M F, ALHARTHI S, et al.SHAHED: A MapReduce-based system for querying and visualizing spatio-temporal satellite data[C]// IEEE International Conference on Data Engineering. Seoul: IEEE,2015:1585-1596.[12] DU Z, FANG L, BAI Y, et al.Spatio-temporal visualization of air-sea CO2, flux and carbon budget using volume rendering[J].Computers & Geosciences,2015,77:77-86.。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
····
关键技术一、地理国情大数据多态云存储
创新效果 县域级别任意多边形的空间检索:秒级响应(传统超过100s)
县级地表覆盖统计效果演示,以嘉善县为例的空间范围执行地表覆盖汇总统计,可达到秒 级响应。
关键技术一、地理国情大数据多态云存储
创新效果 全省地理国情数据分类分行政区统计:24秒(传统超过3小时)
计算任务接口层
计算任务管理引擎 计算任务池 计算任务监控
Heartbeat
Daemon Daemon
Daemon
并行加速云 GPU 计算内存云 RAM
GPU
GPU
RAM
...
RAM
存储硬盘云 Disk
Disk
Disk
图像 文件
从HDFS中读取影像文件
ImageInputFormat
ImageSplit
GeoDataSet 块文件
idn skn sub-treen ts
<id,Vr> 构建RDSD
RDSD[(rid,r)]
输入格式 map变换
计算MBR
RDSD[(rid,MBRr)] 计算Z-Value
RDSD[(Zr,MBRr)]
排序 RDSD[(Zrsort,MBRr)]
采样
sort变换 sample变换
2884个县
利用县级行政界线(2884个县)对2009年全国土地利 用现状矢量数据图斑层(3.2亿图斑)进行裁剪操作, 以县为最小单元输出裁剪后的所有新图层文件,实际结 果为2小时27分钟,时间要求是4小时,其余单位均未 完成;
对2009年(3.2亿图斑)和2010年(1.1亿个图斑)全 国土地利用现状矢量数据图斑层进行合并(union)操 作,分块输出的新图层,实际结果为3小时46分钟,时 间要求是6小时,其余单位均未完成;
3、异构云弹性空间数据集协同调度技术
主节点
DAG任务调度器
RDSD索引管理
内存云调度引擎
任务调度
计算线程 1
从节点
计算线程 2
…
计算线程 n
节点状态
RDSD数据块管理
我们建立了数据调度引擎,利用三个不同层次的引擎 协同不同云环境的技术平滑,以本地化计算为核心导 向,实现数据的自动调度,
RDSD管理
RDSD读取
背景
中国土地勘测规划院(以下称规划院)作为国土资源部重要技术支撑单 位,多年来承担着全国土地调查评价项目中土地基础数据采集、处理、 加工、建库、汇交和应用职责。 规划院已经积累了大量的土地基础数据资源,基本覆盖土地调查、监测、 规划、评价等方面,数据量达到200TB以上。随着全国国土资源管理工 作方式的深刻的转变。对当前积累的大量的土地基础数据资源,包括覆 盖土地调查、监测、规划、评价等方面,传统模式已经实现有效管理, 但是这种构架难以利用海量空间数据开展大数据分析。
• 多云并算协同机制
内存云
硬盘云
• 分布式部署的内存云,提供了海量内存计算空间
• 计算过程在内存云中,无硬盘I/O
• 基于内存云GPU协同加速,并行能力强,效率高
关键技术二、地理国情大数据高性能地理计算
1、Hadoop、Storm、Spark多云共生平衡架构
逻辑架构图
2U 4U 4U 4U 4U 4U 4U 4U 4U
VLayer_VHistoryTime
ID
LayerName
VerTime
ElemSTime ElemETime
+
...
NewFeatureID VLayer
NewTime ...
HistoryTime
NewTime
PresentVLayer
百万级点集和面集的Spatial Join空间统计分析
关键技术二、地理国情大数据高性能地理计算
影像
文档
规范化数据预处理入库工具
数
检核
实体编 元数据
码
提取
...
据 整
合
小要素集、更新频繁的数据采 用Geodatabase模型管理
大要素集、计算频繁的数据以 WKT格式基于HDFS存储,并 使用HBase存储空间索引
影像数据、文档数据采用分布 式文件系统与元数据表结合的 方式管理
文件数据组织结构
突破地理国情大数据关键技术,解决大规模地理国情数据异构海量存储、高性 能实时统计分析、增量更新技术瓶颈
我们的应用技术方案
云计算环境下地理国情大数据高效存储计算关键技术
关键技术一、地理国情大数据多态云存储
1、大规模地理国情多态云存储模型
根据数据不同类型、不同需求, 选取不同的存储模型
待入库数据
矢量
• 基础设备昂贵 • 基于MPI框架,并行效率存在瓶颈 • 计算过程仍需网络I/O
16
关键技术二、地理国情大数据高性能地理计算
异构云环境下时空信息双态云计算方法
• 多云共生平衡架构
双态云计算方法
• 本地存储、本地处理、独立服务
• 智能感知的计算任务调度体系
高 效
稳 定
• 最大限度减少数据传输损耗
• 适用分布式计算模型
RDSD[(Zrsample,MBRr)] 构建分布式R-Tree reduce行为
RDSD[(id,R-Tree)]
RDSD序列化
<id,序列化R-Tree>
输出格式
关键技术二、地理国情大数据高性能地理计算
创新效果 大规模地理国情数据计算效能对比
VLayer_CHVNewTime
T_SpatDataUpdtInfo
2、泛化地理信息高效并发检索技术
数据分块
实现了全省千万级 地理国情矢量数据 的快速检索与统计
获取查询条件 (行政区编码、分类码)
生成查询任务
网格包含的 geo_ID文件
合并文件
HBase
HDFS
查询任务1 (StartKey,
EndKey)
查询任务2
(StartKey,
...
EndKey)
查询任务n (StartKey,
…
Input Filen
RDD<r1>
…
RDD<rn>
Spatial Grid Partition
PairRDD<pid,r1> … PairRDD<pid,rn>
Group Partitions By pid PairRDD<pid,List<r1>> … PairRDD<pid,List<rn>>
textFile action
flatMapToPair transformation
groupByKey transformation
Join Partitions By pid join
transformation PairRDD<pid,<List<r0>,List<r1>>
flatMapToPair transformation
ImageSplit
ImageSplit
ImageRR
ImageRR
ImageRR
Map
Map
Map
Reduce
ImageOutputFormat
写回到HDFS存储
Input File0 RDD<r0> PairRDD<pid,r0> PairRDD<pid,List<r0>>
Input File1
传感器名 年份 月份 日数
卫星名称 日数
矢量数据组织结构
地
分区数据
理
国
情
要 素
不分区数据
Geodatabase
WKT
数 据
组
Geodatabase
织
WKT
数据节点1
文件 HDFS分布式文件系统
数据节点1
数据节点1
索引 Hbase
元数据与 Oracle 表数据
集 中 存 储
关键技术一、地理国情大数据多态云存储
浙江大学地理空间大数据创新技术及应用
报告人:刘仁义
浙江大学地理信息科学研究所 浙江省资源与环境信息系统重点实验室
2017年7月
内容提要
地理国情大数据创新技术及应用
全国土地大数据创新技术及应用
高分遥感大数据创新技术及应用
点云数据高性能计算创新技术及应用
后云时代技术创新——雾计算
GIS-Transforming our World
1. 分布式存储模型 2. 运行在分布式存算一体化环境,
检索资源利用率高 3. 专门应对时空大数据存储
对浙江省700万条地表覆盖要素进行检索和三级类统计,仅需24秒,解决了传 统GIS平台均无法处理的国际技术难题
关键技术一、地理国情大数据多态云存储
创新效果 覆盖全省PB级地理国情数据的高性能存储管理
浙江省全省700万条地表覆盖要素的三级类统计汇总效果演示,查询结果总长度为400多 万千米,总面积为12多万平方千米。
关键技术二、地理国情大数据高性能地理计算
传统计算效率存在问题
单机处理方式效能低
• 计算作业时间长 • 交互等待时间长 • 无法应对大规模时空数据处理需求
MPP架构下大规模并行计算
Pairwise Spatial Join
Pairwise Spatial Join
Pairwise Spatial Join without
Merge and Repartition Output
RDD<rid1,…,ridn>