ArcGIS海量影像管理方案与实践

• 动态更新
– 影像更新与维护
• 元数据维护
– 所有栅格数据集
如何使用镶嵌数据集 ？
• 组合图层
- Boundary/Footprint/Image
• 影像目录
- 查找影像 - 查看元数据 - 添加选择的影像到地图 - 时态感知
• 影像数据
- 图层显示 - 导出影像数据集 - 作为GP工具的输入使用
2010 Esri 中国区域用户大会
基于ArcGIS的海量影像管理 方案与实践
董平
内容
1. 海量影像管理需求分析 2. ArcGIS影像管理模型 3. 深入浅出镶嵌数据集 4. 构建ArcGIS海量影像管理系统
1. 海量影像管理需求分析
飞机 ADS40 5cm~100cm
飞艇 Canon EOS 5D 20cm
北京一号小卫星 4米黑白
福卫2号 2米
KOMPSAT-II 1米
IKONOS 1米
GeoEye-1 0.41米
我国逐渐形成多尺度的卫星监测能力
环境卫星1A/B
高分辨率卫星图像
风云系列卫星
资源系列卫星
影像管理面临的挑战
• 多种数据源
- 航空影像 - 多传感器的卫星影像 - DEM和扫描地图 - 分析结果, 图片
- 其他.
镶嵌数据集类型
• 非引用型镶嵌数据集：
- 数据源：所有类型影像数据 - 修改属性和栅格函数 - Create Mosaic Dataset
• 引用型镶嵌数据集：reference mosaic dataset
- 数据源：镶嵌数据集和栅格目录 - 属性只读，可应用MD级别栅格函数 - Create Referenced Mosaic Dataset
2x2 pixel block
3rd (8 m) 2nd (4 m) 1st (2 m) 1 meter
重采样方法Pixel Resampling
• 创建影像金字塔和显示采样
离散数据
Nearest neighbor：最近邻插值
取最邻近的像素值 不创建新的像素值 速度最快
连续数据
Bilinear interpolation：双线性
Simple Adv. Use
Mgmt.
影像管理需求剖析
高效存储 快速处理
快速 访问
快速查找
如何管理海量遥感影像？
• 如何管理组织“海量影像数据”引发关注 • 基于文件的影像管理模式？还是 • 基于数据库的影像管理模式？还是 • 基于文件与数据库结合的影像管理模式？还是 • 其他？
• =实现高效存储/快速查找/快速处理/快速访问
2. ArcGIS影像管理模型
2.1 影像数据格式支持 2.2 影像存储模型支持 2.3 影像属性支持
影像/栅格数据格式支持
• 支持更多文件格式
- TIFF, GRID, Mrsid, JP2000, JPEG, NITF, CADRG等 - Geodatabases
• 栅格格式支持增强
- BigTIFF (ArcGIS 10 新增) - TIFF压缩格式： LZW/JPEG/PackBits/CCITT/RLE (新增)
• 发布为影像服务image service
镶嵌数据集如何存储？
• Geodatabase 内部表存储 • 通过用户界面修改
Name
Purpose
Viewable
Catalog
A raster catalog that stores function rasters and the footprints Yes
定义边界 Build Boundary
• 定义镶嵌数据集的边界
- 边界外像素被裁剪
• Build Boundary 工具
- 基于footprints计算
• 使用Editor进行编辑 • 使用Import Mosaic Dataset Geometry 工具导入
• 支持自定义栅格格式 (增强)
- GDAL库-开源栅格空间数据转换库 - 影像管理代码
Geodatabase影像管理模型
• 栅格数据集 Raster dataset (8.0)
- 单幅影像
• 栅格目录 Raster catalog (9.0)
- 栅格数据集合 - 可访问单幅影像 - 托管/非托管
如何创建镶嵌数据集
• Mosaic dataset 工具箱 • 基于模型和python进行处理
• Байду номын сангаас型工作流
- 创建镶嵌数据集 mosaic dataset - 添加栅格 Add rasters
- Calculate cell size range - Build boundary - Build overviews (可选) - Edit properties (编辑属性)
MinPS 0 0 90
MaxPS 90 90 270
Category … Primary Primary Overviews
- 管理影像或栅格数据及其总览图
Mosaic Dataset
- 栅格字段存储栅格数据集及预处理函数定义
- MinPS /MaxPS字段定义可视化范围 - 显示满足特定分辨率的影像或栅格 - 提供镶嵌影像的连续多尺度浏览
• 但是：镶嵌比较耗时
- 更新操作，更耗时，需要更多的系统资源 - 格网大小一致
• 可用于地图背景等
• 不能对元数据描述进行扩展
IImmaaggee11 IImmaaggee22 MMoossaaiicc
栅格目录 Raster Catalog
• 9.3 中栅格数据集合
• 存储栅格数据的范围
• 可以托管和非托管两种方式存储 - 非托管 Unmanaged
• 高分辨率
- 高空间分辨率 - 高光谱分辨率 - 高时相分辨率
• 海量数据
- GB，TB，PB
IKONOS Worldview-1
GeoEye-1
影像需求分析
• 简单应用
- 地图背景
-
• 高级应用
- 影像分析处理
• 简单管理
- 关注大批量预处理影像的快速访问
• 高级管理
- 关注影像的劢态处理与快速访问
- 选择栅格类型 raster type - 定义数据格式 - 读取元数据和创建字段 - 应用劢态处理
• 支持多种栅格类型 raster types
- Raster Dataset/NITF/CADRG/等. - 支持多种传感器影像
- QB/IKONOS/GeoEYE/WolrdView等
- Web Services - Table/Image Service Definition 9.3
No
Mosaic Dataset
• 由一系列表组成 • 包含嵌入式栅格目录表
OID Shape Raster
Name
LowPS
1
Polygon <Raster> P01.met 10
2
Polygon <Raster> P02.met 10
5
Polygon <Raster> P03.met 90
HighPS 30 30 90
⑩ 减少重采样，提升影像质量
Reduces resampling
什么情况下使用镶嵌数据集？
• 重叠影像
- 多时相数据 - 不同角度的数据
• 多分辨率影像
– 多源数据 – 0.6m QuickBird /1m Ikonos
t1 t2 t3 t4 t5
• 不相关数据
- 沿走廊数据 - 感兴趣斑块，城镇
栅格目录 Raster Catalog(续)
• 数据装载速度快
- 尤其是非托管模式管理的栅格数据集
• 数据不需要满足：
- 格网一致 - 像素值位数保持一致
• 减少栅格数据集 Raster Dataset的数量，提高对ArcSDE的访问效率 • 可对栅格数据的元数据进行扩展。
• 限制
- 不支持传感器数据和元数据 - 无预览 - 不能通过ArcGIS server发布
Boundary
A feature class that defines the mosaic dataset boundary
Yes
Seamline
A feature class that maintains the seamlines for advanced
Yes
mosaicking operations
Raster Type
A table holding each raster type instance
Yes
Log
A table that logs operations that have been performed
Yes
Overview
A table that stores references to the overview rasters
Mosaic Dataset
• 栅格目录和栅格数据集组合
- 特殊栅格数据集类型 - 包含栅格目录
金字塔 Pyramids
• 分辨率逐级递减 • 大大提高显示性能：
- 客户端请求数据的分辨率匹 配客户端的分辨率
- 用户每次缩放获取的像素数 量是不变的
• 每一级都被分块存储 • 局部构建和更新 • 支持压缩(新增)
- 只存储数据所在路径 - Personal GDB和File GDB中可实现，ArcSDE不支持 - 数据操作不影响原始数据
- 托管 Managed
- GeoDatabase中存储整幅影像 - 所有的GDB中都支持，包括：personal/ File /Arcsde GDB - 数据操作影响原始数据
⑤ 流畅的影像更新
Streamlines image updates
⑥ 所有比例尺下无缝显示
at all scales
⑦ 保留有价值的元数据信息
Maintains valuable information
⑧ 动态处理，减少处理时间
Reduces processing
⑨ 动态处理，减少冗余存储
Eliminates redundancy
Mosaic Dataset (续…)
• 其他表组成
- 边界表：存储镶嵌数据集的边界 - 日志表：记录预处理函数的执行情况. - 栅格类型表：记录使用栅格类型实例.
• 可选表
- 颜色校正表：存储用于用于颜色匹配的统计信息 - 高级镶嵌使用的拼接线要素类
• 默认属性
- 定义镶嵌的规则
- 重采样方法
- 压缩方法
OBJECTID NAME
RASTER FOOTPRINT METADATA ……
16473 16474
3198401a_sid 10289 3198402a_sid 10290
10289 10290
16475 16476
3198403a_sid 10291 3198404a_sid 10292
10291 10292
No
Cell size level A feature class with cell size levels for overview generation No
Stereo
A table that stores the stereo pair
No
Color correction A table of derived rasters for color correction
为什么要使用镶嵌数据集？
① 可伸缩性-海量影像管理
Catalog large image collections
② 重叠影像管理
Overlapping Imagery
③ 管理离散数据集大量的空值区域 Manages large NoData areas
④ 多种传感器数据支持
Support multiple sensors
• 镶嵌数据集 Mosaic dataset (10.0)
- 栅格目录模型的增强 - 具有镶嵌视图和劢态处理能力 - 管理和发布影像集合
栅格数据集 Raster dataset
• 栅格数据管理的基本单元 • 提供所有比例尺下的快速浏览 • 具有栅格数据集的所有属性：
- Pyramids, images statistics, spatial reference … • 可把多幅小的影像镶嵌成完整的影像
取邻近四个像素值的平均 平滑大多数图像 对连续数据较快的重采样方法
Cubic convolution：三次卷积
16个邻近像素的加权值 通常重采样效果最好
演示1: 影像/栅格数据模型
Raster datasets Raster catalogs Mosaic datasets
3.深入浅出镶嵌数据集
创建栅格数据集
• 创建存储方案和像素属性 • 指定空间参考(必须)
- footprints 和overviews使用 - 定义合适的空间参考 - 考虑大地基准
• 波段数目
- 默认为添加的第一幅影像
• 像素类型
- 默认为添加的第一幅影像
添加栅格数据 Add Rasters
• Add Rasters to Mosaic Dataset