采用深度级联卷积神经网络的三维点云识别与分割
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
RecognitionandsegmentationofthreeＧdimensionalpointcloud basedondeepcascadeconvolutionalneuralnetwork
YANGJun∗ ,DANGJiＧsheng
(SchoolofElectronicandInformationEngineering, LanzhouJiaotong University,Lanzhou７３００７０,China) ∗Correspondingauthor,EＧmail:yangj＠mail．lzjtu．cn
Abstract:ThreeＧdimensional (３D)objectrecognitionand modelsemanticsegmentationare widely appliedin fields such as automatic driving, robot navigation, ３D printing, and intelligent transportation．With afocusontheinability of PointNet＋ ＋ tointegratecontextualgeometric structureinformation,amethodforrecognitionandsegmentationof３Dpointcloudmodesbasedona deep cascade Convolutional Neural Network (CNN) was proposed herein．The deep semantic geometricfeaturesofthepointcloudcouldbecapturedviaconstructionofadeepdynamicgraphCNN． Subsequently,thedeepdynamicgraphCNN wasappliedrecursivelyasasubnetworkofadeepcascade CNN fornestedpartitionoftheinputpointsetforfullexplorationofthefineＧgrainedgeometric featuresofthe３D model．Finally,toaddressthepointcloudsamplingnetfeaturelearning,adensityadaptivelayerwasconstructed．Arecurrentneuralnetworkwasusedto
grainedgeometricfeatures．Theexperimentalresultsshowedthattherecognitionaccuracyofthis algorithm on ModelNet４０ and ModelNet１０ were ９１．９％ and ９４．３％,respectively．The mean intersectionＧoverＧunionontheShapeNetPart,S３DIS,andvKITTIdatasetswas８５．６％ ,５８．３％ ,and ３８．６％,respectively．Thisalgorithm canimprovetheaccuracyof３D pointcloudrecognitionand modelsemanticsegmentation,anditshowshighrobustness． Key words: threeＧdimensional (３D ) point cloud;object recognition;semantic segmentation;
第 ２８ 卷 第 ５ 期 ２０２０年５月
光学 精密工程
OpticsandPrecisionEngineering
Vol．２８ No．５
May２０２０
文 章 编 号 １００４Ｇ９２４X(２０２０)０５Ｇ１１８７Ｇ１３
采用深度级联卷积神经网络的三维点云识别与分割
杨 军∗ ,党吉圣
(兰州交通大学 电子与信息工程学院,甘肃 兰州 ７３００７０)
摘要:三维目标识 别 和 模 型 语 义 分 割 在 自 动 驾 驶、机 器 人 导 航、３D 打 印 和 智 能 交 通 等 领 域 均 有 着 广 泛 应 用. 针 对 PointNet＋＋未能结合三维模型的上下文几何结构信 息 的 问 题,提 出 一 种 采 用 深 度 级 联 卷 积 神 经 网 络 的 三 维 点 云 识 别 与分割方法.首先,通过构建深度动态图卷积神经网络捕捉 点 云 的 深 层 语 义 几 何 特 征;其 次,通 过 将 深 度 动 态 图 卷 积 神 经网络作为深度级联卷积神经网络的子网络递归地应用于 输 入 点 集 的 嵌 套 分 区,以 充 分 挖 掘 三 维 模 型 的 深 层 细 粒 度 几 何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编 码 每 个 采 样 点 的多尺度邻域特 征 以 捕 捉 上 下 文 细 粒 度 几 何 特 征. 实 验 结 果 表 明,本 算 法 在 三 维 目 标 识 别 数 据 集 ModelNet４０ 和 MoelNet１０上的识别准确率分别为９１．９％和９４．３％,在语义分割数据集 ShapeNetPart,S３DIS和vKITTI上的平均交并 比分别为８５．６％,５８．３％和３８．６％.该 算 法 能 够 提 高 三 维 点 云 目 标 识 别 和 模 型 语 义 分 割 的 准 确 率,且 具 有 较 高 的 鲁 棒性. 关 键 词 :三 维 点 云 ;目 标 识 别 ;语 义 分 割 ;卷 积 神 经 网 络 ;循 环 神 经 网 络 中 图 分 类 号 :TP３９１ 文 献 标 识 码 :A doi:１０．３７８８/OPE．２０２０２８０５．１１８７
收 稿 日 期 :２０１９Ｇ１２Ｇ０２;修 订 日 期 :２０２０Ｇ０３Ｇ１３． 基 金 项 目 :国 家 自 然 科 学 基 金 资 助 项 目 (No．６１８６２０３９)
１１８８
光学 精密工程
第 ２８卷
encodethe multiscaleneighborhoodfeaturesofeachsamplepointtocapturethecontextualfineＧ
第1个集合抽象层首先对整个输入点云采用迭代最远点采样算法采样n1个点对每个采样点采用k最近邻算法搜索距离采样点最近的k个点构建每个采样点的k邻域分组即得到大小为n1k1cd的点云矩阵然后采用ddgcnn提取每个分组的深层语义几何特征得到n1个特征维度为c1的点构成的新点云再次输入第2个集合抽象层经过采样分组得到大小为n2k1c1d的点云矩阵采用ddgcnn提取特征后得到大小为n2c2d的点云矩阵
YANGJun∗ ,DANGJiＧsheng
(SchoolofElectronicandInformationEngineering, LanzhouJiaotong University,Lanzhou７３００７０,China) ∗Correspondingauthor,EＧmail:yangj＠mail．lzjtu．cn
Abstract:ThreeＧdimensional (３D)objectrecognitionand modelsemanticsegmentationare widely appliedin fields such as automatic driving, robot navigation, ３D printing, and intelligent transportation．With afocusontheinability of PointNet＋ ＋ tointegratecontextualgeometric structureinformation,amethodforrecognitionandsegmentationof３Dpointcloudmodesbasedona deep cascade Convolutional Neural Network (CNN) was proposed herein．The deep semantic geometricfeaturesofthepointcloudcouldbecapturedviaconstructionofadeepdynamicgraphCNN． Subsequently,thedeepdynamicgraphCNN wasappliedrecursivelyasasubnetworkofadeepcascade CNN fornestedpartitionoftheinputpointsetforfullexplorationofthefineＧgrainedgeometric featuresofthe３D model．Finally,toaddressthepointcloudsamplingnetfeaturelearning,adensityadaptivelayerwasconstructed．Arecurrentneuralnetworkwasusedto
grainedgeometricfeatures．Theexperimentalresultsshowedthattherecognitionaccuracyofthis algorithm on ModelNet４０ and ModelNet１０ were ９１．９％ and ９４．３％,respectively．The mean intersectionＧoverＧunionontheShapeNetPart,S３DIS,andvKITTIdatasetswas８５．６％ ,５８．３％ ,and ３８．６％,respectively．Thisalgorithm canimprovetheaccuracyof３D pointcloudrecognitionand modelsemanticsegmentation,anditshowshighrobustness． Key words: threeＧdimensional (３D ) point cloud;object recognition;semantic segmentation;
第 ２８ 卷 第 ５ 期 ２０２０年５月
光学 精密工程
OpticsandPrecisionEngineering
Vol．２８ No．５
May２０２０
文 章 编 号 １００４Ｇ９２４X(２０２０)０５Ｇ１１８７Ｇ１３
采用深度级联卷积神经网络的三维点云识别与分割
杨 军∗ ,党吉圣
(兰州交通大学 电子与信息工程学院,甘肃 兰州 ７３００７０)
摘要:三维目标识 别 和 模 型 语 义 分 割 在 自 动 驾 驶、机 器 人 导 航、３D 打 印 和 智 能 交 通 等 领 域 均 有 着 广 泛 应 用. 针 对 PointNet＋＋未能结合三维模型的上下文几何结构信 息 的 问 题,提 出 一 种 采 用 深 度 级 联 卷 积 神 经 网 络 的 三 维 点 云 识 别 与分割方法.首先,通过构建深度动态图卷积神经网络捕捉 点 云 的 深 层 语 义 几 何 特 征;其 次,通 过 将 深 度 动 态 图 卷 积 神 经网络作为深度级联卷积神经网络的子网络递归地应用于 输 入 点 集 的 嵌 套 分 区,以 充 分 挖 掘 三 维 模 型 的 深 层 细 粒 度 几 何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编 码 每 个 采 样 点 的多尺度邻域特 征 以 捕 捉 上 下 文 细 粒 度 几 何 特 征. 实 验 结 果 表 明,本 算 法 在 三 维 目 标 识 别 数 据 集 ModelNet４０ 和 MoelNet１０上的识别准确率分别为９１．９％和９４．３％,在语义分割数据集 ShapeNetPart,S３DIS和vKITTI上的平均交并 比分别为８５．６％,５８．３％和３８．６％.该 算 法 能 够 提 高 三 维 点 云 目 标 识 别 和 模 型 语 义 分 割 的 准 确 率,且 具 有 较 高 的 鲁 棒性. 关 键 词 :三 维 点 云 ;目 标 识 别 ;语 义 分 割 ;卷 积 神 经 网 络 ;循 环 神 经 网 络 中 图 分 类 号 :TP３９１ 文 献 标 识 码 :A doi:１０．３７８８/OPE．２０２０２８０５．１１８７
收 稿 日 期 :２０１９Ｇ１２Ｇ０２;修 订 日 期 :２０２０Ｇ０３Ｇ１３． 基 金 项 目 :国 家 自 然 科 学 基 金 资 助 项 目 (No．６１８６２０３９)
１１８８
光学 精密工程
第 ２８卷
encodethe multiscaleneighborhoodfeaturesofeachsamplepointtocapturethecontextualfineＧ
第1个集合抽象层首先对整个输入点云采用迭代最远点采样算法采样n1个点对每个采样点采用k最近邻算法搜索距离采样点最近的k个点构建每个采样点的k邻域分组即得到大小为n1k1cd的点云矩阵然后采用ddgcnn提取每个分组的深层语义几何特征得到n1个特征维度为c1的点构成的新点云再次输入第2个集合抽象层经过采样分组得到大小为n2k1c1d的点云矩阵采用ddgcnn提取特征后得到大小为n2c2d的点云矩阵