【CN110084249A】基于金字塔特征注意的图像显著性检测方法【专利】

合集下载

一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储

专利名称：一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
专利类型：发明专利
发明人：杨帆,彭刚
申请号：CN202010051403.4
申请日：20200117
公开号：CN111260580A
公开日：
20200609
专利内容由知识产权出版社提供
摘要：本发明提供一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质，该方法包括获取初始图像，计算每一像素的输出色度值：获取待去噪像素的分层搜索区域，对分层搜索区域进行下采样，每次下采样后获得一层下采样图像，多层下采样图像形成第一图像金字塔；将每一下采样图像进行上采样，将上采样后的图像与该下采样图像的下一层图像相减后获得一层相减图像，多层相减图像形成第二图像金字塔；将第二图像金字塔的每一层相减图像与第一图像金字塔的最高层下采样图像进行均值去噪，获得去噪色度值；使用初始色度值与去噪色度值计算输出色度值。

本发明还提供实现上述方法的计算机装置及计算机可读存储介质。

本发明可以减少图像去噪的计算量以及硬件实现难度，并且提高去噪的质量。

申请人：珠海全志科技股份有限公司
地址：519080 广东省珠海市高新区唐家湾镇科技二路9号
国籍：CN
代理机构：珠海智专专利商标代理有限公司
代理人：林永协
更多信息请下载全文后查看。

一种图像显著性检测方法及装置[发明专利]

专利名称：一种图像显著性检测方法及装置
专利类型：发明专利
发明人：喻夏琼,王佳佳,赵金贤,吴平安,董小环,侯健,马静,务宇宽,王亚锋,唐斌,李娜,单月晖,赵志远,杨鹏,师康钦,
高琳,刘登
申请号：CN202210411363.9
申请日：20220419
公开号：CN114677368A
公开日：
20220628
专利内容由知识产权出版社提供
摘要：本发明提供一种图像显著性检测方法及装置，其中方法包括：步骤：S1：对待检测图像做超像素分割处理，得到超像素分割图像；S2：从超像素分割图像中提取出包含边界特征的背景超像素图像；S3：利用LASSO算法与背景超像素图像，对超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；S4：判断学习层处理结果是否满足预设条件，若是，执行步骤S5；否则，执行步骤S6；S5：将学习层处理结果作为显著性检测处理结果；根据显著性检测处理结果，生成显著图；S6：将学习层处理结果，反向传播至超像素分割图像，得到更新的待检测图像，返回执行步骤S1。

本发明提供的技术方案可有效处理对于背景较复杂的遥感图像，实现图像的显著性检测。

申请人：中国人民解放军32021部队,北京京航计算通讯研究所
地址：100094 北京市海淀区北清路22号
国籍：CN
代理机构：北京天达知识产权代理事务所(普通合伙)
代理人：许志宏
更多信息请下载全文后查看。

基于正则化稠密连接特征金字塔的实例显著性检测方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010328784.6(22)申请日 2020.04.23(71)申请人南开大学地址 300071 天津市南开区卫津路94号(72)发明人吴宇寰　刘云　程明明　(74)专利代理机构天津耀达律师事务所 12223代理人侯力(51)Int.Cl.G06T 7/00(2017.01)G06T 7/11(2017.01)G06K 9/46(2006.01)(54)发明名称基于正则化稠密连接特征金字塔的实例显著性检测方法(57)摘要一种基于正则化稠密连接特征金字塔的实例显著性检测的方法。

该方法的目的是构造稠密连接的特征金字塔来进行图像实例级显著性检测。

该方法设计了一种新的卷积神经网络模型，这种新的卷积神经网络模型通过构建该发明提出的正则化的稠密连接在原有特征金字塔的基础上构造一个新的特征金字塔。

稠密连接为构建新特征金字塔提供了更多的低层级特征，而正则化操作在稠密连接提供更多低层级特征的情况内更好地提取其中的有用信息而刨除无用信息。

此外，利用多级RoIAlign方法进行特征聚合可以更精确地对实例进行分割。

使用该方法检测出的显著性实例，可以用于重要目标分割、自适应图像压缩、图像检索等应用领域。

权利要求书1页说明书5页附图3页CN 111598841 A 2020.08.28C N 111598841A1.基于正则化稠密连接(regularized dense connections)特征金字塔的实例显著性检测方法，其特征在于，该方法包含如下步骤：a.设计一个新的卷积神经网络模型，该模型分为三大部分，第一个是特征提取部分，第二个是侧向物体框预测分支部分，第三个是物体像素级分割分支部分；b.用户向所述卷积神经网络模型中输入一张任意大小的图片到模型的特征提取部分，即一个带有特征金字塔增强的卷积神经网络中，并输出一个特征金字塔；所述的特征金字塔增强是先利用“FCOS:Fully Convolutional One -Stage Object Detection ”中的特征金字塔增强方法生成增强的特征金字塔，再在该基础上使用正则化稠密连接构建新的特征金字塔；c.步骤b中生成的特征金字塔的每个特征层级都连接着所述卷积神经网络模型的第二部分即侧向物体框预测分支，得到预测到的物体框级别的显著性实例；d.利用步骤c中预测出的物体框级别的显著性实例，在“Mask R -CNN ”中提出的RoIAlign方法基础上，对步骤b中生成的特征金字塔进行特征复用，即使用多级RoIAlign方法，得到每个预测到的显著性实例的感兴趣区域(Region ofInterest)特征金字塔，再利用模型的第三部分即物体像素级分割分支部分得到每个实例的像素级分割预测结果，最后将这些预测结果对应到原图的各个位置，得到最后实例级的显著性物体检测结果。

【CN110210492A】一种基于深度学习的立体图像视觉显著性检测方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910349084.2(22)申请日 2019.04.28(71)申请人浙江科技学院地址 310023 浙江省杭州市西湖区留和路318号(72)发明人周武杰　吕营　雷景生　张伟　何成　王海江　(74)专利代理机构宁波奥圣专利代理事务所(普通合伙) 33226代理人周珏(51)Int.Cl.G06K 9/46(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称一种基于深度学习的立体图像视觉显著性检测方法(57)摘要本发明公开了一种基于深度学习的立体图像视觉显著性检测方法，其构建卷积神经网络，包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架、中间层框架和解码框架，编码框架由RGB图通道和深度图通道组成；将训练集中的每幅立体图像的左视点图像和深度图像输入到卷积神经网络中进行训练，得到训练集中的每幅立体图像的显著性图像；计算训练集中的每幅立体图像的显著性图像与真实人眼注视图像之间的损失函数值，重复执行多次后得到卷积神经网络训练模型；待测试的立体图像的左视点图像和深度图像输入到卷积神经网络训练模型中，预测得到显著性预测图像；优点是其具有较高的视觉显著性检测准确性。

权利要求书6页说明书14页附图1页CN 110210492 A 2019.09.06C N 110210492A1.一种基于深度学习的立体图像视觉显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N幅宽度为W且高度为H的原始的立体图像；然后将选取的所有原始的立体图像及所有原始的立体图像各自的左视点图像、深度图像和真实人眼注视图像构成训练集，将训练集中的第n幅原始的立体图像记为{I n(x,y)}，将{I n(x,y)}的左视点图像、深度图像和真实人眼注视图像对应记为{D n(x ,y)}、其中，N为正整数，N ≥300，W和H均能够被2整除，n为正整数，n的初始值为1，1≤n≤N，1≤x≤W，1≤y≤H，I n(x,y)表示{I n(x,y)}中坐标位置为(x ,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，D n(x,y)表示{D n(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤1_2：构建卷积神经网络：该卷积神经网络包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架、中间层框架和解码框架，编码框架由RGB 图通道和深度图通道组成，RGB图通道由依次设置的第1个神经网络块、第3个神经网络块、第5个神经网络块、第7个神经网络块、第9个神经网络块、第11个神经网络块、第13个神经网络块构成，深度图通道由依次设置的第2个神经网络块、第4个神经网络块、第6个神经网络块、第8个神经网络块、第10个神经网络块、第12个神经网络块、第14个神经网络块构成，中间层框架由依次设置的第15个神经网络块和第16个神经网络块构成，解码框架由依次设置的第1个反卷积块、第17个神经网络块、第2个反卷积块、第18个神经网络块、第3个反卷积块、第19个神经网络块、第4个反卷积块、第20个神经网络块构成；对于RGB图输入层，其输入端接收一幅训练用左视点图像，其输出端输出训练用左视点图像给隐层；其中，要求训练用左视点图像的宽度为W且高度为H；对于深度图输入层，其输入端接收RGB图输入层的输入端接收的训练用左视点图像对应的训练用深度图像，其输出端输出训练用深度图像给隐层；其中，训练用深度图像的宽度为W且高度为H；对于编码框架，第1个神经网络块的输入端接收RGB图输入层的输出端输出的训练用左视点图像，第1个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P1；第2个神经网络块的输入端接收深度图输入层的输出端输出的训练用深度图像，第2个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P2；对P1中的所有特征图和P2中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为E1；第3个神经网络块的输入端接收E1中的所有特征图，第3个神经网络块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P3；第4个神经网络块的输入端接收P2中的所有特征图，第4个神经网络块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合权　利　要　求　书1/6页2CN 110210492 A。

基于金字塔结构的图像特征提取与匹配研究

基于金字塔结构的图像特征提取与匹配研究在计算机视觉领域中，图像特征提取和匹配是关键的研究方向之一。

基于金字塔结构的图像特征提取和匹配算法是目前应用广泛和效果优良的一种方法。

一、图像金字塔图像金字塔是图像处理中常用的一种技术。

它可以将一副图像按照不同的尺度进行划分，使得同一物体在不同尺度下都能被准确检测和匹配。

在图像处理中，金字塔结构可分为高斯金字塔和拉普拉斯金字塔。

高斯金字塔是通过不断向下采样得到的，其上一层图像的尺寸是下一层图像的两倍，像素值满足高斯分布。

拉普拉斯金字塔则是通过向下采样和向上采样得到，是高斯金字塔的差分图。

图像金字塔结构的生成可以使用循环卷积的方法或者快速傅里叶变换的方法，具体实现时需要根据不同情况选择合适的方法。

使用金字塔结构对图像进行处理可以避免图像尺度发生变化对结果的影响，从而提高图像处理的准确性。

二、SIFT算法SIFT算法是一种广泛使用的图像特征提取和匹配算法，其主要思想是通过寻找尺度空间上的极值点来提取图像特征。

在SIFT算法中，首先需要使用高斯金字塔对图像进行尺度变换，然后在每个尺度下利用DoG算法求出关键点。

最后对每个关键点周围的像素进行梯度计算，生成图像特征描述子。

SIFT算法的优点在于具有旋转不变性和尺度不变性，能够对不同方向和尺度的物体进行准确匹配。

但是SIFT算法处理速度较慢，存在过多的计算消耗和存储空间的问题。

三、SURF算法SURF算法是一种将SIFT算法进行优化的算法。

在SURF算法中，采用快速Laplacian算法对图像进行建模，利用Haar小波对图像快速特征提取，通过积分图像快速计算图像特征描述子。

与SIFT算法相比，SURF算法的计算速度更快，在处理大型图像时更具优势。

但是SURF算法对于旋转和尺度不变性的处理并不十分稳定，可能会出现一些误匹配的情况。

四、ORB算法ORB算法是一种将FAST特征点检测和BRIEF特征描述结合的算法。

在ORB算法中，首先使用FAST算法选取特征点，然后使用BRIEF算法对特征点进行描述。

【CN110084245A】基于视觉注意机制强化学习弱监督图像检测方法、系统【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910273048.2(22)申请日 2019.04.04(71)申请人中国科学院自动化研究所地址 100190 北京市海淀区中关村东路95号(72)发明人张兆翔　张驰　恩擎　(74)专利代理机构北京市恒有知识产权代理事务所(普通合伙) 11576代理人郭文浩　尹文会(51)Int.Cl.G06K 9/46(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称基于视觉注意机制强化学习弱监督图像检测方法、系统(57)摘要本发明属于计算机及机器学习领域，具体涉及了一种基于视觉注意机制强化学习弱监督图像检测方法、系统，旨在解决现有的图像检测方法需要大量有明确标签的训练数据，且标记费时费力的问题。

本发明方法包括：获取具有弱监督标记的图像作为输入图像；采用特征提取网络提取输入图像的特征；依据对应的弱监督标记，计算并排序，获得排序后的自顶向下的特征表示；将其输入深度Q网络，计算擦除动作序列；将擦除动作序列作用于输入图像进行擦除操作，直到预设的停止动作，将获得的图像作为检测结果。

本发明使用自顶向下的信息通过决策神经网络从动作空间中得到最优动作策略，能有效地模仿人类的视觉机理，通过迭代方式聚焦显著区域。

权利要求书4页说明书11页附图3页CN 110084245 A 2019.08.02C N 110084245A1.一种基于视觉注意机制强化学习弱监督图像检测方法，其特征在于，包括：步骤S10，获取具有弱监督标记的图像作为输入图像；步骤S20，基于特征提取网络，采用前向传播的方法提取所述输入图像对应的特征表示；所述特征提取网络为基于神经网络构建的用于特征提取的网络；步骤S30，基于所述特征表示对应的弱监督标记，计算所述特征表示在所述弱监督标记条件下的自顶向下特征表示，对其中的元素值按照从大到小进行重新排序；步骤S40，采用深度Q网络，依据重新排序后的自顶向下特征表示，构造动作空间、状态空间、奖励空间，计算擦除动作序列；所述深度Q网络，为基于深度神经网络构建的用于计算特征表示在对应的弱监督标记下的动作序列的网络；步骤S50，依次将所述擦除动作序列中每一个擦除动作作用于输入图像上，直到擦除动作为预设的停止动作，将获得的图像作为检测结果。

一种图像显著度检测的方法[发明专利]

专利名称：一种图像显著度检测的方法专利类型：发明专利
发明人：孙晶,卢湖川
申请号：CN201210191505.1
申请日：20120612
公开号：CN102722891A
公开日：
20121010
专利内容由知识产权出版社提供
摘要：本发明属于图像显著度检测技术领域。

其特征是能够对任意一幅图像的显著目标进行检测，涉及到图像处理的相关知识。

首先，将图像过分割形成超像素，并进行Harris兴趣点检测形成凸包；其次，对图像进行边缘检测并计算图像的边缘权重图；然后，使用边缘权重图度量颜色空间信息得到先验图；以先验图作为基准使用软分割得到观测似然概率；最后，使用贝叶斯框架结合先验图和观测似然概率得到显著度检测结果。

本发明的益处在于能够很好的消除背景噪声，平滑的高亮图像目标，能够处理在显著性检测中一直难以处理的目标颜色与背景相似、大目标和复杂背景的情况，并能够很好的应用于一般图像中。

申请人：大连理工大学
地址：116024 辽宁省大连市凌工路2号
国籍：CN
代理机构：大连理工大学专利中心
代理人：李宝元
更多信息请下载全文后查看。

【CN110084782A】基于图像显著性检测的全参考图像质量评价方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910239746.0(22)申请日 2019.03.27(71)申请人西安电子科技大学地址 710071 陕西省西安市雁塔区太白南路2号(72)发明人陈晨　(74)专利代理机构西安中科汇知识产权代理有限公司 61254代理人刘玲玲(51)Int.Cl.G06T 7/00(2017.01)G06T 7/11(2017.01)G06T 7/90(2017.01)(54)发明名称基于图像显著性检测的全参考图像质量评价方法(57)摘要本发明公开了一种基于图像显著性检测的全参考图像质量评价方法，其包括以下步骤：空间转换(提取失真图像和其对应的原始图像，将图像从RGB颜色空间转换到Lab颜色空间)，图像分割(将Lab颜色空间下的彩色图像分割成区域)，RCC显著性检测，超像素分割(对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割)，AMC显著性检测，VSI计算。

本发明的有益之处在于：(1)我们通过显著性检测得到图像的显著性区域，应用提取出的显著性图像进行图像质量评价，绕开了人眼视觉系统建模难的问题，所以本发明提供的评价方法思路简单，较好的符合人眼视觉系统特性，与主观评价具有较好的一致性；(2)具有较强的鲁棒性及较好的预测性能。

权利要求书3页说明书9页附图4页CN 110084782 A 2019.08.02C N 110084782A1.一种基于图像显著性检测的全参考图像质量评价方法，其特征在于，包括以下步骤：Step1：空间转换提取失真图像和其对应的原始图像，并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间；Step2：图像分割将Lab颜色空间下的彩色图像分割成区域；Step3：RCC显著性检测(1)计算区域的颜色对比度对于分割成区域的图像，计算每个区域的颜色距离，计算公式如下：其中，D r (r 1,r 2)是两个区域r 1和r 2的颜色距离度量，f(c k ,i )是第i个颜色c k ,i 在第k个区域r k 的所有n k 种颜色中出现的概率，其中k＝1或2，n k 是图像中所含的颜色总数；(2)计算区域的亮度对比度对于分割成区域的图像，计算每个区域的亮度度量，计算公式如下：其中，N k 和N i 分别为区域k和i中的像素个数，I k ,n 和I i ,m 为区域k和i中第n个和第m个像素的亮度值；(3)结合空间权值计算显著值显著值的计算公式如下：其中，D s (r k ,r i )是区域r k 和r i 的欧式空间距离，D a (r k ,r i )＝D 1(r k ,r i )+D r (r k ,r i )，ω(r i )作为权值是区域r i 中的像素个数，σs 是控制空间权值强度；Step4：超像素分割对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割；Step5：AMC显著性检测根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间，同时考虑显著目标和背景的外观差异及空间的分布，从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离，建立一种图模型，将显著性检测作为半监督分类的一种方式，根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性检测，得到显著图；Step6：VSI计算将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入，计算得出失真图像的图像质量。

一种基于特征金字塔的遥感图像旋转舰船检测方法[发明专利]

专利名称：一种基于特征金字塔的遥感图像旋转舰船检测方法专利类型：发明专利
发明人：朱明明,胡国平,周豪,冯子昂,卢春光,赵方正,张子鑫,占成宏,张宇乐,岳世杰
申请号：CN202011268470.8
申请日：20201113
公开号：CN112395969A
公开日：
20210223
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于特征金字塔的遥感图像旋转舰船检测方法，针对传统方法特征提取能力不足和舰船多方向、大小不同、分布密集等特殊性问题，本发明利用特征提取能力更强的卷积神经网络来提取特征；采用特征金字塔来进行多尺度检测；本发明的关键在于直接利用旋转框检测不同方向的舰船目标。

申请人：中国人民解放军空军工程大学
地址：710038 陕西省西安市灞桥区霸陵路1号
国籍：CN
代理机构：北京华仁联合知识产权代理有限公司
代理人：陈建
更多信息请下载全文后查看。