尺度不变的条件数约束的模型鲁棒性增强算法

尺度不变的条件数约束的模型鲁棒性增强算法
徐杨宇;高宝元;郭杰龙;邵东恒;魏宪
【期刊名称】《计算机工程与应用》
【年(卷),期】2024(60)8
【摘要】深度神经网络容易受到对抗样本的攻击,这一直威胁着其在安全关键的场景中的应用。

基于对抗样本是由神经网络的高度线性行为产生的这一解释,提出了一种基于尺度不变的条件数约束的模型鲁棒性增强算法。

在对抗训练过程中利用权重矩阵计算其范数,并通过对数函数获得尺度不变的约束项。

将尺度不变的条件数约束项纳入到对抗训练优化的外层框架中,经过反向传播迭代降低权重矩阵的条件数值,从而在良态的高维权重空间中进行神经网络的线性变换,以提高防御对抗扰动的鲁棒性。

该算法适用于卷积和Transformer两种架构的视觉模型,不仅在防御PGD、AutoAttack等白盒攻击时可以显著提高鲁棒精度,在防御黑盒攻击squareattack等算法时也能有效增强对抗鲁棒性。

在基于Transformer架构的图像分类模型上进行对抗训练时结合所提出的约束,权重矩阵的条件数值平均下降了20.7%,防御PGD攻击时可提高1.16个百分点的鲁棒精度。

与Lipschitz约束等同类方法相比,提出的算法还能提高干净样本的精度,缓解对抗训练造成的模型泛化性低的问题。

【总页数】8页(P140-147)
【作者】徐杨宇;高宝元;郭杰龙;邵东恒;魏宪
【作者单位】中国科学院福建物质结构研究所;中国科学院大学;福建师范大学计算机与网络空间安全学院;中国科学院海西研究院泉州装备制造研究中心
【正文语种】中文
【中图分类】TP183
【相关文献】
1.快速鲁棒性非线性尺度不变的特征匹配算子
2.基于可变形多尺度变换的几何不变鲁棒图像水印算法
3.增强目标模型鲁棒性的Mean-shift算法
4.快速自适应鲁棒性尺度不变的特征检测子
5.滤波器权值约束对自适应零限波束形成语音增强算法鲁棒性影响分析
因版权原因，仅展示原文概要，查看原文内容请购买。