正则化参数λ

正则化参数λ或者α如何选择？
1Tikhonov （吉洪诺夫）正则化
投影方程Ax=b （1）
在多种正则化方法中，Tikhonov 正则化方法最为著名，该正则化方法所求解为线性方程组众多解中使残差范数和解的范数的加权组合为最小的解：
（2）
式中22. 表示向量的 2 范数平方；λ 称为正则参数，主要用于控制残差范数22
Ax b
与解的范数22Lx 之间的相对大小； L 为正则算子，与系统矩阵的具体形式有关。

Tikhonov 正则化所求解的质量与正则参数λ 密切相关，因此λ 的选择至关重要。

确定正则参数的方法主要有两种：广义交叉验证法和 L-曲线法。

（1）广义交叉验证法（GCV ，generalized cross-validation ）
广义交叉验证法由 Golub 等提出，基本原理是当式Ax=b 的测量值 b 中的任意一项i b 被移除时，所选择的正则参数应能预测到移除项所导致的变化。

经一系列复杂推导后，最终选取正则参数λ 的方法是使以下 GCV 函数取得最小值。

（3）
式中T A 表示系统矩阵的转置； trace 表示矩阵的迹，即矩阵中主对角元素的和。

（2）L-曲线法（L-curve Method ）
L-曲线法是在对数坐标图上绘制各种可能的正则参数所求得解的残差范数和解的范数，如图1所示，所形成的曲线一般是 L 形。

图1 L 曲线示意图
L 曲线以做图的方式显示了正则参数变化时残差范数与解的范数随之变化的情况。

从图
中知道当正则参数λ 取值偏大时，对应较小的解范数和较大的残差范数；而当λ 取值偏小时，对应较大的解范数和较小的残差范数。

在 L 曲线的拐角（曲率最大）处，解的范数与残差范数得到很好的平衡，此时的正则参数即为最优正则参数。

另外一种方法
Morozov 相容性原理
是一种应用非常广泛的选取策略，它是通过求解非线性的Morozov 偏差方程来得到正则化参数。

投影方程
Kx=y
考虑有误差的右端观测数据 y Y δ∈ 满足y y δδ-≤，Tikhonov 正则化方法是通过极小化Tikhonov 泛函。

来得到正则化解，其中，α为正则化参数。

当0α>时，泛函()J x α 在空间X 上存在唯一的极小元,x αδ，且该极小元恰为方程
的唯一解，其中，*K ：Y X → 为算子K 的伴随算子。

Morozov 相容性原理选取正则化参数()ααδ=是通过保证正则化解,x αδ满足方程
来实现的。