知乎 正则化 几何解释

知乎正则化几何解释
正则化在机器学习中是一种常用的技术，用于控制模型的复杂度，并避免过拟合。

它的几何解释可以理解为在参数空间中对模型的约束，使得模型的参数分布在一个较小的范围内。

具体而言，正则化通过向
损失函数中添加一个正则化项，来惩罚模型的复杂度和参数的绝对值。

常见的正则化方法包括L1正则化和L2正则化。

在几何解释中，我们可以将模型的参数视为参数空间中的一个点，模型的性能评估指标（如损失函数）反映为参数空间中的一个曲面。

在没有正则化时，这个曲面可能非常复杂，呈现出许多曲线和起伏，
这会导致模型过拟合训练数据，泛化能力较差。

通过正则化，我们可以在参数空间中引入一个额外的约束，将这
个约束展现为一个几何形状，如一个圆或一个超球体。

这个几何形状
代表了正则化限制下的参数分布范围。

这样一来，模型的参数只能在
这个几何形状内进行搜索，限制了参数的取值范围，从而降低了模型
的复杂度。

L1正则化给参数空间添加的几何形状是一个菱形，位于原点附近，并沿着坐标轴对称，其边界由L1范数构成。

这种形状使得模型的参数
具有稀疏性，即可以使得较多参数的值变为0，从而实现特征选择和模型简化。

L2正则化给参数空间添加的几何形状是一个球体，位于原点附近，并呈现均匀分布。

这种形状使得模型的参数具有平滑性，即可以使得
参数的值较为均衡，从而减小了模型的方差。

通过正则化，我们可以控制模型在参数空间中的搜索方向和范围，使得模型更加平滑且具有泛化能力。

这种几何解释可以帮助我们理解
正则化在机器学习中的作用，以及对模型的影响。