浅谈算法的稳定性

数值稳定性，在计算机编程中，有很多算法都需要考虑数值稳定性。比如在机器学习算法中我学过的Logistic回归的牛顿迭代解法，在牛顿迭代时需要解线性方程组，由于Hessian矩阵是对称正定的，用Cholesky矩阵分解不但可以大大减少运算量，而且还具有很好的数值稳定性。借此机会来更多地了解一下数值稳定性。

在计算机编程中，有时候同一个计算问题，不同算法中舍入误差对计算的结果产生的影响各不相同，舍入误差对计算结果的精确度影响小的算法，具有较好的数值稳定性；反之，算法的数值稳定性差。所设计的算法的舍入误差在一定条件下要能够控制。否则就像蝴蝶效应一样，使风和日丽的美洲几个月后出现狂风暴雨。

接下来我们先来看一个比较经典的例子。

题目：计算如下积分的值

分析：很容易，可以进行如下推导过程

根据这个递推式，可以计算任意的，但是我们再计算一下放大的误差，得到

可以看出误差是逐渐放大的，在一定范围内无法控制，这样做的结果就是最终答案与真实答案相差十万八千里。

为了提高数值的稳定性，我们在设计算法时需要遵循如下几个原则

（1）尽量减少运算次数

（2）加法运算时，避免大数加小数

（3）避免两个相近数相减

（4）避免小数做除数或大数做乘数

（1）尽量减少运算次数

比如计算多项式的秦九韶算法，再比如下例

题目：计算的值，要求精确到。

分析：用两种方法进行比较，以此说明运算次数的重要性。首先采用如下公式计算

即得到

要精确到，就要计算100000项，而且还有精度损失，此方法效率太低。再考虑另一种方法

这样的话取，得到

要精确到，只需要计算前4项就行了，因为

可以看出第二种方式大大减少了计算量，精度相应也会损失很少。

（2）加法运算时，避免大数加小数

针对浮点数来说，由于有效数字的保留问题，大数会“吃掉”小数。

（3）避免两个相近数相减

比如在二次方程求根问题中，解，如果并且接近，这样求出

其中有两个相近的数相减，这会导致误差增大，但是考虑另一种方法，先计算出

然后再根据

计算得到，这样做误差大大降低。

（4）避免小数做除数或大数做乘数

高斯消元中，选主元与不选主元计算得到的结果有差异，因为如果不选主元可能遇到小数做除数的情况。从而导致结果出现偏差。