最小二乘法（Least Squares）

一、最小二乘法概念与用途知悉

最小二乘法是一种常用的数学方法，用于通过拟合数据点来找到最佳拟合曲线或平面。其核心思想是最小化观测数据点与拟合曲线之间的垂直距离的平方和，即最小化残差的平方和。通过最小二乘法，我们可以找到一条曲线或平面，使得观测数据点到该曲线或平面的距离最短。

最小二乘法广泛应用于各个领域，尤其在数据拟合和回归分析中。例如，在线性回归中，最小二乘法可以用来拟合数据集到一条直线;在多项式拟合中，最小二乘法可以用来拟合数据集到一个多项式曲线;在非线性拟合中，可以通过最小二乘法找到最佳拟合曲线或曲面。

通过最小二乘法，我们可以得到拟合曲线的参数，如斜率和截距，或者拟合曲面的系数。这些参数可以用来进行预测、优化和分析数据。最小二乘法的优点在于可解析解的存在，计算较为简单和稳定。

二、举例详解

举个通俗的例子，某种材料的强度与其拉伸倍数有关，现有一部分样品的测试数据：

将上述数据画成如下图形，假设我们想用一条直线来拟合数据，即期望找到一条直线能最好的穿过这些数据点。

通过观察可以发现，这些点大致分布在一条直线上，因此可以考虑利用一元二次方程：

当然，事物总具有两面性，最小二乘法也不例外，最小二乘法不够稳健，很容易受极端异常点的影响，如果是少数异常，可以用异常点检测的方法剔除，但有时异常点也非常重要，需要考虑，这时候可以用一些稳健的方法，具体可以搜索“稳健回归”，找相关的文献看看，或者等待作者后续更新。