前言#

最小二乘法是最为常用的带误差数据拟合法，除开数学卷子，它也可能出没于如下地点：

• 物理卷子（例如“实验——探究弹簧伸长量和所挂重物质量的关系”中的作图题）
• Excel表格
• 这篇文章
• 某些抽卡游戏的玩家自制概率图

可见在数据统计领域，最小二乘法是不可获缺的分析数据的方法；在应试教育领域，它也是高考的一个重要考点。今天就由易到难介绍一番最小二乘法的计算方法。

线性最小二乘法#

学完了高中数学，我们就应该知道这样一些用于计算线性回归的公式：

在线性拟合过程中，我们希望拟合直线能够尽可能接近所给的点。而“点与直线的竖直距离”自然就是刻画上述“点与直线接近程度”的首选方案，然而计算距离需要加入绝对值，使得计算不方便，因此以竖直距离平方代替，也就是“二乘”的由来（指平方）。看以下例题：

Example 1. Science of Prescience Pt.I

你向太卜司符玄请教了穷观阵的运作原理。

简而言之，穷观阵会对给定输入物品进行某种运算，根据计算结果，可以推演出周遭事物从古至今的变化历程，从而实现窥探历史、预测将来的神奇功能。当然，由于要保证仙舟的平稳运作，穷观阵的推算模块也必须尽可能减小一切形式的估算误差——即对给定的数据，求得某个直线，使得这条直线能最好的适应这些散点，并请根据推演结果预测数据 $x=5$ 的结果。

易知 $\overline x=\frac{1+2+3+0.5}{4}=\frac{13}{8},\overline y=\frac{3+7+10.5}{4}=\frac{41}{8}$。

问题很简单，代入上文公式中可以求得 $\hat b=\frac{(3+14+31.5+0)-4\times1.625\times4.1}{(1+4+9+0.25)-4\times1.625^2}=\frac{1748}{275}$，从而得到 $\hat a=\frac{41}{8}-\frac{1748}{275}\times\frac{13}{8}=-\frac{11449}{2200}$。因此经验回归方程就是 $\hat y=\frac{1748}{275}\hat x-\frac{11449}{2200}$。特别地，点 $(\overline x,\overline y)=(\frac{13}{8},\frac{41}{8})$ 一定在这条拟合直线上，称作“样本中心”。根据经验回归方程，可得当 $x=5$ 时， $\hat y=\frac{58471}{2200}\approx26.578$。

当然拟合也存在误差，接下来就要设计函数关系，使我们可以对拟合效果进行定量分析。

1.残差分析

实质上是比较估计值和实际值之间的差距，是很简单的一种误差分析方法。定义为“观察值减估计值得到的差”，假如例一中接着给出点 $(5,25)$，那么残差就是 ${25-26.578=-1.578}$。可以发现差别不是很大。

2. 线性相关系数

稍难一些，计算量也比较大。样本线性相关系数定义为 $r=\frac{\sum(x_i-\overline x)(y_i-\overline y)}{\sqrt{\sum(x_i-\overline x)^2}\sqrt{\sum(y_i-\overline y)^2}}=\frac{\sum x_iy_i-n\overline x\overline y}{\sqrt{\sum x_i^2-n\overline x^2}\sqrt{\sum y_i^2-\overline y^2}}$。也就是样本的协方差除以根号下 $x,y$ 方差的积。与上边残差分析相比，它能通过 $r$ 的符号判断 $x,y$ 究竟是呈现正相关还是负相关，并且 $|r|$ 越接近 ${1}$，变量之间的线性相关度就越高（拟合效果更好）。例一条件下计算得 $r\approx0.995$，可知 $x,y$ 呈正相关关系，且线性相关关系度高，可以用一条直线近似拟合出来。

那么至此我们就完成了一个典型的线性回归方程的例题，接下来看更复杂的情况。

一般形式的最小二乘法#

首先引入一个例题，作为例一的加强版：

Example 2. Science of Prescience Pt.II

我们都知道，命运是捉摸不定的，在起起落落间交替……

你请求太卜大人帮你预测一下近些日子的运势，尽管符玄早已看破你的小心思，但她还是决定给你一次机会。

人生有诸多起伏，符玄从中摘取了一段，并随机挑出了一些散点，拿到你的面前。你发现这些散点近似组成了一个二次函数，符玄也肯定了这点。你的任务是写出一段二次解析式，使得该函数与给出的散点之间的误差最小，并计算当 $x=5$ 时 $y$ 的值。

在二次最小二乘法问题中，$\hat b,\hat c$ 的求解将变得极为复杂。因此我们引入一个新方法来计算拟合曲线。

假设二次函数为 $f(x)=ax^2+bx+c$，令矩阵 $\beta=\begin{bmatrix}a&b&c\end{bmatrix}$；矩阵 $X=\begin{bmatrix}1&x_1&x_1^2\\1&x_2&x_2^2\\1&x_3&x_3^2\\1&x_4&x_4^2\end{bmatrix}$；矩阵 $A=\begin{bmatrix}y_1&y_2&y_3&y_4\end{bmatrix}$。那么有 $XX^T\beta=XA$，也就是 $\beta=(XX^T)^{-1}XA$，根据这个公式就可以直接求出二次函数的系数了。类似地，若需要拟合更高次数的函数，只需更改 $X$ 矩阵的形式即可（并按需填充 $A$ 矩阵的值）。需要注意的是，$n$ 次拟合要求至少给出 $n$ 个点的明确坐标，否则这个方法无效。

总结一下，矩阵二乘法的公式是类似于 $x^2\beta=xy$ 的形式。因为高考只涉及线性回归方程的计算，而在某些情况下，矩阵法计算最小二乘会更加容易和好算（尤其是 $\overline x$ 或 $\overline y$ 出现了小数点的情况下），同时它的公式也比一般的最小二乘公式简便。适合秒选择题（不过一般高考会给出 $\hat b$ 的计算公式，最终还是按需取用）