第五章 线性测量的参数最小二乘法处理⚓︎
约 1539 个字 预计阅读时间 8 分钟
目录
5.1 最小二乘法原理⚓︎
1. 基本思路⚓︎
最小二乘法 (Least Squares Method, LSM)：通过最小化误差的平方和寻找数据的最佳函数匹配。
对于测量方程，由于误差的存在，等式两边不会精确相等。设残差为 \(V\)，则：
\[
v_i = l_i - f(x_1, x_2, \dots, x_t)
\]
按照最小二乘法原理，待测量的最佳估计值应使 残差平方和 最小：
\[
\sum_{i = 1}^{n} v_i^2 = \min
\]
2. 原理推导（矩阵形式）⚓︎
\[
\begin{aligned}
& \text{对照残余误差方程:} \\
&
\begin{cases}
v_1 = l_1-(a_{11}x_1+a_{12}x_2+\cdots+a_{1t}x_t) \\
v_2 = l_2-(a_{21}x_1+a_{22}x_2+\cdots+a_{2t}x_t) \\
\cdots \\
v_n = l_n-(a_{n1}x_1+a_{n2}x_2+\cdots+a_{nt}x_t) &
\end{cases} \\
& \text{令}\boldsymbol{L}=
\begin{bmatrix}
l_1 \\
l_2 \\
\vdots \\
l_n
\end{bmatrix}\widehat{X}=
\begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\
x_t
\end{bmatrix}\boldsymbol{V}=
\begin{bmatrix}
v_1 \\
v_2 \\
\vdots \\
v_n
\end{bmatrix}\quad\boldsymbol{A}=
\begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1t} \\
a_{21} & a_{22} & \cdots & a_{2t} \\
& \vdots \\
a_{n1} & a_{n2} & \cdots & a_{nt}
\end{bmatrix}
\end{aligned}
\]
X 是自变量 / 目标参数、A 是自变量的系数、V 是残差、L 测得的值。
- 测量方程：\(L = AX\)
- 误差方程：\(V = L - A\hat{X}\)
- \(t\) 个参数，\(n\) 个式子
- \(L\)：观测值向量（\(n \times 1\)）
- \(\hat{X}\)：未知参数估计向量（\(t \times 1\)）
- \(A\)：系数矩阵（\(n \times t\)）
- \(V\)：残差向量
等精度测量 的最小二乘原理矩阵形式：
\[
V^T V = (L - A\hat{X})^T (L - A\hat{X}) = \min
\]
不等精度测量 的最小二乘原理（引入权矩阵 \(P\)）：
\[
P_{n\times n}=
\begin{bmatrix}
p_1 & 0 & \cdots & 0 \\
0 & p_2 & \cdots & 0 \\
& & \vdots \\
0 & 0 & \cdots & p_n
\end{bmatrix}=
\begin{bmatrix}
\sigma^2/{\sigma_1}^2 & 0 & \cdots & 0 \\
0 & \sigma^2/{\sigma_2}^2 & \cdots & 0 \\
& \vdots \\
0 & 0 & \cdots & \sigma^2/{\sigma_n}^2
\end{bmatrix}
\]
\[
V^T P V = \min
\]
5.2 正规方程⚓︎
0. 正规方程的定义⚓︎
\[
\begin{aligned}
& \text{正规方程:}\text{将误差方程按最小二乘法原理转化得到的} \\
& \text{有确定解的代数方程组。} \\
&
\begin{aligned}
&
\begin{cases}
\boldsymbol{v}_1 =\boldsymbol{l}_1-(\boldsymbol{a}_{11}\boldsymbol{x}_1+\boldsymbol{a}_{12}\boldsymbol{x}_2+\cdots+\boldsymbol{a}_{1t}\boldsymbol{x}_t) \\
\boldsymbol{v}_2 =\boldsymbol{l}_2-(\boldsymbol{a}_{21}\boldsymbol{x}_1+\boldsymbol{a}_{22}\boldsymbol{x}_2+\cdots+\boldsymbol{a}_{2t}\boldsymbol{x}_t) \\
\vdots &
\\
\boldsymbol{v}_n =\boldsymbol{l}_n-(\boldsymbol{a}_{n1}\boldsymbol{x}_1+\boldsymbol{a}_{n2}\boldsymbol{x}_2+\cdots+\boldsymbol{a}_{nt}\boldsymbol{x}_t) \\
\end{cases} \\
\end{aligned} &
\end{aligned}
\]
\[
\boldsymbol{v}_1^2+\boldsymbol{v}_2^2+\cdots+\boldsymbol{v}_n^2 =\boldsymbol{m}\boldsymbol{i}\boldsymbol{n}
\]
即
\[
\begin{cases}
\frac{\displaystyle \partial(\sum_{i = 1}^n{v_i}^2)}{\displaystyle \partial x_1}= 0 \\
\vdots \\
\frac{\displaystyle \partial(\sum_{i = 1}^n{v_i}^2)}{\displaystyle \partial x_t}= 0 & &
\end{cases}
\]
经过一系列化简后，得到
\[
\begin{aligned}
\text{正规方程} &
\begin{cases}
\displaystyle\sum_{i=1}^na_{i1}l_i=\displaystyle\sum_{i=1}^na_{i1}a_{i1}x_1+\displaystyle\sum_{i=1}^na_{i1}a_{i2}x_2+\cdots+\displaystyle\sum_{i=1}^na_{i1}a_{it}x_t \\
\displaystyle\sum_{i=1}^na_{i2}l_i=\displaystyle\sum_{i=1}^na_{i2}a_{i1}x_1+\displaystyle\sum_{i=1}^na_{i2}a_{i2}x_2+\cdots+\displaystyle\sum_{i=1}^na_{i2}a_{it}x_t \\
\displaystyle\sum_{i=1}^na_{it}l_i=\displaystyle\sum_{i=1}^na_{it}a_{i1}x_1+\displaystyle\sum_{i=1}^na_{it}a_{i2}x_2+\cdots+\displaystyle\sum_{i=1}^na_{it}a_{it}x_t & &
\end{cases}
\end{aligned}
\]
即
\[
A^{T}V =0
\]
1. 等精度测量线性参数⚓︎
通过对 \(\sum v_i^2\) 求偏导并令其为 0，可得正规方程：牢记正规方程，他排除了 V 的存在
\[
A^T A \hat{X} = A^T L
\]
令 \(C = A^T A\)，则待测量 \(\hat{X}\) 的唯一解为：
\[
\hat{X} = (A^T A)^{-1} A^T L = C^{-1} A^T L
\]
2. 不等精度测量线性参数⚓︎
引入权矩阵 \(P\)（对角阵，对角元为 \(p_i = \sigma^2 / \sigma_i^2\)），正规方程为：
\[
A^T P A \hat{X} = A^T P L
\]
待测量 \(\hat{X}\) 的解为：
\[
\hat{X} = (A^T P A)^{-1} A^T P L
\]
3. 非线性参数的处理⚓︎
对于非线性函数 \(y = f(x)\)，采用 线性化 方法处理：
- 确定近似值 \(x_{i0}\)。
- 利用泰勒级数 \(f(x) = f(x_0)+f'(x_0)(x-x_0) = f(x_0)+f'(x_0)\delta\) 展开，忽略高次项，转化为线性方程组。
- 求解修正量 \(\delta\)，则 \(x = x_0 + \delta\)。
5.3 精度估计⚓︎
最小二乘法处理的最终结果包含两方面：待求量(\(x_1,x_2,...,x_t\))的最佳估计值 和 直接测量结果(\(l_1,l_2,...,l_n\))精度估计。
1. 测量数据(\(l_1,l_2,...,l_n\))的精度估计（单位权中误差）⚓︎
如果 \(v_i\) 服从正态分布，标准差 \(\sigma\)。那么 \((\sum v_i^2)/\sigma^2\) 服从 \(\chi^2\) 分布，其自由度 n-t, 有 \(\chi^2\) 变量的数学期望
\[
E\left [\frac{\left(\sum{v_i}^2\right)}{\sigma^2}\right] = n-t
\]
根据残差 \(V\) 计算直接测量数据的标准差 \(\sigma\)（又称单位权中误差）：
等精度测量：
数学期望表达了对一个变量的最佳估计量
\[
E =\left\{\frac{\sum_{i = 1}^n{v_i}^2}{n-t}\right\}=\sigma^2
\]
所以，误差估计为
\[
\widehat{\sigma}=\sigma =\sqrt{\displaystyle \frac{\sum (v_{i}^2)}{n-t}}
\]
令 t = 1, 由上式又可导出 Bessel 公式。
不等精度测量：
\[
\hat{\sigma} = \sqrt{\frac{\sum p_i \cdot v_i^2}{n - t}}
\]
- \(n\)：测量次数
- \(t\)：未知数个数
- \(n-t\)：自由度
2. 最小二乘估计量(\(x_1,x_2,...,x_t\))的精度估计（待求参数精度）⚓︎
利用协方差矩阵进行传播。
等精度情况： 参数估计量的协方差矩阵为：
\[
D(\hat{X}) = \sigma^2 (A^T A)^{-1}
\]
设逆矩阵 \((A^T A)^{-1}\) 的对角线元素为 \(d_{ii}\)，则各待求参数 \(x_i\) 的标准差为：
\[
\sigma_{x_i} = \hat{\sigma} \sqrt{d_{ii}}
\]
不等精度情况： 利用 \((A^T P A)^{-1}\) 的对角线元素 \(d_{ii}\)：
\[
\sigma_{x_i} = \hat{\sigma} \sqrt{d_{ii}}
\]
5.4 小结⚓︎
1. 矩阵最小二乘法解题步骤总结⚓︎
-
列出测量残差方程：
\[ V = L - A\hat{X} \] -
构造矩阵：
- 确定系数矩阵 \(A\)。
- 确定观测向量 \(L\)。
- 若是加权测量，确定权矩阵 \(P\)。
-
求解参数： 计算正规方程的解：
\[ \hat{X} = C^{-1} A^T L \quad \text{或} \quad \hat{X} = (A^T P A)^{-1} A^T P L \]同时求出逆矩阵 \(C^{-1}\)（用于后续精度计算）。
-
精度估计：
- 回代求残差向量 \(V\)。
- 计算单位权标准差 \(\hat{\sigma}\)。
- 利用逆矩阵对角元素 \(d_{ii}\) 计算参数标准差 \(\sigma_{x_i}\)。
-
结果表达：
\[ x_i = (\hat{x}_i \pm U_{95}) \]