在超定方程中 线性方程组一般不能被完全精确满足因此需要使用最小二乘法求解参数XXX。假设线性方程组可以写成AX≈B AX \approx BAX≈B其中AAA为系数矩阵XXX为待求参数向量BBB为观测值向量。定义残差向量为rAX−B r AX - BrAX−B最小二乘法的目标是使残差平方和最小即Xarg⁡min⁡X∥AX−B∥2 X \arg\min_X \|AX - B\|^2XargXmin​∥AX−B∥2为了便于推导定义目标函数J(X)∥AX−B∥2 J(X) \|AX - B\|^2J(X)∥AX−B∥2向量二范数的平方可以写成内积形式J(X)(AX−B)T(AX−B) J(X) (AX - B)^T(AX - B)J(X)(AX−B)T(AX−B)展开可得J(X)XTATAX−XTATB−BTAXBTB J(X) X^T A^T A X - X^T A^T B - B^T A X B^T BJ(X)XTATAX−XTATB−BTAXBTB由于XTATBX^T A^T BXTATB和BTAXB^T A XBTAX都是标量并且二者相等 计算两者矩阵维度XTATBBTAX X^T A^T B B^T A XXTATBBTAX所以目标函数可以化简为J(X)XTATAX−2XTATBBTB J(X) X^T A^T A X - 2X^T A^T B B^T BJ(X)XTATAX−2XTATBBTB下面对J(X)J(X)J(X)关于XXX求导。首先有∂∂X(XTATAX)2ATAX \frac{\partial}{\partial X} (X^T A^T A X) 2A^TAX∂X∂​(XTATAX)2ATAX这是因为ATAA^TAATA是对称矩阵即(ATA)TATA (A^TA)^T A^TA(ATA)TATA其次有∂∂X(−2XTATB)−2ATB \frac{\partial}{\partial X} (-2X^TA^TB) -2A^TB∂X∂​(−2XTATB)−2ATB最后BTBB^TBBTB中不含有待求参数XXX因此∂∂X(BTB)0 \frac{\partial}{\partial X} (B^TB) 0∂X∂​(BTB)0所以目标函数的导数为∂J(X)∂X2ATAX−2ATB \frac{\partial J(X)}{\partial X} 2A^TAX - 2A^TB∂X∂J(X)​2ATAX−2ATB最小二乘问题要求目标函数取得最小值因此令导数为零2ATAX−2ATB0 2A^TAX - 2A^TB 02ATAX−2ATB0化简可得ATAXATB A^TAX A^TBATAXATB这就是最小二乘法对应的正规方程。当ATAA^TAATA可逆时可以在等式两边左乘(ATA)−1(A^TA)^{-1}(ATA)−1得到X(ATA)−1ATB X (A^TA)^{-1}A^TBX(ATA)−1ATB因此正规方程的本质就是对最小二乘目标函数J(X)∥AX−B∥2J(X)\|AX-B\|^2J(X)∥AX−B∥2关于待求参数XXX求导并令导数为零后得到的方程。