考研数学1000问：特征值、矩阵分解、最小二乘与数值计算
一、行列式、秩与特征值
Q1. 行列式的几何意义是什么？为什么 det(A)=0 表示不可逆？
答案： 对 n 维方阵 A，行列式 det(A) 表示线性变换对有向体积的缩放因子。二维中是面积缩放，三维中是体积缩放；符号表示方向是否翻转。
若 det(A)=0，某些方向被压扁到更低维空间，变换丢失信息，无法唯一恢复输入，因此矩阵不可逆。若 det(A) 不等于 0，则体积缩放非零，变换可逆。
Q2. 矩阵的秩是什么？为什么秩等于独立列向量的数量？
答案： 秩是矩阵列空间（或行空间）的维数，等于最大线性无关列向量数，也等于最大非零子式阶数。它衡量线性变换能产生多少个独立输出方向。
对 m×n 矩阵 A，rank(A) 不超过 min(m,n)。若 rank(A)=n（满列秩），列向量线性无关；若方阵满秩，则可逆。
Q3. 特征值和特征向量是什么？为什么 Ax=λx 很重要？
答案： 若非零向量 v 满足 Av=λv，则 v 是 A 的特征向量，λ 是对应特征值。在线性变换下，特征向量方向保持不变，只发生缩放（λ 为负时还会翻转方向）。
特征值描述变换沿特殊方向的伸缩程度，常用于稳定性分析、动力系统、主成分分析、振动模态和矩阵幂计算。
Q4. 为什么有些矩阵不能对角化？可对角化有什么好处？
答案： n×n 矩阵可对角化，意味着存在可逆矩阵 P，使 A=PDP^-1，其中 D 为对角矩阵。通常要求有 n 个线性无关特征向量；特征值重根不一定意味着不可对角化，关键是特征向量是否足够。
好处是矩阵幂、指数和线性系统分析更容易：A^k=PD^kP^-1。若矩阵缺少足够独立特征向量，则不能被普通相似变换化成对角矩阵，可考虑 Jordan 形式或其他分解。
Q5. 实对称矩阵为什么可以正交对角化？
答案： 实对称矩阵 A=A^T 的特征值均为实数，不同特征值对应的特征向量相互正交，并可选取一组标准正交特征向量作为基。因此存在正交矩阵 Q，使：
A = Q Λ Q^T这称为谱定理。它让二次型、协方差矩阵、PCA 和能量分析具有清晰的几何解释。
Q6. 正定矩阵是什么？为什么协方差矩阵通常是半正定？
答案： 对称矩阵 A 若对任意非零 x 都满足 x^T A x>0，则为正定；若 x^T A x≥0，则为半正定。
协方差矩阵 Σ 满足：
x^T Σ x = Var(x^T X) >= 0所以它是半正定。若特征高度共线或样本数少于特征数，协方差矩阵可能奇异；需要时可做正则化或使用伪逆。正定矩阵可进行 Cholesky 分解 A=LL^T。
Q7. 矩阵的迹 trace 有什么意义？
答案： trace(A) 是主对角线元素之和。它满足 trace(AB)=trace(BA)，且在相似变换下不变；对于可对角化矩阵，迹等于全部特征值之和（按代数重数计）。
在统计和机器学习中，trace 常出现在协方差总方差、二次型期望、正则化和矩阵微分公式中。
二、正交、投影与最小二乘
Q8. 正交矩阵为什么能保持向量长度？
答案： 若 Q^TQ=I，则：
||Qx||^2 = x^T Q^T Q x = x^T x = ||x||^2因此正交矩阵保持长度和内积，也保持角度。几何上它表示旋转、反射或二者组合，不会拉伸或剪切空间。
Q9. 为什么正交投影是最佳逼近？
答案： 把向量 b 投影到子空间 S，得到 p。正交投影满足残差 r=b-p 与 S 中所有向量正交，因此 p 是 S 中距离 b 最近的向量：
p = argmin_(x in S) ||b-x||_2这是最小二乘法的几何基础：在 Ax≈b 无精确解时，选择使残差平方和最小的 x。
Q10. 最小二乘为什么会得到正规方程 A^T A x=A^T b？
答案： 最小化目标：
J(x)=||Ax-b||_2^2对 x 求梯度并令其为零：
grad J = 2 A^T(Ax-b)=0得到正规方程 A^TAx=A^Tb。几何上表示残差 b-Ax 与 A 的列空间正交。
数值提醒： 直接求解正规方程可能把条件数平方（κ(A^TA)≈κ(A)^2），病态问题更推荐 QR 或 SVD。
Q11. QR 分解为什么常用于最小二乘？
答案： QR 分解把 A 写成 Q R，其中 Q 的列正交、R 为上三角矩阵（矩形情形按具体形式）。利用正交变换保持 2-范数，可把最小二乘问题化为三角系统求解。
与正规方程相比，QR 通常数值更稳定；若矩阵秩亏或严重病态，可使用带列主元 QR 或 SVD。
Q12. SVD 是什么？为什么它能处理秩亏矩阵？
答案： 奇异值分解把任意 m×n 矩阵写成：
A = U Σ V^TU、V 为正交矩阵，Σ 对角线上是非负奇异值。奇异值描述 A 沿不同正交方向的伸缩程度；接近 0 的奇异值表示某些方向信息很弱或丢失。
SVD 可用于求秩、伪逆、低秩近似、去噪、最小二乘和 PCA。它比直接求逆更适合处理秩亏或病态问题。
Q13. Moore-Penrose 伪逆是什么？什么时候使用？
答案： 伪逆 A^+ 把矩阵逆的概念推广到非方阵或不可逆矩阵。它可给出最小二乘问题的最小范数解：
x* = A^+ b若 Ax=b 有多解，伪逆选择其中欧氏范数最小的解；若无精确解，它给出残差最小的解。数值计算通常通过 SVD 并设置奇异值阈值实现，不建议手工构造 A^TA 再求逆。
三、数值稳定性与特殊矩阵
Q14. 条件数是什么？为什么条件数大说明问题敏感？
答案： 条件数衡量输入相对扰动可能引起输出相对变化的放大程度。对可逆矩阵常用 2-范数条件数：
kappa_2(A) = sigma_max(A) / sigma_min(A)条件数越大，最小奇异值越接近 0，问题越病态；输入测量误差、舍入误差可能被显著放大。算法稳定性和问题本身的条件数是两个不同概念：稳定算法也无法让病态问题变得不敏感。
Q15. Perron-Frobenius 定理为什么和 PageRank 有关？
答案： 对具有适当不可约/非负条件的矩阵，Perron-Frobenius 理论保证存在非负主特征向量及相应主特征值性质。若矩阵严格正，主特征值为正且具有正特征向量；对一般非负矩阵，还需注意不可约性、原始性和周期等条件。
PageRank 把网页链接关系构造成随机转移矩阵，并加入阻尼/随机跳转以改善遍历性；最终排名向量是对应转移过程的平稳分布，与 Perron-Frobenius 理论相关。
Q16. Hilbert 矩阵为什么是病态矩阵？
答案： Hilbert 矩阵 H_ij=1/(i+j-1) 对称且正定，但随着阶数增加，条件数会快速变大。其列/行高度相关，数值求解对微小舍入误差非常敏感。
它常被用作数值算法的压力测试：理论上矩阵可逆，不代表有限精度计算能稳定求出准确解。应关注条件数、残差和前向误差，而不是只看程序是否返回结果。
Q17. Vandermonde 矩阵怎样出现在多项式插值中？为什么高次插值可能振荡？
答案： 用多项式 p(x)=a0+a1x+…+anx^n 拟合给定节点 (x_i,y_i)，把每个节点方程写成矩阵形式，就得到 Vandermonde 矩阵。
高次等距节点插值可能在区间边缘出现 Runge 现象；矩阵也可能病态，导致系数对数据误差敏感。可考虑 Chebyshev 节点、分段低阶多项式或样条插值，避免盲目提高全局多项式次数。
Q18. Toeplitz 矩阵为什么在信号处理中常见？
答案： Toeplitz 矩阵沿每条对角线元素相同。平稳随机过程的协方差矩阵常具有 Toeplitz 结构，因为协方差只依赖时间差；有限长卷积也可写成 Toeplitz 矩阵乘向量。
利用这种结构可以减少存储、加速卷积/相关计算，并建立 AR 模型参数估计中的 Yule-Walker 方程。
四、矩阵计算与现代机器学习
Q19. 1000×1000 矩阵乘法大约需要多少浮点运算？
答案： 朴素三重循环计算 C=AB，每个输出元素需要约 n 次乘法和 n−1 次加法。对于 n×n 矩阵，总计约 n³ 次乘法和 n³ 次加法，即约 2n³ FLOPs。
n=1000 时约为 2×10^9 FLOPs（忽略边界差异和 FMA 计数约定）。真实性能还受缓存、内存带宽、向量化、线程数和矩阵库优化影响；不能仅按 FLOP 数推算运行时间。
Q20. 自动微分与 Jacobian 矩阵、链式法则有什么关系？
答案： 自动微分（AD）把程序表示为基本运算组成的计算图，并按链式法则对每个基本运算传播导数。它既不是符号微分（先推导一个完整解析式），也不是数值微分（用有限差分近似）。
- Forward mode：传播切向量，适合输入维度较小、输出维度较大的场景。
- Reverse mode：从标量损失反向传播梯度，适合深度学习中参数很多、损失为标量的场景。
- Jacobian：描述多维输入变化对多维输出变化的一阶线性映射；自动微分可高效计算 Jacobian-vector product 或 vector-Jacobian product，而不一定显式构造整个 Jacobian。
这就是深度学习反向传播与线性代数链式法则的连接。