考研数学1000问：正交化、Jordan型、图谱理论与矩阵微积分
一、正交化与最小二乘补充
Q1. Gram-Schmidt 正交化在做什么？为什么不改变张成空间？
答案： Gram-Schmidt 把一组线性无关向量依次转换成互相正交（或标准正交）的向量。每一步从当前向量中减去它在已有正交向量上的投影，保留新的独立方向。
u1 = v1
u2 = v2 - proj_u1(v2)
u3 = v3 - proj_u1(v3) - proj_u2(v3)
q_i = u_i / ||u_i||新向量都是原向量的线性组合，且可反向恢复原向量，因此张成空间不变。数值计算中经典 Gram-Schmidt 可能损失正交性，常用 Modified Gram-Schmidt 或 Householder QR 提高稳定性。
Q2. 为什么投影矩阵可以写成 P=A(AᵀA)⁻¹Aᵀ？
答案： 假设 A 的列满秩，列向量张成子空间。把 b 投影到 A 的列空间，投影结果为 p=Ax，选择 x 使 ||b−Ax||² 最小。正规方程给出 x=(AᵀA)⁻¹Aᵀb，因此：
p = A(A^T A)^(-1)A^T b
P = A(A^T A)^(-1)A^TP 是对称且幂等的（Pᵀ=P，P²=P），表示正交投影。若 A 不满列秩，AᵀA 不可逆，应使用 QR/SVD 或伪逆表达投影。
Q3. 最小二乘为什么最小化平方和，而不是绝对值和？
答案： 平方损失可导、对大误差惩罚更强，并能导出便于求解的正规方程；在误差独立同方差且服从高斯分布时，最小二乘也对应最大似然估计。
绝对值损失对离群点更稳健，但在零点不可微（可用次梯度），优化形式不同。若误差重尾或异常值较多，可考虑 L1、Huber 或稳健回归，不应认为平方和在所有任务都最优。
Q4. 正规方程在什么情况下会失效或不稳定？
答案： 若 A 列不满秩，AᵀA 奇异，无法直接求逆；若 A 病态，形成 AᵀA 会把条件数近似平方，放大数值误差。
建议：
- 满列秩且条件良好：可用 QR。
- 秩亏或严重病态：用 SVD/伪逆。
- 参数共线：增加数据、去除冗余特征或加入正则化。
- 不要显式计算逆矩阵，使用稳定线性求解器。
二、特征值与 Jordan 标准型
Q5. 非特征向量被矩阵乘后会发生什么？
答案： 一般向量可分解为多个特征方向（若矩阵可对角化）。矩阵作用后，不同特征方向按各自特征值缩放，合成结果通常会改变方向；只有特征向量方向保持不变（可能缩放或翻转）。
Q6. n×n 矩阵最多有多少个特征值？特征值个数与秩有什么关系？
答案： 特征多项式次数为 n，因此在复数域按代数重数计共有 n 个特征值；不同特征值的个数最多为 n。矩阵秩并不直接等于非零特征值个数（除非有额外结构，如可对角化等）。
若 rank(A)=r，则零空间维数为 n−r，因此特征值 0 的几何重数为 n−r，代数重数至少不小于几何重数。
Q7. 所有特征值都是 0，矩阵一定是零矩阵吗？
答案： 不一定。例如：
A = [[0, 1],
[0, 0]]
A^2 = 0它是非零矩阵，但特征值全为 0，称为幂零矩阵。它不能对角化为零矩阵（因为相似变换不会把非零矩阵变成零矩阵），这也是 Jordan 标准型的重要例子。
Q8. 特征值之和等于迹、乘积等于行列式吗？
答案： 对 n×n 矩阵，在复数域按代数重数计，特征值之和等于 trace(A)，乘积等于 det(A)。这是特征多项式系数与矩阵迹/行列式之间的关系。
若存在复特征值，它们以共轭对出现（实矩阵情形），最终迹和行列式仍为实数。
Q9. Jordan 标准型解决了什么问题？
答案： 并非所有矩阵都能对角化，因为它们可能没有足够多线性无关的特征向量。Jordan 标准型允许在对角线之外出现少量 1，把矩阵分解为相似于由 Jordan 块组成的矩阵。
它提供了对一般复方阵更完整的结构描述，便于分析矩阵幂、矩阵指数和线性微分方程。数值计算中 Jordan 形式通常对扰动敏感，不是通用数值算法的首选。
Q10. Jordan 块上的 1 和广义特征向量是什么意思？
答案： 普通特征向量满足 (A−λI)v=0；广义特征向量满足 (A−λI)^k v=0（某个 k>1），它补足普通特征向量不足的方向。
Jordan 链中的向量满足类似 (A−λI)v_1=0、(A−λI)v_2=v_1 的关系。Jordan 块上的 1 表示这些广义特征向量之间的链式耦合，而不是普通特征值。
Q11. 代数重数和几何重数不相等意味着什么？
答案： 代数重数是特征值作为特征多项式根出现的次数；几何重数是对应特征空间的维数，即 nullity(A−λI)。
几何重数不超过代数重数。若某个特征值的几何重数小于代数重数，则该矩阵缺少足够特征向量，不能对角化，需要 Jordan 链补足结构。
三、数值算法与机器学习
Q12. 为什么实际中很少用 Cramer 法则解大型线性方程组？
答案： Cramer 法则用行列式表达每个未知数，理论上适用于可逆方阵，但直接计算多个行列式成本高，数值稳定性也差。高斯消元/LU 对稠密方阵通常是 O(n³) 量级，且更适合多个右端项；稀疏矩阵还有专门求解器。
Cramer 法则更适合小规模理论推导，不是大规模数值计算的首选。
Q13. PCA 使用 SVD 的哪一部分？最大奇异值为什么重要？
答案： 对中心化数据矩阵 X 做 SVD：X=UΣVᵀ。V 的列向量给出特征空间中的主方向，奇异值平方与协方差矩阵的特征值成比例；最大的奇异值对应数据方差最大的方向。
保留前 k 个奇异向量相当于做最佳秩-k 的 Frobenius 范数近似，但方差最大不一定代表对业务标签最有预测价值。
Q14. 线性回归闭式解为什么可能出问题？
答案： 经典闭式解 θ=(XᵀX)⁻¹Xᵀy 要求 XᵀX 可逆且数值条件良好。若特征共线、特征数大于样本数或存在重复列，XᵀX 可能奇异/病态。
应优先使用 QR 或 SVD 求解；若需控制过拟合，可使用 Ridge 正则化 (XᵀX+λI)θ=Xᵀy。不要显式计算矩阵逆。
Q15. 推荐系统里的矩阵分解和 SVD 是什么关系？
答案： 协同过滤常把用户—物品交互矩阵 R 近似分解为低秩因子 P Qᵀ，用户和物品各自用低维向量表示，预测评分由向量内积给出。
这与 SVD 的低秩思想相关，但实际推荐模型通常使用带缺失值掩码、偏置项、正则化和优化器的矩阵因子分解，并非简单对稀疏矩阵做一次标准 SVD。还需处理冷启动、曝光偏差和负采样。
四、矩阵微积分
Q16. Jacobian 矩阵的每一行、每一列代表什么？
答案： 对函数 f:R^n→R^m，Jacobian 是 m×n 矩阵：
J_ij = ∂f_i / ∂x_j第 i 行表示第 i 个输出对所有输入的偏导；第 j 列表示输入 x_j 变化对所有输出的影响。Jacobian 是多元函数在某点的一阶线性近似矩阵。
Q17. Hessian 为什么是二阶导数矩阵？它能判断什么？
答案： 对标量函数 f:R^n→R，Hessian 的元素为 H_ij=∂²f/(∂x_i∂x_j)，描述梯度如何随输入变化，是多元 Taylor 二阶项的矩阵表示。
在驻点处，若 Hessian 正定，通常为严格局部极小；负定为严格局部极大；不定为鞍点。半正定/奇异等情况需要进一步分析，不能只看特征值是否“非负”就直接断言严格极小。
Q18. 线性回归的 MSE 对参数 θ 求导，如何写矩阵推导？
答案： 设预测 y_hat=Xθ，残差 e=Xθ−y，损失：
J(θ) = (1/2) ||Xθ-y||_2^2
= (1/2)(Xθ-y)^T(Xθ-y)
grad J = X^T(Xθ-y)令梯度为 0 得到正规方程 XᵀXθ=Xᵀy。若采用平均平方误差，梯度只多一个常数因子 1/m，不改变最优解。
五、线性递推、图与矩阵幂
Q19. 斐波那契数列为什么能用矩阵幂计算？
答案： 定义状态向量 s_n=[F_(n+1), F_n]ᵀ，则：
s_(n+1) = [[1,1],[1,0]] s_n
s_n = A^n s_0因此可用快速幂在 O(log n) 次矩阵乘法中求出第 n 项，远快于逐项递推的 O(n) 次加法（但要注意大整数溢出和模运算）。
Q20. 马尔可夫链转移矩阵为什么每行或每列之和为 1？
答案： 取决于概率向量采用行向量还是列向量约定。若状态分布是行向量 π，更新为 π_next=πP，则 P 每行和为 1；若状态分布是列向量，更新采用 Pᵀ 或另一约定时，对应矩阵的列和为 1。
本质是从任一状态出发，下一步落在所有可能状态的概率总和为 1。不要脱离向量约定只背“行和为 1”。
Q21. 矩阵幂 A^n 最终趋向什么？谱半径起什么作用？
答案： 谱半径 ρ(A) 是最大特征值模长。若 ρ(A)<1，则 A^n→0；若存在模长大于 1 的特征值，幂可能增长；若存在模长等于 1 的特征值，是否收敛还取决于特征值位置和 Jordan 块结构。
对于随机转移矩阵，特征值 1 与平稳分布相关；若链不可约且非周期，分布通常收敛到唯一平稳分布。不能仅凭“最大特征值为 1”就断言所有矩阵幂收敛。
Q22. 邻接矩阵 A 的 A²[i,j] 和 Aⁿ[i,j] 表示什么？
答案： 对简单无权图，A²[i,j] 表示从节点 i 到节点 j 长度为 2 的 walk 数量；一般 A^n[i,j] 表示长度为 n 的 walk 数量。若是加权图，数值表示路径权重乘积的累加，不再是简单路径数量。
矩阵幂可用于路径计数、网络可达性和图结构分析，但 walk 可以重复经过节点/边，不等于简单路径。
Q23. 图拉普拉斯矩阵 L=D−A 的零特征值个数为什么等于连通分量数？
答案： 对无向图的标准非负权重拉普拉斯矩阵，L 是半正定矩阵，常数向量在每个连通分量上构成零空间方向。每个连通分量贡献一个独立的零特征向量，因此零特征值的重数等于连通分量数。
有向图、归一化拉普拉斯和不同边权定义需要单独分析，不能直接套用无向图结论。
Q24. 谱聚类为什么使用第二小特征值对应的特征向量？
答案： 对连通无向图，第二小特征值（代数连通度）及其特征向量（Fiedler vector）反映图被切分成两部分时的连接强弱。该向量的正负或数值大小可作为节点划分依据。
实际谱聚类通常取多个最小特征向量构成嵌入，再对行向量做 K-means；还需选择图相似度、归一化拉普拉斯和簇数。
六、分解方法与函数空间
Q25. Cholesky 分解需要什么条件？为什么通常比 LU 快？
答案： 对实数矩阵，Cholesky 分解适用于对称正定矩阵 A，可写为 A=LLᵀ，其中 L 为下三角矩阵。它利用对称性，只需约 n³/3 次浮点运算，通常比一般 LU 的约 2n³/3 更省计算和存储。
若矩阵仅半正定或数值上接近奇异，标准 Cholesky 可能失败；需检查正定性、缩放和数值误差，或采用带主元的变体/其他分解。
Q26. 为什么泛函分析常被称为“无限维线性代数”？
答案： 线性代数研究有限维向量空间及其线性变换；泛函分析把类似结构推广到函数空间等无限维空间，并进一步研究范数、内积、完备性、连续线性算子和收敛。
函数可以作为“向量”，微分/积分算子可以作为“线性变换”。但泛函分析不仅是把矩阵变大，还涉及无限维空间中收敛、紧性和算子谱等新问题。
Q27. “线性”在代数、规划、微分方程和系统里是不是同一个意思？
答案： 核心都与线性结构有关，但具体对象不同：
- 线性代数：映射满足加法与数乘保持性。
- 线性规划：目标函数和约束是决策变量的线性函数。
- 线性微分方程：未知函数及其导数线性出现，不互相相乘、不进入非线性函数。
- 线性时不变系统：满足叠加原理且系统参数不随时间变化。
它们共享叠加思想，但数学对象、定义域和值域不同，不能把所有“线性”都理解成“画出来是一条直线”。