概率论1000问：马尔可夫链、平稳分布与MCMC
本篇迁移考研数学问题库中的马尔可夫链专题，整理 12 道问答。重点区分马尔可夫性、转移矩阵、状态分类、平稳分布、MCMC、HMM 和 PageRank。
1. 马尔可夫链的“无后效性”是什么意思？
答案： 给定当前状态后，下一状态的条件分布与更早的历史无关：
P(X[n+1]=j | X[n]=i, X[n-1],...,X[0])
= P(X[n+1]=j | X[n]=i)它不是说系统没有历史，而是说当前状态已经包含了预测未来所需的充分信息。若当前状态没有包含关键历史变量，过程可能不是马尔可夫的；可以扩充状态，把必要历史纳入当前状态。
2. 转移概率矩阵为什么每行之和为 1？
答案： 对离散有限状态链，Pij 表示从状态 i 下一步转到状态 j 的概率。给定当前状态 i，下一步必然落在某个状态集合中，因此所有可能目的状态的概率和为 1。若采用行向量分布 π，则下一步分布为 πP。
3. P 的 n 次幂 Pⁿ 表示什么？
答案： (Pⁿ)ij 表示从状态 i 出发，经过 n 步到达状态 j 的概率。矩阵乘法把每一步的转移概率沿所有可能中间状态求和，递推组合成多步转移。
4. Chapman–Kolmogorov 方程在说什么？
答案： P^(m+n)=P^m P^n。它表示先走 m 步，再走 n 步，等价于总共走 m+n 步。矩阵乘法中的求和项枚举了所有可能的中间状态。
5. 天气转移矩阵 P=[[0.7,0.3],[0.4,0.6]]，两天后下雨概率是多少？
答案： 假设状态顺序为“雨、晴”，则：
P² = [[0.61, 0.39],
[0.52, 0.48]]若今天下雨，两天后下雨的概率是 (P²)11=0.61，即 61%。这不是简单的 0.7×0.7，因为中间一天也可能先晴后雨。
6. 可达、互通、常返、瞬过和周期分别是什么？
答案：
- 可达：存在某个步数 n，使从 i 到 j 的 n 步转移概率大于 0。
- 互通：i 能到 j，j 也能到 i；互通状态属于同一个 communicating class。
- 常返：从 i 出发最终返回 i 的概率为 1。
- 瞬过：返回 i 的概率小于 1。
- 周期：所有可能返回步数的最大公约数；若周期为 1，则为非周期状态。
这些性质决定长期行为，不能仅凭某个单步转移概率判断。
7. 为什么一维和二维简单对称随机游走常返，而三维及以上瞬过？
答案： 对整数格点上的简单对称随机游走，维数增加后可供路径分散的空间迅速增大。1D 和 2D 中返回起点的概率为 1；在 3D 及以上，存在正概率永远不返回起点，因此状态是瞬过的。该结论针对特定的对称随机游走模型，不可无条件推广到所有随机过程。
8. 什么是平稳分布？怎样求？
答案： 平稳分布 π 满足 π=πP 且各分量非负、总和为 1。它表示若初始状态分布就是 π，则每一步之后分布仍然是 π。
对两状态天气模型，解方程：
π1 = 0.7π1 + 0.4π2
π2 = 0.3π1 + 0.6π2
π1 + π2 = 1得到 π=(4/7, 3/7)，长期雨天比例为 4/7，晴天比例为 3/7。
9. 不可约、非周期的有限状态链为什么会收敛？
答案： 有限状态、不可约的马尔可夫链存在唯一平稳分布；若再满足非周期性，则从任意初始分布出发，分布随步数增加收敛到该平稳分布。周期链可能在不同状态间振荡，虽然仍可能存在平稳分布，但分布不一定逐步收敛。
10. 细致平衡条件为什么能证明平稳分布？
答案： 若对所有 i,j 都满足 πi Pij = πj Pji，则对固定 j：
Σ_i πi Pij = Σ_i πj Pji = πj Σ_i Pji = πj因此 πP=π。细致平衡是充分条件，但不是所有马尔可夫链都必须满足的必要条件。它是构造 Metropolis-Hastings 等 MCMC 算法的重要工具。
11. Metropolis-Hastings 算法怎样从复杂分布采样？
答案： 从当前状态 x 按提议分布 q(y|x) 生成候选 y，以概率：
A(x,y) = min(1, π(y) q(x|y) / [π(x) q(y|x)])接受候选状态，否则留在 x。该接受率使目标分布满足细致平衡，因此在链满足适当遍历条件时，长期样本分布趋近目标分布。实际采样还要检查 burn-in、有效样本量、链间混合和收敛诊断；单独一个 R-hat 阈值不能证明模型正确。
12. HMM、PageRank 与马尔可夫链是什么关系？
答案：
- HMM：隐藏状态满足马尔可夫性，观测由隐藏状态概率生成。评估问题常用 Forward；最可能状态序列用 Viterbi；参数学习常用 Baum-Welch/EM。
- PageRank：网页作为状态，链接定义转移概率；随机跳转/阻尼因子缓解悬挂节点和封闭循环，PageRank 可解释为对应链的平稳分布。
- MCMC：构造一条以目标概率分布为平稳分布的链，用链的样本近似目标分布。
flowchart TD A[马尔可夫链] --> B[有限状态转移矩阵] B --> C[平稳分布] C --> D[PageRank] A --> E[隐藏状态 + 观测模型] E --> F[HMM：Forward / Viterbi / Baum-Welch] C --> G[构造目标分布] G --> H[MCMC：Metropolis-Hastings / Gibbs]
学习与实践连接
把“学习状态”粗略建模为“未接触 → 听说过 → 能解释 → 能应用 → 能教别人”，可用转移概率思考学习策略：练习、复习和反馈影响状态转移。但真实学习并不一定满足固定转移概率和严格马尔可夫性；该模型适合启发思考，不是对个人学习表现的精确预测。