AI 1000问：强化学习、训练优化、端侧部署与前沿模型
一、强化学习进阶
Q1. Q-Learning 的 Q(s,a) 是什么？为什么状态空间大时不能用表格？
答案： Q(s,a) 表示在状态 s 采取动作 a 后，按后续策略行动所能获得的期望累计折扣回报。表格法为每个状态—动作对存一个数，适合离散且规模较小的状态空间；连续机器人状态（角度、速度、力矩）组合数量巨大，表格无法存储和泛化。
这时可用函数逼近器（如神经网络）估计 Q 值，但训练会更不稳定，需要经验回放、目标网络和受控探索等机制。
Q2. DQN 怎样解决“用当前网络预测值更新当前网络”的不稳定问题？
答案： DQN 主要使用两个机制：
- 经验回放（Replay Buffer）：保存交互样本 (s,a,r,s’)，随机抽取小批量训练，降低连续样本相关性并重复利用数据。
- 目标网络（Target Network）：用一份延迟更新的网络计算 TD 目标，隔一段时间再同步参数，避免目标值随在线网络每一步剧烈变化。
典型目标：
y = r + gamma * max_a' Q_target(s', a')
loss = (Q_online(s,a) - y)^2实际系统还要处理终止状态、奖励裁剪、过估计、探索策略和训练稳定性；DQN 主要适用于离散动作空间，连续控制常用其他方法。
Q3. Policy Gradient 与 Q-Learning 的核心区别是什么？
答案： Q-Learning 学习状态—动作价值，再选择价值高的动作；Policy Gradient 直接参数化策略 πθ(a|s)，通过梯度上升最大化期望回报。
- Value-based：先估值，再据此选动作；离散动作场景较常见。
- Policy-based：直接学习动作分布，适合连续动作和随机策略。
- Actor-Critic：结合两者，Actor 学策略，Critic 评估状态或动作价值。
PPO 常比朴素策略梯度更稳，原因是它限制单次策略更新幅度并使用优势估计；但不能保证在所有任务上优于 DQN，二者适用的动作空间和环境条件不同。
Q4. Actor-Critic 中减去 baseline 为什么能降低方差？
答案： 策略梯度可写为：
grad J(theta) = E[ grad log pi_theta(a|s) * (G - b(s)) ]只要 baseline b(s) 不依赖当前动作，减去它在理论上不改变期望梯度，却能减少回报尺度变化带来的方差。Critic 常估计 V(s)，优势函数 A(s,a)=Q(s,a)-V(s) 衡量动作比该状态平均水平好多少。
Critic 估计不准会引入偏差；GAE 等方法在偏差与方差间折中。
Q5. PPO 的 Clip 目标函数做了什么？为什么不让策略迈太大步？
答案： PPO 比较新旧策略对同一动作的概率比率 r_t(θ)，并把它限制在 [1−ε,1+ε] 的区间内，避免一次更新让策略变化过大：
L_clip = E[min(r_t*A_t, clip(r_t,1-epsilon,1+epsilon)*A_t)]它是工程上简单有效的近端策略优化方法，但 clip 不等于严格的 KL 约束，也不保证永不崩溃；仍需监控 KL、熵、优势估计、奖励尺度和训练曲线。
二、联邦学习、小样本与模型压缩
Q6. 联邦学习中客户端上传什么？服务器怎样聚合？
答案： 典型 FedAvg 流程是服务器下发全局模型，客户端在本地数据上训练若干步，再上传模型参数或参数更新；服务器按客户端样本量等权重聚合，形成新全局模型。
联邦学习的价值是减少原始数据集中传输，但不自动保证隐私：梯度/参数更新仍可能泄露信息。常结合安全聚合、差分隐私、访问控制和通信加密。
Q7. Non-IID 数据为什么让联邦平均变难？
答案： 各客户端数据分布不同（标签比例、特征分布、设备环境或用户群体不同），本地训练得到的更新方向可能不一致。简单平均后，模型可能收敛慢、全局性能差，甚至牺牲少数客户端表现。
可考虑 FedProx、SCAFFOLD、个性化联邦学习、客户端分组和更合理的采样；评估必须同时报告全局平均与客户端分布/最差群体表现。
Q8. Few-shot、Zero-shot 和 Meta-Learning 有什么区别？MAML 在学什么？
答案：
- Zero-shot：不提供该新类别的标注样本，依靠预训练知识、文本描述或任务指令完成任务。
- Few-shot：给少量示例，让模型快速适应。
- Meta-Learning：在多个训练任务上学习一种“更容易适应新任务”的初始化、优化器或更新规则。
MAML 通过元训练寻找参数初始化 θ，使模型在新任务上经过少量梯度更新后就能取得较好效果。它不一定是在找“对变化最敏感”的点，而是优化跨任务快速适应后的损失；训练通常涉及内外循环，计算成本较高。
Q9. 结构化剪枝与非结构化剪枝有什么区别？
答案：
- 非结构化剪枝：把单个权重置零，稀疏度高但不规则；若硬件/推理库不支持稀疏加速，实际延迟可能没有改善。
- 结构化剪枝：移除整个通道、注意力头、层或其他结构单元，模型更规整，通常更容易获得真实加速，但可能损失更多能力。
剪枝后通常需要微调恢复精度，并在目标设备上测量模型大小、峰值内存、延迟和能耗；稀疏率不是性能指标的替代品。
Q10. 知识蒸馏为什么用教师模型的软输出？
答案： 教师模型的 logits 经温度 softmax 后形成软概率，除了正确类别，还包含类别之间的相对相似度信息（dark knowledge）。学生模型同时学习真实标签和教师分布，可能比只学 one-hot 标签获得更平滑的监督。
蒸馏效果取决于教师质量、温度、损失权重、数据覆盖和学生容量；软标签不保证学生必然达到教师水平。
三、端侧 AI 与因果推断
Q11. 手机/MCU 端运行 AI 的主要限制和优化策略是什么？
答案： 主要限制包括 SRAM/DRAM 容量、算力、带宽、功耗、热设计、启动时间、实时性和安全要求。
常用策略：
- 量化（INT8/INT4 等）、剪枝、蒸馏和低秩适配。
- 选择更小的网络、减少输入分辨率/序列长度。
- 使用 NPU/DSP/GPU/专用加速器，并检查算子是否被支持。
- 静态内存规划、算子融合、分块执行和零拷贝数据路径。
- 对最坏执行时间、温升、功耗、掉电恢复和模型更新做验证。
Q12. Neural Engine、TPU 等专用芯片怎样加速神经网络？
答案： 专用 AI 加速器通常针对矩阵乘、卷积和张量运算设计高吞吐数据通路，例如 MAC 阵列、专用 SRAM、低精度算术和数据复用，减少通用 CPU 执行大量乘加指令的开销。
“芯片有 NPU”不等于模型一定跑在 NPU 上：模型算子、数据类型、张量布局、运行时、驱动和内存带宽都必须兼容。需通过 profiler 确认实际 delegate/算子落点和 CPU fallback。
Q13. 相关与因果有什么区别？P(Y|X) 与 P(Y|do(X)) 表达什么？
答案： P(Y|X) 表示观察到 X 时 Y 的条件概率；P(Y|do(X)) 表示主动干预把 X 设为某值后 Y 的分布。两者在存在混杂因素时可能不同。
例：冰淇淋销量与溺水事件可能正相关，但不是冰淇淋导致溺水；气温可能同时影响两者。因果分析要明确因果图、混杂变量、干预定义和识别假设。
推荐系统若只做关联预测，能优化点击但可能强化偏差；若要回答“推荐某内容是否导致长期留存提升”，需要实验设计或因果推断，而非只看相关性。
四、学习理论与训练流程
Q14. 偏差—方差权衡是什么？为什么降低一个可能升高另一个？
答案： 偏差反映模型假设过于简单造成的系统性误差；方差反映模型对训练样本变化过于敏感。模型容量增大通常降低偏差，却可能提高方差；正则化和更多数据常能改善方差，但也可能增加偏差。
这是一种常见趋势，不是数学上“降低一个必然升高另一个”的绝对定律。应结合验证误差、学习曲线、数据量和模型复杂度诊断。
Q15. 半监督自训练的伪标签会不会让错误自我强化？
答案： 会。模型先给未标注数据生成伪标签，再把高置信样本加入训练；若初始模型错误且错误样本被反复选中，偏差可能被放大。
缓解方法包括置信度阈值、类别平衡采样、教师—学生一致性训练、增强一致性、人工抽检、伪标签校准和保留独立验证集。不能把模型高置信度直接当成标签正确的证明。
Q16. 主动学习为什么常比随机选样本标注高效？
答案： 主动学习让模型选择最值得人工标注的样本。常见不确定性采样会选择预测熵高、类别概率接近或模型分歧大的样本，希望用较少标注改善决策边界。
但单纯选最不确定样本可能选到噪声、离群点或重复样本；实践中可结合多样性、代表性、标注成本和业务风险。最终仍需用独立测试集评估，而不能只看训练置信度。
五、规模定律与大模型训练
Q17. Scaling Laws 是否意味着算法创新不重要？
答案： 不是。规模定律描述在特定模型、数据、训练计算和评估设置下，损失与模型规模/数据量/算力之间的经验关系。扩大规模能提升能力，但算法、数据质量、架构、训练目标、推理策略和后训练同样重要。
规模定律是经验规律，不是对所有任务、数据和模型都成立的保证。实际还要考虑训练成本、数据质量、推理成本和收益递减。
Q18. Chinchilla 常说的参数与 token 约 1:20 是什么意思？为什么不是所有模型都照做？
答案： Chinchilla 研究在特定训练计算预算和模型族下，发现模型参数量与训练 token 数之间存在较优配比，常被简化为每个参数约 20 个训练 token。它是特定假设下的经验结果，不是所有模型的固定法则。
模型部署寿命、数据可用性、训练/推理成本、重复使用频率、上下文长度和模型架构都会改变最优配比。不要把 1:20 当成每个项目的硬性公式。
Q19. 为什么大模型通常分预训练、SFT 和 RLHF/偏好优化？
答案：
- 预训练：在大规模数据上学习语言/世界模式和通用表示，建立基础能力。
- SFT：用高质量指令—回答样本，让模型学会遵循任务指令和输出格式。
- 偏好优化：利用人类或 AI 偏好信号调整回答风格、帮助性和安全性，可采用 RLHF/PPO、DPO 等方法。
只做 SFT 通常难以从有限示例获得广泛语言知识；预训练提供广泛先验，后训练把能力导向用户期望。不同模型不一定严格采用同一阶段顺序或算法。
Q20. RLHF 奖励模型怎样训练？什么是 Reward Hacking？
答案： 奖励模型通常用人类对回答的偏好比较数据训练：给定同一提示下的两个回答，学习哪个更受偏好。随后策略模型通过 PPO 等方法提高奖励模型打分，或采用 DPO 等直接偏好优化方法。
Reward Hacking 指模型学会利用奖励模型的漏洞获得高分，却不真正提升目标质量，例如冗长奉承、过度自信或迎合评审偏好。缓解方式包括偏好数据多样化、对抗评估、奖励模型集成、KL 约束、人工抽检和真实任务指标验证。
六、长上下文、MoE 与生成模型
Q21. FlashAttention 为什么能同时节省显存并加速？
答案： 标准注意力会产生大型中间矩阵 QKᵀ 和注意力权重，显存读写成本很高。FlashAttention 通过分块（tiling）和 IO-aware 算法，在片上 SRAM 中分块计算并在线更新 softmax 统计量，减少对高带宽显存的读写和中间矩阵存储。
它并没有把标准全注意力的数学复杂度从 O(n²) 变成 O(n)；主要优化内存访问和常数开销。不同 GPU、序列长度、head dimension 和 mask 会影响实际收益。
Q22. RoPE 如何编码位置信息？为什么常用于长上下文模型？
答案： RoPE 对 Query 和 Key 的二维特征对按位置施加旋转变换，使两者点积自然包含相对位置差的信息。它不只是给 token 加一个固定位置向量，而是把位置关系融入注意力计算。
RoPE 被广泛使用，但原始训练长度之外的外推并非自动可靠；长上下文扩展通常还需要位置缩放/插值、训练适配和长文档评测。
Q23. MoE 为什么参数量很大但每个 token 计算较少？Router 做什么？
答案： Mixture of Experts 把部分网络层拆成多个专家子网络，Router 为每个 token 选择 Top-k 专家。模型总参数量是所有专家之和，但每个 token 只激活少数专家，因此计算量可低于同参数量的稠密模型。
挑战是专家负载不均、通信开销、路由不稳定和训练资源分布。负载均衡损失鼓励 token 更均匀分配到专家；但过强均衡也可能损害专家专门化。推理效率还受专家并行、显存放置和跨设备通信影响。
Q24. Diffusion 为什么要多步去噪？CFG 过高为什么会失真？
答案： 扩散模型先逐步向训练样本加噪，再训练网络预测噪声/得分等量；生成时从噪声出发，沿学习到的反向过程逐步去噪。多步过程把复杂数据分布的生成拆成许多较小的条件更新，训练和采样更容易稳定。
Classifier-Free Guidance（CFG）把条件预测与无条件预测组合，增强文本/条件对生成方向的影响。引导尺度过高会让模型过度追逐条件分数，导致饱和、细节失真、颜色异常或多样性下降。采样步数、噪声调度、模型和引导尺度要共同调节。
七、AI for Science 与视频
Q25. AlphaFold 为什么被视为蛋白质结构预测的重要突破？
答案： 蛋白质结构决定其许多生物功能，实验测定结构耗时且成本高。AlphaFold 将深度学习、进化信息、几何约束和结构优化结合，显著提升了从氨基酸序列预测三维结构的准确度。
它不是“解决了所有蛋白质折叠问题”：结构置信度、无序区域、复合物、配体/环境效应、动态构象和实验验证仍然重要。预测结构是研究线索，不应自动等同于实验测得结构或生物学功能证明。
Q26. AI for Science 的共同模式是什么？
答案： 常见模式是把科学问题转化为可学习的表示和可验证的预测/搜索问题：构建高质量实验/模拟数据，设计物理或领域约束模型，利用模型缩小候选空间，再通过实验或高精度模拟验证。
GNoME 的材料候选发现、GraphCast 的天气预测和蛋白质结构预测任务各自有不同目标函数与验证方式。模型输出应被视为候选、预测或辅助决策，必须经过领域专家和实验验证。
Q27. 视频理解为什么必须建模时间？3D 卷积和时序注意力怎样选？
答案： 视频不仅是帧图像集合，还包含动作、因果顺序、速度和事件边界。单帧模型可能识别“人”和“球”，却无法判断“正在投球”还是“正在接球”。
- 3D 卷积在时间和空间维度同时卷积，适合局部时空模式，计算和显存成本较高。
- 时序注意力可跨较长时间范围建立帧/patch 关系，但长序列注意力成本较高。
- 轻量方案可先提取帧特征，再用时序 Transformer、TCN 或状态空间模型处理时间信息。
应根据帧率、视频时长、实时性、动作粒度和硬件预算选择，并用事件级指标验证。