AI 1000问：基础概念、机器学习与神经网络入门
本篇回答 AI 全景题库中的基础概念、机器学习范式、过拟合/欠拟合和神经网络基础题。题库中的“图灵测试”与已有 大模型RAG与智能体基础 第 16 题重复，本篇直接链接主答案，避免重复维护。
一、人工智能基础概念
Q1. 人工智能、机器学习、深度学习三者是什么关系？
答案： 人工智能（AI）是目标和研究领域，机器学习（ML）是实现 AI 的一类方法，深度学习（DL）是机器学习中使用多层神经网络的一类方法。它们是包含关系，不是三个并列、互斥的技术。
- AI：让机器完成通常需要感知、推理、规划、学习或语言能力的任务。
- ML：从数据中学习模型参数或决策规律，而不是把所有规则都由人手工写死。
- DL：通过多层神经网络自动学习层次化表示，常用于图像、语音、文本和多模态任务。
flowchart TD AI[人工智能 AI] --> ML[机器学习 ML] AI --> RULE[搜索 / 规划 / 知识表示 / 规则系统] ML --> DL[深度学习 DL] ML --> CLASSIC[线性模型 / 树模型 / SVM / 聚类] DL --> TRANS[Transformer / CNN / RNN]
例子： 基于规则的专家系统属于 AI，但不一定是 ML；用随机森林预测故障属于 ML；用 Transformer 理解维修文本属于 DL，也属于 ML 和 AI。
Q2. 图灵测试是什么？通过测试是否意味着机器真正理解？
答案： 图灵测试是一种行为层面的对话判别实验：测试者通过文本与人和机器交互，如果在一定条件下无法可靠区分机器和人，就认为机器在该测试中表现出类似人的对话能力。
它不能证明机器具有意识、主观体验或人类意义上的理解。测试结果受测试者、对话时长、题目范围、提示方式和判别标准影响。通过测试说明的是可观察行为相似，而不是内部认知机制相同。
详见 大模型RAG与智能体基础 中“图灵测试能否证明理解”的完整答案。
Q3. 强 AI 和弱 AI 有什么区别？当前大模型属于哪一种？
答案： 弱 AI（Narrow AI）指在特定任务或任务范围内表现出智能能力的系统；强 AI 通常指具备广泛、可迁移、接近人类通用认知能力的系统。不同哲学和研究传统对“强 AI”的定义并不完全一致。
当前 ChatGPT、图像生成模型和自动驾驶系统都应谨慎归类为现有 AI 系统，不能仅凭语言流畅或某个 benchmark 高分就称为已实现强 AI/AGI。它们在能力、可靠性、长期规划、现实 grounding、持续学习和自主性方面仍存在限制。
判断时看能力边界： 是否能跨领域迁移、在新环境中稳健学习、长期规划并自我纠错，而不只是完成训练分布内的特定任务。
Q4. AI 发展经历过哪些“春天”和“寒冬”？寒冬由什么造成？
答案： AI 历史并不是严格只有“三次寒冬、两次春天”的统一划分；不同教材对阶段划分略有差异。较常见的脉络如下：
- 1950s–1960s：符号主义、搜索和早期神经网络兴起，研究者对机器推理抱有较高期待。
- 1970s：第一次 AI 冬天常与早期机器翻译、感知和推理系统未达到预期、算力和数据不足、资金/政策评估收紧有关。
- 1980s：专家系统商业化带来复兴；但维护成本高、知识获取瓶颈、系统脆弱和硬件市场变化导致 1980s 末至 1990s 初的第二次寒冬。
- 1990s–2000s：统计机器学习、互联网数据和更强计算推动复兴，语音识别、搜索、推荐等逐步落地。
- 2010s 以后：大数据、GPU、深度学习和公开数据集推动视觉/语音突破；2020s Transformer、规模化预训练和生成式 AI 再次扩大应用范围。
共同教训： 过度承诺、任务定义不清、数据/算力不足、评估方式不可靠、部署成本和实际价值不匹配，都可能让技术热潮退潮。
二、机器学习基础
Q5. 监督、无监督、半监督和强化学习有什么区别？
答案： 核心区别是训练信号从哪里来，以及模型要优化什么目标。
| 范式 | 训练信号 | 典型任务 | 例子 |
|---|---|---|---|
| 监督学习 | 输入及人工/系统标签 | 分类、回归 | 根据传感器特征预测故障类别 |
| 无监督学习 | 只有输入数据，寻找结构 | 聚类、降维、密度估计 | 将车辆运行工况聚类 |
| 半监督学习 | 少量标注 + 大量未标注数据 | 分类、识别 | 少量人工标注缺陷图像，利用大量未标注图像 |
| 强化学习 | 与环境交互获得奖励/惩罚 | 序贯决策、控制 | 智能体通过试错学习策略 |
“有无标签”是入门区分，但强化学习的关键不是普通标签，而是动作、状态转移和延迟奖励；半监督学习也不等于把未标注数据直接当作标签。
Q6. 训练准确率 99%、测试准确率 60% 说明什么？
答案： 这通常是过拟合的信号：模型很好地拟合了训练数据，却不能泛化到未见数据。也可能由训练/测试分布不一致、数据泄漏、标签质量差或评估流程错误造成，必须进一步诊断。
检查顺序：
- 确认训练集与测试集没有重复样本或数据泄漏。
- 检查划分是否按时间、车辆、用户或设备分组，避免同源数据同时进入训练和测试。
- 对比训练/验证/测试分布、标签比例和采集环境。
- 查看学习曲线：训练损失持续下降而验证损失上升，是过拟合的典型表现。
- 检查模型复杂度、样本量、特征数量和标签噪声。
Q7. 欠拟合和过拟合如何平衡？如何找到合适复杂度？
答案： 欠拟合是模型表达能力不足，训练集和测试集表现都差；过拟合是模型过度贴合训练样本，训练表现好而泛化表现差。目标不是追求最大模型，而是在独立验证集上选择泛化能力最好的方案。
常用手段：
- 欠拟合：增加合理特征、提高模型容量、减少过强正则化、训练更充分。
- 过拟合：增加数据、数据增强、正则化、早停、降模型复杂度、交叉验证。
- 选模型：只用训练集拟合、验证集调参、最终测试集只评估一次；不要反复根据测试集调参。
Q8. 训练集、验证集、测试集分别做什么？为什么不能用测试集调参？
答案：
- 训练集：用于学习模型参数。
- 验证集：用于选择模型、超参数、阈值和训练轮数。
- 测试集：用于在模型方案冻结后估计最终泛化表现。
如果反复用测试集选择模型，模型设计过程就间接“看到了”测试集信息，最终指标会过于乐观，测试集不再是独立评估。数据量有限时可用交叉验证，但仍应保留独立测试集或外部验证集用于最终评估。
三、深度学习基础
Q9. 神经网络中的一个神经元在数学上做什么？
答案： 一个最简单的人工神经元先对输入做加权求和，再加偏置，最后通过激活函数：
z = w1*x1 + w2*x2 + ... + wn*xn + b
y = f(z)其中 x 是输入，w 是可学习权重，b 是偏置，f 是激活函数。一个网络把许多神经元按层连接起来，通过训练调整权重和偏置，使输出接近目标。
Q10. 为什么神经网络需要非线性激活函数？
答案： 如果每一层都只是线性变换，那么多层线性变换的复合仍然是一个线性变换，堆再多层也无法表示复杂的非线性关系。激活函数引入非线性，使网络能拟合更复杂的决策边界和函数。
Q11. ReLU、Sigmoid、Tanh 有什么区别？为什么隐藏层常用 ReLU？
答案：
| 函数 | 形式 | 优点 | 局限/常见用途 |
|---|---|---|---|
| Sigmoid | 1/(1+e^-x) | 输出在 (0,1)，可解释为二分类概率参数化的一部分 | 大正/负值处梯度饱和；常用于二分类输出层 |
| Tanh | (e^x-e^-x)/(e^x+e^-x) | 输出在 (-1,1)，零中心 | 仍会在两端饱和；部分循环网络中使用 |
| ReLU | max(0,x) | 计算简单，正半轴梯度不饱和，稀疏激活 | 负半轴梯度为 0，可能出现“死亡 ReLU” |
ReLU 常用于隐藏层是因为简单、计算便宜且在正区间能缓解传统 Sigmoid/Tanh 的梯度消失问题。它不是所有网络的最佳选择，GELU、SiLU、Leaky ReLU 等也很常见。
Q12. 反向传播是什么？链式法则起什么作用？
答案： 反向传播（Backpropagation）是高效计算损失函数对网络参数梯度的算法。前向传播计算预测值和损失；反向传播从输出层向输入方向应用链式法则，逐层计算每个参数对损失的偏导数；优化器再根据梯度更新参数。
flowchart LR A[输入数据] --> B[前向传播] B --> C[预测与损失] C --> D[反向传播：链式法则] D --> E[计算参数梯度] E --> F[优化器更新参数] F --> B
链式法则把复杂函数的导数拆成局部导数的乘积，使每层只需复用后续梯度并计算本层局部梯度。反向传播负责求梯度，SGD/Adam 等优化器负责根据梯度更新参数，两者不是同一个概念。
工程实践：避免只记住术语
- 用 scikit-learn 对同一数据集比较线性模型、决策树和随机森林，观察训练/验证差距。
- 绘制训练损失与验证损失曲线，判断欠拟合、过拟合和训练不稳定。
- 用 PyTorch 实现一个两层 MLP，打印每层张量形状、loss 和梯度范数。
- 对类别不平衡数据同时报告 Precision、Recall、F1、ROC-AUC/PR-AUC，不只看 Accuracy。