数字花园

AI1000问：大模型、RAG与智能体基础

12分钟阅读

AI1000问：大模型、RAG与智能体基础

本篇整理 AI 1000 问中与大模型、知识管理、Embedding、RAG、Agent、本地部署、提示工程和多模态相关的首批 10 个问题。它们是概念和工程实践的基础问答，不代表 AI 题库已全部迁移。

1. AI 在个人知识管理中最适合做什么？

答案： AI 适合充当知识库的语义检索、整理和连接层：帮助从大量笔记中找到相关内容、归类去重、提取摘要，并把原本分散的知识卡片建立关联。它不能替代亲自实践、判断和复盘。

  • 语义检索：用自然语言表达问题，找出关键词不完全相同但语义相关的笔记。
  • 知识整理：抽取要点、分类、去重、生成主题索引。
  • 连接发现：发现不同笔记之间的因果、矛盾、互补关系。
  • 人工责任：事实核验、隐私判断、工程实践和最终决策仍由人负责。

2. AI 在知识管理的输入—整理—存储—输出—实践—反馈闭环中承担什么角色？

答案： AI 能显著加速信息提取、整理、分类、索引和初稿生成；实践与深度反馈仍然依赖真实行动和人的判断。没有回顾和实践的知识库只是“存起来”，并不等于掌握。

flowchart LR
  A[输入] --> B[整理：AI 擅长]
  B --> C[存储与索引：AI 辅助]
  C --> D[输出：AI 起草 / 人审校]
  D --> E[实践：人执行]
  E --> F[反馈：人判断，AI 辅助分析]
  F --> A

3. Embedding 是什么？为什么分块策略会影响检索质量？

答案： Embedding 把文本映射为向量，使语义相近的文本在向量空间中更容易被检索到。但向量检索质量不仅取决于模型，也取决于文本切分、元数据、查询表达和召回策略。

  • 固定长度切分实现简单，但可能把定义和解释拆开。
  • 按标题、段落和语义边界切分，通常更容易保留上下文。
  • Overlap 可缓解边界信息丢失，但过大将增加冗余和索引成本。
  • 个人知识库可优先按卡片或章节作为语义单元，再按需细分长文。

4. RAG 是什么？为什么“检索到相关资料”不等于“回答有依据”？

答案： RAG（Retrieval-Augmented Generation，检索增强生成）先检索相关资料，再把资料作为上下文交给语言模型生成答案。若检索到的片段只是在主题上相关，却没有真正回答问题，模型仍可能用自身参数知识补全甚至编造。

可靠的 RAG 至少要做到：

  1. 检索内容与问题的具体约束相匹配。
  2. 提示词要求模型优先依据检索内容作答。
  3. 资料不足时明确回答“当前资料无法支持结论”。
  4. 关键事实附来源引用。
  5. 对召回率、答案准确率、引用正确率和拒答质量进行评估。
flowchart TD
  Q[用户问题] --> E[Query Embedding / 查询改写]
  E --> R[向量检索 + 关键词检索]
  R --> K[候选片段重排与过滤]
  K --> P[带来源的上下文 Prompt]
  P --> L[LLM 生成答案]
  L --> V[引用核验 / 事实审查]
  V --> A[答案或明确拒答]

5. Transformer 的注意力机制如何工作？

答案： 自注意力让每个 token 根据 Query、Key 的相似度计算关注权重，再对 Value 加权求和，从上下文中提取相关信息。多头注意力允许模型在不同表示子空间中学习不同关系。

直观流程：

  • Query：当前 token 正在寻找什么信息。
  • Key：每个 token 提供什么可匹配特征。
  • Value：每个 token 实际携带的内容。
  • 点积得到相关性分数，Softmax 归一化，再对 Value 加权求和。
flowchart LR
  X[输入 Token 表示] --> Q[Query]
  X --> K[Key]
  X --> V[Value]
  Q --> S[Q 与 K 计算相关性]
  K --> S
  S --> W[Softmax 权重]
  W --> O[加权汇总 Value]
  V --> O
  O --> Y[上下文表示]

补充： 标准全局自注意力的计算/内存开销通常随序列长度呈平方增长；实际模型还会采用 FlashAttention、稀疏注意力、滑动窗口等优化。

6. GPT 与 BERT 的主要差异是什么？

答案： GPT 类模型通常采用因果掩码的自回归目标，按从左到右预测下一个 token，适合文本生成；BERT 采用双向上下文编码和掩码语言建模目标，适合表示学习、分类和抽取等理解任务。

这不是“GPT 只会生成、BERT 只会理解”的绝对边界，而是它们典型训练目标和架构取舍不同。

7. 大语言模型为什么通常经历预训练、监督微调和偏好对齐？

答案：

  • 预训练：在大规模语料上学习语言结构和广泛模式，形成基础能力。
  • SFT：用高质量示例让模型学习指令跟随、回答格式和任务行为。
  • 偏好对齐：利用人类或其他反馈信号，使模型输出更符合期望偏好与约束。

不同模型训练配方并不完全相同，不一定都严格采用同一套 RLHF/PPO 流程。偏好优化也可能采用 DPO 等方法。奖励模型或偏好目标可能被模型“钻空子”，因此必须评估真实性、稳健性和安全性，而不只是用户偏好分数。

8. Agent 与普通 LLM 聊天有什么区别？

答案： 普通聊天主要是输入后生成回答；Agent 在模型之外增加工具、状态、执行循环和任务控制，可以根据中间结果继续调用工具并推进任务。

典型组成：

  1. LLM：理解任务并决定下一步。
  2. 工具：搜索、计算、文件、数据库或业务 API。
  3. 状态/记忆：保存任务进度与必要上下文。
  4. 执行控制：限制权限、步骤数、超时和错误恢复。
  5. 验收机制：检查产物是否达到目标。
flowchart TD
  U[用户目标] --> P[任务规划]
  P --> D{是否需要工具？}
  D -->|是| T[调用授权工具]
  T --> O[观察工具结果]
  O --> P
  D -->|否| V[验证结果]
  V --> A[交付结果]

工程原则： 能用确定性工作流完成的任务，不必强行使用自主 Agent。工具白名单、最小权限、最大迭代次数、日志和人工确认是必要的安全护栏。

9. 如何选择本地模型、量化格式和推理引擎？

答案： 本地部署需要综合考虑模型许可、任务能力、内存/显存、上下文长度、吞吐、延迟和运行平台。

  • 模型权重：先确认开源许可和商业使用条件。
  • 量化：INT8/INT4 等可降低内存占用，但可能损失精度；代码、数学和多语言任务要做实测。
  • 推理引擎：llama.cpp、Ollama、vLLM 等面向不同硬件和部署场景。
  • 硬件预算：除权重外，还要预留 KV Cache、上下文、运行时和并发请求内存。

估算方式： 仅用“参数量 × 每参数位数”估算权重存储，不等于实际运行内存。最终应以目标模型、量化版本和上下文长度实测。

10. 提示工程、微调和 RAG 分别解决什么问题？

答案：

  • 提示工程：不改模型权重，通过角色、任务、约束、上下文和示例引导模型行为。
  • RAG：在回答时检索外部知识，适合更新频繁、需要来源引用的知识库。
  • 微调：通过训练数据改变模型的行为模式、格式或领域任务表现，适合有稳定样本和明确评估集的场景。

实用顺序通常是先把任务定义和提示写清楚，再做 RAG 补充事实知识，只有在行为模式确实难以通过提示和检索解决时再评估微调。微调不能自动替代知识库更新。

延伸问题：多模态与视频

视频不只是静态图像的堆叠，它包含时间维度、跨帧关系和运动一致性。模型可以将图像 patch、音频片段和文本映射为 token/特征后联合处理，但“视觉上合理”不等于真正掌握物理规律。生成视频仍需对运动连续性、遮挡、物体恒常性和物理合理性进行人工与自动评估。

Flomo 原始来源

关系图谱

反向链接