术语表

一个能感知环境、做出决策并采取行动来达成目标的系统。工程语境下通常指「LLM + 工具 + 循环 + 状态」：模型不再只输出文本，而是能调用工具、观察结果并继续下一步。

又称：智能体

形容词，描述系统具备自主性：能自己决定下一步、选择工具、调整计划。常说的 Agentic RAG、Agentic Workflow，重点都在「由模型决定控制流」，而不是预先写死。

Agent 在无人干预下连续决策的程度。自主性不是越高越好：它和可预测性、成本、风险成反比。生产系统通常按动作风险分级授予自主权。

基于 Transformer、在海量文本上训练、通过预测下一个 token 学习语言规律的模型。它是 Agent 的推理与决策引擎，但不负责记忆持久化、权限和副作用。

模型处理文本的最小单位，介于字符和词之间。中文通常 1 个字约 1–2 个 token，英文约 4 个字符 1 个 token。计费、上下文长度、延迟都以 token 计。

模型单次调用能看到的 token 总量上限，包含系统提示、对话历史、工具结果和待生成内容。窗口大不等于有效，关键信息仍会被稀释。

模型生成看似合理但与事实不符的内容。Agent 里更危险的是「幻觉 + 行动」：编造一个工具参数或文件路径，然后真的执行。缓解靠检索、校验、引用和权限。

把模型输出锚定到可验证的外部事实，例如检索到的文档、数据库记录、工具返回值。带引用的回答、必须引用来源的提示词，都是 grounding 手段。

让模型行为符合人类意图与价值观的研究与工程实践。Agent 场景下还包括目标对齐：模型是否真的在优化你想要的指标，而不是字面指令。

人主导、AI 辅助的产品形态：AI 提供建议、草稿或下一步操作，由人确认后执行。相比全自动 Agent，容错更高，适合高风险或开放式工作。

在固定工作流中嵌入若干由模型决策的节点，例如「检索 → 模型判断是否需要补充检索 → 生成」。它介于确定性 Workflow 与完全自主 Agent 之间，是生产中最常见的形态。

在推理阶段投入更多计算来换质量，例如更长的思维链、多次采样投票、搜索或验证。推理模型本质上就是把这部分计算内置到模型训练目标里。

发给模型的全部输入，包括系统指令、用户消息、历史、工具定义和检索内容。把 Prompt 只理解为「用户那句话」是 Agent 设计中最常见的误解。

优先级最高、用于定义角色、目标、约束、工具使用规则和输出格式的指令。它应该是可版本化、可测试的工程资产，而不是一段随手写的咒语。

通过结构、示例、约束和格式设计，让模型稳定产生期望行为。对 Agent 而言，重点从「写好一句话」转向「设计一套可维护的指令系统」。

在有限上下文预算内，决定每一步该放什么、放多少、何时移除。手段包括检索、压缩、摘要、隔离、卸载到外部存储，以及用工具按需取用。

上下文越长，模型对其中关键信息的利用率反而下降的现象。表现为忽略中间内容、被无关段落带偏、前后矛盾。它说明「塞满窗口」不是有效策略。

当历史接近预算上限时，把早期对话总结成更短的摘要，保留目标、决策、未完成事项和关键事实，再继续任务。压缩本身也可能丢信息，需要可回溯的原始记录。

又称：压缩、摘要

在提示中给出若干输入—输出示例，让模型模仿格式与判断标准。示例要覆盖边界情况和反例，否则模型会学到表面模式。

让模型在给出答案前展开中间推理步骤。对多步数学、规划、诊断有效；对简单任务可能增加成本，且暴露的推理未必真实反映模型内部过程。

又称：CoT

把推理展开为多分支搜索：生成多个候选思路，评估后剪枝或回溯。适合需要探索的解谜、规划问题，成本通常远高于单链推理。

又称：ToT

留给模型写中间计算、计划和临时结论的区域，通常不展示给最终用户。它也是上下文的一部分，需要控制长度并避免泄漏敏感信息。

约束模型输出为指定 Schema 的数据，例如 JSON、枚举或工具参数。它是 Agent 能被程序可靠编排的前提，通常配合严格模式与校验重试。

描述 JSON 数据结构的标准。用于定义工具参数和结构化输出，字段描述、枚举、必填项和 additionalProperties 都会直接影响模型的调用正确率。

采样参数，控制输出的随机性。低温度更确定、适合抽取与工具调用；高温度更多样、适合创意。注意它不能保证事实正确，也不能替代校验。

只从累计概率达到 p 的最小 token 集合中采样。与温度一起控制多样性，通常只调其中一个，避免两个参数互相干扰。

把稳定的长前缀（系统提示、工具定义、文档）缓存起来，后续请求复用，降低延迟与成本。设计上应把不变内容放前面、变化内容放后面。

Agent 的基本运行单元：模型推理 → 选择动作 → 执行工具 → 观察结果 → 继续推理，直到满足终止条件。所有复杂架构最终都落在这个循环上。

让模型交替输出推理（Reason）与动作（Act），并根据工具返回的观察继续推理的范式。它的价值在于把「想」和「做」交织，而不是先想完再做。

在行动前或行动中把目标拆成可执行步骤，并安排顺序与依赖。规划可以是显式的待办列表，也可以是模型隐式完成；显式规划更可控、更易调试。

把复杂目标拆成边界清晰、可验证的子任务。好的分解让每个子任务都有明确的输入、输出和完成标准；分解过细会增加协调成本。

先由规划器生成完整步骤，再由执行器逐步完成，必要时触发重规划。相比 ReAct 更全局，但计划可能过时，重规划成本也更高。

让模型检查自己的输出或过程，发现问题后修正。有效反思需要外部信号（测试、检索、规则校验），否则容易变成自我肯定。

同一模型生成初稿后，自我批评并改写，可迭代多轮。适合写作、代码等有明确质量标准的任务；没有新信息时，多轮往往收益递减。

一种带记忆的反思框架：任务失败后，把失败原因写成语言化经验存入记忆，下次尝试时检索使用。关键不是「再试一次」，而是「带着教训再试」。

根据输入类型把请求分发给不同模型、提示或子流程，例如简单问题走小模型、复杂任务走推理模型。路由错误会同时带来质量与成本问题。

多智能体系统中的中心节点：负责拆解任务、分派给子 Agent、汇总结果并决定是否继续。它通常持有全局上下文，子 Agent 只拿局部任务。

又称：主管、Supervisor

由主 Agent 派生的专用 Agent，拥有独立上下文和工具集，完成后只回传结论。它的核心价值是上下文隔离，而不是「更多的智能」。

多个 Agent 通过消息或共享状态协作完成任务。常见拓扑有主管、流水线、辩论和群聊。收益来自分工与隔离，代价是协调开销与错误传播。

把控制权连同必要的上下文转交给另一个 Agent 或人类。好的交接要说明「为什么转、已做了什么、还缺什么」，否则接收方会重复劳动。

一种去中心化的多 Agent 协作方式，Agent 之间直接转交控制权，没有固定主管。灵活但难以保证全局目标与可观测性。

让多个 Agent 分别给出答案并互相批评，经若干轮后收敛。可减少单模型偏见，但成本高，且可能一起错、一起自信。

在关键节点引入人工确认、补充或接管。常见于付款、发送邮件、删除数据等高风险动作。设计重点是让审批者看到足够上下文，而不是只看到一个「确认」按钮。

又称：HITL

把长流程的每一步状态持久化，进程崩溃或等待人工后能从断点继续，而不是从头再来。Agent 任务可能持续数分钟到数天，这个能力很关键。

在流程的某个状态点保存完整快照，支持恢复、回放、分支和人工修改。它也是调试 Agent 的重要手段：回到出错前的那一步重新运行。

用有限状态和转移规则描述流程，例如「待分类 → 已检索 → 待审批 → 已回复」。把 Agent 的不确定性包在确定性状态机里，是生产系统的常见做法。

模型调用外部函数、API 或系统来完成自身做不到的事，例如查数据库、发邮件、执行代码。工具是 Agent 与真实世界之间的唯一接口。

模型按预定义 Schema 输出结构化调用请求，由宿主程序执行并回传结果。模型本身不执行函数，它只「填参数」；权限与副作用由你的代码负责。

描述工具名称、用途、参数、必填项和返回格式的定义。工具描述是模型选择工具的主要依据，写清楚「何时用、何时不用」比堆砌参数说明更有效。

模型在一次回复中请求多个互不依赖的工具调用，宿主并发执行后一起返回。能显著降低延迟，但必须处理部分失败、顺序无关和结果合并。

一个开放协议，用统一方式把外部数据与工具接入模型应用。它把「集成 N 个工具 × M 个客户端」的平方问题，变成各自实现一次协议的问题。

又称：MCP

通过 MCP 协议暴露 Tools、Resources、Prompts 的服务端。可以是本地进程（stdio）或远程服务（HTTP/SSE）。接入第三方 Server 前应审查其权限与数据流向。

面向 Agent 之间通信与协作的开放协议，核心概念包括 Agent Card、任务、消息与产物。与 MCP 的定位不同：MCP 连接工具，A2A 连接 Agent。

面向 Agent 与前端界面之间的事件协议，把文本增量、工具调用、状态更新等以事件流形式推给 UI，便于构建可交互的 Agent 应用。

让 Agent 通过截图、鼠标和键盘操作图形界面，而不是调用 API。通用性强，但慢、脆、难审计，通常作为没有 API 时的最后手段。

又称：CUA

在浏览器中完成导航、点击、填表、抽取信息的 Agent。实现方式包括 DOM 选择器、可访问性树、视觉定位或混合方案，核心难点是稳定性与登录态安全。

能读写仓库、运行命令、执行测试并根据反馈修改代码的 Agent。关键能力不是生成代码，而是构建「修改—验证—修复」的闭环。

Agent 在单次上下文之外保留和复用信息的能力。完整生命周期包括写入、检索、整合、更新与遗忘；只写不清理的记忆最终会变成噪声。

当前任务正在使用的信息，通常就是上下文窗口里的内容：目标、计划、最近观察、临时结论。它容量有限，需要主动管理。

对具体经历的记忆，例如「上次用户要求用英文回复」「这个任务上次在第三步失败」。通常按时间与事件组织，适合个性化与经验复用。

对事实与概念的记忆，例如用户偏好、产品参数、领域知识。常以知识库、向量库或结构化档案形式存储。

对「怎么做」的记忆，例如某类任务的标准步骤、工具组合与避坑经验。在 Agent 中常表现为可复用的提示模板、技能或工作流。

在生成前检索相关资料并放入上下文，让回答有依据。完整链路包括切分、索引、检索、重排、组装与引用，任何一环出错都会表现为「模型胡说」。

又称：RAG

把长文档拆成适合检索的片段。要平衡语义完整与检索精度：太小丢上下文，太大引入噪声。保留标题、来源、页码等元数据同样重要。

把文本映射为高维向量，使语义相近的内容距离更近。它是语义检索的基础，但无法可靠处理精确匹配、数字和专有名词，通常要与关键词检索结合。

支持向量存储与近似最近邻检索的系统，如 pgvector、Qdrant、Milvus、Pinecone。选型要看过滤能力、更新成本、混合检索和运维复杂度。

同时使用稀疏检索（BM25/关键词）和稠密检索（向量），再融合排序。对专有名词、编号、代码等精确匹配场景尤其重要。

对初筛出的候选文档做更精细的相关性打分，再取 top-k。常见做法是 cross-encoder 或 LLM 打分，能明显提升精度，但会增加延迟。

把文档中的实体与关系抽成知识图谱，结合图遍历与社区摘要来回答跨文档、全局性问题。构建成本高，适合实体关系密集的领域。

由 Agent 决定是否检索、检索什么、结果是否足够，并可多轮改写与补充。适合复杂多跳问题，代价是更多模型调用与更难评估。

把用户口语化、含指代的问题改写成适合检索的查询，或拆成多个子查询。多轮对话中尤其必要，否则「那它的价格呢」几乎检不到东西。

在把检索结果放入模型前，抽取与问题相关的句子或生成摘要，减少 token 与噪声。常用做法包括句子级筛选、LLM 摘要和结构化抽取。

用可重复的方法衡量 Agent 的表现。至少覆盖结果正确性、过程合理性、延迟、成本与安全性。没有评估集，提示词调优就只能靠感觉。

又称：Evals

一组人工确认过标准答案或评分标准的代表性样本。应覆盖常见场景、边界情况和历史失败案例，并定期扩充，避免过拟合。

用另一个模型按评分标准评价输出。成本低、可扩展，但存在位置、长度、风格偏见。需要人工校准、成对比较和定期抽检。

评估 Agent 的过程而不仅是最终答案：选了哪些工具、参数是否正确、步骤是否冗余、是否越权。对多步任务，最终答案对不代表过程可靠。

在 k 次独立尝试中至少成功一次的比例，常用于代码 Agent。它衡量的是上限，不代表单次可靠性；生产更关心 Pass^k（k 次全部成功）。

一次完整请求的全链路记录，包含模型调用、工具执行、耗时、token、错误与中间状态。没有 trace，调试 Agent 基本等于盲猜。

Trace 中的一个操作单元，例如一次 LLM 调用或一次数据库查询，记录开始结束时间、输入输出和属性。多个 span 组成树状调用链。

通过日志、指标和追踪理解系统内部状态的能力。Agent 场景还需要记录提示版本、模型版本、工具参数与决策路径，才能复现问题。

从发出请求到收到第一个输出 token 的时间。它是流式体验的关键指标；Agent 多步调用时，用户感知的等待往往是多个 TTFT 的叠加。

又称：TTFT

95% 的请求都能在该时间内完成的延迟指标。平均值会掩盖长尾，Agent 的多次工具调用让长尾尤其明显，生产应重点关注 P95/P99。

按输入与输出 token 计费的成本。Agent 的成本 = 每步上下文 × 步数，容易随循环次数平方增长。优化手段包括缓存、裁剪、模型路由和预算上限。

复用之前计算或调用的结果。Agent 中常见的有提示前缀缓存、工具结果缓存、检索结果缓存和语义缓存。要注意失效策略与数据隔离。

限制单位时间内的请求数或 token 数，保护下游服务与成本。Agent 容易在循环中突发大量调用，必须同时做客户端限流与服务端配额。

每次修改提示、模型或工具后，重跑固定评估集，确认没有把原本能用的场景改坏。Agent 的不确定性让回归测试比传统软件更重要。

线上数据分布或模型行为随时间变化，导致原有评估与提示逐渐失效。需要监控输入分布、失败率和用户反馈，定期更新测试集。

攻击者把恶意指令混入模型输入，使其偏离原任务或泄露信息。直接注入来自用户输入，间接注入藏在网页、文档、邮件和工具返回值里。

恶意指令不来自用户，而是来自 Agent 读取的外部内容，例如网页里的隐藏文字、PDF 白字、代码注释。Agent 越能自主浏览和执行，风险越大。

通过角色扮演、编码、分步诱导等方式绕过模型安全策略。与提示注入不同，越狱的目标通常是让模型本身输出被禁止的内容。

隔离代码执行与工具调用的运行环境，限制文件、网络和系统权限。执行模型生成的代码时，沙箱不是可选项，而是底线。

只授予完成任务所需的最小权限。给 Agent 一个只读、限定目录、限定表的凭证，远比在提示词里写「不要删数据」可靠。

敏感数据被 Agent 通过工具、链接、图片或日志发送到外部。典型路径是提示注入诱导 Agent 把上下文拼进 URL 或邮件。

在输入、输出或动作前后设置的检查与约束，例如敏感信息过滤、Schema 校验、工具白名单、金额上限。它们是确定性的代码，不依赖模型自觉。

主动扮演攻击者，寻找 Agent 的越权、注入、泄露和滥用路径。上线前应覆盖直接注入、间接注入、工具滥用和资源耗尽。

能识别特定个人的信息，如姓名、电话、身份证号、地址。Agent 的日志、记忆和检索库都可能是泄露点，需要在写入前脱敏。

在执行高风险动作前要求人类确认。有效的审批需要展示动作、参数、影响范围和不可逆性，而不是让人盲目点「同意」。

不可篡改地记录谁在何时让 Agent 做了什么、用了哪些工具、访问了哪些数据。它既用于追责，也用于发现异常行为与改进评估。

Agent 依赖的模型、MCP Server、插件、提示模板或第三方工具被篡改或存在漏洞。接入前应审查来源、固定版本、限制权限并监控更新。