Model / 模型
基础推理、生成和决策能力。模型可以切换，接口需要稳定。
ReasoningGeneration
02 / 16AGENT SYSTEM
先拆开 Agent
一个 Agent
不只是一个模型。
Context / 上下文
记忆、知识、历史对话和任务状态。它决定模型看到了什么。
MemoryKnowledgeState
Harness / 调度系统
组织上下文、调用工具、管理循环，决定下一步做什么。
ToolsPolicyLoop
想拥有自己的智能，就不能只拥有一个模型。
05 / 16MIDDLEWARE
高级 Agent 仍然运行在同一个 Loop 上
给基础循环增加
领域能力。
调用模型前
记忆检索、上下文摘要、模型路由、Token 预算。
SummarizeRoute
调用工具前后
参数校验、权限判断、结果过滤、上下文卸载。
ValidateOffload
循环和任务结束时
文件系统、沙箱、Sub-agent、验证和人工审批。
SandboxVerify
Middleware、Hooks、Plugins 和 Skills，本质上都是在给 Agent Loop 加能力。
09 / 19LONG CONTEXT
Context Rot
上下文越长，
不一定越聪明。
性能随输入增长而退化即使任务很简单，模型也不会均匀处理第 100 个和第 10,000 个 token。
干扰项会放大退化相似但无关的信息、长历史和复杂结构都会增加检索难度。
存在上下文，不等于能用真正重要的是信息如何被筛选、压缩和呈现给模型。
08 / 16DEBUGGING
Agent 效果排查
不要先改 Prompt。
先保存完整失败轨迹。
01
抓取完整上下文用户输入、模型输出、工具参数、API 返回、记忆和状态。
02
在错误处设断点找到第一次偏离目标的位置，而不是只看最后的错误答案。
03
重放同一任务固定输入和环境，保留现场，减少非确定性带来的干扰。
04
做针对性消融一次只改变一个变量，确认到底是哪一环影响了结果。
# one failed run, one replayable trace
trace = {
"input": user_message,
"model_calls": calls,
"tool_args": tool_args,
"api_returns": observations,
"memory": retrieved_context,
"score": final_reward
}
13 / 16BENCHMARK
定义什么叫“做好”
每个重要 Agent，
都需要自己的 Benchmark。
一个可运行的任务
任务和环境被封装起来，在沙箱中反复运行不同的 Agent。
task/
├── instruction.md
├── Dockerfile
├── solution/
└── test/
├── instruction.md
├── Dockerfile
├── solution/
└── test/
| 测试方式 | 它验证什么 | 运行指标 |
|---|---|---|
| Unit test | 代码和结构是否正确 | Success rate |
| LLM-as-a-judge | 答案质量和任务完成度 | Reward |
| Agent-as-a-judge | 复杂轨迹和过程质量 | Latency / Cost |
| 业务规则 | 真实业务约束是否满足 | Tokens / Retries |
14 / 16DATA FLYWHEEL
持续学习闭环
让每一次失败，
都变成下一次改进的输入。
01
运行
让 Agent 处理真实任务。
02
收集
保存完整 Trace 和反馈。
03
整理
筛选高价值失败现场。
04
评测
放进 Benchmark 重跑。
05
发现
识别共性失败模式。
06
改进
更新 Harness、Context、Model。
最有价值的训练数据，通常来自你自己的真实数据库和工作流。