136 lines
3.8 KiB
Markdown
136 lines
3.8 KiB
Markdown
# Roadmap
|
||
|
||
## 总体目标
|
||
|
||
构建一个本地 agent 记忆管理与元认知控制系统，使 agent 能在 memory、skill、tool 之间做可学习的动作选择，并通过任务反馈逐步优化策略。
|
||
|
||
## Phase 0 — Foundations / 仓基
|
||
|
||
目标：先把“对象”和“轨迹”定义清楚。
|
||
|
||
交付物：
|
||
- 统一候选对象 schema
|
||
- memory / skill / tool 类型边界定义
|
||
- 事件日志 schema
|
||
- trajectory schema
|
||
- reward 拆解草案
|
||
- 评估指标草案
|
||
- 原型目录布局草案
|
||
- baseline router 设计文档
|
||
- 示例 trajectories
|
||
|
||
成功标准：
|
||
- 对任何一次任务，都能完整记录：看到了什么、选了什么、结果如何
|
||
- 文档足够清晰，后续实现不靠拍脑袋
|
||
- 有第一批 success / failure trajectory 样本可供 replay 使用
|
||
|
||
状态：已完成
|
||
|
||
## Phase 1 — Observable MVP / 可观测最小系统
|
||
|
||
目标：做一个不学习、但能完整运行和记录的版本。
|
||
|
||
交付物：
|
||
- 候选召回模块
|
||
- memory/skill/tool 统一候选接口
|
||
- 基于规则或启发式的 router
|
||
- 执行适配层
|
||
- 轨迹日志落盘
|
||
- 基础可视化 / 回放能力
|
||
|
||
成功标准：
|
||
- 给定任务，系统能做出动作选择
|
||
- 每次动作都能复盘
|
||
- 可以统计简单指标：命中率、工具调用率、任务完成率
|
||
|
||
状态：已完成
|
||
|
||
## Phase 2 — Learned Router / 学习型路由器
|
||
|
||
目标：让"直觉"开始可训练。
|
||
|
||
交付物：
|
||
- 候选特征工程
|
||
- 训练样本构建流程
|
||
- 轻量分类器 / reranker / bandit
|
||
- 离线评估基线
|
||
- 路由策略 A/B 对比
|
||
|
||
成功标准：
|
||
- 学习型路由在离线回放中优于规则路由
|
||
- 减少明显无效调用
|
||
- 能识别高价值 memory / skill / tool 场景
|
||
|
||
状态：已完成（SimpleLearningRouter、DatasetBuilder、Evaluator、A/B comparison、RouterVersionStore）
|
||
|
||
## Phase 3 — Rewarded Adaptation / 带反馈的适应
|
||
|
||
目标：利用任务结果对策略做持续更新。
|
||
|
||
交付物：
|
||
- reward 聚合器
|
||
- 用户修正信号接入
|
||
- online / batch 更新机制
|
||
- safe exploration 策略
|
||
- 记忆置信度更新机制
|
||
- benchmark-gated promotion policy
|
||
- training run reports
|
||
- active router metadata tracking
|
||
|
||
成功标准：
|
||
- 策略可在连续任务中改善
|
||
- 不会因为少量坏反馈快速崩掉
|
||
- 可以识别并降权错误记忆
|
||
- promotion 必须经过 benchmark 验证
|
||
|
||
状态：已完成（online learning coordinator、promotion policy、training reports、version metadata、benchmark-gated promotion、active router tracking、app/CLI entrypoints 已实现）
|
||
|
||
### Phase 4 — Episodic Learning / 情景学习
|
||
|
||
目标：把过往任务轨迹变成真正有用的 episodic memory。
|
||
|
||
交付物：
|
||
- 任务案例索引 (done)
|
||
- episode retrieval (done — via CaseIndex and runner injection)
|
||
- 相似任务复用 (done — runner injects episodic candidate)
|
||
- trajectory summarization (done — `TrajectorySummarizer` generates human-readable summaries)
|
||
|
||
成功标准：
|
||
- 对重复型任务，系统能复用历史成功路径
|
||
- episode 不会污染事实记忆和 skill 库
|
||
|
||
状态：进行中 (核心功能已完成)
|
||
|
||
## Phase 5 — End-to-End Experiments / 端到端实验
|
||
|
||
目标：验证是否值得把路由进一步内化到神经模型权重中。
|
||
|
||
交付物：
|
||
- 训练数据集定义
|
||
- SFT / preference / RL 实验方案
|
||
- 与分层系统的对照评估
|
||
- 风险分析：遗忘、过拟合、行为漂移
|
||
|
||
成功标准：
|
||
- 至少在一组明确任务上优于分层基线
|
||
- 不显著降低可解释性和稳定性
|
||
|
||
状态：未开始
|
||
|
||
## 每阶段都要守住的底线
|
||
|
||
- 必须可回放
|
||
- 必须可归因
|
||
- 必须分清 memory、skill、tool
|
||
- 必须有失败样本，不只看成功样本
|
||
- 必须能撤销错误记忆与错误策略
|
||
|
||
## 当前优先级
|
||
|
||
1. real adapters
|
||
2. richer reward/outcome updates
|
||
3. persistence-backed replay
|
||
4. router scoring v2
|
||
5. 再谈 learned router
|
||
|
||
这五步不打牢，后面训练都是空中楼阁。 |