stoneskin (Mr. Sun)

Personal homepage of Mr Sun - AI Solutions Architect, Tech Lead & AWS Cloud Specialist: resume, selected projects, and teaching archive

Router/调度

← 返回目录

分级:【摘要即可】——本条已是全文级摘要(级联三层、决策四问、降级触发、评估五指标俱全),原文备查。

原文:https://x.com/kafkaup/status/2110500904868757542(2026-10-14,长帖) 一句话:router 是 AI 产品的”调度台”——决定请求进哪个能力、花多少成本;信息不足或高风险时追问/降级/拒绝/转人工。

三层级联(由便宜到贵,按确定性/置信度上浮)

  1. 规则层:确定性高的请求(按钮点击、文件上传、明确关键词)+ 安全拦截与权限判断前置。快、便宜、可解释。
  2. 小模型层:BERT/Embedding 做语义分类,处理规则抓不到但可归类的高频意图(例:”整理成给领导看的材料”→报告生成)。
  3. 大模型层:多意图/混合意图、结合上下文判断、槽位(slots)抽取、是否追问、是否进 agent workflow。

路由决策四问

用户要完成什么任务?交给哪个能力模块?当前信息够不够?有没有风险?

Fallback / 降级触发

评估五指标

路由准确率、任务成功率、Fallback 率、用户重试率/追问率、人工改派率。目标不是最强模型,而是 token/延时/准确率三者平衡;router prompt 要短(只放意图定义+边界+输出 schema)、输出结构化、安全前置、常见 query 缓存结果。

跟你项目的咬合