Manifest弃用LLM路由器：为什么单一模型比动态路由更稳定可靠？

1. 先搞清楚“弃用路由器”到底在说什么

看到“Manifest 弃用自家 LLM 路由器”这个标题，很多人第一反应可能是网络设备或者某种软件架构的变更。但这里说的“路由器”和“动态路由”，指的并不是我们熟悉的 Wi-Fi 路由器或 OSPF、RIP 这些网络协议。在大型语言模型（LLM）的应用开发领域，特别是在 AI Agent 或工作流编排框架中，“路由”是一个特定的技术概念。

简单来说，这里的 LLM 路由器 指的是一种决策组件。它的工作模式是：当你有一个用户请求（比如一个问题或一个任务）时，这个路由器会根据请求的内容、复杂度、成本等因素，动态地决定将这个请求分发给背后多个 LLM（例如 GPT-4、Claude、本地模型等）中的哪一个去处理。目标是追求更优的成本、速度或质量。而 动态路由 就是这个决策过程是实时、灵活变化的。

那么，Manifest（一个用于构建 LLM 应用的 Python 框架）宣布弃用自家的这个功能，并得出结论“单一模型优于动态路由”，就是一个非常值得玩味的信号。这背后不是一个简单的功能增减，而是对当前 LLM 应用开发中一种流行“优化”思路的实践性反思。对于正在设计或使用类似 LangChain、Dify 等工作流的开发者来说，这个结论直接关系到技术选型和架构设计的核心逻辑：我们到底要不要为了那一点可能的优化，去引入一个复杂的、不稳定的决策层？

2. 为什么动态路由听起来美好，用起来却可能“翻车”

动态路由的理念非常吸引人：用一个智能的“调度员”，根据任务难度（简单问题用便宜快速的模型，复杂问题用能力强但贵的模型）、当前各 API 的延迟、甚至预算余额，来分派任务，实现成本、速度和效果的最优平衡。这听起来是工程上的最佳实践。

但在实际落地中，这个“调度员”本身会带来一系列新问题，而这些问题常常被低估：

第一，决策本身就有成本和不确定性。 路由器本身也是一个模型（或一套规则）在运行。它需要先理解用户请求，再做出判断。这个“理解-判断”的过程需要时间（增加延迟），也可能出错（把复杂问题误判给弱模型，或反过来）。更关键的是，判断的逻辑（规则或提示词）需要精心设计和持续调优，这本身就是一项不轻的维护负担。

第二，引入了新的故障点和复杂度。 原本你的应用只依赖一个 LLM 的稳定性。现在，你依赖“路由器”的稳定性，以及它背后所有候选 LLM 的稳定性。任何一个环节出问题——路由器服务宕机、某个模型 API 限流或返回异常格式、网络波动——都会导致整个请求失败。故障排查的链路从一条变成了一个网，日志分析、错误重试、降级策略都变得异常复杂。

第三，效果的一致性难以保证。 不同的 LLM 在风格、格式遵循能力、对特定指令的理解上存在差异。动态路由可能导致同一个用户连续问类似问题，却由不同模型回答，输出