Tokenless路由工具：让推理成本减半，数据验证省钱实力！

Tokenless：替代API调用的智能路由工具

Tokenless是一款由Y Combinator支持，谷歌DeepMind、普林斯顿大学和加州大学伯克利分校的AI研究人员打造的路由工具。它可直接替代API调用，始终将请求路由到合适的模型。用户只需将模型指向该工具提供的兼容OpenAI和Anthropic的端点，就能立即开始使用。

精准分发请求，实现成本减半

大多数调用其实并不需要前沿模型，Tokenless会将请求分发到一组模型，并观察处理情况。一旦某个模型明显能完成任务，就会选择该模型并取消其他模型的处理，用户只需为实际使用的部分付费，从而实现同等质量下成本减半。

在公开的智能体基准测试中，Tokenless的表现也十分亮眼。以τ³ - 银行终端基准测试2.1 DeepSWE 1.1为例，Tokenless Pro的解决率达40.2%，平均每项任务费用仅$0.57，相比其他前沿模型，成本优势明显。

数据说话，节省成本效果显著

Tokenless用数据证明了其节省成本的能力，而非营销噱头。假设每月大语言模型（LLM）支出为$40,000，使用Tokenless后，每月账单可降至$26,000，节省$14,000，综合节省率达34%，重定向的请求比例为42%，未来一年更是能节省$344,000。

市场竞争与未来挑战

在当前的市场中，各类大语言模型调用工具层出不穷，竞争激烈。Tokenless凭借其精准的模型分发和显著的成本节省优势，在市场中占据了一席之地。然而，随着技术的不断发展，其他竞品可能会推出类似或更优的功能。

未来，Tokenless产品线迭代面临着诸多挑战，如如何进一步优化模型分发算法，以适应更多复杂的请求场景；如何在保证成本节省的前提下，不断提升处理速度和质量。不过，其商业化看点也十分突出，对于那些有大量大语言模型调用需求的企业来说，Tokenless能帮助他们大幅降低成本，具有广阔的市场前景。

编辑观点：Tokenless以其独特的模型分发策略和显著的成本节省效果，在市场中具有较强的竞争力。未来若能持续优化迭代，有望在大语言模型调用工具市场中占据更大份额。