路由LLM的应用前景广阔,它能够将不同的LLM纳入候选池中进行路由。这种灵活性使得其适用范围极广,比如,客服系统可以在机器人无法处理的情况下轻松切换到更加智能的模型;而在处理问题时,不同强弱程度的LLM也能发挥其各自的优势。
MilkThink团队 投稿量子位 | 公众号 QbitAI 事关路由LLM(Routing LLM),一项截至目前最全面的研究,来了—— 共计收集和整理了涉及8500+个LLM,在12个Benchmark上的共2亿条性能记录! 先来简单科普一下路由LLM。 这种方法主要是把像ChatGPT、Qwen、DeepSeek这些成型的LLM当作 “专家” ,当给一个输入的时候,有分类能力的Router( ...