Meta研发模型路由器,专治AI推理成本过高
来源:龙灵发布时间:6 天前139浏览
询问 AI据The Information获得的内部文件显示,Meta旗下的内部孵化器AAI Labs正计划研发一款代号为“Switchboard”的模型路由器。该孵化器隶属于Meta于今年3月组建的应用AI(Applied AI)工程团队,允许员工提交内部AI产品的开发提案,并在审批通过后组建专项小组进行研发。目前,AAI Labs已批准了大约200个项目,涵盖消费级产品、开发者工具及内部基础设施等多个领域。
开发“Switchboard”的主要目的是控制不断攀升的AI推理支出。目前,Meta内部的所有代码生成请求无论难度高低,均由最高级别的模型处理,这不仅大幅抬高了运营成本,也不利于AI智能体(Agent)在企业内部的大规模部署。“Switchboard”的运行机制与OpenRouter旗下的Auto Router理念相近,其核心逻辑是根据任务难度对各项请求进行评分,进而将相对简单的任务分配给规模较小且成本更低的模型来处理。
随着企业积极鼓励员工使用AI工具,高昂的服务账单促使管理层开始密切追踪相关投资回报率。若能通过模型调度技术精准管控每笔AI请求的成本效益,将成为企业在限制Token消耗之外,缓解账单压力的另一种解决方案。提案团队表示,该模型路由器将优先在内部使用以降低成本,未来可能会向运行大量AI编码智能体的外部企业开放。
在AAI Labs获批的其他项目中,还包含一款支持通过Apple CarPlay和Android Auto运行的AI导航应用程序。该应用计划整合Instagram的地图功能,并有望进一步拓展应用于Ray-Ban智能眼镜。
新闻来源:龙灵,文中所述为作者独立观点,不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj。

