随着大型语言模型（LLM）的广泛应用，如何降低其高昂的运算成本成为业界热议的焦点。
为此，NVIDIA独立软件供应商亚太智能机器（APMIC）提出了创新的混合应用策略，并与戴尔、惠普、华硕等服务器行业巨头展开紧密合作，共同探索LLM成本优化的新途径。
APMIC创始人兼CEO吴柏翰在NVIDIA AI Summit上分享了专家组合（CoE）架构，该架构通过混合应用不同参数量级的LLM模型，实现了在保持性能的同时降低运算成本。
吴柏翰强调，22B参数量是一个关键的分水岭，之上的模型虽功能强大但成本高昂，之下的则较为灵活但功能受限。
通过与服务器厂商的深度合作，APMIC在私有云服务器上进行了广泛的测试，验证了混合应用策略的有效性。测试结果显示，混合应用不同模型不仅能够降低单位运算成本，还能提高整体系统的灵活性和适应性。
APMIC的这一创新策略不仅为企业带来了实实在在的经济效益，也为LLM的广泛应用提供了新的思路。未来，APMIC将继续与业界同仁深入合作，共同推动LLM成本优化技术的不断发展。
