Snowflake公布了一项名为“SwiftKV”的AI模型调校技术，并在Hugging Face平台上开源了三款基于此技术调校的Llama 3.1 AI模型。
SwiftKV技术的核心在于对模型提示词处理过程的优化。在实际应用中，AI模型处理用户输入的提示词往往是最为消耗计算资源的环节，尤其是当企业为模型自定义了极长的提示词时，这一问题更为突出。据称，这些自定义提示词的长度平均达到了输出生成内容的10倍之多，这无疑给AI模型的运行效率带来了巨大挑战。
然而，SwiftKV技术的出现打破了这一困境。据Snowflake介绍，该技术专门针对预制提示词处理进行了优化，不仅突破了传统的键值（Key-Value，KV）缓存压缩技术的限制，还在模型推理过程中引入了模型重组与知识保存自我蒸馏方法。据称，SwiftKV技术可以帮助AI模型降低50%的推理时间，这一成果无疑令人瞩目。
在实验验证中，SwiftKV技术的优势得到了充分展现。在优化Llama 3.1的80亿和700亿参数模型后，相应模型的整体吞吐量提升了两倍之多。同时，这些优化后的模型在代码自动补全、文本摘要等方面也表现出色，进一步证明了SwiftKV技术的有效性和实用性。
