SambaNova推出创新云端基础设施，其RDU技术为AI推论带来强大动力。该系统能支持Meta的Llama 3.1大型语言模型，在16位精度下每秒生成132个Token，远超市场同类产品。
SambaNova的SN40L加速器以RDU为核心，效能显著优于NVIDIA H100，成本大幅降低。其大缓存设计避免了GPU系统的带宽瓶颈，确保高效运行。
该系统在应对4,050亿参数LLM时，虽限制脉络长度为8K以避免过载，但已足够满足多数客服机器人需求。
对于需要处理长文本的应用，则需考虑此限制。SambaNova正与Cerebras、Groq等新创公司一同，引领非GPU AI基础设施的新潮流。
