Google携手NVIDIA GPU,推出高效无服务器云端AI服务
来源:ictimes 发布时间:2024-08-26 分享至微信

Google Cloud Run现已整合NVIDIA L4 GPU,为用户提供灵活高效的AI应用解决方案。该无服务器云端AI推论服务让缺乏自建云端或内部硬件资源的客户也能轻松部署AI项目,仅需按使用量付费,无需承担建置与维护成本。


Cloud Run平台简化容器部署与管理,现配备NVIDIA L4 GPU与高达24GB vRAM,满足AI工作负载对强大计算资源的需求。


这一整合支持Gemma、Llama3等轻量级开源模型进行实时推论,加速定制化聊天机器人、实时文件摘要等应用的开发。同时,它也适用于图像识别、视频转码、3D渲染等计算密集型任务。


针对无服务器服务效能的疑虑,Google数据显示,各类模型的冷启动时间仅为11秒至35秒,对实际应用影响有限。


Google Cloud Run以更高的硬件利用率和更低的部署成本吸引用户,具体成本将依据应用场景与预期流量模式,并参考新GPU成本进行定价,确保用户获得成本效益最优的解决方案。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!