DeepSeek开源技术受瞩目,但边缘AI应用成长仍需时日
来源:李智衍 发布时间:2025-02-26 分享至微信

DeepSeek中国新创公司开源低成本AI模型,引发市场对AI成本降低和边缘AI升级的关注。


尽管DeepSeek持续开源技术受到开发者欢迎,但专家指出,其大模型仍最适合云端应用,边缘AI模型仍以其他业者服务为主。


近20家AI芯片公司宣布适配DeepSeek蒸馏模型,但仅少数完成适配“满血版”大模型,反映出国产芯片实力有限。满血版模型需多台高端GPU服务器及互联技术,目前服务速度仍在较低水平。


优必达CEO郭荣昌指出,LLM对话每秒生成速度至少需达15 tokens/sec才能顺畅,大模型在PC或手机上运行仍卡顿,目前以云端应用为主。


边缘端使用率较高的小模型仍为Meta Llama、Google Gemma、微软Phi等系列。


DeepSeek宣布将开源5个程序码库,包括针对Hopper GPU的FlashMLA解码架构和改善混合专家模型路由通讯的DeepEP,旨在充分发挥既有硬件效能。开发者对此表示期待,但边缘AI应用成长仍需时日。


[ 新闻来源:李智衍,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!