联发科宣布与OPPO合作：共建轻量化大模型端侧部署方案
来源:我爱研发网发布时间:2023-10-111499浏览
询问 AI据联发科官方微博消息，10月11日，联发科宣布与OPPO达成合作，共建轻量化大模型端侧部署方案，共同推动大模型能力在端侧逐步落地。
联发科表示，借助联发科芯片集成的AI处理器（APU）和联发科完整的AI开发平台NeuroPilot，OPPO的AndesGPT大模型将采用4位量化技术，在精度不掉点效果下，将大模型在端侧逐步落地，并实现性能更优。
OPPO表示，自8月开启陆续发起全新语音助手小布公测版本后，基于AndesGPT赋能的全新语音助手小布将于定档11月16 日举行的2023 OPPO开发者大会上正式发布。
公开资料显示，大型语言模型一般具有数十亿至上百亿参数，导致存储和计算成本极高，下游难以进行微调，为了便于进一步部署，通常会进行模型压缩，其一就是采用量化的方法，如将32位浮点数（float32）模型参数转化成8位定点整数（int8），以减少模型大小（存储空间）和计算量，加快训练速度。
可以一窥的是，据光锥智能报道，有蚂蚁集团端智能xNN团队团队负责人曾表示，为使AI大模型在手机端落地，对于单独的APP开发来说，业界一般将AI模型控制在十兆左右尺寸，支付宝终端技术部负责人判断，大模型消耗的物理运行内存至少应该控制在500MB-1GB以下的水平。
值得一提的是，早在OPPO 2020年科技大会上，OPPO就曾提出了布局自研芯片（马里亚纳）、智慧跨端系统（潘塔纳尔）、终端智能云（安第斯）三大核心基础技术，AndesGPT大模型就是由OPPO安第斯智能云团队打造。
据OPPO介绍，AndesGPT基于该团队在两年前自研的一亿、三亿和十亿参数量的大模型OBERT的技术融合，融合了中文对话数据的持续学习、指令精调、人类反馈强化学习和知识增强等关键技术，升级之后的小布助手将会拥有更强大的语义理解能力，提供归纳总结、文案撰写等功能，据称在SuperCLUE 9月十大基础能力排行榜的“知识与百科”能力评测中，仅次于GPT4，排名国内大模型第一。
目前，各大手机厂商都在纷纷布局通过语音助手来在手机上落地端侧AI大模型技术，显然并非完全剑指手机这一单品类终端。
联发科今年8月宣布与Meta合作，新一代手机天玑芯片将支持由Llama 2模型开发的 AI 应用时，联发科当时透露，以此建立完整的终端侧 AI 计算生态，加速智能手机、物联网、汽车、智能家居和其他边缘设备的 AI 应用开发，为终端设备提供更安全、可靠和差异化的使用体验。
OPPO也曾表示，OPPO安第斯智能云是服务个人、家庭和开发者的泛终端智能云，未来，AndesGPT将持续加持OPPO智能助手小布的AI能力，并逐步应用于更多OPPO核心产品中。
联发科表示，借助联发科芯片集成的AI处理器（APU）和联发科完整的AI开发平台NeuroPilot，OPPO的AndesGPT大模型将采用4位量化技术，在精度不掉点效果下，将大模型在端侧逐步落地，并实现性能更优。
OPPO表示，自8月开启陆续发起全新语音助手小布公测版本后，基于AndesGPT赋能的全新语音助手小布将于定档11月16 日举行的2023 OPPO开发者大会上正式发布。
公开资料显示，大型语言模型一般具有数十亿至上百亿参数，导致存储和计算成本极高，下游难以进行微调，为了便于进一步部署，通常会进行模型压缩，其一就是采用量化的方法，如将32位浮点数（float32）模型参数转化成8位定点整数（int8），以减少模型大小（存储空间）和计算量，加快训练速度。
可以一窥的是，据光锥智能报道，有蚂蚁集团端智能xNN团队团队负责人曾表示，为使AI大模型在手机端落地，对于单独的APP开发来说，业界一般将AI模型控制在十兆左右尺寸，支付宝终端技术部负责人判断，大模型消耗的物理运行内存至少应该控制在500MB-1GB以下的水平。
值得一提的是，早在OPPO 2020年科技大会上，OPPO就曾提出了布局自研芯片（马里亚纳）、智慧跨端系统（潘塔纳尔）、终端智能云（安第斯）三大核心基础技术，AndesGPT大模型就是由OPPO安第斯智能云团队打造。
据OPPO介绍，AndesGPT基于该团队在两年前自研的一亿、三亿和十亿参数量的大模型OBERT的技术融合，融合了中文对话数据的持续学习、指令精调、人类反馈强化学习和知识增强等关键技术，升级之后的小布助手将会拥有更强大的语义理解能力，提供归纳总结、文案撰写等功能，据称在SuperCLUE 9月十大基础能力排行榜的“知识与百科”能力评测中，仅次于GPT4，排名国内大模型第一。
目前，各大手机厂商都在纷纷布局通过语音助手来在手机上落地端侧AI大模型技术，显然并非完全剑指手机这一单品类终端。
联发科今年8月宣布与Meta合作，新一代手机天玑芯片将支持由Llama 2模型开发的 AI 应用时，联发科当时透露，以此建立完整的终端侧 AI 计算生态，加速智能手机、物联网、汽车、智能家居和其他边缘设备的 AI 应用开发，为终端设备提供更安全、可靠和差异化的使用体验。
OPPO也曾表示，OPPO安第斯智能云是服务个人、家庭和开发者的泛终端智能云，未来，AndesGPT将持续加持OPPO智能助手小布的AI能力，并逐步应用于更多OPPO核心产品中。
新闻来源：我爱研发网，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
