大模型快速落地，国产芯片厂商在做什么？
来源:国际电子商情发布时间:2023-06-131392浏览
询问 AI点击下方
"国际电子商情"关注公众号
算力缺口巨大既然叫大模型，显而易见，“大”必然是其最大的特点之一。有多大呢？安谋科技产品总监杨磊表示，如果把具备一千多亿个参数规模的GPT3.5模型存下来，需要100GB的存储空间，这当然要比普通芯片内部1MB SRAM的片上存储规模大出许多。“但这样就到头了吗？显然还没有，因为大家觉得‘暴力出奇迹’，比如新的模型已经达到了三千亿个参数，而且还在暴力地往上涨，暂时还看不到尽头在哪里。”他说。另一方面，传统的AI算法，比如美颜、人脸识别、刷脸等，都属于卷积神经网络(CNN)架构。但基于Tranformer架构的GPT模型，其核心计算是大型矩阵图版，从底层计算类型角度来讲与传统CNN算法并不一样，适用于传统CNN或语音处理的NPU，不一定擅长高效地计算AIGC类模型。天数智芯产品线总裁邹翾认为，对头部企业来说，早期的GPT3大模型大概需要1万张英伟达GPU，但GPT4达到了100万亿的参数规模，可能就需要3-5万张最先进的GPU才能完成。对于这一领域出现的众多跟随者来说，势必要在算力上不能输于头部企业，甚至还要进行更多的算力基础设施投资才能实现追赶。“关于大模型参数规模不断上调，其实我个人还有点不一样的看法。”在邹翾看来，原因之一是现在业界还没有把大模型的性能潜力全部挖掘出来，现在的大模型只是一个起点，头部企业希望能够率先抓住那些没有被发现的能力制高点，于是不断调高通用大模型的参数以开发新功能；原因之二是随着大模型的不断迭代，最终不可能有那么多的算力投资都真正产生效益，他个人判断未来1-2年内，当前许多重复性的投资会看到一个收敛稳定的阈值。
全功能GPU成AI大模型应用关键面对未来大规模的计算工作量需求，如今各大芯片厂商都在布局大型计算机体系结构。摩尔线程创始人兼CEO张建中指出，对于提升性能来说，效率和管理能力比单个芯片的计算能力更为重要——就像特斯拉的电池并不是由一个大型电池组成，而是由许多小电池组合而成的一样，GPU也将是如此，没有人能制造一个巨大的GPU来运行算法，但是却可以通过组合多个GPU来完成任务，并且提高效率和管理能力。因此，我们不必仅仅追求规模的扩大(scale up)，而是要追求规模的扩展(scale out)。“这也正是我们的优势，GPU里面有成千上万个核心。将多个GPU组合在一起的原理也是类似的，其中涉及到空间、存储、网络和调度等各方面的能力，这些正是GPU的核心所在。”张建中说，现在很多的创新型应用如AIGC、数字人、元宇宙里的3D图象/图形生成、自动驾驶、机器人、数字孪生等，都是与“AI+图形+元宇宙”场景相关的。所有的AI应用最后落地给到用户的时候，最终呈现出的是多模态化应用场景，一定是图像、图形，而不只是文字。所以，全功能GPU将成为关键。他进一步解释称，为什么很多用户会喜欢用全功能？因为我们不能限制用户今天只能干这件事，如果换一个代码就不能用，那用户肯定不愿意投。另一方面，如果GPU放在云端大的计算集群里，好几亿的投资只能换来一个应用，成本太贵，但如果可以做100甚至1000个应用，分摊下来成本自然就低了。所以从规模效应讲，通用性比专用性更有价值。换句话说，全功能GPU虽然价格贵一些，但是它可以处理多种应用，利用率高。相比较而言，ASIC芯片干一件事的效率非常高，但是做完就处于闲置状态。对于超算中心来说，90%的利用率都不存在，这是极其浪费成本的做法，超算算一次差不多要10亿，如果是100%的利用率，成本平摊后将大幅降低成本。因此，重复利用率、整个资源率对于大型基建基础设施来讲非常重要。邹翾则认为，通用GPU的优势源于“通用”、“易用”和“好用”。目前来看，国内企业与美国顶级厂商的产品性能之间的确存在差距，尤其在旗舰级产品性能方面，品牌知名度也不够。但好在国内产品是可用的，实现了国产通用GPU产品从0到1的突破。例如，日前天数智芯就宣布其天垓100加速卡算力集群，基于北京智源人工智能研究院70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。在谈及通用GPU落地前景时，邹翾希望“能用5-10年左右的时间追赶上国际同类主流产品的性能”，并且在人工智能、元宇宙、科学计算、天气预报、分子动力学、股票量化交易、投资等多个赛道取得成绩。
边缘侧部署Transformer为什么难？近几年Transformer大有取代卷积神经网络(CNN)之势，因为它可以获取全局特征，有一定的知识迁移性，能够很好地适应各种场景，不仅在COCO榜单上处于霸榜状态，很多以CNN为主的框架也已经切换到了Transformer。目前来看，Transformer大模型在云端主要还是通过GPU部署，在边缘侧、端侧硬件支撑方面，则更多依赖NPU实现对神经网络的加速。“这倒不是指CPU不能运行Transformer模型，只是它的运行速度无法满足实际应用落地需求。”爱芯元智联合创始人、副总裁刘建伟表示，之所以要强调速度，一是神经网络速度快，意味着终端设备可以运行更多类型的智能网络，更智能；二是即便不需要跑那么多类型的网络，那么某种程度上就可以把神经网络规模做大，提高精度。另一方面，尽管CNN和Transformer都属于神经网络，但Transformer的计算访存比比CNN低，精度和灵活度高，而此前市面上的一些NPU主要针对CNN网络做了一些过拟合的设计，导致在部署Transformer网络时遇到了功耗、效率等诸多问题，现在需要找到合适的新算力平台，并在算法侧找到能降低大参数模型带宽的新途径。其实，Transformer大模型方向在2019年就有人提出，当时在思路和训练方法上与传统CNN也并无太大差别，只知道“上限更高”。但近两年，Transformer被广泛应用到计算机视觉的物体分类领域(例如ViT、SwinT等)，以及用在目标检测领域的DETR(DEtection TRansformer)，而且随着自然语言处理(NLP)领域的突飞猛进，大模型通过无监督或是自监督的方式进行训练，正成为AI领域新的趋势。为此，考虑到如何在端侧、边缘侧高效部署Transformer正成为用户选择平台的核心考量。作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智在今年3月正式推出的第三代高算力、高能效比的SoC芯片AX650N，为行业探索Transformer在端侧、边缘侧落地方面做出了有益的尝试。杨磊表示，未来AIGC或大模型的场景肯定会潜移默化地影响到我们生活的方方面面，但从目前的实际状况来看，动辄千亿/万亿规模的模型参数、上亿美元的生产工具部署成本、以及相对偏窄的带宽，都给大模型落地IoT领域造成了实际困难。今后，结合一些特定的场景和应用，对大模型进行精简，使其能在手机、PC、边缘设备和汽车等端侧IoT场景上实现，会成为未来的发展方向。
中外用户的需求差异邹翾同时讨论了中国客户和海外客户在需求和使用习惯上的差异，认为中国市场上大多数客户仍然以快为主，“拿来主义”之风仍然比较盛行，在软件和应用模式方面缺乏独立创新。“对于硬件企业来说，一个难点在于如果用户不愿意自己尝试做一些原生性的创新，那我们就很难在体系支撑角度去提供创新，因为我企业的需求首先是要看客户需要什么。”但中国在应用场景上有着自己独特的优势，很多国内头部企业也正在思考如何让大模型更好的使用起来，创造出类似“新四大发明”的独特应用，实现原生技术的通用性。因此，底层技术与市场差异化的融合将成为关键，需要更多工程师、更多的创新、甚至是国家的机制引领，来共同推动全国产化进程。张建中表示，生成式AI领域有许多成功的机会，并且在许多行业领域都有专业支持。因此，不可能只有一个模型能够统一所有需求，而是需要多个模型。这就是为什么国外有那么多创业公司从事这个领域。而且国外的模型不一定适用于中国市场，在国内，生成式AI创业的空间和机会都非常广阔。“对于我们来讲，当然是更好的机会。不管做训练、推理，大家都用更多算力，如果是只有一家来供应的话，供应的量将有限。再者，许多创业公司对金钱成本的控制都有需求，如果我们能够提供好的方案且具有性价比的话，这个就是我们的机会。”张建中补充说，摩尔线程之所以要做摩笔马良和智娱魔方这种偏向应用层的产品，就是为了给客户打样，启发用户利用摩尔线程的全功能GPU可以做哪些比较有意义事情。“我们的模型是在自己的平台上训练的，不需要依靠任何人，就可以完成这些事情，所以我们既然能做，那么我们相信客户也可以做。”*本文为国际电子商情原创文章，未经授权禁止转载。End
"国际电子商情"关注公众号2022-2023年的拐点已经到来…
“2022-2023年的拐点是什么？是AI大模型的出现让获取知识的边际成本开始变成固定成本。”奇绩创坛创始人兼CEO陆奇在4月的一次演讲中称，“一定要记住，任何改变社会、改变产业的，永远是结构性改变。这个结构性改变往往是一类大型成本，从边际成本变成固定成本。”而ChatGPT能在历史上第一次两个月内拥有1亿活跃用户，挡都挡不住，为什么？因为它封装了世界上所有知识；有足够强的学习和推理能力；涉及的领域足够宽，知识足够深，又足够好用。加在一起，AI新范式的临界点到了，拐点已经到来。算力缺口巨大既然叫大模型，显而易见，“大”必然是其最大的特点之一。有多大呢？安谋科技产品总监杨磊表示，如果把具备一千多亿个参数规模的GPT3.5模型存下来，需要100GB的存储空间，这当然要比普通芯片内部1MB SRAM的片上存储规模大出许多。“但这样就到头了吗？显然还没有，因为大家觉得‘暴力出奇迹’，比如新的模型已经达到了三千亿个参数，而且还在暴力地往上涨，暂时还看不到尽头在哪里。”他说。另一方面，传统的AI算法，比如美颜、人脸识别、刷脸等，都属于卷积神经网络(CNN)架构。但基于Tranformer架构的GPT模型，其核心计算是大型矩阵图版，从底层计算类型角度来讲与传统CNN算法并不一样，适用于传统CNN或语音处理的NPU，不一定擅长高效地计算AIGC类模型。天数智芯产品线总裁邹翾认为，对头部企业来说，早期的GPT3大模型大概需要1万张英伟达GPU，但GPT4达到了100万亿的参数规模，可能就需要3-5万张最先进的GPU才能完成。对于这一领域出现的众多跟随者来说，势必要在算力上不能输于头部企业，甚至还要进行更多的算力基础设施投资才能实现追赶。“关于大模型参数规模不断上调，其实我个人还有点不一样的看法。”在邹翾看来，原因之一是现在业界还没有把大模型的性能潜力全部挖掘出来，现在的大模型只是一个起点，头部企业希望能够率先抓住那些没有被发现的能力制高点，于是不断调高通用大模型的参数以开发新功能；原因之二是随着大模型的不断迭代，最终不可能有那么多的算力投资都真正产生效益，他个人判断未来1-2年内，当前许多重复性的投资会看到一个收敛稳定的阈值。全功能GPU成AI大模型应用关键面对未来大规模的计算工作量需求，如今各大芯片厂商都在布局大型计算机体系结构。摩尔线程创始人兼CEO张建中指出，对于提升性能来说，效率和管理能力比单个芯片的计算能力更为重要——就像特斯拉的电池并不是由一个大型电池组成，而是由许多小电池组合而成的一样，GPU也将是如此，没有人能制造一个巨大的GPU来运行算法，但是却可以通过组合多个GPU来完成任务，并且提高效率和管理能力。因此，我们不必仅仅追求规模的扩大(scale up)，而是要追求规模的扩展(scale out)。“这也正是我们的优势，GPU里面有成千上万个核心。将多个GPU组合在一起的原理也是类似的，其中涉及到空间、存储、网络和调度等各方面的能力，这些正是GPU的核心所在。”张建中说，现在很多的创新型应用如AIGC、数字人、元宇宙里的3D图象/图形生成、自动驾驶、机器人、数字孪生等，都是与“AI+图形+元宇宙”场景相关的。所有的AI应用最后落地给到用户的时候，最终呈现出的是多模态化应用场景，一定是图像、图形，而不只是文字。所以，全功能GPU将成为关键。他进一步解释称，为什么很多用户会喜欢用全功能？因为我们不能限制用户今天只能干这件事，如果换一个代码就不能用，那用户肯定不愿意投。另一方面，如果GPU放在云端大的计算集群里，好几亿的投资只能换来一个应用，成本太贵，但如果可以做100甚至1000个应用，分摊下来成本自然就低了。所以从规模效应讲，通用性比专用性更有价值。换句话说，全功能GPU虽然价格贵一些，但是它可以处理多种应用，利用率高。相比较而言，ASIC芯片干一件事的效率非常高，但是做完就处于闲置状态。对于超算中心来说，90%的利用率都不存在，这是极其浪费成本的做法，超算算一次差不多要10亿，如果是100%的利用率，成本平摊后将大幅降低成本。因此，重复利用率、整个资源率对于大型基建基础设施来讲非常重要。邹翾则认为，通用GPU的优势源于“通用”、“易用”和“好用”。目前来看，国内企业与美国顶级厂商的产品性能之间的确存在差距，尤其在旗舰级产品性能方面，品牌知名度也不够。但好在国内产品是可用的，实现了国产通用GPU产品从0到1的突破。例如，日前天数智芯就宣布其天垓100加速卡算力集群，基于北京智源人工智能研究院70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。在谈及通用GPU落地前景时，邹翾希望“能用5-10年左右的时间追赶上国际同类主流产品的性能”，并且在人工智能、元宇宙、科学计算、天气预报、分子动力学、股票量化交易、投资等多个赛道取得成绩。边缘侧部署Transformer为什么难？近几年Transformer大有取代卷积神经网络(CNN)之势，因为它可以获取全局特征，有一定的知识迁移性，能够很好地适应各种场景，不仅在COCO榜单上处于霸榜状态，很多以CNN为主的框架也已经切换到了Transformer。目前来看，Transformer大模型在云端主要还是通过GPU部署，在边缘侧、端侧硬件支撑方面，则更多依赖NPU实现对神经网络的加速。“这倒不是指CPU不能运行Transformer模型，只是它的运行速度无法满足实际应用落地需求。”爱芯元智联合创始人、副总裁刘建伟表示，之所以要强调速度，一是神经网络速度快，意味着终端设备可以运行更多类型的智能网络，更智能；二是即便不需要跑那么多类型的网络，那么某种程度上就可以把神经网络规模做大，提高精度。另一方面，尽管CNN和Transformer都属于神经网络，但Transformer的计算访存比比CNN低，精度和灵活度高，而此前市面上的一些NPU主要针对CNN网络做了一些过拟合的设计，导致在部署Transformer网络时遇到了功耗、效率等诸多问题，现在需要找到合适的新算力平台，并在算法侧找到能降低大参数模型带宽的新途径。其实，Transformer大模型方向在2019年就有人提出，当时在思路和训练方法上与传统CNN也并无太大差别，只知道“上限更高”。但近两年，Transformer被广泛应用到计算机视觉的物体分类领域(例如ViT、SwinT等)，以及用在目标检测领域的DETR(DEtection TRansformer)，而且随着自然语言处理(NLP)领域的突飞猛进，大模型通过无监督或是自监督的方式进行训练，正成为AI领域新的趋势。为此，考虑到如何在端侧、边缘侧高效部署Transformer正成为用户选择平台的核心考量。作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智在今年3月正式推出的第三代高算力、高能效比的SoC芯片AX650N，为行业探索Transformer在端侧、边缘侧落地方面做出了有益的尝试。杨磊表示，未来AIGC或大模型的场景肯定会潜移默化地影响到我们生活的方方面面，但从目前的实际状况来看，动辄千亿/万亿规模的模型参数、上亿美元的生产工具部署成本、以及相对偏窄的带宽，都给大模型落地IoT领域造成了实际困难。今后，结合一些特定的场景和应用，对大模型进行精简，使其能在手机、PC、边缘设备和汽车等端侧IoT场景上实现，会成为未来的发展方向。中外用户的需求差异邹翾同时讨论了中国客户和海外客户在需求和使用习惯上的差异，认为中国市场上大多数客户仍然以快为主，“拿来主义”之风仍然比较盛行，在软件和应用模式方面缺乏独立创新。“对于硬件企业来说，一个难点在于如果用户不愿意自己尝试做一些原生性的创新，那我们就很难在体系支撑角度去提供创新，因为我企业的需求首先是要看客户需要什么。”但中国在应用场景上有着自己独特的优势，很多国内头部企业也正在思考如何让大模型更好的使用起来，创造出类似“新四大发明”的独特应用，实现原生技术的通用性。因此，底层技术与市场差异化的融合将成为关键，需要更多工程师、更多的创新、甚至是国家的机制引领，来共同推动全国产化进程。张建中表示，生成式AI领域有许多成功的机会，并且在许多行业领域都有专业支持。因此，不可能只有一个模型能够统一所有需求，而是需要多个模型。这就是为什么国外有那么多创业公司从事这个领域。而且国外的模型不一定适用于中国市场，在国内，生成式AI创业的空间和机会都非常广阔。“对于我们来讲，当然是更好的机会。不管做训练、推理，大家都用更多算力，如果是只有一家来供应的话，供应的量将有限。再者，许多创业公司对金钱成本的控制都有需求，如果我们能够提供好的方案且具有性价比的话，这个就是我们的机会。”张建中补充说，摩尔线程之所以要做摩笔马良和智娱魔方这种偏向应用层的产品，就是为了给客户打样，启发用户利用摩尔线程的全功能GPU可以做哪些比较有意义事情。“我们的模型是在自己的平台上训练的，不需要依靠任何人，就可以完成这些事情，所以我们既然能做，那么我们相信客户也可以做。”*本文为国际电子商情原创文章，未经授权禁止转载。End新闻来源：国际电子商情，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
