“寒冬”里的一把火，自动驾驶的DriveGPT已在路上

集微网报道，ChatGPT爆火，各行各业在都在讨论这一技术带来的震撼以及在行业的落地应用，汽车行业自然也不例外。例如，通用汽车正探索如何在汽车中用ChatGPT开发新AI车载助理，中科创达、四维图新等表示已将ChatGPT应用到智能座舱。

这样一看，ChatGPT的火，主要是烧到了车载语音交互这块，还鲜少“深入”自动驾驶领域。而且，不久前，业内人士还在感叹，ChatGPT狂飙，自动驾驶趋冷，这样的超大模型需要的算力、功耗等都在车端布局，很难实现。

但毫末智行此次的发布则让产业界为之一振，打开了一种思路，或许自动驾驶的“ChatGPT时刻”已不是想象。

4月11日，在第八届毫末AI DAY上，毫末智行发布了首个应用GPT模型和技术逻辑的自动驾驶算法模型DriveGPT，并正式官宣中文名为“雪湖·海若”。

DriveGPT首发车型是即将量产上市的新摩卡DHT-PHEV。

从ChatGPT到DriveGPT，也是人驾自监督认知大模型的升级

ChatGPT，“Chat Generative Pre-trained Transformer”，被简单理解为人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。

除全网熟知的“会聊天的AI”、文字内容助手等身份，更让各行业关注和震惊的重要原因是，ChatGPT引入新技术RLHF（Reinforcement Learning with Human Feedback，即基于人类反馈的强化学习）。RLHF解决了生成模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。

Transformer对于智能驾驶已不陌生，其在NLP（自然语言处理）中奠定了核心地位之后，逐渐被引入计算机视觉领域，后又被特斯拉引入自动驾驶。紧随特斯拉，毫末是国内率先开始Transformer大模型技术探索的公司，并快速落地应用到BEV视觉感知算法当中。

对于Transformer的最新成果ChatGPT，曾在今年1月的毫末第七届 AI DAY上，毫末表示已经对ChatGPT背后技术展开研究，且在毫末看来，实现GPT3到ChatGPT的龙门一跃最重要的是ChatGPT模型使用了“利用人类反馈强化学习RLHF”的训练方式，更好地利用了人类知识，让模型自己判断其答案的质量，逐步提升自己给出高质量答案的能力。

关键是如何将ChatGPT应用到自动驾驶？

毫末认为，ChatGPT的技术思路和自动驾驶认知决策的思路是一致的。在认知驾驶决策算法的进化上，毫末分成了三个阶段：

第一个阶段是引入了个别场景的端到端模仿学习，直接拟合人驾行为。

第二个阶段是通过大模型，引入海量正常人驾数据，通过Prompt（提示语）的方式实现认知决策的可控可解释。

第三个阶段就是引入了真实接管数据，在其中尝试使用“人类反馈强化学习（RLHF）”。一般来说，人类司机的每一次接管，都是对自动驾驶策略的一次人为反馈；这个接管数据可以被简单当成一个负样本来使用，就是自动驾驶决策被纠正的一次记录。同时也可以被当作改进认知决策的正样本来学习。

这也被毫末称之为“人驾自监督认知大模型”。人驾自监督认知大模型是为了让自动驾驶系统能够学习到老司机的优秀开车方法，然后稳定地输出最优解。据悉，通过这种方式，毫末在例如掉头、环岛等困难场景中，通过率提升30%以上。

而这次发布的DriveGPT，正是毫末人驾自监督认知大模型的升级。

与ChatGPT同源，DriveGPT如何重塑智能驾驶？

那么，DriveGPT和ChatGPT有什么连接点？

与ChatGPT同源，毫末DriveGPT通过引入驾驶数据建立RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化。

DriveGPT的底层模型也是采用GPT生成式预训练大模型。但与ChatGPT使用自然语言进行输入与输出不同，DriveGPT输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景Token化，形成“Drive Language”（驾驶语言），最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。

DriveGPT实现过程具体要分3步：

首先，在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管Clips数据完成反馈模型（Reward Model）的训练；

然后，再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化；

最后，DriveGPT会根据输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。

大模型实现过程的背后都离不开算法、算力、数据的支持。

算法方面，毫末选择走渐进式发展路线，毫末HPilot整体已搭载近20款车型，规模化已成，能从真实使用场景中积累足够多的数据。

在算力方面，基于毫末年初与火山引擎联手发布的中国自动驾驶行业首个也是最大的智算中心——雪湖·绿洲（MANA OASIS），基于雪湖·绿洲，毫末得以训练出参数规模达1200亿的DriveGPT模型。

数据方面，正是在雪湖·绿洲的加持下，毫末辅助驾驶系统持续迭代，并不断积累数据，目前用户使用毫末辅助驾驶的行驶里程超过4000万公里，而这也成就了DriveGPT的数据底座。其在预训练阶段就引入了这4000万公里量产车驾驶数据，为了对生成决策结果进行调优，RLHF还阶段引入5万段人工精选的困难场景接管Clips，让机器最终可以更好地理解所处环境，并不断学习作出更优秀的自动驾驶决策。

现阶段，DriveGPT主要用于解决自动驾驶的认知决策问题，后续持续会将毫末多个大模型的能力整合到DriveGPT，也可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。

对于普通用户来说，有了DriveGPT，车辆越来越像老司机，用户对智能产品的信任感会更强，理解到车辆的行为都是可预期、可理解的。

最终，DriveGPT的“终局”是实现端到端自动驾驶。

自动驾驶的寒冬，ChatGPT与行业的共振带来一些“花火”

毫末DriveGPT已正式对外开放，开启对限量首批客户的合作，北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等已经加入。

毫末DriveGPT的对外开放及服务，将促进自动驾驶的从业者和研究机构快速构建基础能力。开放的第一步是一些数据方面的能力。接下来，毫末将携手合作伙伴率先探索包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困等四大应用能力。

例如，在驾驶场景识别中，毫末建立起一套基于4D Clips的方案，具备极高性价比。

相比行业上给出正确的标注结果，一张图片需要5元，如果使用DriveGPT雪湖·海若的场景识别服务，一张图片的价格将下降到0.5元。单帧图片整体标注成本仅相当于行业的1/10。

接下来，毫末会将图像帧及4D Clips场景识别服务逐步向行业开放使用，这将大幅降低行业使用数据的成本，提高数据质量，从而加速自动驾驶技术的快速发展。

毫末认为，自动驾驶领域和ChatGPT解决的问题比较相似，已经知道了过去10秒的驾驶场景、环境，就要生成接下来下一个时刻，驾驶环境会变成什么，不断的生成，即根据历史的场景不断生成新的场景。

预测和规控，考验的正是自动驾驶的认知能力。因此，毫末希望DriverGPT具有三个能力：

第一个能力，是平行宇宙，知道了过去10秒的事情后，生成了接下来很多个10秒钟，整个环境的宏观生成能力；

第二个能力，如果生成了这么多宏观环境，在每个宏观环境里都要把自车的轨迹量化出来；

第三个能力，是推理的能力，也叫思考链，每一个推荐、驾驶策略都有要自己的理由，过去讲的自动驾驶是个黑盒，加入这种思考链、逻辑链条之后，驾驶策略就会更好理解。

毫末设计的DriverGPT核心是，根据过去的场景形成新的场景，即“让车认知到自己所处的道路环境，并决定下一步怎么开”。

地平线创始人余凯也分享过类似的观点。在近日举办的电动汽车百人会上，余凯分享到：“最近的ChatGPT给业内很大启发，它通过更大的数据、更大的模型，利用文本历史，去预测下一个词的概率。同样的事情，也可以发生在自动驾驶上，通过结合当前的交通环境、导航地图、驾驶员整个历史驾驶行为，来预测下一个驾驶动作。从大量的、无监督的、不需要标注的行为里面去机器学习，构建一个自回归的驾驶大语言模型。”

但也有不同的观点。业内人士表示，ChatGPT是一个大模型，从规模上来说，大模型需要的算力、功耗等都是在车端布置，这是不现实的，另一方面，大模型强调的是一个通用模型，而在车端要求的是更高精度的一些感知，所以对于模型一般会采用比较特殊的，即专门为这块领域做的模型。

而某种程度上，从大模型的角度，毫末的DriverGPT和ChatGPT是同源，也是专为自动驾驶而生的生成式大模型，这或许为行业与生成式大模型的融合开了一扇窗。

恰逢自动驾驶的寒冬，ChatGPT与行业的共振无疑可以给到业界一些鼓舞，虽然这还仅仅是很初步的一个开始。业内人士对集微网表示，ChatGPT已经让我们看到了生成式大模型人工智能带来的无限可能，而这也只是一个开始而已，一个让AI有了人类思考逻辑的开始。尤其对于高阶自动驾驶，ChatGPT可以提升ADS数据闭环的能力，从数据采集、数据回流、数据处理、数据标注、模型训练，到测试验证，其次还能减少海量投入成本，例如在自动驾驶场景中，问题数据通常是在试验车上收集，极少数车辆能实现在量产车上收集，收集后需要对数据做标注，然后工程师在云端用新的数据训练神经网络模型，重新训练后的模型通常会通过OTA的方式部署到车端。

“对自动驾驶ADS行业AI化的加速，我们期望可以通过模型的反馈学习训练方法、数据和场景的交互生成、多模态数据的交互学习和潜在特征空间的分布理解、以及可理解可解释的输出等功能来加速自动驾驶ADS感知和决策的端到端开发进程。”上述业内人士展望到。