DRIVE Labs“常学常新”系列「第二站」：基本路况感知

DRIVE Labs 系列文章

第二站：基本路况感知

实际路况中充满着复杂多变的现实挑战，自动驾驶汽车能够借助深度神经网络 “感知”实际路况、“预判”潜在风险并“做出”恰当选择，以增强自动驾驶汽车的安全性与可靠性。DRIVE Labs“常学常新”系列是 NVIDIA DRIVE 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 NVIDIA 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。

本期是第二期“基本路况感知”，将带您了解自动驾驶汽车如何利用深度神经网络感知基本路况，实现安全驾驶！

上期文章为大家介绍了用于不同功能的深度神经网络（DNN），本期文章则将详细介绍其中用于基本路况感知的 LaneNet DNN、WaitNet DNN 和路径感知集成等具体的深度神经网络应用。和 NVIDIA 一起上路看看自动驾驶汽车道路实况测试吧！

城市道路的复杂性和实时性对自动驾驶汽车的“随机应变”能力提出了更高的要求。在行驶期间，自动驾驶汽车能够利用数据感知实际路况、选择正确的行驶路径以及对现实情况做出即时反应则至关重要。NVIDIA 构建的感知软件，凭借强大的计算性能，助力自动驾驶汽车安全平稳行驶！

基于 LaneNet DNN 开展车道线检测

高精度车道检测

车道线标记对于自动驾驶汽车来说是重要的行车指南，能为车辆提供关键的驾驶环境信息，即自动驾驶汽车所处位置以及目的地等。稳健且高精的车道线监测，对于自动驾驶汽车来说至关重要。以上视频为大家介绍了 NVIDIA 如何训练深度神经网络实现稳健的车道线预测。

深度神经网络（DNN）处理现已成为一种重要的基于 AI 的车道检测技术。NVIDIA 高精度 LaneNet 解决方案在卷积神经网络处理图像时，能够以保留高清信息的方式对实况道路图像数据进行编码，为丰富的空间信息创建足够的冗余，以便保证在卷积神经网络固有的降采样过程中信息的完整性。此外，借助高精度的 LaneNet DNN，自动驾驶汽车还能在使用低清图像处理方式的同时，保留高清图像当中丰富的可用信息，以便车内推断进行更有效的计算。

左：来自高精度 LaneNet 的逐帧像素级车道线检测。右：像素级检测在经过后期处理之后显示为车道线。在图像边界附近进行额外的像素级车道线检测，就意味着在实际行车场景中，可以将车道线检测范围增加数十米。

高精度 LaneNet DNN的主要优势包括：

• 增加了车道线检测的范围

  
  

• 优化了车道线边缘检测的准确率/召回率

  
  

• 提升了车道线检测的稳健性

借助 LaneNet DNN 高精度车道线检测，自动驾驶汽车能够在道路上对车身进行更好的定位，同时也能感知规划出一条更安全的行驶路径。

利用 WaitNet DNN 进行交叉路口检测

WaitNet 深度神经网络

自动驾驶汽车在保持预测车道和路线行驶的过程中，会经过形态各异且实况万变的交叉路口。观看以上视频，了解 NVIDIA 如何利用基于 AI 的实时感知深度神经网络—WaitNet 深度神经网络，实现自动驾驶汽车对交叉路口的实时感知和分类。

WaitNet 表示检测自动驾驶汽车必须停车等待的情况，是一种卷积深度神经网络，通过摄像头图像数据进行训练，并对如交叉路口、施工区域和收费站等需要等待的情形进行推理和分类。

借助 WaitNet DNN 实现基于场景的交叉路口检测（以黄色显示）。交通信号灯检测以紫色显示。

WaitNet DNN的交叉路口检测及分类过程与人类驾驶员检测交叉路口的方式十分相似。WaitNet DNN 能够综合分析道路的多项特征，如停车标识，交通信号灯或者特殊地点或位置的车道线标记等，进行场景感知并检测是否有交叉路口出现，并对其进行分类，可减少特征级检测错误的发生机率，提高自动驾驶的安全性。此外，WaitNet DNN 还能够进行远距离检测并对同一图像帧中的多个交叉路口进行分类。

利用深度神经网络感知交叉路口结构

AI 如何帮助自动驾驶汽车感知交叉路口结构

交叉口是常见的道路特征，无论是社区中的四向停车，还是在布满交通信号指示的多车道交汇口。以上视频展示了 NVIDIA 如何借助 AI 来感知自动驾驶汽车在日常驾驶中可能遇到的各种交叉口结构。

事实上，NVIDIA 利用算法扩展了 WaitNet DNN 预测交叉口结构的能力，开发了基于 DNN 的交叉口结构感知功能作为 WaitNet DNN 的添加。NVIDIA 将这些交叉口结构视为所谓“关节”的点集合。正如人体通过关节的连接来做出动作一样，NVIDIA 通过将交叉口结构的关节连接到车辆需遵循的路径中，来实现自动驾驶车辆的正确行驶。

上图展示了基于 DNN 进行的交叉口结构预测。如图所示，我们可以检测交叉口结构特征并将其分为不同类别。例如，测试车辆和现场其他车辆的交叉口的入口和出口点，以及人行横道的入口和出口。

该 DNN 不会分割图像轮廓，而是能够区分不同车道的交叉口入口和出口点，并且其针对遮挡和部分遮挡的交叉口结构预测更具可靠性，还能够预测绘制的和推断的交叉口结构线。

此外，该实时感知功能具有可扩展性，无需人工标记便可处理各种类型的交叉口，还能够与拥有高质量数据的地图信息相结合，创建用于处理复杂路口的多样性和冗余，可助力自动驾驶汽车应对复杂的交叉口结构所带来的挑战。

路径感知集成

路径感知集成

自动驾驶汽车在实况中运行会遇到多种多样的情况，如若汽车仅在一种路径感知信号下行驶，则无法保证置信度的实时正确性，且如果唯一的路径感知输入失败，自动驾驶功能也许会失灵；就算功能不失灵，也可能导致操作的舒适度和平稳度有所降低。

为建立实时的置信度，NVIDIA 在路径感知软件中引入了多样性和冗余。但由于不同的 DNN 在训练数据、编码、模型架构和训练输出方面完全不同，各种深度神经网络（DNN）产生的路径感知信号在很大程度上是相互独立的。为实现感知功能的“协同并进与互相配合”，NVIDIA 利用集成技术，即机器学习的方式将基础模型进行组合以构建最优的预测模型（如以上视频所示）。在 NVIDIA 路径感知集成中，基础模型包含三个不同的深度神经网络：

• LaneNet DNN可以预测车道线路

  
  

• PathNet DNN能在无论是否存在车道线路的情况下，都能够预测和定义可行驶路径的范围

  
  

• PilotNet DNN能够根据人类驾驶员的驾驶轨迹预测驾驶中心路径

高置信度路径感知集成示例（包括左车道，汽车所在车道以及右车道的中心路径）。高置信度的结果在可视化中呈现出粗的绿色中心路径线条。实心的白色线代表车道预测线，也是由集成计算得出。

以上深度神经网络的数据输出结合高清地图输出，共同构成了感知集成输出。通过对不同的路径感知信号的联合分析，NVIDIA 建立并测量了汽车在实况驾驶中的路径感知可靠性，为实现可靠驾驶提供了可视化参考和全面的分析结果。

以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅。点击“阅读原文”，观看更多 NVIDIA DRIVE Labs Dispatch 视频，了解 NVIDIA DRIVE 软件如何助力自动驾驶。

DRIVE Labs“常学常新”系列

往期精彩回看

「入门篇」：自动驾驶基础功能

扫描下方海报二维码，即可免费注册 GTC 23，切莫错过这场 AI 和元宇宙时代的技术大会！