随着感知技术的不断发展以及智能交通基础设施的完善，智能网联汽车应用在自动驾驶领域的地位逐渐提升。本文旨在全面阐述面向智能网联汽车的车路协同感知技术，并总结相关可利用数据及该方向的发展趋势。
在自动驾驶场景中，车辆通过传感器感知周围环境并作出决策，其感知任务包括目标检测、跟踪和语义分割等。然而，单一个体车辆的感知具有很大局限性，如远距离目标分辨率较低，容易被忽视，存在遮挡问题，对转角处的盲区信息、视距外的路况信息难以获取，这些问题很大程度上影响了自动驾驶的安全性与可靠性。
因此，利用多个智能体进行协同感知以提升感知范围并增加感知鲁棒性逐渐成为一种研究趋势。车路协同，又称车路融合或协同感知，是一种利用周围其他智能网联汽车、智能基础设施或周围能通信的所有其他智能体辅助感知的一种自动驾驶技术。协同感知中智能网联汽车和路端基础设施上均可配备多种传感器，如激光雷达、相机等，协同感知过程中，智能网联汽车与路端设备可以相互通信进行信息互补，相较个体感知而言具有更大感知范围。
本文将从车路协同策略、车路协同感知关键技术和车路协同感知方法这三个角度分别对协同感知技术在智能网联汽车领域的发展进行阐述，同时介绍多个用于不同协同感知任务的数据集，最后总结当前该领域内的问题与挑战。
图1 车路协同示意图
PART 01 车路协同策略
从协同对象上看，车路协同分为三种不同策略，智能网联汽车之间的相互协同：车−车，道路智能基础设施协助智能网联汽车感知：车−基础设施以及智能网联汽车与其他所有感知实体之间的协同：车−所有智能终端。
在协同感知场景下，智能网联汽车可以获取到周围车辆传感器或路端设备的感知信息，这种感知信息可能以原始图像或点云数据的形式存在，也可能是原始数据经感知主体的算法网络提取后的抽象特征。这些相邻智能网联汽车或路端设备的感知信息拥有多种视角，可以弥补当前车辆的感知盲点，如路口处设备的俯视视角能提供被遮挡的车辆或行人信息，转角处其他车辆的视角能提供转角处对于当前车辆而言的盲区信息。
从协同时间点看，车路协同策略则可分为早期协同、中期协同和后期协同。无协同时个体感知在单个车端设备上对图像或点云数据进行特征提取后解码得到预测结果，对远距离或遮挡情况适应差；早期协同传输原始数据并在当前车辆设备进行后续操作，感知精度高但计算量大；中期协同传输提取后的特征在当前车辆进行融合并获取预测结果，其较早期协同而言计算量减少但感知精度下降；后期协同直接对感知结果进行融合并在当前车辆进行后处理得到预测结果，计算量在三种策略中最低，同时感知精度也最低，但仍超过个体感知。
图2 协同感知策略对比图
不同协同策略对带宽(传输速率)的需求、目标检测精度及算力评估，协同传输的类型为点云数据，精度评估以Dair-V2X数据集为基准，对目标检测的平均精度进行评估，通过GPU型号及推理速度：每秒帧数，同时结合Liu等在V2Xset数据集上实验得出的三种协同策略的乘加累积操作次数，对算力需求进行评估。
PART 02车路协同感知关键技术
2.1 感知技术
基于LiDAR的感知技术
LiDAR是自动驾驶车辆常搭载的传感器之一，它可以提供丰富的空间信息，如位置、大小、方向等。点云数据的协同感知需要原始点云数据和各智能车辆或路端设备的传感器位姿信息，通过位姿信息对点云数据进行坐标转换、柱状化特征提取、融合与解码，从而进行协同感知预测。LiDAR生成的点云数据受外界光照条件影响小，比普通相机更能适应夜间等低光照场景，但远距离物体的点云数据非常稀疏， 并且被遮挡的物体返回的点云数量更少，这也导致LiDAR对远距离目标的检测性能和对遮挡情况的适应性较差。
图3 基于点云数据的协同感知方法
基于相机的感知技术
基于相机的协同感知在视角转换上存在一定难度，现行的主流方法是将多个智能体获取的图像转换为鸟瞰视角，主要思想是将平面图像特征投影到3D空间中所有可能的深度，然后聚合3D体素特征并将它们折叠成BEV特征。基于相机传感器的协同感知通过多视角RGB图像经编码器进行特征提取，转换为BEV特征后相互协同传输并共享位姿信息，融合特征并解码预测得到BEV预测结果。
图4 基于相机图像的协同感知方法
基于传感器融合的感知技术
传感器融合可以结合多个传感器的信息，比如毫米波雷达、相机、激光雷达等来实现对周围环境建模并感知，从而提高感知系统在各种复杂情况下的可靠性。例如，在车辆进行高速行驶或在行人出现时，相机获取的图像数据可能会受到光照、遮挡等各种因素的影响，此时毫米波雷达或激光雷达等其他传感器的数据可以提供补充信息，从而提高自动驾驶系统的感知效果。然而，单视点的传感器融合感知无法可靠且低成本地解决上述问题，协同感知则融合了分布在周围环境中具有空间多样性的传感器信息，以缓解单智能体中传感器融合的局限性。
2.2 通信技术
在协作式智能网联交通系统中，协同感知通常需要在无线通信的辅助下利用来自其他传感器信息的服务。其主要目的是连接智能网联汽车并共享数据，通过车−车、车−基础设施或者车−所有智能终端通信共享原始传感器数据、预处理过的特征信息或感知结果。连接的车辆能够共享和接收来自任何其他具有协同感知功能设施的传感器信息。V2V技术实现车与车之间互联互通；V2I技术将路端传感器提供的高视角感知信息用于当前车辆进行互补；V2X技术则将智能网联汽车与周围所有通信设备连接以获得多方位传感信息。智能网联汽车能够提供不同通信方式的带宽范围和通信延迟。
图5 通信交互示意图
V2V通信技术
通过V2V通信进行信息共享是智能网联汽车协同感知的一项重要技术，它借助周围智能车辆获取的感知信息在复杂的交通环境中观察更广阔的范围并感知更多被遮挡的物体。在通信技术上的主要瓶颈之一是低延迟和低通信负载的精确数据共享。V2V通信技术的有效性也取决于在有限的网络带宽内传输哪些数据以及如何使用聚合信息来建立对交通状况的连贯而准确的理解。
V2I通信技术
LiDAR等传感器成本高昂且难以在实际应用中部署在每辆车上，另一方面交通环境日益复杂，联网自动驾驶仍然面临着很大的挑战，自动驾驶汽车缺乏全局感知能力，无法监控整体路况并准确检测周围物体，存在很大的安全风险。因此另一种解决方案是车辆−基础设施(V2I)协同，在这种情况下，相机和LiDAR传感器可以安装在路口处等共享交通环境中，并提供整体的路况视图。基于新一代信息通信技术的车辆基础设施协同V2I可以有效解决其技术难题构建了一个完整的、多层次的车路协同感知框架，利用新一代信息通信技术将车辆、基础设施和控制系统的信息集成在一起。自车辆传感器捕获的数据和从基础设施设备接收的数据具有异步时间戳，并且路端与车端设备之间的通信带宽有限。
V2X通信技术
不局限于车与车或车与基础设施之间的协同，V2X通信将智能网联汽车与周围一切感知智能终端进行连接，可以使用直接短程通信或蜂窝车联网(C-V2X)。DSRC具有数据传输速率高、时延低、支持点对点或点对多点通信等优点，以5G为代表的蜂窝网络则具有网络容量大、覆盖范围广等优点。C-V2X能够在蜂窝网络下将车辆与其他实体连接起来，并可选择共享感知内容，包含的信息(例如位置和速度)可以帮助自动驾驶汽车更好地了解环境。C-V2X通过向基站发送消息来连接不同智能网联汽车，基站将消息发送到目标车辆，该消息需要向基站发送和从基站发送的分配单元，即物理资源块。
PART 03车路协同感知方法
本文依据车路协同中需着重解决的难点，将车路协同的感知方法分为三大类：感知融合、感知信息选择与压缩、安全协同通信与隐私保护。
3.1 感知融合
无论是早期协同融合原始数据、中期协同融合特征信息，还是后期协同融合感知结果，其感知融合的方法都是研究人员关注的重点。在自动驾驶场景中，不同感知目标与传感器之间的距离不同，导致其特征尺度也有差异。在协同感知过程中，特征通道拼接的中间过程产生的特征会随着智能体数量的增加而不断增加计算成本，有效的特征融合模型则可以改进特征选择和信息聚合，进一步提升感知精度并减少计算成本，以满足自动驾驶场景下对实时性的需求。
3.2 感知信息选择与压缩
感知信息数据量过大会为传输过程带来负担，因此，研究者们通过对感知信息的选择和压缩来降低带宽负荷。感知信息的选择通常以图神经网络的方式完成，通过对图中节点之间的联系，即边的权重大小来对待传输的感知信息进行筛选。感知信息压缩的过程通常发生在传输之前，模型会对主干网络提取的特征信息进行压缩，经协同传输后在输出端解压缩。感知信息选择和压缩传输流程，即感知信息通过图神经网络计算相关度匹配分数，并在传输前进行通道及空间维度的压缩，传输过程中按照匹配分数选择强相关性的特征传输并融合。
图6 感知信息选择与压缩
3.3 安全协同通信与隐私保护
通信是智能网联汽车之间进行信息交流与协同的关键环节，在此过程中，智能网联汽车与周围车辆、路端设备交互，传输感知信息和车辆运行相关参数，其中包括车辆的位姿信息。然而，由于各种误差和不确定性，定位错误时常发生，即车辆在通信过程中传输的位置信息可能发生偏差或错误。定位错误可能由多种因素导致，首先，车辆使用的传感器可能受到环境影响、设备故障或数据处理错误，导致获取的位置信息不准确；其次，网络传输延迟和丢包也会影响位置信息传输的准确性。当车辆在传输位姿信息时由于上述原因导致信息不准确，周围车辆在获取错误的位置信息后即会产生误导，从而导致决策和行动的不正确执行，这将增加交通事故的风险，对行车安全产生威胁。
此外，通信过程也存在对抗攻击的风险。对抗攻击是指针对协同感知通信过程的恶意行为，攻击者通常会有意设计或操纵数据和信息，引入人类不易察觉的噪声使模型判断发生错误，其目的是破坏协同感知系统的正常运行。这种攻击可能会导致误导性的数据传输、信息泄露、决策错误等问题，对协同感知系统的可靠性和安全性构成威胁。
对抗性攻击可分为白盒攻击与黑盒攻击。白盒攻击拥有关于深度神经网络模型的完整信息；而黑盒攻击通常不如白盒攻击有效，黑盒攻击对被攻击模型的内部结构、训练参数、防御方法等一无所知，仅通过输入输出与模型进行交互。一般情况下， 防御对抗攻击是通过将对抗样本纳入训练阶段，即对抗训练。但这种防御方式需要获取攻击者的输入样本，对于未知攻击者而言效果不佳。尽可能多地利用来自良性协同对象的感知信息，在一定的计算成本下抵御对抗攻击者。这种基于采样的防御策略，可以提高感知系统的鲁棒性与可靠性，从而应对未知攻击者带来的威胁。
图7 协同感知中的安全性问题
得益于数据资源数量与多样性的增加，车路协同感知能够基于大规模数据提升智能网联汽车的感知性能和行驶安全性。虽然协同感知普适性高且潜力巨大，但也带来了与隐私相关的新问题。其一是智能网联汽车捕获的数据中包含了参与交通系统的成员的海量个人信息，直接共享原始数据会造成隐私的泄露；其二是智能网联汽车大都来自不同的组织或公司，为了保护商业机密，不同代理方之间的数据共享可能会被禁用，从而阻碍更大规模的协同。用于隐私保护的常规手段是采取联邦学习。联邦学习提出一种分布式学习方案，有望实现不同车辆之间数据资源的安全共享。
PART 04大规模车路协同数据集
目前的车路协同数据可分为仿真模拟数据和真实场景数据，其中仿真模拟数据采集成本低，但缺乏真实场景所具备的各种环境因素；真实场景数据采集成本高昂，仅有个别数据集从真实场景中采集。
V2X-Sim：仿真模拟车路协同数据集，通过CARLA和城市交通流模拟(SUMO)联合仿真来模拟真实路况下的交通状况。为记录相关数据，模拟的车端装有LiDAR、RGB相机和深度相机，路端设备也具有相同配置，能够收集点云、RGB图像等多种数据。该数据集可以支持协同感知场景下的3D目标检测、目标跟踪、BEV语义分割任务。
DAIR-V2X：这是车路协同自动驾驶(VICAD)领域的第一个大规模、多模态、多视图数据集。它包含在十字路口场景中捕获的71254个LiDAR帧和71254个相机帧，这些数据是由搭载了传感器的车辆在经过路口时收集产生的。该数据集涵盖10km的城市道路、10km的高速公路、28个十字路口和38km2的驾驶区域，这些区域具有多种天气和光照情况。该数据集可以支持基于RGB图像或点云的3D协同目标检测和跟踪任务。
OPV2V：一个用于车辆感知的大规模开放模拟数据集，它包含70多种场景、11 464帧数据和232913个带注释的3D车辆检测框，该数据集通过CARLA仿真模拟了8个城镇和洛杉矶卡尔弗城的数字城镇，并使用OpenCDA来生成数据集。在传感器配置方面，模拟的每辆智能网联汽车会配备4个能够覆盖周围全视野范围的相机和LiDAR传感器用于收集RGB图像和点云数据。OPV2V支持基于相机或LiDAR传感器的协同3D目标检测、BEV语义分割、目标跟踪和预测任务。
V2XSet：一个用于V2X感知的大规模数据集，该数据集使用CARLA和OpenCDA联合仿真制作，并模拟添加现实世界噪声。数据集中有11447帧，共33081个样本，划分训练集6694个，验证集和测试集数量分别为1920个和2833个。
DOLPHINS：一个具备丰富场景环境的协同自动驾驶数据集，其场景包括城市交叉口、丁字路口、陡坡道、高速公路入口坡道和山路，并包含几种常见的动态天气。其数据拥有多种模态和多个视点，在智能车辆端和路端均配备LiDAR和RGB相机，每个视点记录了超过42376帧的图像和点云数据，包含物体的检测框信息以及地理位置信息，并且根据每个物体在点云中反射的激光点数量将其划分成三个检测难度级别。DOLPHINS支持的任务包括2D目标检测、3D目标检测以及协同知。
PART 05问题与挑战
5.1 模型与数据优化
在协同策略上，后续研究应考虑如何将早期协同和后期协同策略相融合，以建立基于混合协同的感知系统，扩大感知范围。此外，如何设计合理的通信触发机制以节省带宽并结合图像数据进一步提高协同感知精度也是值得讨论的课题。目前的研究重点集中在关键的空间区域感知上，如何将研究扩展到时间维度并确定关键时间戳，探索最佳的协同时机以降低更多成本可能是未来的研究热点。在数据方面，目前大量数据集是模拟生成的，一些方法在现实世界中的泛化能力仍然未知，一些方法无法模拟现实的协同感知挑战，例如异步和位置误差，这可能会削弱模型在这些噪声下的鲁棒性。同时，针对恶劣天气或光照条件等不同领域的感知鲁棒性研究也需要相应的数据支持。
5.2 发展趋势
车路协同感知的发展与进步离不开单车智能感知，未来对于车路协同的研究与应用需侧重对场景的理解与分析，在某些半封闭或者车辆高密度场景下，采取车路协同的感知方式可以在一定成本范围内有效提升智能网联汽车的安全性与可靠性；在一些全开放式的大范围场景或高速场景下，单车智能是一种较经济的智能驾驶方案。因此，未来对于单车智能与车路协同技术的研究需齐头并进，确保在各个场景下自动驾驶的安全性与可靠性。车路协同感知是目前智能网联汽车发展中的关键技术之一，在智能网联汽车领域具有重要意义，它为未来交通环境的智能化和安全性提供了有力支持。如何获取大规模数据并保护车辆用户隐私、如何对协同的安全性考量、如何选择合适的车路协同部署场景都是未来研究的重点。
来源： 自动化学报、北京市高级别自动驾驶示范区
