基于数据驱动的端到端自动驾驶解决方案

自动驾驶开发流程可以分为数据采集与标注、机器学习及软件、核心算法开发、连续集成与开发、系统集成与测试、实车测试等一系列环节。

具体而言，以上环节首先都基于实车上路采集获取到大量的驾驶数据实现。2022年9月15日，由盖世汽车主办的2022第五届自动驾驶与人机共驾论坛中，dSPACE自动驾驶业务负责人张子恒介绍，dSPACE推出AUTERA高等级无人驾驶数据采集系统，对激光雷达、百万级像素摄像头、毫米波雷达、导航定位系统等传感器产生的原始数据进行统一记录。

张子恒 dSPACE自动驾驶业务负责人

以下为演讲内容整理：

各位业内的同仁大家好，我是dSPACE的张子恒，在dSPACE主要负责自动驾驶相关的业务，很高兴今天可以代表dSPACE站在这里，就基于数据驱动的自动驾驶相关解决方案向大家做相关的介绍。

自动驾驶开发流程

过去几年自动驾驶行业一直在进步，很多L2级别的车辆已经落地，我们可以看到行业在完善相关功能的同时也在大力推动更高级别的自动驾驶车辆开发。针对高级别自动驾驶车辆的开发，业内很早就提出了一种基于数据驱动的开发模式，简单来说就是在我们拥有大量数据的前提下，用这些数据训练、验证自动驾驶的算法以及软件，从而完成自动驾驶功能的开发。

图片来源：dSPACE

这是一张基于数据驱动的开发流程图。首先需要通过实车上路采集获取到大量数据，在这个过程中会涉及到数据的存储和管理。解决这些问题后接下来就是完成数据的标注，有了大量的原始数据以及标注好的数据，我们就可以用这些数据做算法的训练或者软件的开发，在这个过程中也会涉及到算法的验证以及仿真测试。

完成算法的开发后，我们需要将算法连同ECU上的其他软件集成为自动驾驶的软件包，并需要做相关的仿真验证，也就是SIL测试。完成SIL测试之后，自动驾驶的软件包会被部署在硬件的ECU上并做进一步的测试，比如数据回放测试或相关的仿真验证测试。测试通过后，自动驾驶的ECU连同其他的硬件进行系统性的集成，这时我们最后需要做进一步的仿真在环测试。至此所有的仿真测试都结束了，接下来就是做上路的验证测试。

dSPACE作为一家世界领先的工具供应商成立于1988年，自成立以来，我们一直助力于帮助我们的客户提高开发效率，缩短测试验证时间。针对基于数据驱动的开发流程，我们也有自己一系列的软件、硬件以及相关的工程服务，全程陪伴我们的客户完成自动驾驶功能的开发。

图片来源：dSPACE

图中浅蓝色的部分就是我们能提供的方案。从前期的数据记录、数据存储、数据管理、数据标注，到后续一系列的基于软件硬件的仿真验证测试，我们都有自己的方案。值得注意的是数据管理以及数据存储部分，由于法律法规的要求，我们提供存储的介质以及管理软件而不提供云和服务器。除此之外的其他部分，dSPACE都有一套完整且独立的解决方案。

AUTERA——高级别自动驾驶数据采集

数据是一切的基础，在了解我们的方案之前，我们首先看一看高级别自动驾驶需要怎样的数采系统。我们所说的自动驾驶指的是L3及以上级别的自动驾驶，这种高级别自动驾驶的特点是传感器数目、种类非常繁多。激光雷达已经逐步在上车，车载摄像头的分辨率和数量也在不断提升。

如此多的传感器所带来的第一个问题就是数据量，一个高清摄像头一秒钟的数据量大概在3个Gb，全车13个摄像头加上毫米波雷达和激光雷达，这些传感器加起来一秒钟的数据量会达到惊人的40Gb/s。如果进行一小时的数据采集，数据量会达到19个TB。所以使用传统USB或工控机改装的数据采集方式，带宽和内存都远远不够。

高级别自动驾驶系统的第二个特点就是传感器的接头种类非常多，所以数采设备需要有能力适配不同的接口，同时还需要具备一定的灵活性和可拓展性，以便于当今后传感器的数目和种类发生改变时，数采设备不需要经过复杂的电气改装便可以继续使用。

基于此，dSPACE有自己的一套专门针对高级别自动驾驶提出的数据采集仪器——AUTERA，其灵活性和可拓展性体现于有6个可以选配的插槽。根据传感器的数目以及种类接口的不同，选配不同的板卡可通过插拔完成相关的适配。

图片来源：dSPACE

同时体现于传感器接口支持的丰富性，支持WIFI、蓝牙、以太网等，涵盖市面上主流传感器的接头类型。且大带宽、大内存足以支持自动驾驶的数据采集需求。

RTag——快捷方便的数采控制与标记工具

当有了这台数采设备后，接下来一步就是将它部署在自动驾驶数采车辆上进行数据采集。自动驾驶数据采集车队通常有几十辆或者几百辆的规模，对于如此大规模的数采车队难以给每辆车都配置一个专业的工程师，所以为了方便司机师傅操作数采设备，我们也有专门的数采控制与标记工具。

司机师傅可以通过自己手中的平板控制数采设备，与此同时平板上也预设了一些标签，可以进行打标签的操作。这些标签在后续可以作为数据索引。与此同时我们也配置了车队管理软件，车队管理人员可以足不出户，在家中用手中的平板或者电脑完成车队的管理。如果后续有数采软件升级的需求，我们也可以通过这款软件进行OTA升级。

图片来源：dSPACE

这是数据采集与回收的流程图，我们将数据采集仪器部署在车辆上进行数据采集，当我们发现SSD被写满的时候会被换下来，换一块新的SSD上去。这块被换下来的SSD会有专业的上传设备进行数据的一键上传，上传速度达到100Gb/s，保证数据采集及上传的高效性。数据上传完毕后，SSD就会被带回到车辆上进行新一轮的数据采集。

当完成数据采集后，接下来是做数据的标注。dSPACE有自己的工程服务和相关软件，我们可以做图像标注、3D点云标注、车道线标注和语义分割的标注。

完成图像标注后，我们有了大量的原始数据以及标注好的数据，这时候还会涉及到数据的管理问题。我们也有专门的数据管理软件IVS，可部署在公有云或者私有云，甚至客户自己的服务器上，能针对前面记录的数据进行在线标注，根据传感器类型和事件类型进行过滤，极大提高算法团队开发的效率。

当完成数据标注后，这时就有了大量的原始数据以及标注好的数据，我们的算法工程师和算法团队可以拿着这些数据进行算法的训练以及软件开发。在这个过程中还会涉及到算法的不断验证，所以这时我们就需要引入下一个概念——数据回放测试。

dSPACE数据回放测试解决方案

这里的数据回放测试又叫做开环的SIL测试，后续在我们自动驾驶的软件包被部署在硬件的ECU上之后，还是有一次数据回放测试。这两次数据回放测试的目的大同小异，只是应用在开发的不同阶段。第一次数据回放测试是开环SIL测试，这个时候只有算法和软件。第二次数据回放时自动驾驶的软件包已经被部署到硬件ECU上，这个时候做的数据回放测试叫开环HIL测试。

图片来源：dSPACE

数据回放测试最主要的目的是为了验证感知层算法的准确性，它的系统框图正如上图，服务器上有大量的原始数据以及标注好的数据，我们将原始数据分发到待测系统上。这里的待测系统可以是硬件ECU，也可以是自动驾驶的软件算法。待测系统会输出感知的结果，将感知的结果与标注好的数据结果做对比，就可以知道感知算法是否准确。

在做数据采集的过程中的数据量是非常大的，而数据回放也会面临同样的问题。

做数据回放的时候我们希望数据回放系统可以恢复传感器的接口，如视频摄像头会涉及到硬件的配合、芯片的配合、对视频信号进行重新解串，在做回放的过程中会有一些抖动、延时的问题，这些都我们需要解决的问题。

在做数据回放的过程中，很多基于AUTOSAR架构的ECU中会有一些保护机制，比如EtoE及SecOC的保护机制，所以需要对数据进行实时的修改，才能让数据回注。

基于此，dSPACE带来了自己的方案，我们有一台专门的回放PC从服务器上拉取数据，根据数据类型的不同，会被分发到不同的硬件，比如视频信号会分发到ESI系统，总线或者网络信号会分发到实时系统，两者之间通过gPTP的协议进行同步，同步之后所有的数据流会被回注到待测系统。

如果这里的待测系统是软件算法系统，ESI就会被切换成虚拟的ESI，实施系统会被切换成虚拟的实施系统。这样我们就完成了开环的SIL到开环HIL的一键切换。

场景生成流程与dSPACE虚拟仿真工具链

单单做感知层算法的验证是远远不够的，我们还需要将感知、规控等一系列的算法联合起来做相关的测试，所以这个时候需要引入另一个概念，就是闭环的SIL测试。

前面的数据回放是开环的系统和开环的SIL测试，这里的SIL是闭环的SIL；这两次SIL使用的阶段也是不一样的，第一次SIL只有自动驾驶算法，第二次是自动驾驶算法连同ECU上其他软件被打包成一个自动驾驶的软件包，我们需要对整个软件包做一个整体SIL测试，对此我们需要做一定的准备工作。

首先我们可以基于标注好的数据生成大量场景，并根据客户的需求去做相关的场景泛化得到更多场景。之后场景会被导入到工具链，我可以通过它去编辑道路路网交通流，与此同时我们也支持第三方open系列的导入，这样就完成了场景的仿真。

接下来就是去做车辆或传感器的仿真，我们有自己的仿真软件去做车辆动力学仿真，它们都会被部署在实施系统上去跑仿真模型。与此同时我们也提供云仿真的选项，将所有的SIL上云，提高客户大规模多节点测试的效率。这一车辆动力学模型具备高仿真精度，对于传感器仿真我们也支持非常多的配置，包括摄像头、毫米波雷达、激光雷达的仿真模型。

为了进一步加强传感器仿真的可信度，dSPACE一直在努力与业内的传感器厂商做朋友。以激光雷达为例，我们和国内以及国外一些企业签定了相关战略协议，我们在开发自己仿真模型的过程中得到了原厂大力支持，以保证物理传感器模型尽可能贴合原厂真实传感器，进一步加强了我们传感器模型仿真的可信度和置信度。

有了环境仿真、车辆动力学仿真、传感器仿真，接下来可以做SIL测试。为了进一步提高SIL的可信度，我们还提供虚拟ECU选项，可以将ECU底层软件、底层操作系统进行虚拟化，以保证客户在近乎真实的情况下测试控制器功能。

完成SIL测试后，接下来会将自动驾驶的软件包部署在硬件ECU上。为了测试硬件ECU以及感知层算法，我们可以去做数据回放的测试，甚至是整体功能和性能的测试，这个时候就是ADAS和AD的闭环HIL测试。当这个测试完成后，自动驾驶的ECU连同整车的其他系统会进行系统级的集成，这时还需进行HIL测试。两次HIL测试的不同在于，第一次为硬件ECU级别，第二次则是整车级别。第一次ADAS HIL测试需要提供仿真模型、仿真的环境以及仿真传感器模型，后续整车的HIL只需提供环境的仿真即可。且ADAS HIL与SIL使用同一套工具链，可实现ADAS SIL到ADAS HIL的一键无缝切换。

此外，dSPACE还提供其他软件、硬件以及相关服务，例如车辆下线检测服务、传感器下线检测服务，我们可以在整车环境下去测试传感器性能和整车的性能。

最后，dSPACE希望和业界的大家一起努力，助力无人驾驶更快、更好地落地！

（以上内容来自dSPACE自动驾驶业务负责人张子恒于2022年9月15日，由盖世汽车主办的2022第五届自动驾驶与人机共驾论坛发表的《基于数据驱动的端到端自动驾驶解决方案》主题演讲。）