自从冠状病毒在全球范围内发出就地庇护订单以来的几个月中，整个公司，行业和经济体都在减少。似乎有望摆脱这种冲击的一个市场是自动驾驶汽车，尤其是在那些公司的汽车可以用来向卫生保健工作者运送物资的公司。但似乎他们也无法幸免。
3月，Uber，Cruise，Aurora，Argo AI和Lyft等许多知名的初创公司和衍生公司出于安全方面的考虑，并希望限制驾驶员和骑手之间的接触，暂停了其自动驾驶车队的实际测试。Waymo进一步走了一步，宣布将暂停在亚利桑那州凤凰城的商业Waymo One运营，包括其完全无人驾驶的汽车，不需要人工操作，直到另行通知。
中断带来了巨大的工程挑战：在车队停飞几个月或更长时间的情况下，如何复制现实世界汽车收集的数据。这个问题从未解决过，一些专家认为这是无法解决的。甚至Waymo首席执行官约翰·克拉夫奇克(John Krafcik)都说，无人驾驶汽车开发“不可避免”的现实经验。
但是无论如何，包括Waymo在内的一些行业最大的参与者都在尝试。
数据是新油
几乎每个自动驾驶汽车开发管道都严重依赖安装在汽车外部的传感器的日志，包括激光雷达传感器，摄像机，雷达，惯性测量单元(IMU)，里程计传感器和GPS。该数据用于训练一系列机器学习模型，这些模型将支持无人驾驶车辆的感知，预测和运动计划功能。这些系统了解世界及其内部的物体，并决定车辆最终要走的路。
例如，特斯拉编纂了一个数以万计的被遮挡的停车标志，以教导一个模型来识别野外的类似标志。和巡航使用了组合合成和真实世界的音频和视频数据来训练检测警车，消防车，救护车和其他应急车辆的系统。
现实世界中的数据收集还需要进行地图绘制，在自动驾驶汽车的上下文中，地图绘制是指创建世界上道路，建筑物，植被和其他静态物体的3D，高清，厘米级地图。在新地点进行测试之前，Waymo和Cruise这类公司会部署配备传感器的手动驾驶汽车，以绘制无人驾驶汽车可能会走的路线。这些地图可帮助车辆在世界范围内定位自己，并且还提供有价值的上下文信息，例如速度限制以及行车道和人行横道的位置。
替代所有这些，自动驾驶汽车公司必须依靠他们迄今为止收集的数据(以及对该数据的扰动或修改)来进行系统开发和评估。幸运的是，这些公司中的许多公司已经投资于仿真以扩展测试规模，超出了现实世界中的可能范围。
模拟
Waymo
Waymo说，它每天在其Carcraft模拟平台上行驶2000万英里，相当于在公共道路上行驶100多年的真实世界。此外，该公司表示，其自动驾驶汽车软件套件Waymo Driver迄今已累计超过150亿次模拟自动驾驶里程。截至2019年7月，这是100亿个模拟自动驾驶里程。
Waymo的仿真和自动化产品负责人乔纳森·卡梅尔(Jonathan Karmel)对VentureBeat表示：“ [Carcraft]中有很多信息。”“这就是为什么我们在内部使用一系列工具来提取最重要的信号-最有趣的里程和有用的信息。”
Waymo工程师使用基于Web的界面与Carcraft模拟进行交互，利用真实世界的数据准备边缘情况并探索想法，并从Waymo在25个城市的超过2000万英里的自动驾驶里程中选择遇到的事件。随着软件和场景的发展，使Waymo Driver周围的环境保持最新状态可以保持真实感。这需要对代理行为进行建模，并使用对虚拟车的新位置做出响应的反应性代理(例如其他汽车，骑自行车的人和行人)。
Waymo说，它还可以在更新的环境中为汽车和模型场景综合逼真的传感器数据。当虚拟汽车在相同的场景中驾驶Waymo车辆在现实世界中遇到的场景时，工程师会修改场景并评估可能的情况。他们还通过在情境中虚拟添加新特工(例如骑自行车的人)或通过调节迎面而来的交通速度来评估Waymo驾驶员的反应方式来操纵这些场景。
随着时间的流逝，仿真场景会通过大量变体放大，以评估Waymo Driver的期望行为。该信息用于改善安全性和性能。卡梅尔说：“我认为传感器仿真工作能够[增加]我们的现实里程。”“随着事情的变化，我们具有逐渐了解现实世界的能力，并且随着我们不断进行改进以改善[我们的系统]性能的状态，我们将继续[创造]模拟方面的新挑战。”
除了构建由现实驾驶数据提供信息的方案之外，Waymo还将部署从其私人测试轨道捕获的从未经过测试的综合方案。该公司表示，这使其能够继续扩大其可以模拟的里程数。根据Karmel的说法，大多数学习和开发工作都是在仿真中完成的-早在Waymo Driver的更新版本问世之前。
这些学习和发展过程中经常被忽视的方面是舒适感。Waymo表示，它将评估多个“舒适度”指标，例如人们对车辆各种驾驶行为的反应方式。该道路测试反馈用于训练AI模型并在仿真中运行它们，以验证不同的情况如何影响驾驶员的舒适度，从找出理想的制动速度到确保汽车平稳行驶。
Karmel解释说：“我们正在……开始更好地理解使乘车舒适的组件。”“一些关键要素是诸如加速和减速之类的东西，我们希望将这些信息接收到模拟中，以预测我们认为车手或驾驶员在现实世界中的反应。有一个机器学习模型可以预测[Carcraft]中的反应。”
除了Carcraft之外，Waymo的工程师还使用诸如内容搜索，基于人口的渐进式扩展(PPBA)和基于人口的培训(PBT)之类的工具来支持各种开发，测试和验证工作。内容搜索采用的技术类似于支持Google相册和Google图片搜索的技术，可让数据科学家在Waymo的驾驶历史和记录中定位对象。与Alphabet的DeepMind合作设计的PBT，从多个机器学习模型开始，并用“后代”代替表现欠佳的成员，以减少在行人，骑车人和电单车司机识别任务中的误报率达24%。对于PPBA，它可以在降低成本和加快训练过程的同时增强对象分类器，这主要是因为它仅需要带注释的激光雷达数据进行训练。
巡航
Cruise还运行大量模拟-每天在Google Cloud Platform中大约进行200,000小时的计算工作-其中之一是Cruise员工称之为Matrix的端到端三维虚幻引擎环境。它使工程师能够建立自己能够幻想的任何情况，并合成传感器输入，例如摄像机镜头，激光雷达和自动驾驶虚拟汽车的雷达馈送。
“处理长尾巴是自动驾驶汽车是地球上最困难和令人兴奋的AI问题之一的原因，也是我们期望自动驾驶汽车及其底层模型具有极高性能水平的事实，” AI侯赛因·梅汉娜(Hussein Mehanna)告诉VentureBeat。“当您查看训练数据时，您将拥有数千个激光雷达扫描点，高分辨率图像，雷达数据以及来自各种其他传感器的信息。所有这些都需要大量的基础架构。”
Cruise每天在300,000个处理器内核和5,000个图形卡上旋转30,000个实例，每个实例循环通过单个驱动器的各种情况，并产生300 TB的结果。(这基本上就像是同时行驶30,000辆虚拟汽车。)在其他测试方法中，该公司采用了重放功能，其中包括提取现实世界的传感器数据，将数据回放到汽车的软件中，然后将性能与人为比较-标记的地面真相数据。它还利用计划仿真，通过调整诸如迎面而来的汽车的速度以及它们之间的空间之类的变量，Cruise可以创建多达数十万种方案的方案。
据克鲁斯仿真副总裁汤姆·博伊德(Tom Boyd)称，工程师可以选择要建模的方案元素以及建模的粒度。例如，他们权衡模拟轮胎滑动(这取决于汽车的行驶里程，路况，甚至是车轴上使用的金属)是否比模拟汽车挡风玻璃和后视镜或雷达多径回波的激光雷达反射更重要。
Cruise管理模拟折衷的另一种方法是通过框架来满足不同级别的准确性测试要求。那些不需要3D图形的软件可以在商用硬件上运行高达100倍的实时性。“没有任何一种车辆动力学软件模型可以完全准确地实现，” Boyd说。“它们可能变得复杂，而且我们很容易花费数月的开发工作来解决[自动驾驶汽车]在模拟和道路上的行为之间的微小差异。”
Cruise的工程套件中的工具包括基于Web的Webviz，其起源于黑客马拉松项目，现在约有1000名每月在职员工使用。最新的生产版本使工程师可以保存配置，共享各种参数以及在远程服务器上运行时观看车辆模拟。还有Worldview，这是一种轻量级且可扩展的2D / 3D场景渲染器，可让工程师快速构建自定义可视化效果。
极光
由前Waymo工程师Chris Urmson创立的自动驾驶汽车公司Aurora表示，其Virtual Testing Suite平台中的虚拟汽车平均每天完成超过一百万次测试。该平台和其他工具使公司的工程师能够快速识别，查看，分类大多数事件和有趣的公路场景并将其转换为虚拟测试，并运行数千个测试以评估对主代码库的单个更改。
虚拟测试套件包括代码库测试，感知测试，手动驾驶评估和模拟。工程师编写单元测试(例如，查看计算速度的方法是否给出正确答案)和集成测试(例如，查看同一方法在系统的其他部分是否正常)。新工作必须先通过所有相关测试，然后才能与较大的代码合并，从而使工程师可以识别和解决任何问题。
根据实际的日志数据创建了一系列专门的仿真感知测试，Aurora表示正在开发“高度逼真的”传感器仿真，以便可以针对罕见和高风险的情况生成测试。他们在虚拟测试套件中定期运行的其他实验评估了Aurora Driver(Aurora的全栈无人驾驶平台)在一系列驾驶基准测试中的表现如何。
无论测试的性质如何，定制设计的工具都会自动从Aurora的日志数据中提取信息(例如，行人走多快)并将其插入各种仿真模型中，以节省工程师的时间。
该公司表示，自Aurora停止所有实际测试以来，数月来，其车辆操作员便与其分类和标签团队合作，为道路事件挖掘手动和自动驾驶数据，这些数据可以转化为模拟虚拟测试。Aurora还表示，它正在构建新工具，例如旨在使工程师更加轻松地模拟仿真的Web应用程序，并且正在增强现有管道，以支持创建新的测试方案。
一位发言人告诉VentureBeat，在其他地方，Aurora工程师正在继续构建和完善公司的车辆地图-Aurora Atlas-Aurora Driver在恢复道路测试后将在其中运行的区域。他们正在向Cloud Atlas添加新地图，Cloud Atlas是专门设计用于保存Atlas数据的版本化数据库，可以利用机器学习模型自动生成交通灯等注释。
人工智能和机器学习的进步使得在模拟中从未驾驶过的道路上驾驶汽车代理人的教学变得更加容易。在最近的一篇技术论文中，麻省理工学院计算机科学与人工智能实验室的研究人员描述了一种与Aurora相似的方法，其中涉及虚拟图像合成和自主转换(VISTA)，这是一种真实感逼真的模拟器，它仅使用真实世界的语料库来合成潜在的观点。车辆轨迹。VISTA能够训练一个模型，使模型能够在以前看不见的街道上行驶，即使汽车的位置模仿了接近裂缝的位置。
“我们预计COVID-19不会在长期内延迟我们的进展，这在很大程度上要归功于我们在虚拟测试上的投资，但是这表明了自动驾驶运输的紧迫性，这种自动驾驶可以安全，快速地运送人员和货物，而无需乌尔姆森在一份声明中说。“这就是为什么我们比以往任何时候都更加致力于我们的使命，并继续聘请所有学科的专家，为公司的每个人付费，并找到方法来推进Aurora Driver的开发。随着我们行业的融合，独创性，奉献精神和周到的领导力将使我们度过这些充满挑战的时代。”
优步
Uber的高级技术小组(ATG)是Uber的自动驾驶项目的负责人，该团队保留了一个团队，该团队根据测试轨道和道路行为数据，在Uber的模拟器中不断扩展测试集。ATG系统工程和测试负责人Adrian Thompson告诉VentureBeat，每次对自动驾驶系统的软件进行任何调整时，都会自动对整套模拟测试重新运行。
ATG工程师使用诸如DataViz之类的工具，这是ATG与Uber的数据可视化团队合作开发的基于Web的界面，用于查看仿真中的汽车如何解释和感知虚拟世界。DataViz提供了诸如汽车，地面图像，车道标记和标志之类的元素的逼真的表示。对于算法生成的信息(例如对象分类，预测，计划和前瞻)的抽象表示(通过颜色和几何编码)，它也执行相同的操作。它们共同使员工能够检查和调试从脱机和在线测试收集的信息，以及在创建新方案的过程中探索信息。
汤普森表示，在过去的两年中，Uber决定加快其建模和仿真工具的开发工作正在取得丰厚的回报。他说，在某些情况下，该公司现在使用超过200万英里的传感器日志，并进行了模拟增强，以完成其“绝大部分”的AI培训和验证。
汤普森说：“由于没有道路运营，我们的AI模型开发轨迹几乎没有中断。”“我们的测试跟踪测试旨在验证我们的模型，因此我们能够在此期间保持，甚至加速我们的开发速度。”
汤普森还说，也许毫不奇怪，Uber仿真环境中的虚拟汽车比大流行之前行驶了更多的里程。他没有将其归因于健康危机本身，但他说COVID-19提供了继续扩展模拟的机会。
“我们已经制定了完善的战略计划，以进一步扩大我们的模拟里程。我们的基于模型的开发方法使我们的运营在这种大流行情况下变得更加强大，这在某种程度上具有偶然性。”他补充说。“在可预见的未来，我们将继续快速扩展我们的模拟能力，即使在大流行已经过去之后，我们也没有计划减少模拟行驶里程。”
Lyft
当Lyft被迫停止所有实际测试时，Lyft正在开发新的车辆平台。尽管如此，Lyft 5级自动驾驶部门的工程总监乔尼·代尔(Jonny Dyer)告诉VentureBeat，该公司正在通过利用其真实世界中无人驾驶汽车行驶和校准的大约100,000英里的数据来“加倍”进行仿真。验证之前。
具体来说，Lyft正在改进其在模拟中使用的技术，以指导代理商(例如虚拟行人)对车辆做出实际反应，部分是借助AI和机器学习模型。它还在构建诸如基准测试框架等工具，使工程师能够比较和改进行为检测器的性能，以及可以动态更新可视化效果以帮助创建多样化仿真内容的仪表板。
代尔说，Lyft并没有把重点放在模拟摄像机，激光雷达和雷达传感器数据等挑战上，而是着眼于传统的基于物理的机制，以及有助于识别正确参数集进行模拟的方法。他说：“这不是使用仿真模型进行的规模博弈，它实际上是关于以高保真度模拟正确的英里的更多内容。”“我们专注于保真度方面，并使仿真更接近于告诉我们现实驾驶所执行的操作的类型。这不仅是模拟大量英里，而且还模拟正确的英里。”
Dyer认为，Lyft还重新设计了其验证策略，以根据流行情况对结构和动态模拟等方面进行更多的评估。该公司原本计划在执行这些步骤之前进行实际测试-并且仍会保持一定的容量-但关闭迫使其硬件工程师将工程学转向仿真。
例如，一位高级计算机工程师在她的卧室中安装了运行Lyft的自动驾驶汽车技术堆栈的高性能服务器，该服务器包含八个图形卡和一个功能强大的x86处理器，并在其上吹着四个台式风扇以保持其凉爽。另一位工程师在他的车库中用Raspberry Pi和他在eBay上购买的电路板建立了一个电解腐蚀装置。另一位工程师将他家后院的板球间距转换为激光雷达传感器范围，并使用了全尺寸的路标来校准Lyft计划整合的新传感器。
行业挑战
尽管以COVID-19为基础的无人驾驶汽车公司做出了巨大努力，但似乎仍有少数人会因这种流行病而使磨损恶化。一些专家断言，模拟不能替代在真实道路上进行测试。
在涉及真实数据的模拟中，一个长期的挑战是，即使原始传感器可能没有记录到，每个场景都必须响应自动驾驶汽车的运动。无论照片或视频未捕获任何角度或视点，都必须使用预测模型进行渲染或模拟，这就是为什么历史上模拟一直依赖于计算机生成的图形和基于物理的渲染(这些渲染在某种程度上粗略地代表了世界)的原因。(值得一提的是，即使是总部位于英国的初创公司Wayve都只在模拟中训练自动驾驶模型，也要依靠安全驾驶员的反馈来微调这些模型。)
一纸由研究员在卡内基梅隆出版概述了模拟阻碍现实世界的硬件开发的其他挑战：
现实差距：模拟环境并不总是能充分代表物理现实-例如，缺乏精确轮胎模型的模拟可能无法解释高速转弯时的真实汽车行为。
资源成本：仿真的计算开销需要专用硬件(例如图形卡)，这会导致高昂的云计算成本。根据Synced最近的一份报告，训练一个最先进的机器学习模型(例如华盛顿大学的Grover)，该模型生成并检测虚假新闻，在两周的时间里可能会花费超过$ 25,000。
重现性：即使是最好的模拟器，也可能包含不确定性元素，从而无法进行重现测试。
实际上，Yandex一直在允许的地点(例如莫斯科)的公共道路上继续运营其自动驾驶汽车，他说，尽管模拟可以帮助自动驾驶汽车开发，但公共测试仍然至关重要。该公司称，转向没有道路测试的完整模拟程序会在短期内减慢自动驾驶汽车的开发进度，因为开发具有100%准确性和复杂性的模拟可能需要与开发自我一样多的解决问题和资源驾驶技术本身。
Yandex发言人对VentureBeat表示：“ [没有实际测试，]自动驾驶公司将无法收集重要的真实驾驶数据。”“ [此外，]驾驶模拟和在测试轨道上运行车辆可以帮助证明车辆满足实验室环境中的特定要求。在公共道路上行驶时，自动驾驶平台需要面对更为复杂的现实世界动态，包括不同的天气条件以及各种行人和驾驶员行为。”
除了将自动驾驶系统暴露于这些复杂的动力学特性之外，Ars Technica的Timothy B. Lee还指出，测试可确保传感器和其他硬件的故障率很低。这些汽车将使用安全的乘客上落地点;而且机队运营商都受过良好的培训，可以应付任何突发事件。它还使公司能够识别可能出现的问题，例如是否有足够的车辆可用于高峰时间服务。
代尔并不完全不同意这些观点，但他通常对模拟测试的前景更为乐观。他说，仿真非常适合对测试轨道数据进行结构化和功能性测试，这构成了Lyft的自动驾驶汽车路线图的很大一部分。
“现实是，所有模拟都受到一定程度的限制，因为您必须对其进行校准并针对现实进行验证。……这不会很快取代道路行驶[因为]您无法在仿真中做任何事情。但我确实认为我们在仿真环境中正在取得巨大进步，”他说。“在这方面，大流行根本没有挫折。这些大型工程项目产生了许多基本内容，例如技术债务和您要修复的基础设施，但是当您处于运营程序中间时，就很难修复。我认为，一旦我们回来，投资这些将大有收获。”
波士顿咨询集团高级合伙人兼董事总经理布莱恩·科利(Brian Collie)等怀疑论者预计，大流行将使无人驾驶汽车技术的商业化至少推迟三年。仿佛正在暗示，福特今天宣布将把启动自动驾驶汽车服务的计划推迟到2022年。该汽车制造商一直在与Argo AI合作，并通过试点计划Postmates，沃尔玛，多米诺(Domino's)和当地合作伙伴来测试其进入市场的战略。
卡梅尔(Karmel)承认道路上可能会有颠簸，特别是Waymo的测试暂停时，但他充满信心地表示，该流行病并未对计划的推出产生实质性影响。
卡梅尔说：“如果您只关注合成里程，而没有开始引入现实驾驶中的某些现实感，那么实际上很难知道您在现实感曲线上的位置。”“也就是说，我们正在尝试做的就是尽可能多地学习-在这段时间内，我们仍然获得数千年的经验。”