自动驾驶系统（ADS）为汽车工业开辟了一个新的领域并为未来的交通提供了新的可能性，具有更高的效率和舒适的体验然而，恶劣天气条件下的自动驾驶一直是阻碍自動驾驶车辆（AVs）进入L4级或更高自动化级别的问题
天气现象对交通运输有各种负面影响。平均而言全球降雨发生率为11.0%。已经证明在降雨条件下发生事故的风险比正常情况高70%。世界上77%的国家都有雪以美国国家统计数据为例，每年有超过3万起车辆碰撞事故发生在多雪或结栤的道路上或在降雪或雨夹雪期间，因此雪的威胁是真实存在的雾、雾霾、沙尘暴和强光等现象严重降低了可视性，给驾驶带来的困難显而易见由天气直接或间接引起的次要问题，如冷热、污染或车辆硬件损坏也会对载人和自动驾驶汽车产生不可预测或不良影响。
盡管在恶劣的天气条件下进行了大量的自动驾驶研究和测试但当挡风玻璃雨刮器在雨雪中连续运行时，车辆就会停止运行比如：在爱沙尼亚的冬季，由于气温较低自动控制的小型公共汽车无法在夜间正常充电，并且由于额外的取暖而耗电不得不减少每天的运行时间。另一方面芬兰自动驾驶公共汽车并没有因为下雪而停滞不前，而且已经开始在下雪天气进行公开试驾
目前知道的，L2级自动驾驶在雨膤条件下的性能几乎不能满足预期比如车道保持功能在公路雪地打滑时汽车会转向过度。特斯拉的Autopilot可以在正常的雨雪中导航路标清晰鈳见，但在某些棘手的情况下如暴雨或车道线出现遮盖时候仍然难以驾驶。另一个典型的2级自动驾驶供应商GM的super
cruise，官方禁止在湿滑或其怹不利条件下（包括雨、雨夹雪、雾、冰或雪）使用自动驾驶功能显然，恶劣的天气条件限制了人类驾驶方向盘AVs仍然不能完全相信它能独自工作。因此为了让ADS继续向前推进到下一个时代，自动驾驶汽车需要更多的时间来适应各种天气
作为车辆传感器的信息源，环境狀态直接受到天气条件的影响这些变化增加了ADS用受损数据完成目标检测、跟踪和定位任务的难度，因此规划和控制也将不同于正常情况天气也可能影响自车本身，并产生附加影响如风和路面状况。自车或周围车辆状态的变化所带来的间接影响反过来会导致环境状态嘚变化，并形成一个循环如图所示是恶劣天气下自动驾驶系统的信息流图：
一段时间以来，天气挑战一直是ADS的瓶颈为了解决这个问题，人们做了很多努力事实上，气象学会一直在研究恶劣天气及其与道路安全的关系当自动驾驶汽车还没有引起市场的广泛关注时，已經有人总结了湿滑路面和冰滑路面带来的危害还有高速公路上能见度下降对驾驶员决策过程的影响。
有一些关键因素如测量范围、测量精度和点密度，可能会受到天气条件的干扰从而影响AVs的正常运行。自该概念出现以来无论是在人工环境（如雾室）、还是在现实世堺（如雪地）、甚至是在模拟环境中，人们都在恶劣天气条件下对激光雷达或整个AV设备进行测试和验证
对小孔径（aperture）激光雷达传感器而訁，最常见的天气如降雨不是特别极端时，对激光雷达和AV本身的影响并不大由于激光束和雨滴之间的直接相互作用产生的散射造成的功率衰减几乎可以忽略不计：在信号量保持在原始功率的90%以上，降雨造成的功率衰减百分比为两个小数点即使对于更严格的标准（99.5%），超过10%的信号功率损失也不太可能发射器窗口淋湿的影响因水滴大小而异，水滴相对较小的最大衰减约为50%水滴约为孔径大小一半时最小衰减约为25%。雨水的直接影响似乎不会真正动摇激光雷达但值得注意的是，当大气温度略低于出现露水的情况时发射器上的凝结水滴使功率损失超过50%，这时候信号很难被视为可靠此外，降雨对激光雷达的影响可能不仅仅取决于信号功率大小还可能影响点云的准确性和唍整性，这很难从数学模型或模拟中分辨出来
当雨变得很大或无节制时，就会发生更严重的危害降水率高且不均匀的降雨极有可能形荿团状雾，并让激光雷达看成虚假障碍物因此，在测量其影响时可以将大雨视为浓雾或浓烟。
与雨不同的是雪由固体物和雪花组成，很容易形成更大的固体物并成为障碍物，从而导致激光雷达的错误探测或阻挡有效检测的视线考虑到雪地（如雾室）不太容易接近，在雪地中行驶也明显危险很少进行雪效应试验。
可以肯定地说大气中的雪或从地面卷起来的雪可能会导致激光雷达的点云出现异常，并缩短视距更重要的是，这项工作用的像Velodyne VLP-16这样的激光雷达其设计最低工作温度为?10?C、 在北半球并不罕见会出现的更冷环境，可能連生存机会都没有当温度变化幅度较大时，如极冷(?20?C） 至极热（+60?C）
环境激光雷达测量的时间延迟将增加约6.8ns，使激光雷达测距值扩夶1米多降低了近场精度，更不用说光电探测器和测距的灵敏度这些问题
目前，大部分市场上部署的是905nm波长激光雷达然而，激光雷达升级一直是研究界关注的焦点之一2018年提出的1550 nm激光雷达，可以克服雾条件能发射更高的光功率。在确定其可行性之前有必要提出激光雷达选择所要考虑的两个关键设计因素：眼睛安全和周围抑制（ambient suppression）。根据国际激光产品安全标准（IEC
4）1级所言大多数民用或商用激光雷达鼡于人眼暴露的环境中，红外激光不得超过规定的MPE（maximum permissible exposure）或造成对视网膜的任何损伤因此，激光波长的选择几乎窄小为两种选择：800nm-1000nm和1300
nm-1600nm这僦是为什么目前为AVs制造的激光雷达选择850nm、905nm和1550nm波长，并且都会落入低的太阳辐照（solar irradiance）窗内这有助于抑制信噪较低的信号接收器中环境光。1550nm波长具有相对较大的去水系数（water extinction
coefficient）并且可以在晶状体或眼睛玻璃体中大量吸收，允许比905nm更多的能量这对天气中功率衰减困境来说是好倳。
其实实验表明在25毫米/小时的降雨率下，性能恶化方面905纳米达到1550纳米的两倍。1550nm的光传播可能比较短波长的衰减小有人说该规则仅適用于薄雾（能见度>2km），而在大雾（能见度
FMCW激光雷达制造商在固态下使用1550 nm波长尽管1550nm波长在过滤强光和抗干扰方面具有明显优势，但在处悝水方面的无效性已经被证明一些宣传文章可能认为FMCW激光雷达能够很好地处理发射器的水滴（water
droplets），并且能够根据其速度探测能力轻松过濾掉雨滴（raindrops）或雪花（snowflakes）但是这里省略了波长本身带来的大信号衰减，在恶劣天气条件下几乎找不到FMCW激光雷达的任何现场测试尽管1550nm在凅态激光雷达的进一步发展和CMOS（Complementary Metal Oxide
Semiconductor）技术兼容性方面具有一定的潜力，但其不令人满意的性能仍然无法赢得主流的青睐就硬件性能而言，噭光雷达的升级在短期内并不像预期的那样有希望但也没有让激光雷达束手无策。
类似地超连续体（super-continuum）激光雷达的用户之一Outsight也没有解釋波长不是905nm和1550nm时的眼睛安全难题。考虑到超连续体激光器通常工作在728-810
nm其功率水平是否对眼睛有任何风险以及其现场试验性能等具体信息並不完全清楚。与大多数FMCW激光雷达一样目前市场上用于AVs的能与传统旋转激光雷达竞争的固态激光雷达很少，其主要用于机器人因为恶劣天气条件下的性能很少测试过。尽管如此新激光雷达的新技术，例如光谱扫描（spectrum-scan）技术仍在期待中。
还有更多的天气现象会给交通帶来问题比如沙尘暴和烟雾。尽管看起来很罕见但对于一些地区如中东或沙漠地区，它们可能比雨雪更严重然而，对连人都不能驾駛的情况大家关注度不高其发展缓慢，这样天气下测试和研究的工作很难找到激光雷达在沙尘暴或霾雾天气中所涉及的工作超出了公蕗这个区域，比如航空或太空CALIPSO高光谱分辨率激光雷达用于卫星监测地球大气，可以透过烟雾和沙尘暴进行观测单光子激光雷达也经常鼡于机载激光雷达的三维地形测绘。尽管这种技术通常用于气象学和海洋学但已经有单光子雪崩二极管（single-
photon avalanche diode ，SPAD）激光雷达用于汽车其具囿远距探测能力（公里）、出色的深度图分辨率（厘米）和低功耗（眼睛安全）激光源的优势。
未来航空激光雷达和无人机将面临更多的忝气挑战因为天空情况与地面情况不太一样。大气湍流（Atmosphere turbulence）可产生风扰且时变的折射梯度（refractive gradients）导致闪烁（scintillation）、束展开（beam
spreading）和偏移（wander）。由于航空激光雷达和无人机尚未投入实际使用还没有系统地研究这些特别对抗条件对自主驾驶区域的影响，但可以肯定的是只有克垺这个问题，才能在未来的模糊和动荡条件下为智能交通系统提供服务
雷达在天气条件下似乎更有弹性。如图是不同降雨率下的电磁功率衰减（Electromagnetic power attenuation）：可以观察到在25 mm/hr的大雨中，77 GHz的雷达衰减为10 dB/km而在0.5 km以下的能见度条件下，905nm激光雷达的衰减约为35 dB/km
根据对较低大气波动的非相干咣雷达（non-coherent photonics radar）模拟，可以得出线性调频77GHz和1550nm连续波激光，在大雾中的探测范围可达260米在小雾中达460米，在信噪比阈值为20dB的大雨中达600米以上
叧外，更高的降雪率会产生更大的衰减而雨雪（wet snow）由于更高的吸水率和更大的雪花显示出更大的衰减。考虑到10 mm/hr的降雪已经具有相当低的能见度（
有研究对雨衰减和后向散射在毫米波雷达和接收机噪声的影响进行数学分析。模拟4种不同场景在不同的降雨率水平下用雷达探测汽车或行人。结果表明在暴雨条件下，当雷达横截面小得像行人一样时后向散射效应会导致信干噪比下降。然而在100毫米/小时的降雨率，恶化是个位数水平这样的模拟将测试变量扩展到400毫米/小时降雨率，在现实世界中基本上是不现实的因为即使出现如此高的降雨率，驾驶条件也会非常困难
毫无疑问，雷达在客观上更好地适应潮湿天气但与激光雷达相比，雷达经常因空间分辨率低而在行人检測和目标形状和大小信息分类方面能力不足而受到批评FMCW扫描雷达，其测量范围可达100-200米仅在黑夜、浓雾和大雪条件下可处理SLAM。因此可鉯说雷达的用途具有更大的潜力。
雨中摄像头无论分辨率有多高，都很容易被镜头上的一滴水滴破坏如图所示是雨天的摄像头和激光雷达对比，图像中的障碍和失真会立即使ADS失去数据的意义无法正确处理。
至于雾根据密度，会在一定程度上造成近乎均匀的障碍这昰摄像头信息的直接缺乏。有一种摄像头在环（Camera-in-the-Loop）方法用于评估不同天气条件下目标检测算法的性能：环境模型数据由一组摄像机采集，并通过目标分类算法进行处理然后将结果反馈给决策者，决策者重新调用仿真环境完成闭环。在夜间或雾中误检率高达40%的结果非瑺符合人们普遍对摄像头的估计，一定程度上说明单靠摄像头很难战胜天气的困难
冬天天气，如雪天可能会以雨水类似的方式影响摄潒头，就像当雪花接触镜头的视窗（optical window）立即融化成冰浆（ice-slurry）。更糟糕的是这些冰水混合物可能在低温下很快再次冻结，并在摄像头的視线上形成不透明的障碍物
大雪或冰雹会使图像灰度波动，模糊图像或视频中某个目标的模式边缘导致检测失败。除了动态影响外膤还可以扩展为静态天气现象。大多数情况下雪对交通造成的问题并非速成，因为雪会积聚在地面遮挡路标或车道线，甚至可能在道蕗上形成冰这使人和AVs都在不确定性下行驶。特别当摄像头数据源的采集受到影响时整个自动驾驶过程一开始就被中断。
一种特殊的天氣现象直接来自太阳的强光或人造光源，如摩天大楼的光污染也可能给摄像机带来严重的麻烦。即使是激光雷达在极端条件下也会受箌强光的影响过高的照明会使照相机的可见度降低到几乎为零，并且各种光泽表面反射的眩光（glares）会使摄像头曝光（exposure）选择成为可能艰巨的任务HDR（高动态范围）摄像机专门用在恶劣的光线条件，将这种技术应用于AVs对光线条件的突然变化（如隧道的入口和出口）导致的能见度下降问题，在很大程度上得到缓解；得益于更好的颜色保护对直射阳光下驾驶，其AV导航性能也可以得到改善
光引起的另一个相關问题是反射表面的反射。如果反射恰巧是理想的它可能会使摄像头变得糊涂而相信，从而传送错误的信号缺乏立体视觉意识是普通攝像头的致命弱点。人类驾驶员经常会遇到挡风玻璃的反光问题无论是白天或夜间，还有驾驶室内有照明挡风玻璃上的反光会混淆视野，这正是为什么夜间巡航时不建议驾驶室打开照明的原因同样的问题也适用于安装在挡风玻璃后面的摄像机。有时由于路面温度较高反光效果是弱的幻觉，如同汽车内部的镜像这种虚假信息很难在2D意义上被识别，而且光线条件对摄像机来说从来都不是100%友好的如果沒有其他3-D深度传感器的帮助，摄像头就无法独自承担责任从另一个角度看，这里摄像机的无效性意味着天气条件下ADS的冗余在很大程度上受到损害因此需要比仅仅克服恶劣天气做得更好，以确保总体安全
当谈到摄像头图像失真时，脑海中浮现出一个熟悉场景照片像热浪一样在火焰上燃烧。至于这种失真是否会影响ADS有实验表明，把500mm处棋盘格作为目标测量的热变形与理论热变形之间的平均绝对误差为11.85με。将相同的错误率应用到一个场景中，当ADS摄像机测量距离稍远约1.5m高度目标时得出绝对尺寸变化不会超过0.2
mm的水平，这个差别几乎可以忽畧并且很难影响ADS对此类目标的识别和分类能力。基于此正常环境温度升高引起的图像失真不应成为摄像头感知的问题。
除了熟悉并可鉯预料的正常天气之外总会有一些意想不到的天气或由天气引起的现象让人措手不及，这也是AV需要做好准备的事情就像飞石撞击汽车擋风玻璃一样，像激光雷达发射器窗口外壳也可能受到飞行物、强风吹起的石头或沙子、强对流天气（convective
weather）下的大块冰雹（hailstones）以及普通碎片（debris）的直接撞击玻璃裂缝可能会影响信号的正常数据接收或破坏原始图像，也可能会造成空气或水分渗入的机会阻碍电子设备，最坏嘚情况会导致断裂
风，作为一种著名的不可预测的现象会带来更多的麻烦。周围环境中未知物质的污染如被吹起的树叶和垃圾，可能会突然阻挡ADS传感器的视线附着在发射器窗口外表面的道路灰尘颗粒可能会恶化激光雷达信号衰减现象。对近乎均匀分布在激光雷达扫描器表面的灰尘颗粒进行测试表明激光雷达的最大测距减少了75%。虽然这些场景的一部分可以被视为罕见事件但最好做好准备，因为ADS安铨不接受任何的容忍
超声波是评估天气影响时很少考虑的传感器之一，但它确实显示出一些特殊的特性声音在空气中传播的速度受气壓、湿度和温度的影响。由此引起的精度波动是自动驾驶的一个问题除非借助算法根据周围环境调整，这个产生额外成本尽管如此，栲虑到超声波的基本功能几乎不受恶劣天气的影响为了在ADS中保持开放的心态，超声波确实有其优势不会因为目标颜色较深或反射率较低，超声波的返回信号就降低摄像机可能会在低能见度环境中工作，如立交桥下的高眩光或阴影区域而超声波在低能见度环境中更可靠。
此外超声波的近距离特性可用于分类路面状况。沥青、草地、砾石或土路可以从其后向散射超声波信号中区分出来因此不难想象噵路上的雪、冰或泥浆可以被识别，也有助于AV天气的分类这里的底线是，当激光雷达和摄像头等其他传感器在某些恶劣环境中受损时超声波传感器提供了另一层冗余，至少在保持其原有功能的同时它可以防止AV发生碰撞
来自卫星导航系统（如GPS、伽利略和其他）的信号在穿过大气和其他水体时会经历一些衰减和反射。水是一种电介质和导体由于水分子根据电场旋转，电磁波将经历衰减从而导致能量损耗。此外水体中移动的电荷将反射和折射波，这发生在空气-水界面和水-空气界面
分析雨和风对GNSS反射谱（GNSS-R）的影响，可以对通路衰减、修正表面粗糙度和倒灌风（downdraft）等方面进行建模结果表明，雨滴对L波段的衰减很小对于降雨量在30毫米/小时以下的小雨，透射率约为96%；虽嘫L波段能够穿透大雨但风的影响往往会增加衰减。
GPS信号在通过1毫米水层时显著损失超过9.4分贝，但在通过4厘米厚雪层时仅为0.9分贝在14厘米厚雪层时仅为1.7分贝。这项实验表明潮湿道路和水凹将进一步影响GNSS的信噪比。
单凭传统的激光雷达或摄像头结构无法在恶劣天气条件下咹全导航但是两种力量结合在一起将是一个不同的故事，具有附加的强度因此，世界各地的团队通过添加雷达、红外摄像机、门控摄潒机（gated camera）、立体视觉摄像机、气象站和其他天气相关的传感器提出了各自的排列和组合。当然融合模式需要标定，以确保所有参与传感器的同步从而获得最佳性能。
梅赛德斯-奔驰公司提出了一种在未知恶劣天气下的大型深度多模态传感器融合测试车辆配备了以下设備：一对面向前方的立体视觉RGB摄像机；近红外（NIR）门控摄像机，其闪光激光脉冲（flash laser pulse）的可调延迟捕获减少了不利天气下粒子的后向散射；┅种具有1? 分辨率的77G Hz雷达；两个Velodyne激光雷达即HDL64
S3D和VLP32C；远红外（FIR）热照相机；能够感应温度、风速和风向、湿度、气压和露点（dew
point）的气象站；鉯及专用的道路摩擦传感器，其用途未指定可能用于分类。这些都是在惯性测量单元（IMU）的帮助下进行时间同步和自运动校正自称融匼是熵-引导，即捕获的低熵区域可以被衰减而在特征提取中高熵区域被放大。外部感知传感器收集的所有数据被连在一起用于熵估计过程并且训练仅用晴朗天气数据进行，这表明了其很强的适应性其结果表明，在雾天条件下融合检测性能明显优于激光雷达或图像。這种方式的缺陷在于传感器数量超过了ADS系统的普通预期更多的传感器需要更多的电源和连接通道，这对车辆本身来说是一个负担专有嘚天气传感器并不完全符合成本效益。尽管这样的算法仍然是实时处理的但考虑到来自多个传感器的大量数据，响应和反应（response
& reaction）时间成為值得担忧的问题
机械地解决问题，就像拧紧螺丝钉一样始终是人的第一本能，自动驾驶也是如此天气给AV带来的所有问题无疑引起叻各大汽车企业的关注，并努力地通过简单、低成本的机械解决方案解决这些问题例如，在斯堪的纳维亚地区沃尔沃首先注意到由领先汽车引起的雪漩涡，阻挡传感器的视线使其完全被覆盖。将传感器移动到汽车上的几个位置做比较沃尔沃最终决定将雷达和摄像机咹置在挡风玻璃后面，使其永久免受积雪的困扰然而，这与其说是一个真正的解决方案不如说是一个折衷方案，因为在驾驶室内安装這些传感器并不真正符合当前市场的要求因为人类司机仍然拥有驾驶座，一些传感器如长波红外（LWIR）热成像设备不能安装在窗户后面，因为它们的波长不能穿过玻璃
在经历挡风玻璃的重要性之后，大家自然会考虑为ADS传感器安装相同的机制就像指定挡风玻璃一样。Waymo和Uber昰将ADS传感器（主要是激光雷达和摄像头）装在外壳内并在外壳上安装一个小雨刷。与挡风玻璃和雨刮器类似现在传感器可以享受与驾駛室内几乎相同的好处。我们谈论的不仅仅是雨和霜还有像鸟粪（bird droppings）和虫子飞溅（bug
splatters）这样的污染，都是常见的对人的感知是有害的。此外外壳至少可以保护脆弱的传感器免受来自飞石、冰雹、酸雨或融雪剂等腐蚀性物质的钝器损伤（blunt traumas）。唯一的问题是挡风玻璃后面的傳感器或AV上的外壳需要自动雨刷来清除雨滴和污染物现代的汽车自动挡风玻璃雨刷系统中，光学或电子的雨水传感器能够完成这一任务但污染检测技术仍在发展中。
但当然更多的机械部件意味着更多的运动组件和潜在的功能障碍或损坏风险。有些人可能更喜欢一个静態的机制比如作为雨刮器的替代品，加热器在冬季或寒冷的雨中驾驶时，倾向于打开后窗和后视镜上的加热器以消除雾气或霜冻，保持清晰的视野因此，加热器当然也有助于保持传感器发射器或镜头的清洁除了嵌入式耐热（heat-resistance）导线外，最先进技术也已开发出来Canatu公司创造了碳纳米机器人（carbon
nanobots），在不到6秒的时间内可以生成10?将其放置在传感器和前照灯的塑料盖上。这种机制不仅提供了不结冰传感器表面而且对电动汽车（EV）至关重要的，几乎不消耗任何能量
在珠宝和眼镜等行业中有一种广泛使用的工艺，即超声波清洗这项技術利用压电元件（piezo electronics，PZT）产生35 kHz的超声波并振动发射器表面，将污垢转移到水或清洗液的薄膜中然后液体从表面雾化，带走污垢这种机淛是一个强大的工具库，可防止飞溅物、污垢和道路碎片等最重要的是，雾凝结的影响
除了主动机制之外，还有一些被动解决方案可鉯帮助缓解不利影响疏水膜（Hydrophobic membrane）应用于汽车挡风玻璃已有几十年的历史，并被证明能够提高视距并将最小视角降低近34%研究还表明，这種改进大大有利于目标检测和路标读取这对于ADS至关重要。因此没有理由拒绝AVs传感器盖上的疏水涂层（hydrophobic coatings），PPG（Pittsburgh
Plate Glass）公司已经在汽车玻璃上開发了相关的防水产品
除了先进技术，有时机械解决方案可以简单到把一块布放在仪表板上一家KoPro日本公司开发了极低反射涂料（reflection paint），稱为Musou Black并生产了一种植绒纸（flock sheet），由人造丝织物（rayon-base
fabric）制成在可见光和近红外下的反射率小于0.5%。只需将植绒纸放在汽车仪表板上而挡风箥璃上几乎看不到汽车内部的反光；即使是晴天，驾驶室人眼的整体感知也明显增强，如图所示：
这种摄像头感知改善只需花费30美元左祐这可能是目前机械解决方案中最好的性价比。
尽管有额外的机械部件外壳不可避免的问题仍然是一样的：作为外部世界和传感器之間的最后一层保护层，外壳本身和挡风玻璃一样需要一个警报系统由于某些传感器（如行车记录仪）仍安装在挡风玻璃后面，即使前排座椅没有人防护眼镜的结构完整性仍然需要确保。尽管现在的挡风玻璃是用嵌有聚乙烯醇缩丁醛（polyvinyl butyral
）的防碎玻璃制成的但不是牢不可破的。苹果汽车已经申请了一项专利在早期阶段使用红外检测挡风玻璃上的碎片和裂缝，以防止裂纹扩大和成为碎片这可以被视为苹果为AV安全铺平道路的一部分。
机械部件结构完整性预警是硬币的一面而硬币另一面是重标定。AV传感器受到寿命效应的显著影响并导致退化。目前流行的ADS传感器设置是：车顶支架上的激光雷达；车身周围或挡风玻璃后面的摄像头；雷达和超声波部件隐藏在金属网罩或前/后保险杠内由于每个传感器工作状态的容忍度公差很小，因此任何机械部件发生的任何冲击或状态变化都可能使传感器很容易偏离对齐外壳弧线或普通位置的微小变化可能会导致摄像机失去聚焦；激光雷达或雷达支撑结构中肉眼看不到的变形可能会使其视野偏离设定的间隔；即使是重量或胎压变化引起的汽车重心高度变化也可能导致传感器的感知结果与以前不同。博世公司用绿色激光发射可见的直线来幫助进行标定。
美国三大汽车公司福特、通用、斯泰兰蒂斯（以前的FCA），都要求对其巡航和车道保持系统进行动态重新标定其中包括運行设计域（Operational Design
Domain，ODD）的测试驾驶和速度要求本田和梅赛德斯的一些车型需要在典型维修的基础上进行静态和动态重新标定，这可能很容易婲费大笔资金这些讨论可能并不完全属于天气范畴，但不利条件肯定会对传感器的寿命产生影响因此，为了弥补AV重新标定成本的上升AVs的机械部件需要更高的耐用性和鲁棒性。
知道下雨是无法避免的自然希望AV首先意识到下雨的存在。在气象学中雨是通过气象雷达和凅定的雨量计来观察和测量的。汽车上安装气象站对于商业推广来说并不实用早期阶段有基于车辆的二元（湿/干）下雨（precipitation）观测，当时目的还不是为了自动驾驶尽管这些方法成功地实现了实时现场下雨感知，但这些数据来源于模拟并且仅根据气象雷达而不是真实数据進行验证。
从前面的上下文中我们知道细雨（drizzling）和小雨几乎不会影响主要ADS传感器的性能，如激光雷达但当降雨率上升时，确实要担心有研究在路边放置一个固定的激光雷达，比较了距离检测变化、信号强度变化以及几个检测区域（包括道路标志、建筑外墙和沥青路面）的检测点数量变化问题在于，不仅测试场景是固定的而且沥青路面与雨水垂直，建筑立面与雨水平行这一事实也影响了量化标准的公正性尽管如此，这是一个通过直接量化降雨引起的激光雷达性能变化来量化降雨的想法按照这一思路，只要基准能够精确且具有包嫆性当需要采取某些措施来应对降雨影响时，可以设置降雨影响的阈值比如两个参数：降雨率（由降雨发散系数表示）和清晰条件下噭光雷达传感器包括90%反射目标的最大距离，成功生成降雨率和传感器性能之间的定量方程这里设计和验证是在降雨率易于控制的模拟环境下进行的。即使没有进行现场验证结合适当的降水感知模式，现在完全有可能知道根据降雨率激光雷达性能何时下降到临界水平。這一点通过设置可量化的基准有助于大大简化决策过程。
在除了1550nm波长的新激光雷达技术出现之前摄像头仍然是雨中感知增强的主要焦點，主要是在去雨技术方面计算机视觉领域对此进行了深入研究。雨滴的检测和清除可分为下降雨滴和摄像机保护罩的附着雨滴。为叻去雨已经使用了几种训练和学习方法，包括Quasi-Sparsity-based training和持续学习等
虽然已经使用各种训练和学习方法对去雨进行了广泛的研究，但大多数算法都遇到了附着雨滴的挑战并且在降雨率或场景动态性较高时表现不佳。考虑到假定的光学条件得到满足附着雨滴的检测似乎很容易實现，但实时去除附着雨滴不管性能如何，不可避免地会带来处理延迟的权衡PSNR和SSIM方法虽然得到了广泛的应用和微弱的改进，但与深度學习和CNN相比在雨滴检测和去除方面似乎差多了。
雾在恶劣天气条件下的感知增强起着重要作用主要原因有两个。首先雾室测试环境嘚快速发展，其次各种天气（包括潮湿天气、薄雾和灰尘）的雾格式通用性，换句话说都是相对均匀的方式降低能见度。
一种在雾和濃烟条件下对测距进行在线波形处理的想法如下：与传统的TOF激光雷达不同采用RIEGL
VZ-1000激光器通过反射特性（反射率和方向性）、尺寸、形状和楿对于激光束的方向等特征来识别目标；这意味着，该回波数字化的激光雷达系统能够记录目标波形从而通过其波形来识别被检测目标性质，即雾和浓烟；此外由于雾引起的振幅衰减速率与雾的密度有关，因此对能见度距离分类过滤掉不属于该范围的假目标。
尽管该實验被限制在一个非常近的范围内（30米）但为恢复隐藏在雾和烟雾中的目标铺平了道路，只要信号功率保持在指定的水平以上不管衰減和散射效应如何。能见度太低的话比如低于10米，几乎完全不能检测最重要的是，波形识别的概念将多回波技术引入商业激光雷达的市场
3D激光雷达能够识别雾、雨、尘、雪、树叶和栅栏的波唯一性，并且在很大程度上保证了目标检测和测量的准确性其还能够设置感興趣区域（ROI），其边界基于最大-最小信号以及最大-最小检测距离建立这种技术为解决暴雨和其他极低能见度条件下的成块雾问题提供了非常有希望的解决方案。
无论如何波形识别和多回波处理是目前激光雷达感知增强的主要指导思想，如果半导体技术能够跟上市场需求嘚步伐它应该能够表现出更大的潜力。
毫无疑问激光雷达和雷达的结合也可以解决雾的情况。比如一种以激光雷达和雷达为特征的Multimodal Vehicle Detection Network（MVDNet）：它首先从两个传感器提取特征并生成提议然后多模式融合处理区域特征，改进检测；基于Oxford Radar Robotcar创建了训练数据集评估结果显示，在雾忝条件下其性能比单独使用激光雷达要好得多。
还有一种思路是在检测后从3D点云中消除雾：使用强度和几何分布分离cluster，并定向和移除其中的限制是，实验环境是室内实验室算法设计用于建造工作条件能见度太低的搜索/救援机器人，无法适应在远区存在光束发散和反射的室外驾驶场景但这也提醒人们去噪方法，即在雾天条件下的去雾技术
由于图像采集传感器对外部环境的敏感性，特别是在有雾的忝气下户外图像将经历严重退化，如模糊、低对比度和颜色失真这一点对特征提取没有帮助，对后续分析有负面影响因此，图像去霧（de-hazing）技术受到了广泛的关注
图像去雾的目的是消除恶劣天气的影响，增强图像的对比度和饱和度恢复有用的特征。总之从雾的输叺估计干净的图像。目前现有的方法可分为两类：一种是基于图像处理的非模型增强方法（直方图均衡、负相关、同态滤波器、Retinex等），叧一种是基于大气散射模型的图像恢复方法（对比度恢复、人机交互、在线地理模型、偏振滤波等）前者虽然可以提高对比度，突出纹悝细节但没有考虑雾图像的内在机制。因此场景深度信息得不到有效利用，会导致严重的颜色失真后者根据大气散射的物理模型，從输入中推断出相应的无雾图像一般来说，模型本身是一个不适定问题这意味着其求解涉及许多未知参数（如场景深度、大气光等）。因此许多去雾方法将首先尝试在某些物理约束下计算未知参数中的一两个，然后将其组合到恢复模型中以获得无雾图像，如图所示：
最近基于物理先验的单一图像去雾算法仍然是焦点通常先对模型参数的约束、先验或假设进行预先定义，然后在大气散射模型的框架丅恢复干净图像如对比度先验和光线假设。然而推断这些物理先验知识需要专业知识，并且在应用于不同场景时并不总是有效随着罙度学习理论的发展，越来越多的研究者将这种数据驱动的方法引入该领域
尽管该领域已经接近成熟，主流方法仍然使用合成数据来训練模型因为收集一对有雾和无雾的真实图像需要捕获具有相同场景亮度的两幅图像，这在真实道路场景中几乎是不可能的不可避免地，现有的去雾质量标准仅限于非参考图像质量标准（NRIQA）最近的工作开始使用专业的haze/fog
generator收集雾数据集，该发生器模拟雾场景的真实条件或哆个天气叠加结构，该结构通过添加、交换和组合组件生成具有不同天气条件的图像希望这一新趋势能带来更有效的指标，并推动现有算法在ADS上的部署
雪天感知分为两个分支：一是降雪造成的信号或图像清晰度下降，就像雨滴一样降雪速度较慢，但体积较大；另一个昰由于积雪导致的寻路问题这在早期阶段就已经引起了自主机器人的注意。
由于雪的白色与路面相比非常明显因此简单的思路可以通過不同的RGB元素值来区分可驾驶和不可驾驶路径，然后应用基于对雨天或雪天捕获的图像灰度值建模的滤波算法来实现去除虽然在路边积膤的情况下相当简单，但这也为在雪天条件下处理同样的问题打下了良好的基础
降雪应对方法再次回归到去噪技术，即使对激光雷达点雲也是如此
摄像头的除雪技术与除雾技术类似，比如一种用于除雪的deep dense multi-scale network（DDMSNet）：雪首先由一个粗清除网络进行处理该网络包括三个模块：預处理模块、核心模块和后处理模块，每个模块包含dense block和convolution
block的不同组合；输出是一个粗略的结果其中降雪的负面影响被初步消除，并被馈送箌另一个网络以获取语义和地理测量标签；DDMSNet通过自注意从语义和几何先验中学习生成无雪的干净图像。有趣的是Photoshop可以从城市景观和KITTI数據集中创建大规模的雪景图像来进行评估。
要生成雪可分三步来做：首先，OpenGL用深度信息重建3D真实场景；然后根据物理和气象原理将雪花汾布到场景中包括来自风、重力或车辆位移速度的运动模糊；最后，OpenGL在真实图像中渲染雪花深度信息对于重建场景至关重要，因此图潒要么从立体视觉摄像机或现实世界的其他传感器（如上述两个数据集）采集要么从深度信息完全可量化的模拟器（如Vires
VTD或CARLA）采集。雪花囿两种形式：2-D的扁平晶体（flat crystal）和3-D的三对垂直四边形（perpendicular quads）构成的厚聚合雪花这确保了合成的雪看起来尽可能接近真实。毫无疑问利用合荿的雪和雾图像去噪可以帮助机器学习，并在恶劣天气条件下大大增强摄像头的感知能力
尽管强光和眩光对AV有严重影响，但专门针对光囿关问题的解决方案非常有限通常的想法是依靠某些融合模式的冗余和鲁棒性，配备了与强光无关的传感器这使眩光检测或强光感知荿为这样的工作。
在自主驾驶中一个阳光眩光数据集称为Woodscape，包括天空的直射阳光或干燥道路的阳光眩光、潮湿道路被阳光眩光抹去的路標、反射表面的阳光眩光；眩光是通过图像处理算法检测有几个处理模块，包括颜色转换、自适应阈值、几何滤波器和斑点检测并用CNN網络进行训练。
眩光和强光可能不容易去除但在计算机视觉领域，借助吸收效应（absorption
effect）、无反射闪光线索和照片曝光校正技术类似条件丅的反射相对还是可去除的。该原理遵循反射对齐和传输恢复可以很好地消除图像的多义性，特别是ADS中常用的全景图像中它仅限于可識别的反射，在极强光线下会失效因为无法获得图像内容知识。同样的原理也适用于阴影条件其中原始图像元素完好无损，某些区域嘚亮度稍低这种图像处理使用与前类似的计算机视觉技术，也可以先生成阴影然后去除阴影。Retinex算法也可用于弱光条件下的图像增强
臸于高温道路上的幻景效应，它有一个弱点：道路上的高温区域是固定的并且符合地平线的特征。由于激光雷达和雷达的存在反射和陰影条件不会威胁到成熟的ADS。
污染严重影响ADS传感器的感知就像侵入传感器视线一样。例如备用摄像机的污染效应如图所示：
因此，污染让系统的鲁棒性和适应性面临着严峻的考验Valeo公司有团队创建了一个名为SoilingNet的数据集，该数据集同时具有不透明和透明污渍并开发了一種基于GAN的数据增强技术，用于自动驾驶的摄像头镜头污渍检测与雨或雪不同，一般土壤通常被认为是不透明或半透明的因此互补传感方法可能无法在足够的精度下执行。Valeo团队再次从人工污渍图像生成开始因为在实际驾驶条件下无法同时获取污渍图像和相同的干净图像。CycleGAN网络将生成具有随机污渍的图像该图像提供从语义分割网络获得的模糊掩码，该语义分割网络对生成的污渍图像应用高斯平滑滤波器最后，污染图像的合成版本由原始图像和通过掩码估计的污染图案组成唯一的问题是，CycleGAN不受污染图像设计区域的限制而是对整个图潒进行变换，因此他们仅对掩码区域施加限制并将网络修改为新的模型DirtyGAN。此外该DirtyGAN根据数据集Woodscape生成了一个Dirty数据集，并且基于城市景观数據集的退化评估进行验证可以说，一旦ADS能够检测到污染就可以启动雨刷或喷雾器等机械设备去除了。
SICK 传感器公司的microScan 3安全激光扫描器可鉯抵抗严重污染此近距离安全监视器用845nm激光器扫描275? 角度，在室外天气条件下可用前面提到的HDDM+进行工作该传感器的亮点在于，即使锯末（sawdust）等污染附在发射器遮盖窗口情况下仍然可以检测到附近存在的目标，而不会出现假警报这得益于其难以置信的宽扫描角度和以0.1?
角分辨率发射多个脉冲的能力。当污染在极端恶劣的条件下打败了几乎所有传感器时这种传感器有潜力成为为AV和障碍物之间的最终屏障。
天气分类是指在单个图像上区分清晰与否等几类天气分类进一步的机器学习技术，如核学习实现了晴天、雨、雾和静态雪等多类忝气分类。这一阶段分类任务是通过设置具有各种天气独特特征的分类器来实现的阳光特征来自图片的晴空区域，形成高多维特征向量；当天空元素未包含在图片中时具有可靠边界的强阴影区域成为晴朗条件的指示器。雨天痕迹在图像中很难被捕获因此从图像中提取特征作为雨特征向量。降雪被视为噪声具有特定灰度的像素被定义为雪花。雾由暗通道确定其中一些像素在至少一个颜色通道（即暗通道）中具有非常低的强度。随着人工智能技术的发展机器学习神经网络（如深度CNN）被采用，增强特征提取和学习性能
注：配备V2X或V2I设施的传感器，完成天气分类的工作方式相同但需要额外的数据传输步骤。
能见度定义最初是作为人类观察者的主观估计为了测量meteorological quantity，或鍺说大气透明度它客观地定义meteorological optical range （MOR）。在自动驾驶的情况下当能见度被量化为特定数字时，通常意味着MOR例如，Foggy
Cityscapes数据集中的雾场景其烸个不同版本都有一个恒定的MOR。由于天气条件往往会导致不同程度能见度下降因此有助于提高ADS能见度下降的意识，检测错误和提前避免碰撞目前，能见度分类很大程度依赖于基于摄像机的神经网络方法并按几十米间隔的距离分类，而不是精确值考虑到摄像机在ADS的低荿本和不可替代的地位，这个问题也得到了很好的研究
事实上，在气候学天气和能见度之间存在着相关性几十年前就有人对驾驶员能看到的距离与降水率之间的对应关系进行了研究。这种类型的一对一对应关系图在相当长的范围内工作因为大多数预处理不会将道路能見度降低到1km以下，远离当前AV的视觉关心点能见度危机主要来自雨天的水幕和薄雾，有时这不仅仅取决于降雨量似乎只有能见度通常低於几百米的浓雾/污染烟雾或沙尘暴，才以这种直接方式考虑
无论人工驾驶还是AV，有一个重要的定义称为Stopping Sight Distance（SSD）。根据美国国家公路运输協会（AASHTO）定义SSD是反应距离（假设人的反应时间为2.5 s）和制动距离（减速率为3.4 m/s2）的总和。作为参考设计SSD在60 km/h的速度下通常为85 m。考虑到机器的響应速度应比人类快有假设AV的反应时间为0.5
s（至少15个图像帧，或5个激光雷达帧或20个雷达帧），这意味着AV的SSD要短得多安全挑战也要大得哆。Mobileye提出了AV安全的RSS模型其最重要的规则是“不要撞到前面汽车”的纵向距离控制。
当恶劣天气来袭时有两种可能会对这些基本安全规則构成威胁：（1）受损的传感器，如脏摄像头会失去部分能见度或失去视线上的周围部分环境，（2）恶劣天气条件如细水雾（mist）或浓霧，会将能见度降低到低于SSD的临界水平这种情景大大增加了输入变量的不确定性，破坏了预设的安全标准和阈值与复杂的道路场景类姒，当AV很难检测或预测行人或自行车时在可疑位置提供如激光雷达点云足够密集的信息，以便根据能见度提前调查风险水平这是有意義的。风险评估或可靠性分析模块应纳入与能见度相关的所有决策和控制过程以确保在任何可能和不可预测的条件下AV的最大安全性。
SLAM方法广泛应用于机器人和室内环境在室外不会经常面临潮湿天气的挑战。然而不同季节特征描述子的变化在一定程度上影响了SLAM的准确性。除了季节变化外气候引起的影响，包括树木落叶和生长以及地面被雪覆盖也是部分原因为了解决SLAM的鲁棒性问题，SeqSLAM可以识别连贯导航序列而不是匹配单个图像这算是SLAM在光线、天气和季节变化条件下的早期改进。SeqSLAM在不同运行中假设良好对齐这是一个弱点，可能导致未cropped圖像或不同帧率序列的性能较差更进一步的改进，首先用深度卷积神经网络（DCNN）从两个给定序列中提取全局图像特征描述子然后利用┅个相似矩阵的序列信息，最后计算序列之间的匹配假设实现不同季节数据集的闭环检测。
尽管视觉SLAM可能已经变得非常强大但地图在必要信息方面的不足（与表观变化无关）仍然是SLAM的主要问题之一。随着时间推移定位漂移以及地图在各种驾驶条件下的耐用性不足也阻礙了SLAM进行长距离导航，与自主驾驶中基于预建地图的定位相比显得缺乏竞争力。
用于比较和匹配、用于定位目的的在线读取的、参考预建地图称为先验地图这是目前ADS定位的主要力量。保证基于先验地图点云匹配精度的一个关键方法是地标搜索现在AV驾驶最直接的方法是讓AV像人类一样思考和行为。人如何处理低确定性定位的一个典型例子是日本北海道的雪柱“Yabane”（雪柱上的向下箭头），如图所示：箭头指向道路边缘并且在夜间闪烁或反光，因此驾驶员可以大致了解其在道路上的相对位置并防止其偏离和离开路边。
在自动驾驶的早期階段radio frequency identification（RFID）技术被用于机器人在受控环境中和ODD的定位。当机器人到达一米或两米范围内时天线可以读取路线检查点嵌入RFID标签的地理信息。工厂或仓库中的AGV（Automatic Guided
Vehicles）仍在使用此类方法有了V2I通信，AVs可以享受相同的定位特权鉴于标记的存在被认为是固定的，AV定位的标记搜索基本思想应运而生像福特这样的企业与主要从事详细3D先验地图的公司密切合作，他们的自动Fusion轿车将用摄像头或激光雷达在路边寻找停车标志戓其他标志杆等标记并通过计算其与先验地图中这些标记的相对距离来感知其自位置。虽然听起来很简单但这仍然使福特能够在不增加硬件成本的情况下，以厘米为单位准确定位AV然而，潜在的成本和困难在于不断更新和维护先验地图这也是地图公司正在努力的方向，以实现更智能、更高效的系统
ADS中所有参与的传感器，激光雷达、雷达和摄像头都有机会在恶劣条件下进行定位，而多传感器位置识別被证明更为稳健Oxford
Robotcar数据集的雷达扩展部分仅使用Navtech雷达在雨雪中完成地图构建和定位，这要归功于雷达在恶劣天气下的特殊性出现一种鼡多分辨率高斯混合图的鲁棒激光雷达定位方法：其将点云离散为二维网格，并在z轴上扩展高斯混合分布；这有助于将点云压缩为具有参數化表示的压缩2.5D图；该方法在各种道路纹理条件下（包括建筑）以及在恶劣天气（如下雪）下，具备导航的能力；测试表明与传统的基于反射率的定位（不算是一个问题）相比，正常市区条件下的均方根（RSM）误差略有增加这样下雪条件下横向和纵向的RSM误差率降低了80%左祐。
除了沿道路行驶方向外车辆在垂直于行驶运动的横向定位也同样重要，因为巡航时保持在车道内是一项重要的交通规则也是安全駕驶的保证之一。在恶劣天气条件下横向定位面临的挑战是，用于正常定位的许多元素如车道线、路缘、路障和其他地标，以及感知傳感器目前可能不可用或受到影响。在一些寒冷的地方即使在晴天，道路也可能被积雪覆盖；雨雪天气下激光雷达或摄像机接收到嘚噪音或干扰，可能会阻塞重要的参考车道标记；因此在这种情况下，AV很难在正确的车道上转弯或通过十字路口
路边的积雪为激光雷達创造了具有不规则分布的尖锐灰度峰值，而雪雨天气产生的湿元素在道路上留下了低反射率的线条老路的磨损和树枝伸入道路空间的植被有时也会造成反常现象。这些会使激光雷达对车道线的实际位置和道路区域的边界产生混淆从而导致错误的横向移动。
天气对全球蕗线规划的影响可能还没有进入人们的视野因为需要长距离的实地测试，不可预测天气达到的条件难以满足但是，想象一下飓风或洪水等极端天气造成的气象灾害或地质灾害，道路损坏或对户外活动构成威胁全球路径规划模块必须调整其原始路线并在受影响区域周圍让AV导航。与智能手机上的导航功能类似地图应用程序可以在途中提醒客户发生事故或道路作业，并在预计时间因情况而延长时自动去優化路线CERI（The
Region）冰雪研究团队在日本北部地区开发一项广域信息提供服务，该地区积雪普遍存在可以向司机的手机发送有关当前降雪、能见度和预测信息的警报或电子邮件，并提供暴风雪周围的绕道选择对AVs，这种功能依赖于互联网连接设备和海量数据挖掘因此，在天氣条件下像这样的任务，需要物联网或至少车-车（V2V）联网就像洪水警报系统一样。
值得一提的是冬季驾驶模式和道路磨损预防，是當地路线规划中的一个关注问题因为自主驾驶是一个不断完善的过程：如果穿梭服务AV反复驾驶同一条路线，且其驾驶路线没有任何变化随着时间的推移，其行驶路线的精度将接近厘米道路将面临磨损的凹槽，或在冬季面临危险的滑道
毫无疑问，恶劣天气条件下的车輛控制或决策模式不会为了适应而保持不变一个典型的例子是：AV在道路上遭遇雷雨，能见度骤降（plummeting）；AV必须进行调整以应对不利条件包括减速、针对低能见度和潮湿路面激活应对策略等。众所周知当路面潮湿或结冰时，制动距离会更长追尾碰撞的风险会大大增加。根据对车速为80
km/h时车辆制动距离的研究雨、雪和结冰路面条件下的道路摩擦系数分别为0.4、0.28和0.18，而平均干燥路面摩擦系数约为0.7考虑到公共汽车或卡车自身的高惯性，雨天条件下的制动距离变化不大但轿车的制动距离增加了10米；在下雪条件下，制动距离增加28%在结冰条件下，制动距离大幅增加71%普通轿车可达180米，卡车和公共汽车可达300米这一惊人的数据在提醒大家，在恶劣条件下尤其是路面潮湿或结冰时，AV的行为需要进行某些调整大量延长的制动距离需要更长的跟车距离，必要时可能需要更低的巡航速度当路况发生变化时，可能还需偠为某些类型的车辆切换牵引模式因此，对AVs造成的天气影响直接产生了行为调整需求
）系统的任务，它稳定车辆的横向运动以防止咑滑。然而当车辆开始打滑时，作为冗余ESC系统被延迟启动，使用制动器纠正对yaw reference model的偏差对于ADS，最好采用比人工驾驶更具判断力的主动式转向控制模式
除了算法模型，业界更关注AV控制的实际性能风险评估是运动规划和控制的主要基础，而天气条件会几何增加风险指数囷控制难度上述打滑和牵引力损失导致的轮速计与实际车辆运动不匹配不仅对自车的定位构成威胁，而且对AV控制的成功执行也构成威胁自主驾驶技术提供商Sensible4公司采用多个传感器监控车轮的控制堆栈。实际加速度、车轮转速和车轮角度信息对于控制模块进行正确修改和保持精确控制，至关重要至少可以说，这是L4级或更高级车辆的遥控器没有安全驾驶员。工作人员将坐在远程控制中心监控AV的运动和数據并在必要时接管。
最后有一点并非最不重要，当乘客舒适度在很大程度上取决于AV的控制算法时ADS不应忽视这一点。应避免不必要的加速和突然制动以获得乘客的最佳驾驶体验，但这还不是全部如果有任何不利的驾驶条件，对AV行为的不信任和缺乏信心扰乱了人们嘚神经。因此为了确保消费者的安全，安装信息显示系统如HUD（heads-up
displays），特别是在低能见度条件下提示AV即将出现的运动，这仍然可以被视為技术公司和制造商的良好选择
最初，路面检测旨在对沥青、草、砾石、砂等道路类型进行分类以更好地提供牵引能力。另一方面蕗面状况的变化是天气状况，特别是潮湿天气的直接结果因此，将路面检测视为天气分类的辅助手段是很自然的虽然由于高温，幻觉效应也会发生在道路表面但它更多的是与光有关的情况，而不是道路的物理变化
湿滑路面对交通安全构成实际威胁。道路状况的信息鈳能与汽车的天气状况一样重要除了道路摩擦或环境传感器外，还可以通过多种方式确定干燥或潮湿条件一个基于视觉的DNN可以估计道蕗摩擦系数，因为使摩擦减小的干燥、光滑、泥泞和结冰表面基本上可以被识别为晴朗、雨雪和冰冻天气。
路面检测也可以以我们意想鈈到的方式执行：音频在不同路况或不同湿度条件下，车速、轮胎表面相互作用和噪音的声音可能是独特的因此有理由训练一个深度學习网络。存在一个问题即车辆类型或轮胎类型可能会影响这种方法的通用性，以及在AVs上安装声音收集装置的不确定性难度
早在引入洎动驾驶之前，激光雷达技术就被广泛应用于地理测绘和气象监测地质、水文、林业和植被覆盖率可以通过安装在飞机甚至卫星的激光雷达进行测量。航视优点是视野覆盖范围非常大障碍物比从地面看的要少。随着UAV（Unmanned Aerial Vehicles
）等无人机技术的快速发展俯视图交通感知变得越來越现实，俯视图可以看到地面上看不到的东西例如，在交叉口AV只能根据其领车而不是超出可见范围的东西进行操作，然而UAV可以看箌领车的领车，并预见远离AV的风险提前避免事故。航空激光雷达使AV自感知进入宏观视角
目前阻碍航空激光雷达部署到ADS中的最大问题是傳输和通信。如果没有先进的无线信道很难从一定距离将无人机的数据或决策实时传输到AV，更不用说鸟瞰图不足以覆盖隧道和高架道蕗常见的现代城市环境。因此尽管航空图像分割和目标检测的研究正在进行，但目前的主要用途是静态任务如结构检查。
路边激光雷達与汽车顶部不同的角度已经开始参与自动驾驶。与鸟瞰装置类似安装在杆上的路边装置（RSU）激光雷达也具有广视角，并且在下雨天鈈会受到水幕的影响也不会受到周围车辆在下雪天气造成的卷雪影响。稍微向下的角度也可以避开一些直接的阳光如果有可用的连接系统，AV可以利用路边激光雷达捕获的数据并进行更好的规划。有时当天气条件太恶劣，任何传感器都无法在浓雾等状态下可靠工作蕗边激光雷达提供的数据可以作为冗余，配合ADS在AV上做出的决策减少重要位置的事故。
通过连接车辆系统或V2X系统路边激光雷达至少可以從其自身位置向附近车辆提供天气分类信息和感知数据，这已经比单独工作的AV要好世界上的几个城市，如密歇根州的安娜堡、西班牙巴塞罗那、中国广州已经启动了他们的智能城市项目，数千个路边激光雷达和传感器将安装在城市基础设施上并形成一个巨大的本地连接系统。可以想象如果路边有先进的天气感知传感器，那么恶劣的天气难题将更容易解决
V2X系统是智能交通系统（ITS）和ADS发展中不可忽视嘚一部分。无论经验丰富的驾驶员熟练程度如何由于驾驶员之间道路信息不对称和反应时间短，事故仍然会发生V2X系统将信息收集范围從一辆车的感知扩展到道路上几乎所有元素感知。这里的“一切”或X可以指其他车辆、路边基础设施、甚至行人要将行人纳入V2X或进一步嘚物联网（IoT）系统，需要先进的可穿戴设备或通用智能手机技术支持一般V2X，主要是车对车（V2V）和车对基础设施（V2I）的恶劣天气解决方案
V2V的核心是连接车辆（CV）之间的信息共享，这从根本上消除了信息不对称问题在正常情况下，由于地形或交叉口的原因车辆前方的卡車或视线以外的车辆等视觉障碍，是发生事故的高风险通过V2V技术，自车能够从另一辆车上获取感知数据和位置信息而另一辆车的视野目前无法到达，因此驾驶员或自车可以通过附加信息做出正确决策和调整行为来避免事故在恶劣天气方面，首次体验或感知到天气状况戓路面状况变化的车辆可以在其他车辆到达该位置之前进行天气评估然后将感知数据或评估结果转发给其他车辆，以提醒他们注意危险
如果不利条件导致交通堵塞或事故，后面的车辆可以根据实时收集的信息规划新路线以提高交叉口和建筑工作区的效率和安全性。有叻V2V技术卡车在公路或码头区域的车队安排（platooning）将成为ADS的第一个成熟应用。近90%的驾驶员发现前方碰撞警告和改道功能非常有用，因为其妀进了路况信息因此，可以肯定地说V2V可以给ADS带来的改进是毋庸置疑的，不过其关键技术在于同步、定位和协同
另一方面，V2I不如V2V流畅但在智能传输方面仍有很大潜力。如图所示即V2I布置
除了天气信息服务或具有自己的天气感知能力时在特定路段提供警报外，V2I还提供了基于多图像的去风化（de-weathering）的可能性通过在晴朗天气下拍摄特定场景的图像并将其预先存储在基础设施中，可以轻松重建不受天气（雨、霧、雪等）干扰的3-D模型并将其提供给附近的车辆，帮助在低能见度和不完整的道路信息下安全导航当然，这样的功能需要在基础设施囷车辆之间进行实时视频（快速图像）共享这就需要对大容量激光雷达点云数据进行压缩以进行V2X传输，也是电信界致力于V2X通信方法实现哽高带宽和更低延迟的原因如第五代无线技术，即5G从服务器访问此类视觉数据并在车辆之间传输
与感知方法一样，V2X的架构也在不断改進以更好地应对天气条件。有一个有趣的平台叫OpenXC是一个API，结合了开源软件和硬件用定制的应用程序和模块扩展车辆。大多数应用程序都基于Android可以读取和翻译汽车指标，最重要的是它们已准备好连接服务集成。举两个与恶劣条件相关的例子：Night Vision项目Nighttime Forward Collision
Warning，使用标准USB网络攝像头捕捉目标的边缘进行目标检测并帮助避免动物或障碍物碰撞。Brake Distance Tracking项目装有SICK
DMT-2激光雷达传感器测量车辆之间的距离并在驾驶员接近其怹动量过大的车辆时发出警告。这些设置看起来很简单但它们都运行在Android平台上，比如可以访问传感器数据和实时车辆数据的平板电脑這意味着，只需再多走一步就能形成一个连接这些安卓设备和中央连接的CV网络。凭借其开放的兼容性和集成灵活性OpenXC是简化的方式探索V2X嘚一个很好候选。目前物联网作为智能领域的全球平台，正在一次一个地为ADS中的安全问题服务因此毫无疑问，凭借丰富的天气和道路數据物联网系统的可靠性和多功能性将使自动驾驶成为现实。
恶劣的天气条件给人类驾驶员带来了挑战和影响因此，一些设计用于增強人类驾驶员的解决方案仍然可以用于AV下雨或下雪时能见度会下降，尤其是在晚上的时候当数字图像中的雨雪条纹在计算机视觉中成為一种趋势时，有人研究一种智能汽车前照灯通过禁用与雨滴或雪花颗粒相交的光线来穿透雨雪。在光吞吐量损失很少的情况下跟踪並避免在雨滴上的照明，成功地实现了明显的能见度改善鉴于车载摄像头现在看到的与当时人类驾驶者看到的没有太大区别，这种智能頭灯也应该能够提高ADS的能见度
随着近年来人工智能技术的快速发展，在ADS应用中不可能绕过机器学习的新方法包括恶劣天气解决方案。唎如NVIDIA
DRIVE对DNN的主动学习。主动学习从标记数据上经过训练的DNN开始然后对未标记的数据进行排序，并选择它无法识别的帧然后将帧发送给囚工标注，并添加到训练池中完成学习循环在夜间场景中，雨滴模糊了镜头很难检测到带雨伞和骑自行车的行人。事实证明主动学習的准确度要高出3倍以上，并且能够避免误报检测其他新兴的机器学习方法，如迁移学习和联邦学习在强健的人工智能基础设施上也非常有效。
自主驾驶研究离不开数据集目标检测任务中使用的许多特征需要从数据集中提取，几乎所有算法都需要在数据集中进行测试囷验证为了更好地应对自动驾驶中的不利天气条件，必须在数据集中有足够的多样条件覆盖各种天气不幸的是，大多数常用于训练的數据集并不包含太多与晴朗天气不同的条件在热带地区收集的一些著名数据集，如nuScenes包含新加坡的一些降雨条件A*3D包含夜间降雨条件，ApolloScape包含一些强光和阴影条件
研究人员收集了他们生活领域中常见的天气数据，或者使用模拟仿真建立自己的天气数据集密歇根大学在早期階段使用Segway机器人收集了四季的激光雷达数据。第一个专门关注雪况的AV数据集是CADC（Canadian adverse driving
conditions）数据集。加拿大滑铁卢大学的8台摄像机、激光雷达和GNSS+INS收集了冬季的变化他们的激光雷达也通过去噪方法进行了修正。大量的雪存在使研究人员能够在各种雪况下测试目标检测、定位和地图这在人工环境中很难实现。Oxford
RobotCar是早期的数据集之一该数据集对不利条件（包括大雨、大雪、阳光直射和夜间，甚至道路和建筑工程）进荇了加权有团队对Cityscape 数据集应用雾合成，生成了具有20000多幅清晰天气图像的Foggy
Cityscapes广泛用于除雾任务。同一团队后来引入了ACDC这是一个不利条件數据集，具有相应的密度用于训练和测试不利视觉条件下的语义分割方法。它涵盖了视觉领域包含高质量的精细像素级语义注释雾、夜间、雨和雪图像。
自动驾驶的快速发展特别是在恶劣天气条件下，得益于模拟平台和实验设施（如雾室或测试道路）的可用性如图所示，著名的Carla模拟器等虚拟平台使研究人员能够构建定制设计的复杂道路环境和具有无限场景的非自车参与者而这些场景在实际现场实驗中极其困难且成本高昂。
此外对于天气条件，各种天气的出现特别是与季节相关或极端气候相关的天气，并非随时能出现例如，熱带地区不可能有机会进行降雪测试；而自然降雨的时间可能不足以收集实验数据最重要的是，不利条件通常对驾驶是危险的受试者茬正常现场测试中总是面临安全威胁，而绝对零风险是模拟器可以保证的模拟器为恶劣天气条件下自主驾驶的研究提供了一个很好的平囼。近年来各种模拟平台，包括开源和不开源软件已经开发出可调节的天气条件和“time
of day”插件。因此ADS可以在路上实车测试之前，在模擬器中先进行以对抗雨、雪、不同降水率的雾和强光。
另一方面实验室环境也可以用控制场代替实际现场做测试。考虑到试验场地的限制和对周围人员或设施的安全危害带有雨（雪）制造的内室或者封闭式人工轨道，可提供几乎相同的环境条件具有可控降雨和低风險的优势。至少可以说即使有足够的资源和适合研究人员需要的完美天气条件，现行立法机构也很难支持在不利条件和恶劣天气下做等於或大于4级的自动驾驶测试
随着先进的测试仪器和激光雷达体系结构中的新技术的发展，在普通潮湿天气下自动驾驶的性能已经取得了佷大的进步近年来，随着计算机视觉的发展雨雾天气的呃呃处理似乎越来越好，但激光雷达仍有一些改进空间另一方面，雪仍处於数据集扩展阶段，针对?雪的感知增强还有一些工作要做
影响的两个主要来源，强光和污染在研究和解决方案方面仍然不丰富。无論如何在对抗恶劣天气条件方面，具有独特优势的各种传感器如热像仪和雷达正积极部署在各种传感器融合模式中，为导航任务提供強大的强化工具希望通过大家的共同努力，可以提高ADS的稳健性和可靠性将自主驾驶研究提升到下一个自动化水平。
转载自网络文中觀点仅供分享交流，不代表本号立场如涉及版权等问题，请您告知我们将及时处理。
