研究人员表示，随着计算机驱动的汽车和飞机变得越来越普遍，防止事故发生的关键是知道你不知道什么。
无人驾驶汽车和飞机不再是未来的东西。仅在旧金山市，截至 2023 年 8 月，两家出租车公司就累计完成了 800 万英里的自动驾驶。超过850,000架自动驾驶飞行器或无人机在美国注册，这还不包括军方拥有的无人机。
但对安全的担忧是合理的。例如，在截至 2022 年 5 月的 10 个月期间，美国国家公路交通安全管理局报告了近 400 起涉及使用某种形式的自动控制的汽车的车祸。这些事故造成六人死亡，五人重伤。
解决此问题的常用方法（有时称为“疲惫测试”）包括测试这些系统，直到您满意它们是否安全为止。但是你永远无法确定这个过程会发现所有潜在的缺陷。“人们会进行测试，直到耗尽他们的资源和耐心，”伊利诺伊大学厄巴纳-香槟分校的计算机科学家Sayan Mitra说。然而，仅靠测试并不能提供保证。
Mitra和他的同事们可以。他的团队已经成功地证明了汽车的车道跟踪能力和自动驾驶飞机的着陆系统的安全性。他们的策略现在被用于帮助无人机降落在航空母舰上，波音公司计划今年在实验飞机上进行测试。“他们提供端到端安全保证的方法非常重要，”卡内基梅隆大学和美国宇航局艾姆斯研究中心的研究科学家Corina Pasareanu说。
他们的工作包括保证用于通知自动驾驶汽车的机器学习算法的结果。在高层次上，许多自动驾驶汽车有两个组成部分：感知系统和控制系统。例如，感知系统会告诉您汽车离车道中心有多远，或者飞机朝哪个方向行驶，以及它与地平线的角度是多少。该系统的运行方式是将来自摄像头和其他感官工具的原始数据提供给基于神经网络的机器学习算法，从而重新创建车外环境。
然后，这些评估被发送到一个单独的系统，即控制模块，该模块决定要做什么。例如，如果有即将到来的障碍物，它会决定是踩刹车还是绕过它。麻省理工学院（Massachusetts Institute of Technology）副教授卢卡·卡隆（Luca Carlone）表示，虽然控制模块依赖于成熟的技术，但“它是根据感知结果做出决策的，不能保证这些结果是正确的。
为了提供安全保障，Mitra的团队致力于确保车辆感知系统的可靠性。他们首先假设，当外部世界可以完美呈现时，可以保证安全。然后，他们确定了感知系统在重新创建车辆周围环境时引入了多少误差。
这种策略的关键是量化所涉及的不确定性，称为误差带，或者像Mitra所说的那样，“已知的未知数”。这种计算来自他和他的团队所说的感知契约。在软件工程中，合同是一种承诺，对于计算机程序的给定输入，输出将落在指定的范围内。弄清楚这个范围并不容易。汽车传感器的精度如何？无人机能忍受多少雾、雨或太阳眩光？但是，如果你能将车辆保持在指定的不确定范围内，并且该范围的确定足够准确，Mitra的团队证明你可以确保其安全性。
对于任何拥有不精确车速表的人来说，这是一个熟悉的情况。如果您知道设备永远不会以每小时 5 英里的速度关闭，您仍然可以通过始终保持在限速以下 5 英里/小时来避免超速（如您不可信的车速表所示）。感知合约为依赖于机器学习的不完美系统的安全性提供了类似的保证。
“你不需要完美的感知，”卡隆说。“你只是希望它足够好，以免危及安全。他说，该团队最大的贡献是“引入了感知契约的整个概念”，并提供了构建它们的方法。他们通过借鉴计算机科学分支（称为形式验证）的技术来做到这一点，该技术提供了一种数学方法来确认系统的行为是否满足一组要求。
“尽管我们不知道神经网络是如何做到的，”Mitra说，但他们表明，仍然有可能从数字上证明神经网络输出的不确定性在一定的范围内。如果是这样的话，那么系统将是安全的。“然后，我们可以提供一个统计保证，说明给定的神经网络是否（以及在多大程度上）实际上会满足这些界限。