文摘
一个关键的瓶颈,阻碍自主车辆的开发和部署是过高的经济和时间成本需要验证他们的安全自然的驾驶环境中,由于罕见的紧急安全事件1。这里我们报告一个智能测试环境的发展,artificial-intelligence-based背景代理在哪里训练验证自动车辆的安全性能在加速模式下,没有无偏性的损失。从自然的驾驶数据,后台代理了解对手的策略执行通过密集deep-reinforcement-learning (D2RL)方法,在马尔可夫决策过程是通过删除编辑non-safety-critical州和重新连接关键的所以强化训练数据中的信息。D2RL使神经网络学习强化信息安全至上的事件和棘手的传统deep-reinforcement-learning方法实现任务。我们证明我们的方法的有效性通过测试一个高度自动化的汽车在高速公路和城市测试跟踪和一个增强现实环境,结合模拟与物理背景车辆道路基础设施和一个真正的自动测试工具。我们的研究结果表明,D2RL-trained代理可以加快评估过程由多个数量级(103到105倍)。此外,D2RL将使加速测试和培训与其他安全至上的自治系统。
这是一个预览的订阅内容,通过访问你的机构
相关的文章
开放获取文章引用这篇文章。
学习自然的驾驶环境统计的现实主义
自然通讯开放获取2023年4月11日
访问选项
访问其他自然组合期刊性质和54
得到自然+,请求书在线访问订阅
29.99美元/ 30天
取消任何时候
订阅本杂志
收到51印刷问题和网络访问
每年199.00美元
只有3.90美元的问题
本文租或购买
价格不同的文章类型
从1.95美元
来39.95美元
价格可能受当地税收计算在结帐
数据可用性
原始数据集,我们用于造型自然驾驶环境来自安全飞行员模型部署(SPMD)项目48和集成场基于车辆发动的安全系统(IVBSS)49密歇根大学安阿伯。ShapeNet数据集,包括图像增强现实的三维模型资产模块可以找到https://github.com/mmatl/pyrender。警察崩溃报告用于补充视频7可用在https://www.michigantrafficcrashfacts.org/。构造濒死经历的数据处理模型和智能测试环境和实验结果支持本研究的发现是可用的https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning。源数据本文提供的。
代码的可用性
仿真软件相扑,自动驾驶系统Autoware和RLLib平台实现PPO算法是公开的,按照文本和相关的引用23,25,52。自然的源代码驾驶环境模拟器,模拟器驾驶行为模型,D2RL-based智能测试环境和在模拟装配https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning。
引用
卡尔拉:&围场,s m .驾驶安全:有多少英里的驾驶需要展示自主车辆的可靠性?透明。研究一个94年,182 - 193 (2016)。
LeCun (Y。,Bengio Y。&Hinton, G. Deep learning.自然521年,436 - 444 (2015)。
1000万年无人驾驶汽车将于2020年在路上。内幕https://www.businessinsider.com/report - 1000万-自我驾驶汽车道路上- - - - - - - - - - - - - -会-,- 2020 - 2015 - 5 - 6所示(2016)。
2020年日产承诺自动驾驶汽车。《连线》杂志https://www.wired.com/2013/08/nissan-autonomous-drive/(2014)。
特斯拉的无人驾驶车辆不远了。内幕https://www.businessinsider.com/elon麝香- -特斯拉-自动-汽车- 2015 - 9(2015)。
相关的分类和定义术语为行车机动车驾驶自动化系统(汽车工程师学会,2021);https://www.sae.org/standards/content/j3016_202104/。
2021年脱离报告(加州机动车,2022);https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/disengagement-reports/。
巴斯,D。,Lai, P. J., Chan, N., Jiang, Y. & Christensen, H. I. Autonomous vehicle benchmarking using unbiased metrics. InIEEE国际会议上智能机器人和系统6223 - 6228 (IEEE 2020)。
Favaro F。,Eurich, S. & Nader, N. Autonomous vehicles’ disengagements: trends, triggers, and regulatory limitations.Accid。肛交。上一页。110年,136 - 148 (2018)。
Riedmaier, S。Ponn, T。,Ludwig, D., Schick, B. & Diermeyer, F. Survey on scenario-based safety assessment of automated vehicles.IEEE访问8,87456 - 87477 (2020)。
Nalic,等。基于场景的测试的自动驾驶系统:文献调查。在Proc。的FISITA Web国会1 - 10 (Fisita, 2020)。
冯,S。,Feng, Y., Yu, C., Zhang, Y. & Liu, H. X. Testing scenario library generation for connected and automated vehicles, part I: methodology.IEEE反式。智能。透明。系统。22,1573 - 1582 (2020)。
冯,s . et al .测试场景库生成连接和自动汽车,第二部分:案例研究。IEEE反式。智能。透明。系统。22,5635 - 5647 (2020)。
冯,S。,燕,X。,太阳,H。,Feng, Y. & Liu, H. X. Intelligent driving intelligence test for autonomous vehicles with naturalistic and adversarial environment.Commun Nat。12748 (2021)。
Sinha)。,O’Kelly, M., Tedrake, R. & Duchi, J. C. Neural bridge sampling for evaluating safety-critical autonomous systems.放置神经Inf。过程。系统。33,6402 - 6416 (2020)。
李,l . et al .并行测试车辆智能通过虚拟现实交互。科学。机器人。4eaaw4106 (2019)。
赵,d . et al .加速评估自动化车辆安全前馈场景基于重要性抽样技术。IEEE反式。智能。透明。系统。18,595 - 607 (2016)。
Donoho, d . l .高维数据分析:维度的诅咒和祝福。AMS数学挑战讲座132 (2000)。
辛顿,g . e . & Salakhutdinov r . r .降低数据的维数和神经网络。科学313年,504 - 507 (2006)。
银,d . et al。掌握围棋没有人类知识。自然550年,354 - 359 (2017)。
Mirhoseini, A . et al .图放置芯片设计方法快。自然594年,207 - 212 (2021)。
卡明斯,m . l .反思的成熟人工智能在安全至上的设置。人工智能杂志。426 - 15 (2021)。
加藤,s . et al . Autoware:启用自动车辆与嵌入式系统。在2018 ACM / IEEE 9日Cyber-Physical国际会议系统287 - 296 (IEEE 2018)。
冯,s . et al。高度自动驾驶系统的安全评估测试跟踪:一个新的框架。Accid。肛交。上一页。144年105664 (2020)。
洛佩兹,p . et al .微观交通仿真使用相扑。在国际会议上智能交通系统2575 - 2582 (IEEE 2018)。
阿伦,一个。,Haque, M. M., Bhaskar, A., Washington, S. & Sayed, T. A systematic mapping review of surrogate safety assessment using traffic conflict techniques.Accid。肛交。上一页。153年106016 (2021)。
萨顿r s & Barto a G。强化学习:介绍(麻省理工学院出版社,2018)。
科伦,M。,Alsaif, S., Lee, R. & Kochenderfer, M. J. Adaptive stress testing for autonomous vehicles. InIEEE智能车辆研讨会(IV)1 - 7 (IEEE 2018)。
太阳,H。,冯,S。,燕,X。&Liu, H. X. Corner case generation and analysis for safety assessment of autonomous vehicles.交通工具。研究矩形。2675年,587 - 600 (2021)。
舒尔曼,J。Wolski F。,Dhariwal, P., Radford, A. & Klimov, O. Proximal policy optimization algorithms. Preprint athttps://arxiv.org/abs/1707.06347(2017)。
欧文,a . b .蒙特卡罗理论,方法和例子。艺术欧文https://artowen.su.domains/mc/(2013)。
Krajewski R。舞姿最美,T。一杯啤酒,J。,Vater, L. & Eckstein, L. September. The round dataset: a drone dataset of road user trajectories at roundabouts in Germany.2020年IEEE 23日国际会议上智能交通系统1 - 6 (IEEE 2020)。
Nowakowski C。,Shladover, S. E., Chan, C. Y. & Tan, H. S. Development of California regulations to govern testing and operation of automated driving systems.交通工具。研究矩形。2489年,137 - 144 (2015)。
Sauerbier, J。一杯啤酒,J。,Weber, H. & Eckstein, L. Definition of scenarios for safety validation of automated driving functions.ATZ全球121年使(2019)。
油漆,C。,Manzinger, S., Koschi, M. & Althoff, M. Using online verification to prevent autonomous vehicles from causing accidents.Nat,马赫。智能。2,518 - 528 (2020)。
Seshia, s。,Sadigh, D. & Sastry, S. S. Toward verified artificial intelligence.Commun。ACM65年46-55 (2022)。
翅膀,j . m .说明符的形式方法的介绍。IEEE第一版。23日到24日(1990年)。
李。,Sun, L., Zhan, W., Tomizuka, M. & Chen, M. Prediction-based reachability for collision avoidance in autonomous driving. In2021年IEEE机器人与自动化国际会议上7908 - 7914 (IEEE 2021)。
自动车辆安全联盟AVSC评估安全性能指标和最佳实践方法的自动驾驶系统(ADS)(SAE产业技术联盟,2021)。
盟,s . k . &贝克,j·l·高维度的重要抽样。结构体。Saf。25,139 - 163 (2003)。
银,D。,Singh, S., Precup, D. & Sutton, R. S. Reward is enough.Artif。智能。299年1-13 (2021)。
Mnih,诉等。人类层面的控制通过强化学习。自然518年,529 - 533 (2015)。
翁,B。,Rao, S. J., Deosthale, E., Schnelle, S. & Barickman, F. Model predictive instantaneous safety metric for evaluation of automated driving systems. InIEEE智能车辆研讨会(IV)1899 - 1906 (IEEE 2020)。
Junietz, P。,Bonakdar, F., Klamann, B. & Winner, H. Criticality metric for the safety validation of automated driving using model predictive trajectory optimization. In国际会议上智能交通系统60 - 65 (IEEE 2018)。
黄G。刘,Z。,Van Der Maaten, L. & Weinberger, K. Q. Densely connected convolutional networks. InIEEE计算机视觉与模式识别会议4700 - 4708 (IEEE 2017)。
Bengio Y。,Louradour, J., Collobert, R. & Weston, J. Curriculum learning. In国际会议上机器学习41-48 (ICML, 2009)。
燕,X。,冯,S。,太阳,H。,&Liu, H. X. Distributionally consistent simulation of naturalistic driving environment for autonomous vehicle testing. Preprint athttps://arxiv.org/abs/2101.02828(2021)。
Bezzina d &说话,J。安全试验模型部署:测试导线团队报告HS 812 171点(国家公路交通安全管理局,2014)。
说话的人,j . et al。综合场基于车辆发动的安全系统领域操作测试:最终项目报告供料- jpo - 11 - 150;umtri - 2010 - 36(联合为智能交通系统项目办公室,2011)。
Treiber, M。,Hennecke, A. & Helbing, D. Congested traffic states in empirical observations and microscopic simulations.理论物理。启E62年1805 (2000)。
*。,Treiber, M。&Helbing, D. General lane-changing model MOBIL for car-following models.透明。研究矩形。1999年,86 - 94 (2007)。
梁、大肠等。RLlib:抽象为分布式强化学习。在国际会议上机器学习3053 - 3062 (ICML, 2018)。
张x et al . ShapeNet:一个信息丰富的3 d模型库。预印在https://arxiv.org/abs/1512.03012(2015)。
Darweesh h . et al .开源集成计划的高度动态环境中的自主导航。j .机器人。Mechatron。29日,668 - 684 (2017)。
确认
这项研究的部分资金由美国运输部(USDOT)地区5大学交通中心:中心连接和自动运输(CCAT)密歇根大学的(# 69 a3551747105)和美国国家科学基金会(CMMI # 2223517)。我们感谢美国中心流动(ACM)提供试车跑道。表达的任何意见、研究结果和结论或建议这种材料是作者的,不一定反映美国政府的官方政策或位置或美国中心移动。
作者信息
作者和联系
贡献
旧金山那里和H.X.L.构思,并且领导了这项研究计划,开发人工智能与人工智能的概念,发展dense-learning方法,写了论文。旧金山那里和H.S.发达intelligent-testing-environment生成算法,设计了实验。H.S. H.Z.开发仿真平台,实现了算法,进行了仿真测试和仿真结果。X.Y.,H.Z. and S.S. implemented the Autoware system in the autonomous vehicle, performed the field tests and prepared the testing results. Z.Z. developed and performed the augmented image rendering. All authors provided feedback during the manuscript revision and results discussions. H.X.L. approved the submission and accepted responsibility for the overall integrity of the paper.
相应的作者
道德声明
相互竞争的利益
密歇根大学在申请专利的过程中应用# 63/338,424覆盖茂密的强化学习,智能测试环境生成和增强现实列出H.X.L.测试技术,旧金山那里,H.S.,X.Y.,H.Z.,Z.Z.,和S.S. as inventors.
同行评审
同行审查的信息
自然谢谢科林·帕特森,匿名的,弗雷德里克•Warg和其他评论家(s)为他们的贡献的同行评审工作。
额外的信息
出版商的注意施普林格自然保持中立在发表关于司法主权地图和所属机构。
补充信息
补充信息
这个文件包含补充1 - 4部分,包括补充文本和方程,无花果。-表1和2。和references-see详情内容。它还包括链接补充视频1 - 8节中5,通过figshare外部主持。
权利和权限
Springer性质或其许可方(例如一个社会或其他合作伙伴)拥有独占权下本文与作者出版协议(s)或其他情况下(年代);作者self-archiving接受这篇文章的手稿版本是完全由这样的出版协议的条款和适用法律。
关于这篇文章
引用这篇文章
冯,S。,太阳,H。,燕,X。et al。密集的强化学习自主车辆的安全验证。自然615年,620 - 627 (2023)。https://doi.org/10.1038/s41586 - 023 - 05732 - 2
收到了:
接受:
发表:
发行日期:
DOI:https://doi.org/10.1038/s41586 - 023 - 05732 - 2
本文引用的
危险帮助自动汽车安全驾驶
自然(2023)
学习自然的驾驶环境统计的现实主义
自然通讯(2023)
反馈是你所需要的:从ChatGPT自主驾驶
中国科学信息科学(2023)
