自动驾驶安全关键场景生成方法、系统、设备及介质与流程

本发明涉及自动驾驶，具体来说是一种自动驾驶安全关键场景生成方法、系统、设备及介质。

背景技术：

1、随着自动驾驶技术的不断发展，如何在有限成本和风险可控的条件下充分验证自动驾驶系统的安全性，已成为行业面临的核心问题。由于真实道路测试难以覆盖复杂、罕见且高风险的交通情形，基于仿真的安全关键场景生成技术被广泛应用于自动驾驶系统的研发与测试中。

2、现有安全场景生成方法主要依赖人工规则建模、参数模板配置或基于事故数据的场景回放，虽然在一定程度上能够构建测试场景，但在场景多样性、长尾风险覆盖以及自动化程度方面仍存在不足。近年来，随着大语言模型的发展，部分技术尝试直接利用大语言模型从事故描述或自然语言文本中生成交通场景描述或仿真配置文件，以降低人工建模成本并提升场景生成效率。

3、然而，现有基于大语言模型的场景生成方法通常缺乏稳定的结构约束与语义验证机制，容易受到模型幻觉影响，生成的场景在语法正确性、物理可行性或交通语义一致性方面难以保证，限制了其在自动驾驶安全测试中的工程化应用。因此，亟需一种能够在充分利用大语言模型语义理解能力的同时，对场景生成过程进行有效约束和验证的技术方案，以提升安全关键场景生成的准确性、可执行性与可靠性。

4、然而，在面向真实交通事故复现、高风险长尾场景扩展以及工程级可执行仿真测试等应用需求时，现有技术整体仍存在明显不足，具体体现在以下几个方面。

5、1）在场景建模与语义表达层面，现有方法难以刻画事故因果结构与属性作用边界：

6、现有基于规则模板或参数化场景描述的方法，通常依赖人工预先定义的交通规则、行为模式及场景参数组合，通过枚举或随机采样方式生成测试场景。此类方法虽然在规则明确、结构简单的场景中具有一定可控性，但其场景建模高度依赖人工经验，规则粒度固定，难以覆盖真实交通事故中复杂、多因素耦合的因果结构。例如，论文一种面向自动驾驶模拟场景生成的知识驱动方法，2023年第8届智能信息与生物医学科学国际会议（iciibms）. ieee, 2023, 8: 495-498。提出了一种知识驱动（knowledge-driven）的个性化场景生成方法，采用分层模型描述场景间的关系，并结合 openscenario 格式的结构化与参数化技术，通过自动化脚本批量生成特定测试场景。但该方法仍主要依赖人工先验知识，其生成能力目前仅适用于结构较为简单的场景类型，难以覆盖复杂的高风险事故场景。

7、2）在场景生成机制层面，现有优化与学习方法难以兼顾关键性、可控性与可解释性：

8、基于梯度优化或强化学习的安全场景生成方法，通常通过定义碰撞概率、最小安全距离、ttc 等指标作为优化目标，在仿真环境中搜索对自动驾驶系统最不利的对抗场景。例如，通过梯度优化对抗车辆轨迹以缩短车辆距离，从而生成“最危险”的碰撞场景，但生成的对抗轨迹往往违反交通规则（如逆行、跨越实线）甚至物理约束。或尝试生成对抗但对自动驾驶系统仍可行的“近失（near-miss）”场景，通过强化学习控制关键背景车辆学习对抗策略，但其行为模式缺乏直观语义解释，容易产生不符合真实交通行为的非自然场景，不利于后续安全分析与事故机理研究。此类方法更关注数值指标的极值搜索，缺乏对真实交通事故语义和规则约束的显式表达，生成的场景在工程实践中常表现为行为异常、难以解释或不符合交通常识，增加了测试结果分析和复现实验的难度。

9、3）在真实事故数据利用方式上的不足：

10、近年来，随着大语言模型自然语言理解能力的发展，部分研究开始尝试结合大语言模型生成自动驾驶测试场景。例如，通过大模型生成关键安全场景的自然语言描述，并结合检索增强技术将自然语言转换为域特定语言表示的测试场景；[论文7]利用大模型将自然语言描述的干扰因素注入基础场景中以形成安全关键场景，但其干扰因素主要来源于预先构建的数据集。这些方法或多或少依旧需要人类参与场景的设计，也难以覆盖真实交通中的长尾风险情形。

11、此外，一些研究开始利用交通事故数据或自然驾驶数据进行场景生成与风险建模，但现有方法多侧重于从事故数据中学习整体参数分布或时序演化规律，生成目标主要集中于分布层面上的场景多样性提升，而非面向具体事故语义结构的可控扩展。例如，基于真实事故数据库，采用 timegan 学习事故过程中的时序风险特征，并合成一批具有统计相似性的安全关键场景。然而，此类方法通常将事故要素统一纳入生成模型进行整体建模，缺乏对事故中不同类型要素稳定性与扰动性的区分刻画，难以从事故数据中系统性抽象出可复用的行为模式、结构模式及风险触发条件，也难以围绕同一事故在保持其因果结构不变的前提下生成一系列关键程度可调的变体场景。

12、基于大语言模型的部分方法进一步尝试提升事故数据的利用深度。例如，利用大语言模型从事故报告中提取属性，生成结构化的碰撞序列并转化为标准化 openscenario场景；将事故文本报告转换为对应的 openscenario 场景文件，并通过场景反汇编与重组生成派生场景；然而，上述方法主要侧重于事故场景的重建或直接派生，未能对事故中起关键作用的风险因素进行独立建模与复用，限制了事故数据在关键安全场景扩展中的应用价值。

13、因此，如何将真实事故信息转化为可执行仿真场景、事故语义结构化复用以及提高高风险安全关键场景覆盖率成为亟待解决的问题。

技术实现思路

1、本发明所要解决的技术问题在于如何解决现有交通场景生成方法中真实事故信息难以转化为可执行仿真场景、事故语义难以结构化复用以及高风险安全关键场景覆盖不足的问题。

2、本发明通过以下技术手段实现解决上述技术问题的：

3、对真实交通事故草图以及对应的文本摘要进行结构化解析，得到高层事故语义信息；

4、根据所述高层事故语义信息构建包含行为属性、路网结构属性和生成点属性的固定属性以及与事故发生相关的浮动属性；

5、利用所述固定属性在预构建的原语模板库中检索并组装对应的场景代码片段，得到具备基本交通语义的基础场景描述；

6、将所述浮动属性建模为可配置的环境参数以及行为约束规则，利用所述环境参数以及所述行为约束规则对所述基础场景描述进行场景约束以及场景拓展，得到完整场景描述；

7、对所述完整场景描述进行场景级语义一致性校验，得到目标安全关键场景集。

8、可选地，所述对真实交通事故草图以及对应的文本摘要进行结构化解析，得到高层事故语义信息，包括：

9、提取所述真实交通事故草图中的视觉特征；

10、对所述视觉特征进行文本跨模态对齐，得到视觉实体特征；

11、利用预构建的语义解析大语言模型对所述视觉实体特征以及所述文本摘要进行语义解析，得到高层事故语义信息。

12、可选地，所述根据所述高层事故语义信息构建包含行为属性、路网结构属性和生成点属性的固定属性以及与事故发生相关的浮动属性，包括：

13、对所述高层事故语义信息进行实体识别与标注；

14、对实体识别与标注后的所述高层事故语义信息进行行为属性、路网结构属性和生成点属性的关系抽取，得到包含行为属性、路网结构属性和生成点属性的固定属性；

15、利用可变长度的属性列表结构从所述高层事故语义信息中提取初始浮动属性；

16、对所述初始浮动属性进行干扰信息过滤，得到与事故发生相关的浮动属性。

17、可选地，所述利用所述固定属性在预构建的原语模板库中检索并组装对应的场景代码片段，得到具备基本交通语义的基础场景描述，包括：

18、在预构建的原语模板库中分别检索所述行为属性、所述路网结构属性以及所述生成点属性对应的原语代码片段；

19、根据所述固定属性构建基础场景的场景骨架生成逻辑；

20、根据所述场景骨架生成逻辑对所述原语代码片段进行组装，得到基本场景骨架；

21、对所述基本场景骨架进行信息编码，得到具备基本交通语义的基础场景描述。

22、可选地，所述根据所述固定属性构建基础场景的场景骨架生成逻辑，包括：

23、根据所述固定属性中的路网结构属性构建交通场景的空间结构约束；

24、根据所述固定属性中的生成点属性构建交通参与体的初始布局；

25、根据所述固定属性中的行为属性为所述交通参与体分配高层行为规则；

26、汇集所述空间结构约束、所述初始步距以及所述高层行为规则，得到场景骨架生成逻辑。

27、可选地，所述利用所述环境参数以及所述行为约束规则对所述基础场景描述进行场景约束以及场景拓展，得到完整场景描述，包括：

28、利用所述环境参数以及所述行为约束规则对所述基础场景描述进行场景约束，得到约束场景；

29、根据所述环境参数、所述行为约束规则以及所述基础场景描述利用预设的提示模板生成关键安全场景；

30、汇集所述约束场景以及关键安全场景，得到完整场景描述。

31、可选地，所述对所述完整场景描述进行场景级语义一致性校验，得到目标安全关键场景集合，包括：

32、利用预设的语义规则校验所述完整场景描述的逻辑约束以及语义冲突；

33、在校验不通过时，返回所述利用所述环境参数以及所述行为约束规则对所述基础场景描述进行场景约束以及场景拓展，得到完整场景描述的步骤；

34、在校验通过时，将所述完整场景描述作为目标安全关键场景集合。

35、为了解决上述问题，本发明还提出一种自动驾驶安全关键场景生成系统，所述系统包括：

36、语义解析模块，用于对真实交通事故草图以及对应的文本摘要进行结构化解析，得到高层事故语义信息；

37、属性构建模块，用于根据所述高层事故语义信息构建包含行为属性、路网结构属性和生成点属性的固定属性以及与事故发生相关的浮动属性；

38、基础场景描述生成模块，用于利用所述固定属性在预构建的原语模板库中检索并组装对应的场景代码片段，得到具备基本交通语义的基础场景描述；

39、场景约束以及场景拓展模块，用于将所述浮动属性建模为可配置的环境参数以及行为约束规则，利用所述环境参数以及所述行为约束规则对所述基础场景描述进行场景约束以及场景拓展，得到完整场景描述；

40、语义校验模块，用于对所述完整场景描述进行场景级语义一致性校验，得到目标安全关键场景集。

41、本发明还提供一种处理设备，其特征在于，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述自动驾驶安全关键场景生成的方法。

42、本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述自动驾驶安全关键场景生成的方法。

43、本发明的优点在于：

44、本发明将真实交通事故草图以及对应的文本摘要进行结构化解析，得到高层事故语义信息，根据高层事故语义信息构建固定属性以及浮动属性，可以将固定属性进一步抽象为可复用、可组合的场景代码片段，并为其预定义参数化代码模板，通过组合原语代码片段而非端到端生成完整场景脚本的方式构建场景骨架，显著降低了大模型生成过程中的语法错误与语义冲突风险，提高了生成场景表示的准确性、稳定性与一致性；

45、将浮动属性建模为可配置的环境参数以及行为约束规则，利用环境参数以及行为约束规则对基础场景描述进行场景约束以及场景拓展，得到完整场景描述，将浮动属性以独立、可叠加的方式作用于已验证的场景骨架，实现了一种“结构不变、风险可调”的场景生成机制，使同一基础场景可以对应多种不同危险程度的场景实例，为自动驾驶系统提供更具针对性和可解释性的测试样本；能够不依赖大规模事故数据的直接复现，而是通过少量关键浮动属性的组合与注入，显著扩展测试场景的风险分布范围，在保证场景合理性与可执行性的同时，提高了自动驾驶测试在长尾情景下的覆盖能力与效率。

46、进一步地，通过在浮动属性的干扰信息过滤时、原语代码片段校验以及完整场景描述进行场景级语义一致性校验时等多个阶段引入分层次的语义一致性与可执行性验证机制，对生成结果进行约束与校验，当检测到语义冲突、不合理属性组合或不可执行情况时，系统能够回溯至对应步骤进行修正或重生成，从而保证最终输出的场景在语义合理性、现实一致性及仿真可执行性方面均满足工程应用要求。