一种基于深度学习的无人驾驶场景理解方法及系统与流程

摘要: 本发明涉及人人工智能与无人驾驶,具体为一种基于深度学习的无人驾驶场景理解方法及系统。背景技术:1、自动驾驶技术已经逐步落地于城市道路、高速通勤等多种出行场景,场...
一种基于深度学习的无人驾驶场景理解方法及系统与流程

本发明涉及人人工智能与无人驾驶,具体为一种基于深度学习的无人驾驶场景理解方法及系统。

背景技术:

1、自动驾驶技术已经逐步落地于城市道路、高速通勤等多种出行场景,场景理解作为自动驾驶系统的核心环节,直接决定车辆对周边环境、交通参与者的识别与处置能力。当前主流自动驾驶方案普遍搭载摄像头、毫米波雷达、定位设备、惯性传感器等多种车载传感装置,依靠多类设备同步采集道路画面、障碍物距离、位置信息以及车身运行状态,依靠深度学习算法完成数据融合与环境解析。道路交通环境具备高度动态化特征,车流、行人、道路标识、信号灯等要素持续发生变化,雨雪、逆光、隧道遮挡等工况还会持续干扰传感采集精度。行业内普遍依靠数据融合算法整合多路传感信息,再结合风险判断逻辑输出车辆控制指令,整套感知决策链路需要满足实时性、稳定性两大硬性要求,同时行业逐步提出自动驾驶决策可解释性的落地需求,以此支撑自动驾驶功能合规落地与故障溯源,各类面向无人驾驶场景理解的算法架构随之成为行业重点研发方向。

2、现有无人驾驶场景理解方案多采用线性加权方式完成多源传感数据融合,无法根据不同传感器实时采集偏差动态调整信息权重,在环境干扰较强的场景下易放大噪声数据影响,丢失道路场景细微特征。常规方案缺少对融合特征梯度信息的提取流程,难以捕捉特征数据时序变化趋势,风险判断仅依靠静态特征完成计算,无法识别交通参与者动态变化带来的潜在危险。传统风险分析手段仅依靠简单阈值对比判断危险等级,不区分环境固定要素与车辆交互动态要素,缺少因果推理逻辑,无法区分风险诱因的主次关系,难以锁定真正引发冲突的交通实体。迭代计算过程缺少约束机制,容易出现输出数值波动发散,风险判定结果稳定性不足。同时现有系统仅输出车辆控制信号,缺少完整可追溯的决策解释内容,无法向驾乘人员、运维人员清晰展示避险动作的生成依据,分级避险动作匹配逻辑单一,难以适配不同层级风险对应的精细化操控需求。

技术实现思路

1、本发明的目的就是为了弥补现有技术的不足,提供了一种基于深度学习的无人驾驶场景理解方法及系统,通过同步采集道路影像、测距、定位、车速姿态四类数据,经幂次耦合融合与噪声压制得到最优融合特征;再求取数值梯度,构建动态概率因果图,结合可微逻辑加权与反事实推理锁定核心致险实体,经时空迭代优化生成场景解析结果;最后匹配分级避险策略,生成可解释决策文本并转为车辆电控指令,有效提升了复杂交通场景下的感知精度与决策可解释性,增强了无人驾驶系统的安全性与可靠性。

2、本发明为解决上述技术问题,提供如下技术方案:一方面,一种基于深度学习的无人驾驶场景理解方法,该方法包括:

3、s100、多源数据同步采集;依托车载传感设备同步获取道路影像、车辆测距、定位坐标、车速姿态四类原始感知数据,将全部采集数据统一录入存储载体完成时序绑定留存;

4、s200、幂次耦合特征融合;调取时序绑定留存的原始感知数据,运行幂次耦合特征融合算法对各路数据开展非线性加权耦合与噪声压制处理,输出最优融合特征向量;

5、s300、特征梯度求取运算:针对最优融合特征向量执行一阶微分求解操作,得到匹配融合特征对应数值梯度量;

6、s400、梯度时空迭代调控:调用最优融合特征向量与对应数值梯度量搭建动态概率因果图,求解各交通实体因果风险度,结合可微逻辑加权规则与反事实因果推理锁定核心致险实体,启动梯度时空迭代调控算法结合上一时刻场景判定结果开展闭环迭代优化,生成当前时刻场景解析输出量;

7、s500、行车指令映射下发:依据当前时刻场景解析结果与多级风险阈值匹配对应避险策略,自动生成可解释自然语言决策文本,同步匹配行车操控基准库,转化生成车辆转向、制动、加速三类电控指令并直接发送至车载执行机构。

8、进一步地,所述道路影像包含车前全景影像、车辆侧方影像、车尾后视影像,采用车载高清摄像头同步连续拍摄采集;车辆测距包含车辆前方障碍物距离、侧方来车距离、后方跟车距离,采用车载毫米波雷达实时探测采集;定位坐标包含车辆实时经度、车辆实时纬度、车辆海拔高度,采用车载卫星定位设备持续定位采集;车速姿态包含瞬时行驶车速、车身俯仰角度、车身横摆角度、车身侧倾角度,采用车载惯性传感器动态采集,四类设备接收同一同步触发信号启动采集,采集所得全部数据通过附加统一时间戳录入存储载体完成时序绑定归档,所述时序绑定指将全部采集数据统一写入存储载体的连续存储区域,通过为每条数据附加统一时间戳字段建立时序关联索引,后续调取时以该时间戳为检索键值读取同一采集周期的完整数据集。

9、更进一步地,所述幂次耦合特征融合算法的数学表达式为:,式中为最终输出的最优融合特征向量;n代表参与融合的原始感知数据总路数,固定取值为4;i为数据通道序号,依次对应道路影像、车辆测距、定位坐标、车速姿态;为第i路经归一化处理后的原始感知数据,取值范围为[0,1];为依据单路数据历史偏差数值动态生成的自适应权重系数,且满足=1,∈(0,1];为全局耦合幂次系数,控制多路数据非线性耦合强度;为全部原始感知数据整体分布标准差,用于量化数据扰动噪声幅度;为全部原始感知数据整体分布均值;为极小常数,设定取值10-8,用于杜绝分母计算出现零值无意义情形;该式先对各路数据幂次加权耦合,再通过指数项完成全局噪声压制,整体公式运算后输出维度统一的最优融合特征向量,全程仅调用本批次时序绑定留存原始数据,不引入外部额外数据参与计算。

10、更进一步地,所述道路影像是高维图像矩阵,车辆测距为低维标量,定位坐标为三维标量,车速姿态为四维标量;在执行幂次耦合特征融合前,先对道路影像通过卷积神经网络编码器提取一维特征向量,对车辆测距、定位坐标、车速姿态分别进行标准化编码为统一维度的标量或向量,再经拼接对齐形成统一维度的特征向量后代入幂次耦合特征融合算法。

11、更进一步地,所述一阶微分求解沿最优融合特征向量一维排布维度逐项差分计算,将最优融合特征向量记为一维有序向量,m为最优融合特征向量固定维度总数,沿向量元素排布顺序逐项完成前向一阶差分微分求解,向量首位元素无前序参照项,直接赋值为;自第二位至最后一位元素对应梯度依照逐位计算,k取值范围为;全部求解得到的梯度数值严格依照原向量元素排列顺序依次排布,生成维度数量、序列次序与最优融合特征向量完全一致的数值梯度量,同步为最优融合特征向量与数值梯度量绑定同组索引标识存入临时缓存区域,所述数值梯度量用于表征融合特征向量各维度元素之间的数值变化幅度,为后续动态概率因果图中节点状态转移概率计算提供动态变化参考依据。

12、更进一步地,所述动态概率因果图包含外生因果节点与内生因果节点两类节点,所述外生因果节点为不受本车行为影响的固定环境变量,所述内生因果节点为受本车行为影响的动态交互变量;外生因果节点涵盖交通信号灯状态、道路限速标识、车道排布信息,内生因果节点包含本车运动参数、周边车辆变道与加减速行为、行人及非机动车行进动向,节点间以带权重有向边表征因果影响关联;对场景内单个实体节点依次施加独立因果干预,对比干预前后危险冲突事件发生概率变化结果,将概率数值定为对应交通实体的因果风险度,汇总全部实体风险参数后再接入梯度时空迭代调控算法完成闭环迭代优化,所述动态概率因果图的构建方式为:将最优融合特征向量中的各维度元素按照预设的语义映射规则分组,每组对应一个交通实体节点;节点状态定义为该实体在预设离散状态空间中的当前取值;有向边权重基于历史统计数据中父节点状态变化时子节点状态发生转移的条件概率预先计算并固定存储,运行阶段直接调取预设权重值构建完整因果图。

13、更进一步地,所述梯度时空迭代调控算法的数学表达式为:,式中t指代上一运算时序节点,t+1指代当前待生成的运算时序节点;和为维度与f(x)相同的向量;为上一时刻经迭代生成的场景解析输出量;为本轮迭代运算后输出的当前时刻场景解析输出量;为最优融合特征向量;为特征梯度求取运算得到的数值梯度量;为时序迭代记忆系数,其取值范围为(0,1],用于限制双曲正切函数映射区间以约束场景判定结果波动范围;为梯度修正约束系数,其取值为正实数,用于控制梯度量对融合向量的修正幅度;所述的场景解析输出量为包含各交通实体风险度与核心致险实体标识的结构化向量数据,其维度与保持一致,各维度位置与中各特征元素一一对应;所述迭代的终止条件为相邻两次迭代输出的场景解析输出量之差的范数小于预设阈值0.02,或迭代次数达到预设最大迭代次数上限;双曲正切函数约束整体输出值域区间(-1,1),防止迭代数值发散溢出,单轮计算完成后比对前后两次输出结果差异,当|-|<0.02时终止迭代,输出作为最终场景解析结果。

14、更进一步地,所述避险策略为基于实体因果风险度层级划分的分级行车避险调控策略,包含减速提醒策略、主动避让策略、强化避让策略、紧急制动策略四类;预设逐级递增的多级风险判定阈值,分别为0.3、0.6、0.8,对应低、中、较高、高风险等级,匹配方式为:将各交通实体实时因果风险度依次与多级风险阈值进行比对,当风险度落入对应阈值区间时,自适应匹配对应层级避险策略;风险度<0.3为低风险区间,匹配减速提醒策略,执行限速控速、拉大跟车距离调控逻辑;风险度0.3~0.6为中风险区间,匹配主动避让策略,执行最大减速度不超过0.3g、最大转向角不超过10°的调控逻辑;风险度>0.6且≤0.8为较高风险区间,匹配强化避让策略,执行最大减速度不超过0.6g、最大转向角不超过25°的调控逻辑;风险度>0.8为高风险区间,匹配紧急制动策略,执行全力紧急制动、锁止行车状态调控逻辑。

15、更进一步地,所述可微逻辑加权规则为依托可微逻辑网络对预置的道路交通一阶逻辑通行规则进行动态赋权的自适应优化规则,道路交通一阶逻辑通行规则定义为预先编码的标准化道路硬性通行约束,包含限速规则、路口让行规则、车道通行权规则、信号灯通行规则,可根据当前实时路况、车流密度与环境工况动态调整各条交通规则的置信权重,强化适配当前场景的有效规则权重、弱化无关规则权重,实现交通规则的差异化加权适配;所述反事实因果推理为基于构建的动态概率因果图开展的虚拟干预推理方式,针对风险度超出0.3、0.6、0.9多级阈值的交通实体节点,人为修改对应实体的运动状态、位置行为参数,模拟无危险行为的反事实虚拟场景,分别计算真实场景与虚拟场景下的风险事件发生概率,通过对比两组概率差值大小,筛选出风险概率降幅最大的实体,将其判定为当前场景的核心致险实体。

16、更进一步地,所述自动生成可解释自然语言决策文本,是基于前序反事实因果推理得到的核心致险实体、实体危险行为、风险概率降幅及匹配的分级避险策略,调用预设的标准化语句模板自动编译生成;标准化语句模板预先搭建风险来源、致险行为、避险原因、反事实对照四类固定文本字段,可根据风险等级填充对应参数;可解释自然语言决策文本内容包含实时行车场景风险来源、致险实体具体危险行为、当前车辆执行避险动作的核心原因,同时搭载反事实对照描述,模拟无危险行为的安全行车场景;根据不同风险层级差异化生成对应解释文案,低风险场景输出控速跟车提示说明,中风险场景输出避让避险行为解释,较高风险场景输出强化避让解释说明,高风险场景输出紧急制动决策说明,生成的自然语言文本同步存储至车载日志、推送至车载中控屏,实现车辆智能决策的可视化、可溯源解释。

17、另一方面,一种基于深度学习的无人驾驶场景理解系统,该系统包括:

18、多源数据采集模块:通过车载传感设备同步采集道路影像、车辆测距、定位坐标、车速姿态四类原始感知数据,对所有数据进行统一存储与时序绑定;

19、幂次耦合特征融合模块:读取时序绑定的多源感知数据,通过幂次耦合融合算法完成多路数据非线性加权耦合与噪声压制,融合多维度感知信息,输出全局最优融合特征向量;

20、特征梯度求解模块:对最优融合特征向量进行一阶微分运算,求取精准匹配场景特征的数值梯度量;

21、梯度时空迭代与因果推理模块:利用融合特征与梯度量构建动态概率因果图,计算各交通实体因果风险度;通过可微逻辑加权规则自适应匹配交通规则,结合反事实因果推理锁定核心致险实体,再经时空迭代优化输出高精度场景解析结果;

22、行车决策与指令下发模块:根据场景解析结果与多级风险阈值自适应匹配对应避险策略,生成可解释自然语言决策文本,结合行车操控基准库输出转向、制动、加速电控指令,下发至车载执行机构完成智能行车响应。

23、与现有技术相比,该一种基于深度学习的无人驾驶场景理解方法及系统具备如下有益效果:

24、一、本发明通过同步触发多类车载传感设备完成多维度感知数据采集并统一时序绑定,依托幂次耦合融合方式实现多路感知信息非线性整合,搭配噪声抑制机制削弱光照、天气等外部环境带来的数据干扰,同时动态分配各传感通道权重,弥补单一传感器信息覆盖不全的短板。对融合完成的特征向量执行差分梯度求解,完整留存特征变化趋势信息,缓存阶段同步绑定两组数据索引,规避特征与梯度信息错位问题。整套感知融合流程仅使用本批次同步采集数据,无需调取外部离线数据,有效降低车载终端运算负载,缩短数据处理耗时,强化复杂路况下环境感知的稳定性与完整度,为后续场景风险推演提供高精度、无偏差基础特征数据支撑。

25、二、本发明通过搭建区分内外生节点的动态概率因果图量化各交通实体风险程度,结合可微逻辑网络动态调整交通规则权重,依托反事实推理精准定位场景内主要风险来源,再利用梯度时空迭代机制完成场景结果闭环优化,借助映射约束控制迭代输出区间,避免数值发散。依据分层风险区间匹配分级避险策略,分级输出适配的车辆操控指令,同时依托标准化模板生成分层可解释文本,记录风险源头、避险逻辑与虚拟安全场景并同步存档展示。整套链路打通感知、风险推理、车辆控制全闭环,提升道路风险预判精准度与车辆响应速度,实现自动驾驶决策全程可追溯、可视化,提升行车安全冗余与系统可靠程度。

26、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。