一种基于闭环反馈的深度神经网络防御方法与流程

本发明涉及图像处理，更具体地说，它涉及一种基于闭环反馈的深度神经网络防御方法。

背景技术：

1、车载视觉系统在交通标志识别中通常先由摄像头采集道路图像，再交由深度神经网络完成类别判定。实际道路中，标志牌面、支杆和重力方向之间具有稳定的场景关系，但常规防御流程多集中在图像像素去噪、扰动抑制或网络训练策略上，清理结果进入后续分类前，往往缺少对该类场景关系的闭环校验。对于单支杆交通标志组件，如果仅依据网络内部响应更新清理图，牌面与支杆的相对位置在清理过程中可能出现偏离，而分类器仍会接收该清理结果，导致道路采集信息与分类输入之间的约束不足。工程实现中还需要围绕待防御图像、牌面外边线、支杆中线、重力投影方向和分类输出组织处理链条，避免把交通标志识别防御写成脱离采集对象的抽象流程。

技术实现思路

1、本发明提供一种基于闭环反馈的深度神经网络防御方法，解决了背景技术中提出的技术问题。

2、为了实现上述的发明目的，本发明提供如下的技术方案。

3、一种基于闭环反馈的深度神经网络防御方法，包括：

4、获取单支杆交通标志组件的待防御图像，取得牌面外边线、支杆中线以及与待防御图像对应的重力方向在图像平面内的重力投影方向；

5、以牌面外边线围成的内部作为牌面内部，根据牌面外边线的牌面外侧局部法向与重力投影方向确定牌面下缘，沿与重力投影方向相反的方向延长支杆中线形成支杆向上延长线；

6、当支杆向上延长线与牌面外边线的第一个交点位于牌面下缘且沿所述相反的方向越过第一个交点后进入牌面内部时，将参考关系确定为由下缘穿入，否则确定为非由下缘穿入；

7、基于待防御图像形成初始输入和第零轮融合图，以k表示自1开始的反馈轮次，由深度神经网络生成第k轮清理估计图，并由第k轮清理估计图按相同规则确定第k轮关系；

8、若第k轮关系与参考关系相同，将第k轮清理估计图作为第k轮反馈图，否则将第k-1轮融合图作为第k轮反馈图，其中第1轮反馈时以第零轮融合图作为第k-1轮融合图；根据第k轮反馈图生成第k+1轮清理估计图，并根据第k轮反馈图和第k-1轮融合图更新第k轮融合图，重复至满足终止条件；

9、将满足终止条件时得到的第k轮融合图输入目标分类器，确定交通标志类别。

10、与现有技术相比，本发明具有如下实质性特点和显著进步：

11、本发明以单支杆交通标志组件的待防御图像、牌面外边线、支杆中线和重力投影方向为处理依据，先得到由下缘穿入或非由下缘穿入的参考关系，再在深度神经网络的多轮清理过程中按同一规则复核第k轮关系，并据此选择第k轮清理估计图或第k-1轮融合图作为第k轮反馈图，使图像清理、关系校验、反馈输入和交通标志类别输出形成闭环。由此，网络输出不再只依赖像素扰动后的内部响应，还受到道路场景中牌面与支杆关系的约束，可降低偏离现场关系的清理结果继续参与后续分类的概率，并为交通标志图像分类提供更贴合实际采集场景的防御处理路径。

1.一种基于闭环反馈的深度神经网络防御方法，其特征在于，包括：

2.根据权利要求1所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，确定所述牌面下缘包括：

3.根据权利要求1所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，所述参考关系和所述第k轮关系均取由下缘穿入和非由下缘穿入两种空间拓扑关系。

4.根据权利要求1所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，取得所述重力投影方向、所述牌面外边线和所述支杆中线包括：

5.根据权利要求1所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，形成所述深度神经网络的初始输入包括：

6.根据权利要求5所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，所述深度神经网络包括生成清理网络、反馈图转换网络、初始输入转换网络和拼接结果转换网络；

7.根据权利要求6所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，更新所述第k轮融合图包括：

8.根据权利要求7所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，训练阶段使用相互对应的干净图像、由所述干净图像对应形成的待防御图像以及对应的交通标志类别标签，对预处理卷积层、生成清理网络、反馈图转换网络、初始输入转换网络、拼接结果转换网络和累计融合网络执行联合反向传播，其中，感知损失表征所述干净图像与满足所述终止条件时得到的第k轮融合图的感知差异，恢复损失表征所述干净图像与满足所述终止条件时得到的第k轮清理估计图的图像差异，分类损失表征目标分类器输出与所述交通标志类别标签的分类差异，以所述感知损失、所述恢复损失和所述分类损失形成总损失，根据所述总损失更新并保存防御网络权重，所述防御网络权重用于生成所述第k轮清理估计图、生成所述第k+1轮清理估计图以及更新所述第k轮融合图。

9.根据权利要求1所述的一种基于闭环反馈的深度神经网络防御方法，其特征在于，确定所述交通标志类别包括：