车载摄像头图像经智能体预处理的视觉重构方法及系统与流程

本发明涉及图像数据处理与视觉重构，具体涉及一种车载摄像头图像经智能体预处理的视觉重构方法及系统。

背景技术：

1、车载摄像头通常设置透明保护窗，并透过保护窗采集用于图像融合和环境建模的道路环境图像。雨水、油膜或泥尘附着于保护窗表面时，会改变入射光的透射、散射和点扩散特性，使图像出现模糊、雾化或局部遮挡。为减轻由此造成的图像退化，现有方案一般根据连续帧图像或附加传感信息判断退化状态，再调用相应图像处理算子；部分方案还采用控制程序或智能体安排污染测量和算子调用。该类方案在一定条件下能够改善图像质量，但仍存在以下不足：

2、第一，窗固定污染、远处场景内容以及本车运动和滚动快门逐行曝光引起的图像变化，可能呈现相近特征。本车运动不足或局部匹配不可信时，仅凭帧间稳定性难以确定图像成分是否附着在保护窗上，后续污染判断及其对应的重构范围因而缺少可靠依据。

3、第二，利用附加传感信息确认污染时，候选测量通常按预定顺序或污染分类结果选取，未与当前像素的重构误差直接关联。新增测量可能未针对影响重构验收的主要不确定因素，因而难以确定其能否使重构候选值达到写入条件以及是否需要继续测量。

4、第三，采用单一污染反演值、置信分数或平均性能评价重构结果，难以覆盖与实际观测相容的其他污染状态，也难以统一计入污染退化、图像噪声、模型误差和回投残差。观测存在多解或模型偏差时，重构候选值能否写入输出图像缺少可核验依据。

5、第四，现有方案一般只输出处理后的图像，未同步表明各像素的验收状态和误差范围。后续图像融合或环境建模难以区分重构值与验收失败后保留的原始观测值，也难以据此确定不同像素的使用方式。

6、上述问题表明，车载摄像头图像在进入视觉重构前，需要形成能够区分保护窗污染与场景变化的可靠依据，并使后续测量、重构验收和输出状态表达相互衔接。

7、因此，需要一种能够在重构前区分保护窗污染与场景变化、使物理测量响应于像素状态和验收结果，并仅提交满足验收条件且携带状态及误差界的车载摄像头图像经智能体预处理的视觉重构方法及系统。

技术实现思路

1、针对上述技术问题，本发明采用如下技术方案：

2、一方面，本发明提供一种车载摄像头图像经智能体预处理的视觉重构方法，包括：

3、s1：获取车载摄像头图像序列、本车运动参数和滚动快门逐行曝光时刻，形成像素的几何清洁状态、窗固定污染状态或几何证据不可用状态；

4、s2：对几何清洁状态的像素，智能体维护以限定参数域初始化的可容许污染参数集、总输出误差界和已尝试测量组标识集合，模拟各候选导波测量组量程内结果对应的参数集和测后总输出误差界；从所述测量组中，当前总输出误差界有限时选择正缩减量下界最大者，无有限值时选择最坏测后总输出误差界有限且最小者，并执行所选组；

5、s3：根据所选导波测量组返回的联合导波损耗观测误差域收缩参数集的清洁参考分支和膜层分支；仅在更新参数集非空有界、存续清洁参考分支通过损耗域分离核验、存续膜层分支通过归一化雅可比秩核验且污染程度上界低于污染阈值时形成物性清洁证据；

6、s4：对几何清洁且具有物性清洁证据的像素，调用重构算子形成重构候选值，将更新参数集经光学前向模型转换为残余退化界，经区域—像素影响矩阵和算子局部敏感度传播形成污染输出误差界和总输出误差界；

7、s5：仅在污染输出误差界和总输出误差界分别不超过污染误差预算和总误差预算时形成写入许可并写入重构候选值；s1未形成几何清洁状态时结束预处理；s3未形成物性清洁证据或s5未形成写入许可时，若有未尝试测量组、测量预算未用尽且未到预处理截止时刻，智能体维持同帧原值并返回s2；否则结束预处理并写入该原值；写入许可形成或预处理结束后，输出图像、配准的重构状态掩码和认证误差界场，供图像融合按界加权。

8、另一方面，本发明还提供一种车载摄像头图像经智能体预处理的视觉重构系统，包括图像证据形成模块、智能体预处理模块、清洁认证模块、重构验收模块和状态输出模块。五个模块分别执行前述s1至s5：图像证据形成模块形成三种几何证据状态，将几何清洁状态送入智能体预处理模块，将另外两种状态送入状态输出模块；智能体预处理模块维护参数集、总输出误差界和已尝试集合，模拟量程内结果并选择测量；清洁认证模块收缩两类参数分支，将形成的物性清洁证据、清洁认证及更新参数集送入重构验收模块；重构验收模块形成候选值、残余退化界、两类输出误差界及写入许可，并将候选值、写入许可和总输出误差界送入状态输出模块；状态输出模块据此输出候选值或同帧原值以及配准的状态掩码和认证误差界场。物性清洁证据或写入许可未形成且仍可测量时，相应状态反馈至智能体预处理模块并返回s2。

9、进一步地，候选导波测量组的量程内结果分为认证候选单元和拒写单元，仅以前者评价最坏测后误差；参数集包括清洁参考和有限维膜层分支；写入许可还可核验批次一致性和回投残差。未形成写入许可且总输出误差界有限时，可执行可逆空间编码光热探测，以差分观测收缩参数集，并将串扰及状态转移误差计入模型误差界。

10、与现有技术相比，本发明具有以下有益效果：

11、第一，本发明根据本车运动参数和滚动快门逐行曝光时刻形成场景点的预测位移，并以预测位移与实测位移的残差形成几何清洁状态、窗固定污染状态或几何证据不可用状态；运动激励不足、匹配不可信或者时序和深度不满足条件时，不作几何清洁判断。由此，远处场景随本车运动产生的像移、滚动快门逐行曝光造成的时差以及保护窗坐标中的固定成分分别进入相应状态分支，几何证据不足的像素不进入后续物性认证和重构。

12、第二，本发明使智能体读取当前总输出误差界或其无有限值标记、已尝试集合以及候选导波测量组的量程内结果，在已有有限误差界时选择认证候选单元上正缩减量下界最大的测量组，在尚无有限误差界时选择最坏测后总输出误差界有限且最小的测量组；测量返回用于收缩污染参数集，并由同一认证和重构验收链继续处理。由此，导波测量组的选择与其是否可能形成写入许可直接关联，并由已尝试集合、测量预算和预处理截止时刻限定迭代终止。

13、第三，本发明保留与联合导波观测相容的清洁参考分支和膜层分支，仅在更新参数集非空有界且存续分支分别通过损耗域分离或雅可比秩核验时形成物性清洁证据；继而对全部存续污染状态的残余退化作上界传播，并将污染输出误差、噪声输出误差、模型误差和回投观测残差共同用于写入许可判定。由此，写入许可建立在全部存续状态的最坏误差上界上；存在未决分支、无有限上界或者验收条件不成立时，重构候选值不被写入输出图像。

14、第四，本发明以写入许可直接控制重构候选值的提交；未形成几何清洁状态、物性清洁证据或者写入许可且已不可继续测量时，输出同一输入帧的原始观测值，并使输出图像、重构状态掩码和认证误差界场保持空间配准。由此，每一输出像素具有可供后续图像融合直接读取的来源状态，已写入重构候选值的像素同时具有对应的认证误差界，使图像融合能够按来源状态选择输入并按所述认证误差界确定融合权重。