光电混合视觉处理系统、及其设计方法和任务迁移方法与流程

摘要: 本发明涉及视觉处理,尤其涉及一种光电混合视觉处理系统、及其设计方法和任务迁移方法。背景技术:1、现有基于超表面的光电混合视觉系统通常存在以下问题。2、第一,现有...
光电混合视觉处理系统、及其设计方法和任务迁移方法与流程

本发明涉及视觉处理,尤其涉及一种光电混合视觉处理系统、及其设计方法和任务迁移方法。

背景技术:

1、现有基于超表面的光电混合视觉系统通常存在以下问题。

2、第一,现有超表面光电混合系统多采用面向特定视觉任务的固化设计。超表面的结构参数一旦完成设计与制备,便难以在实际部署后重新调整。因此,若系统需要从一个任务迁移到另一个任务,例如从分类迁移到检测、从检测迁移到分割、从静态图像迁移到视频理解,往往需要重新设计、重新优化甚至重新制备新的超表面器件。这导致系统缺乏任务迁移能力和平台复用能力。

3、第二,可调超表面虽然理论上可以通过电控、热控、相变材料、mems 或液晶等方式实现动态调制,但其大面积量产、一致性、响应速度、寿命、成本、工艺稳定性和系统集成仍不成熟。对于真实边缘视觉系统,尤其是车载、机器人、智能家居、工业检测等场景,目前更现实的技术路线仍然是使用固定无源超表面器件。

4、第三,现有光学神经网络或超表面视觉系统往往试图直接模拟数字神经网络中的特定卷积核或线性层。此类方法通常要求每个meta-atom或nano-pillar精确实现某个预设权重,导致对制备误差、对准误差和材料波动高度敏感。同时,由于这些光学权重与某一训练任务强绑定,跨任务泛化能力较弱。

5、第四,若仅采用任务无关的通用光学前端,虽然可以提高系统的可迁移性,但对于具体任务的性能可能不足;若仅采用任务特定的光学前端,虽然可以提高单任务性能,但会显著降低跨任务复用能力。

6、因此,需要一种新的超表面光电混合架构,在固定超表面可量产的现实约束下,同时获得较好的任务通用性、任务特异性、迁移便利性和系统可扩展性。

技术实现思路

1、本发明的目的在于提供一种光电混合视觉处理系统、及其设计方法和任务迁移方法,以解决现有超表面视觉系统难以同时兼顾通用迁移能力和特定任务性能的技术问题。

2、为实现上述发明目的之一,本发明一实施方式提供一种光电混合视觉处理系统,其包括:任务无关光学模组,设置于第一路光路中,用于对输入光场进行通用光学编码,生成跨任务可复用的第一光学特征;所述通用光学编码用于提取与输入光场对应的输入场景中的基础几何结构、局部纹理信息和空间频率分布,所述第一光学特征为面向多个高层视觉任务共用的低层光学信号;任务特定超表面模组,设置于第二路光路中,用于对同一物方光场信息进行面向目标视觉任务的光学编码,生成任务增强的第二光学特征;以及后端数字处理模型,用于对所述第一光学特征和所述第二光学特征进行融合处理并输出视觉任务结果。

3、进一步地,所述系统还包括:图像传感单元,所述图像传感单元设置于两路光路中,用于将所述第一光学特征和所述第二光学特征分别转换为第一特征图和第二特征图。

4、进一步地,所述图像传感单元采用以下任一种方式实现:两个独立图像传感器,分别设置于所述任务无关光学模组和所述任务特定超表面模组中,用于分别接收所述第一光学特征和所述第二光学特征;一个图像传感器上的两个成像区域,分别接收所述第一光学特征和所述第二光学特征;同一图像传感器通过波长复用、偏振复用、空间复用或时间复用,分别接收所述第一光学特征和所述第二光学特征。

5、进一步地,所述系统还包括:物方成像输入单元,用于接收输入光场;光路分配单元,用于将从所述物方成像输入单元接收的光场信息分别分配至所述第一路光路和所述第二路光路。

6、进一步地,所述光路分配单元采用空间并行光路形式,以使所述任务无关光学模组和所述任务特定超表面模组同时接收同一时刻的输入光场信息。

7、进一步地,所述任务无关光学模组采用以下一种或多种结构实现:rbf-like径向基函数类结构、随机特征映射结构、高斯分布超表面结构、多尺度散射结构、宽带稳定结构、边缘增强结构、局部纹理增强结构、低相干强度编码结构、以及多通道空间编码结构。

8、进一步地,所述任务无关光学模组为基于包含多个不同视觉任务类别的数据集训练优化得到的通用编码模组,其参数被配置为面向多个视觉任务提供共用光学特征,并且所述任务无关光学模组的参数在设计完成后固定不变;所述任务特定超表面模组与所述后端数字处理模型的参数,通过针对目标视觉任务进行端到端联合优化训练得到,其中,在端到端联合优化训练过程中将所述任务无关光学模组的参数保持固定。

9、本发明一实施方式还提供一种光电混合视觉处理系统的设计方法,其用于如上所述的光电混合视觉处理系统,所述方法包括:获得参数固定的任务无关光学模组,所述任务无关光学模组用于对输入光场进行通用光学编码;以所述任务无关光学模组的参数作为固定约束,针对目标视觉任务,对所述任务特定超表面模组和所述后端数字处理模型进行端到端联合优化设计,获得所述任务特定超表面模组和所述后端数字处理模型的参数。

10、进一步地,获得参数固定的任务无关光学模组具体包括:基于多个不同视觉任务类别的数据集,对所述任务无关光学模组的参数进行训练优化,使所述任务无关光学模组输出的第一光学特征包含输入场景中的基础几何结构、局部纹理信息和空间频率分布。

11、进一步地,在对所述任务特定超表面模组和所述后端数字处理模型进行端到端联合优化设计时,以所述任务无关光学模组输出的第一光学特征作为既定前提,使所述任务特定超表面模组学习第一光学特征之外的补充判别信息。

12、进一步地,对所述任务特定超表面模组和所述后端数字处理模型进行端到端联合优化设计具体包括:将所述任务无关光学模组的参数保持固定;对所述任务特定超表面模组和所述后端数字处理模型进行参数随机初始化;构建损失函数,并以最小化所述损失函数为目标,对所述任务特定超表面模组和所述后端数字处理模型的参数进行联合优化训练。

13、进一步地,所述损失函数构建为:,其中,为任务损失函数,用于衡量所述后端数字处理模型的预测输出与真实标签之间的差异;表示所述后端数字处理模型基于所述第一特征图和所述第二特征图融合后输出的预测结果,=,表示所述任务无关光学模组,表示所述任务特定超表面模组,表示所述任务特定超表面模组的待优化参数,表示所述后端数字处理模型的待优化参数,

i表示输入光场,表示所述后端数字处理模型,表示任务标签,为特征解相关惩罚项,用于约束所述第一特征图和所述第二特征图之间的相关性,为基于所述第一光学特征经图像传感单元转换得到的第一特征图,为基于所述第二光学特征经图像传感单元转换得到的第二特征图,λ为惩罚系数。

14、进一步地,所述特征解相关惩罚项采用两路特征的余弦相似度度量:,其中,所述惩罚系数λ采用动态调整策略:训练初期设置较小数值,以使所述任务损失函数主导优化过程以保证网络收敛,之后逐步增大λ的值以强制实现特征解耦。

15、本发明一实施方式还提供一种光电混合视觉处理系统的任务迁移方法,其于如上所述的光电混合视觉处理系统,所述方法包括:当系统需要迁移到新的目标视觉任务时,采用以下方式之一实现迁移:方式一:保持所述任务无关光学模组和所述任务特定超表面模组均不变,仅对所述后端数字处理模型进行微调;方式二:保持所述任务无关光学模组不变,关闭所述任务特定超表面模组,仅基于所述任务无关光学模组输出的所述第一光学特征重新训练所述后端数字处理模型;方式三:保持所述任务无关光学模组不变,将所述任务特定超表面模组作为可更换任务插件,不同任务对应不同的所述任务特定超表面模组。

16、本发明的有益效果在于:本发明采用并行双模组架构,其中,任务无关光学模组用于提取可跨任务复用的通用光学先验特征,任务特定超表面模组用于提取面向当前任务的增强判别特征,两路特征经后端数字模型融合推理后输出结果,使系统同时具备跨任务迁移的灵活性和面向专项任务的感知精度。