一种传感器内水下图像颜色恢复方法及装置

涉及水下图像处理、光电传感器、忆阻器存算一体电路和模拟集成电路技术，具体包括一种在图像传感器内部完成光谱分离、光敏忆阻存储、局部光约束校正和跨通道颜色补偿的水下图像颜色恢复方法、装置及水下视觉传感器。

背景技术：

1、水下光在传播过程中受到吸收和散射影响，不同波长的衰减程度不同，红光通常比绿光和蓝光衰减更快，致使水下成像传感器获得的图像易出现偏蓝、偏绿、局部照度不均、对比度下降和可见性受损等问题，进而降低水下检测、跟踪、导航、生态监测和遥操作等视觉任务的可靠性。因此，在水下视觉设备中实时恢复图像颜色具有现实必要性。

2、现有水下图像颜色恢复通常在图像传感器完成光电转换和模数转换后，由外部处理器执行。基于成像模型的方法需要估计透射率和背景光，基于颜色恒常的方法采用全局通道增益时容易在局部区域产生过补偿，学习型方法还会引入卷积、非线性运算、特征提取和参数存储。对于持续采集高分辨率视频的水下设备，原始像素的读出、缓存、传输、存储和数字计算会造成较大的延迟和能耗。忆阻器具有非易失、多级可编程电导以及存算一体特性，其交叉阵列能够依据欧姆定律和基尔霍夫电流定律实现乘法与并行求和；将光电传感元件、忆阻存储单元和外围模拟电路集成，有利于在感测位置保持场景状态并直接进行后续运算。

3、然而，忆阻器交叉阵列主要适于乘加运算，现有水下颜色恢复中的局部窗口统计、最大值选择、比例运算和跨通道补偿难以直接由紧凑模拟电路实现，同时还需解决相邻窗口通路隔离、两级电路间中间结果传递以及驱动与稳定采样时序等问题。为此，本发明将局部光约束校正和跨通道颜色补偿分解为电导域、电流域和电压域运算，利用局部窗口选通、忆阻阵列与外围模拟电路完成校正和补偿，并在最终数字读出前直接传递中间模拟结果，以减少完整中间帧的数字化、回写和外部数据搬移。

技术实现思路

1、本发明的目的在于提供一种传感器内水下图像颜色恢复方法及装置，以在最终数字读出之前完成局部光约束图像校正和跨通道颜色补偿，降低原始帧搬移、外部处理器访问和串行计算开销，同时抑制全局颜色恒常校正造成的局部过补偿。

2、为实现上述目的，本发明提供的装置包括光谱分离组件、三个光敏忆阻传感存储阵列、光约束图像校正电路、颜色补偿电路、控制器和读出电路。光谱分离组件把入射水下场景光分离为红色、绿色和蓝色光学分量；三个光敏忆阻传感存储阵列分别感测对应分量并形成三通道电导状态图；两级模拟电路依次完成局部校正和跨通道补偿；控制器负责驱动、选通、采样、传输和重构；读出电路只对恢复后的三通道输出执行最终模数转换。

3、设输入图像为i，三个颜色通道分别为、和，通道c的全局平均强度为，主导通道索引d为：

4、 （1）

5、由d索引的通道记为主导通道，另外两个通道记为从属通道和。通道识别既可由对三个通道电导状态求和的列电流及最大值选择电路完成，也可由低开销控制逻辑读取三路统计电压后完成。

6、对坐标为(x,y)的目标像素建立局部窗口w。表示通道c中与该窗口对应的局部区域，和分别为通道局部均值及三个通道局部均值的平均值：

7、 （2）

8、定义目标像素的光约束因子为该通道像素强度与同一坐标三通道最大强度的比值：

9、 （3）

10、光约束图像校正输出为：

11、 （4）

12、式（4）中的/用于按局部通道统计量进行颜色校正，用于依据目标像素相对亮度抑制过度补偿。局部窗口逐像素移动或由多个阵列并行覆盖，从而产生校正后的三通道图。

13、光约束图像校正电路包括局部窗口选通网络、灰度权重计算模块、光权重计算模块和像素强度计算模块。局部窗口选通网络使用nmos晶体管、传输门或等效开关隔离相邻窗口；灰度权重计算模块利用忆阻阵列列电流和运算放大器得到式（2）的统计量；光权重计算模块利用目标像素支路、二极管最大值选择支路和运算放大器得到式（3）的分子、分母；像素强度计算模块利用模拟乘法与除法单元实现式（4）。

14、图像强度与忆阻电导按照比例因子a映射。对于通道n中坐标(i,j)的像素，有：

15、 （5）

16、设局部窗口内参加平均的像素数为，灰度权重计算模块的平均忆阻器可配置为。字线施加时，局部通道均值对应的电压与成比例。比例因子a、驱动电压和外围参考电阻可根据器件电导窗口及运算放大器线性范围进行协同缩放。

17、作为红色通道目标像素(2,2)的示例，灰度权重计算模块的第一输出可表示为：

18、 （6）

19、其中，为与目标像素对应的红色通道局部窗口，。三个通道的第一输出经过求和和三等分后得到：

20、 （7）

21、光权重计算模块把目标像素电导转换为、和，并通过二极管和运算放大器最大值支路产生。像素强度计算模块计算两个电压比与目标像素电压的乘积，其输出与式（4）的校正强度仅相差固定比例常数。

22、光约束校正完成后，计算三个校正通道的平均强度。对于两个从属通道，定义：

23、 （8）

24、为红、绿、蓝每个输出通道分别设置独立的系数、和，并令。主导通道的补偿输出为：

25、 （9）

26、两个从属通道的补偿输出为：

27、 （10）

28、 （11）

29、采用九个相互独立的系数可避免三个输出通道被迫共享同一混合关系。主导通道直接接收两个经各自均值比加权的从属校正信号，两个从属通道分别接收校正后的主导通道信号及另一从属原始信号，由此在不同衰减关系下恢复通道间的颜色平衡。

30、颜色补偿电路包括主导通道支路、两个从属通道支路、原始像素忆阻阵列、校正像素忆阻阵列、比例电阻、运算放大器和可重构字线驱动网络。系数通过字线电压实现，为、、或。通过改变字线电压和选通连接，同一电路拓扑可完成主导通道与从属通道运算。

31、对于从属通道s的目标像素，颜色补偿电路的输出满足：

32、 （12）

33、对于主导通道，输出满足：

34、 （13）

35、式（12）和式（13）的比例系数相同，读出电路可在统一标定后获得三个恢复通道。校正后的像素既可直接采样保持并送入颜色补偿电路，也可在受控写入周期中写入对应的校正像素忆阻阵列；两种实现均无需在两级模拟模块之间构建完整的外部数字帧。

36、控制器把一个驱动周期划分为模拟计算阶段以及重构与传输阶段。在模拟计算阶段，选定阵列路径和外围模块接收高电平驱动；输出经过瞬态响应后进入稳定采样区间，控制器在该区间取得一个或多个样本并可对样本求平均。在重构与传输阶段，控制器更新局部窗口、阵列连接、字线电压和级间存储路径，为下一周期准备新的活动区域。

37、在一种实施例中，驱动周期为5μs，占空比为50%，模拟计算阶段和重构传输阶段各为2.5μs；输出在上升沿后约1.2μs进入稳定区间，并在稳定区间内取5个样本。上述数值为示例，可根据器件速度、阵列rc参数和外围放大器建立时间调整。

38、与现有技术相比，本发明至少具有以下有益效果：第一，场景光在传感端形成非易失多级电导状态，可直接作为恢复计算的操作数；第二，局部均值、最大强度、乘除及跨通道加权被映射为阵列电流、运算放大器和紧凑模拟模块，降低外部数字计算量；第三，光约束因子抑制局部过补偿，独立通道系数改善不等波长衰减下的颜色平衡；第四，两级电路之间直接传递模拟结果，仅在颜色补偿结束后执行最终adc读出，从而减少原始帧数据搬移。