红外视频双路增强输出与缺陷检测方法及系统与流程

本发明涉及图像处理，具体为红外视频双路增强输出与缺陷检测方法及系统。

背景技术：

1、在工业视觉检测及红外设备量产测试环节，需要对红外探测器输出的原始视频流进行实时解析与处理。处理后的图像数据通常需要同步分发至本地端进行视觉监看与缺陷判定，并经由网络传输至后台服务器进行视频编码与归档。

2、现有的红外视频处理方法通常采用单一的图像处理链路，对原始数据进行统一增强处理后，再通过共享缓存向本地和网络端进行分发。由于本地端与网络端对图像特征存在异构需求，这种单一处理架构在实际工况中存在局限。本地视觉监看与机器视觉缺陷识别依赖图像的边缘细节，需要保留高频特征以维持待检目标与背景的对比度；而网络端的视频编码算法对高频噪声敏感，若直接接收并处理包含高频细节的图像，会引起编码码率大幅波动并占用过多网络传输带宽。如果为了降低传输码率而对原始图像进行统一的平滑降噪处理，则会抹除图像中的微小缺陷特征，导致后续检测环节发生漏检。

3、此外，现有系统在遇到网络带宽波动或传输受限时，数据流会在缓存区内发生图像帧积压。由于缺乏针对数据积压状态的底层自适应调度与丢帧机制，网络侧的拥塞会反向增加前端图像处理流水线的整体延迟时间。在流水线连续检测场景下，图像帧从采集、处理到得出缺陷判定结果的耗时变得不可控，破坏了图像处理时序与物料输送位置的同步状态。这种处理延迟直接导致检测系统向自动化分拣机构发送驱动指令时发生动作时序错位，使推杆装置无法作用于对应的待检目标，造成产线分拣过程的错漏剔除。

技术实现思路

1、本发明解决的技术问题在于，现有红外视频检测系统采用单一图像处理链路，无法同时满足网络端平滑降噪以降低传输码率的需求与本地视觉检测保留边缘细节以提升缺陷识别率的需求；网络波动引起的图像帧积压导致系统处理延迟，进而造成产线分拣剔除动作时序错位以及错漏剔除。

2、为解决上述问题，本发明提供如下技术方案：

3、本发明第一方面提供一种红外视频双路增强输出与缺陷检测方法，包括：

4、接收红外探测器输出的像素数据、行同步信号和帧同步信号，结合探测器坏点位置矩阵进行重构与坏点修补，生成预处理图像矩阵；

5、对所述预处理图像矩阵进行灰度映射，生成基础映射灰度值；

6、提取所述基础映射灰度值的灰度梯度幅值和局部像素方差，分别生成本地增强灰度值和网络增强灰度值，并在发生图像帧积压状态时更新网络侧实际读取地址；

7、分别读取由所述本地增强灰度值组成的本地增强图像帧，并根据所述网络侧实际读取地址读取由所述网络增强灰度值组成的网络增强图像帧执行增强输出，并将未经网络侧平滑处理的所述预处理图像矩阵送入独立缺陷检测通路进行缺陷检测，得到缺陷候选连通域面积；

8、当所述缺陷候选连通域面积超过预先标定的缺陷面积阈值时，驱动产线自动化分拣机构完成分拣剔除动作。

9、本发明基于灰度梯度幅值和局部像素方差分别计算增强权重，形成面向本地视觉检测和网络编码传输的双路图像处理分支。本地处理分支利用灰度梯度信息保留图像边缘细节；网络处理分支通过像素方差进行平滑降噪，以降低高频噪声并减小网络侧传输码率。缺陷检测通路独立接收未经平滑降噪的预处理图像矩阵，避免平滑过程引起细微缺陷特征丢失。发生图像帧积压时，通过跳越式更新网络侧实际读取地址放弃中间积压帧，减小系统处理延迟，并根据缺陷候选连通域面积判定结果触发自动化分拣机构的推杆动作。

10、优选的，所述接收红外探测器输出的像素数据、行同步信号和帧同步信号，结合探测器坏点位置矩阵进行重构与坏点修补，生成预处理图像矩阵，包括：

11、将所述行同步信号和所述帧同步信号作为时序基准，将所述红外探测器输出的像素数据重构为原始二维数字矩阵；

12、为所述原始二维数字矩阵按照接收顺序分配帧序号和目标编号，将所述帧序号和所述目标编号写入所述原始二维数字矩阵对应存储空间的帧头；

13、在所述探测器坏点位置矩阵指示所述原始二维数字矩阵存在坏点像素时，使用邻域非坏点像素中值替换所述坏点像素，生成所述预处理图像矩阵。

14、本步骤根据时序基准将像素流重构为矩阵形式，并在对应存储空间的帧头分配帧序号和目标编号，建立数字图像特征与物理待检目标的数据对应关系。通过定位坏点像素并计算其邻域非坏点像素中值进行覆盖替换，消除探测器无效像素节点对后续特征提取计算造成的影响。

15、优选的，所述提取所述基础映射灰度值的灰度梯度幅值和局部像素方差，分别生成本地增强灰度值和网络增强灰度值的步骤中，生成所述本地增强灰度值，包括：

16、根据提取的所述灰度梯度幅值，结合噪声抑制参数生成锐化权重；

17、根据所述基础映射灰度值计算四邻域拉普拉斯细节值；

18、将所述基础映射灰度值、所述锐化权重与所述四邻域拉普拉斯细节值进行叠加计算，生成所述本地增强灰度值。

19、生成本地增强灰度值的过程结合了灰度梯度幅值与噪声抑制参数计算锐化权重，并运用四邻域拉普拉斯细节值对基础映射灰度值进行叠加补强。该过程加大了图像轮廓边缘的灰度变化幅度，提升了局部缺陷区域与背景的灰度对比度。

20、优选的，所述提取所述基础映射灰度值的灰度梯度幅值和局部像素方差，分别生成本地增强灰度值和网络增强灰度值的步骤中，生成所述网络增强灰度值，包括：

21、将所述基础映射灰度值作为中心像素构建局部邻域窗口；

22、计算所述局部邻域窗口内的周围像素均值，并据此计算得到所述局部像素方差；

23、结合所述局部像素方差和所述局部邻域窗口内的周围像素与所述中心像素之间的灰度差计算平滑权重；

24、采用所述平滑权重对所述局部邻域窗口内的所述基础映射灰度值及所述周围像素进行加权融合，生成所述网络增强灰度值。

25、生成网络增强灰度值时构建局部邻域窗口，依靠局部像素方差和中心像素周围的灰度差共同决定平滑权重的大小。对基础映射灰度值和周围像素进行加权融合，在灰度波动较小的区域滤除随机噪声点，减小图像帧内的空间冗余，从而降低网络视频编码及传输过程中的数据量。

26、优选的，所述在发生图像帧积压状态时更新网络侧实际读取地址，包括：

27、根据网络缓存写指针位置和网络缓存读指针位置，监测并确定发生所述图像帧积压状态的缓存积压帧数；

28、在所述缓存积压帧数达到预设的拥塞触发条件时，根据所述缓存积压帧数计算自适应跳帧步长；

29、在所述自适应跳帧步长大于1时，跨越中间积压图像帧更新读取位置，得到所述网络侧实际读取地址。

30、该部分根据缓存的读写指针相对位置获取缓存积压帧数，在满足拥塞触发条件后自适应增加跳帧步长。在步长大于1的条件下，读取地址指针越过对应的积压图像帧进行更新，释放拥塞数据占用的缓存空间，维持系统数据流读写操作的时序连贯性。

31、优选的，所述将未经网络侧平滑处理的所述预处理图像矩阵送入独立缺陷检测通路进行缺陷检测，得到缺陷候选连通域面积，包括：

32、在所述预处理图像矩阵中截取待检目标感兴趣区域；

33、遍历所述待检目标感兴趣区域内未被屏蔽的有效像素，提取满足异常阈值条件的产品异常像素；

34、对所述产品异常像素去除孤立噪声后进行连通域标记，将相邻的所述产品异常像素划分至同一缺陷候选像素连通域；

35、统计所述缺陷候选像素连通域内包含的有效像素节点总数量，得到所述缺陷候选连通域面积。

36、缺陷检测通路中截取待检目标感兴趣区域以排除非待检区域的干扰像素。对提取出的产品异常像素执行连通域标记，将空间上相邻的异常像素点整合为缺陷候选像素连通域，以连通域内有效像素节点的总数表征该区域的物理尺寸大小。

37、优选的，所述当所述缺陷候选连通域面积超过预先标定的缺陷面积阈值时，驱动产线自动化分拣机构完成分拣剔除动作，包括：

38、分别取得相同目标编号关联的各幅图像帧中的最大缺陷候选连通域面积，并将全部关联图像帧中的最大值作为待检目标的目标最大缺陷候选连通域面积；

39、在判定所述目标最大缺陷候选连通域面积大于所述缺陷面积阈值时，提取所述待检目标进入图像采集区域时记录的输送编码器计数值；

40、将所述目标编号、所述目标最大缺陷候选连通域面积和所述输送编码器计数值写入分拣控制队列；

41、根据所述分拣控制队列中记录的所述输送编码器计数值与编码器计数偏移量之和计算推杆作用位置，并在输送编码器的当前计数值达到所述推杆作用位置时控制输出接口翻转电平状态，驱动产线自动化分拣机构的推杆装置完成所述分拣剔除动作。

42、针对相同目标编号关联的多幅图像帧，提取目标最大缺陷候选连通域面积作为最终判定依据。在面积超出阈值时，由输送编码器计数值与偏移量计算得到推杆作用位置，通过比较当前输送编码器计数值与该推杆作用位置，在两者计数值一致时控制数据输出端翻转电平，触发推杆装置动作。

43、本发明第二方面提供一种红外视频双路增强输出与缺陷检测系统，包括：

44、数据采集与预处理模块，用于接收红外探测器输出的像素数据、行同步信号和帧同步信号，结合探测器坏点位置矩阵进行重构与坏点修补，生成预处理图像矩阵；

45、双路差异化图像增强与调度模块，用于对所述预处理图像矩阵进行灰度映射，生成基础映射灰度值；提取所述基础映射灰度值的灰度梯度幅值和局部像素方差，分别生成本地增强灰度值和网络增强灰度值，并在发生图像帧积压状态时更新网络侧实际读取地址；

46、本地缺陷检测与输出执行模块，用于分别读取由所述本地增强灰度值组成的本地增强图像帧，并根据所述网络侧实际读取地址读取由所述网络增强灰度值组成的网络增强图像帧执行增强输出，并将未经网络侧平滑处理的所述预处理图像矩阵送入独立缺陷检测通路进行缺陷检测，得到缺陷候选连通域面积；当所述缺陷候选连通域面积超过预先标定的缺陷面积阈值时，驱动产线自动化分拣机构完成分拣剔除动作。

47、本发明系统采用独立的模块单元接收并处理图像数据，将图像灰度增强处理过程划分为两路并行的执行架构。分别获取本地增强图像帧和网络增强图像帧以兼顾本地显示与网络传输的数据要求，通过将预处理图像矩阵直接输入缺陷检测通道排除了平滑降噪算法对缺陷判定结果的干扰。

48、优选的，所述系统包含核心处理电路和连接于所述核心处理电路的存储缓存区；

49、所述数据采集与预处理模块和所述双路差异化图像增强与调度模块集成于所述核心处理电路中，利用所述核心处理电路处理生成所述基础映射灰度值、所述本地增强灰度值和所述网络增强灰度值；

50、所述核心处理电路将所述本地增强灰度值和所述网络增强灰度值分别写入所述存储缓存区内地址范围相互隔离的本地显示帧缓存区和网络编码图像缓存区，并基于网络编码图像缓存区的图像帧积压状态判定缓存积压帧数，更新所述网络侧实际读取地址。

51、利用核心处理电路同时执行两路增强灰度值的计算，并在存储缓存区内开辟相互隔离的地址空间进行分别存储，防止数据总线读写时相互覆写。依靠核心处理电路读取网络编码图像缓存区的积压状态并计算积压帧数，直接修改后续图像帧在缓存区的实际读取地址。

52、优选的，所述系统还包含连接于所述核心处理电路的输送编码器和数据输出端；

53、所述本地缺陷检测与输出执行模块集成于所述核心处理电路中，当所述核心处理电路判定所述缺陷候选连通域面积超过所述缺陷面积阈值时，根据所述输送编码器提供的输送位置，控制所述数据输出端的电平状态；

54、所述数据输出端连接产线自动化分拣机构的推杆装置，通过所述电平状态驱动所述推杆装置完成所述分拣剔除动作。

55、系统借由输送编码器监测产线物料输送位置，核心处理电路根据判定的面积结果将动作指令转换为数据输出端的电平状态。推杆装置接收电平状态的变化信号执行分拣剔除动作，通过编码器计数值跟踪物料移动轨迹以对准目标作用位置。

56、本发明提供了红外视频双路增强输出与缺陷检测方法及系统。具备以下有益效果：

57、1、本发明通过提取基础映射灰度值的灰度梯度幅值和局部像素方差，分别生成侧重边缘细节的本地增强灰度值与侧重平滑降噪的网络增强灰度值，并将未经网络平滑处理的预处理图像矩阵送入独立缺陷检测通路。该方式将原始图像数据分流处理，使得双路输出在特征层面实现解耦，一方面利用局部平滑算法降低了后台网络传输的视频编码码率，另一方面保留了本地视觉检测的缺陷边缘对比度，克服了传统单一图像处理链路无法兼顾本地缺陷识别与网络视频传输异构需求的缺陷。

58、2、本发明通过监测网络缓存写指针与读指针位置确定缓存积压帧数，并在满足拥塞触发条件时计算自适应跳帧步长以更新网络侧实际读取地址。在网络带宽受限引发图像帧积压时，系统通过跨越式更新读取地址主动放弃中间积压帧的读取，释放底层存储缓存区被占用的空间，维持了前端图像采集与后端处理流水线的时序连贯性，解决了网络波动引起的系统处理延迟问题。

59、3、本发明通过提取相同目标编号关联的多幅图像帧中的最大缺陷候选连通域面积进行综合判定，并结合目标进入图像采集区域时的输送编码器计数值与偏移量之和计算推杆作用位置。该机制依靠硬件输送编码器将图像帧处理时序映射到产线物料输送的物理位置，仅在编码器当前计数值达到推杆作用位置时控制翻转电平状态，排除了流水线运行速度变化与图像处理耗时对执行动作造成的时序错位，降低了产线分拣过程中的错漏剔除率。