一种基于AI视觉的深度学习图像处理方法与流程

本发明涉及数字图像处理领域，尤其涉及一种基于ai视觉的深度学习图像处理方法。

背景技术：

1、随着计算机视觉和深度学习技术的发展，现有图像处理方法通常通过卷积神经网络、视觉transformer、自监督表征学习模型提取图像特征，并根据像素差异、纹理变化、目标边界或潜在表征误差完成图像分类、区域分割和异常识别。这类方法在目标外观差异明显、结构关系简单的图像中能够获得较稳定的处理结果。

2、在重复纹理、阵列部件、镜像结构及相似构件图像中，不同区域可能具有接近的颜色、纹理和局部轮廓，但其空间位置、轮廓连接方式和结构作用并不相同。现有方法容易将外观相似区域判定为相同内容，难以识别部件错位、连接中断、方向装反及局部结构关系异常。

3、同时，现有自监督图像表征方法多采用随机掩码区域进行特征预测，各目标区域之间缺少明确的邻接关系和参照关系，模型容易依赖局部纹理完成预测，难以区分图像区域的外观内容与结构角色。

4、因此，如何提供一种基于ai视觉的深度学习图像处理方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于ai视觉的深度学习图像处理方法，本发明构建结构角色i-jepa模型，通过结构采样单元依据图像块关系矩阵、局部连接模式和结构突变值确定核心目标块、边界过渡块及同源参照块；接力预测单元沿表征传递路径生成边界过渡块表征和核心目标块预测表征；角色换位单元提取外观共享分量、角色差异分量和边界角色分量，生成角色目标表征；根据结构角色误差更新采样概率及模型参数，并利用待处理结构角色误差确定结构异常图像块，能够实现局部外观相近条件下结构角色差异的图像处理与结构异常标记。

2、根据本发明实施例的一种基于ai视觉的深度学习图像处理方法，包括如下步骤：

3、采集待训练视觉图像，进行尺寸统一和亮度归一化，划分生成图像块和图像块序列；

4、构建结构角色i-jepa模型，包括上下文编码器、目标编码器、结构采样单元、接力预测单元和角色换位单元；

5、将图像块序列输入目标编码器，建立图像块关系矩阵，调用结构采样单元选取核心目标块，确定边界过渡块和同源参照块；

6、针对每个核心目标块，结合边界过渡块和同源参照块，构建上下文块集合，输入上下文编码器，生成上下文表征，并构建表征传递路径；

7、基于接力预测单元，结合表征传递路径，构建动态上下文表征，计算边界预测权重和参照预测权重，进行加权融合，生成核心目标块预测表征；

8、在角色换位单元中，基于图像块关系矩阵、核心目标块和同源参照块，生成外观共享分量、角色差异分量和边界角色分量，组合生成角色目标表征；

9、计算核心目标块预测表征与角色目标表征之间的结构角色误差，训练结构角色i-jepa模型；

10、采集待处理视觉图像，确定结构异常图像块，输出结构异常标记结果。

11、可选的，所述构建结构角色i-jepa模型包括：

12、调用原始i-jepa模型中的上下文编码器、目标编码器、预测器和多块掩码机制；

13、保留上下文编码器和目标编码器，配置为相同的图像块嵌入维度和位置编码维度；

14、基于多块掩码机制，将随机选取上下文块和目标块的采样结构改造为按照图像块结构关系选取核心目标块、边界过渡块和同源参照块的采样结构，构建结构采样单元；

15、基于预测器，将原始预测器直接预测目标块表征的单段预测结构改造为边界过渡块预测结构与核心目标块预测结构，构建接力预测单元；

16、在目标编码器和结构采样单元之后，新增角色换位单元，构建核心目标块与同源参照块进行表征对齐并结合边界过渡块表征生成角色目标表征的处理路径；

17、基于上下文编码器、目标编码器、结构采样单元、接力预测单元和角色换位单元，完善各单元之间的连接关系，构建结构角色i-jepa模型。

18、可选的，所述选取核心目标块，确定边界过渡块和同源参照块包括：

19、将图像块序列输入目标编码器，对各图像块进行图像块嵌入和位置编码，生成目标编码表征；

20、根据任意两个图像块的行列坐标，确定空间邻接状态；

21、对目标编码表征进行二范数归一化，计算任意两个目标编码表征的余弦相似度；

22、采用sobel算子提取各图像块的灰度梯度，计算边缘方向差；采用canny算子提取图像块轮廓，确定轮廓连接状态，生成连接状态值；

23、基于空间邻接状态、目标编码表征余弦相似度、边缘方向差和轮廓连接状态，建立图像块关系矩阵；

24、排列每个图像块与相邻图像块之间的轮廓连接状态，生成局部连接模式；

25、基于目标编码表征余弦相似度、边缘方向差和连接状态值，进行求和，生成结构突变值；

26、基于结构采样单元，结合结构突变值确定核心目标块和边界过渡块；

27、针对每个核心目标块，结合目标编码表征余弦相似度确定同源参照块。

28、可选的，所述生成上下文表征，构建表征传递路径包括：

29、针对每个核心目标块，构建上下文块集合；

30、将上下文块集合输入上下文编码器，进行图像块嵌入和自注意力计算，生成上下文表征；

31、根据边界过渡块和核心目标块的行列坐标，排列上下文表征，生成预测输入序列和序列索引；

32、根据序列索引、空间邻接状态、轮廓连接状态和局部连接模式，建立注意力连接关系；

33、按照序列索引，建立注意力掩码矩阵，将符合注意力连接关系的矩阵位置赋值为零，构建表征传递路径。

34、可选的，所述生成核心目标块预测表征包括：

35、接力预测单元沿表征传递路径读取与边界过渡块相邻且轮廓连接状态表示连通的上下文表征，执行自注意力计算及前馈映射，生成边界过渡块表征；

36、根据边界过渡块在预测输入序列中的序列索引，使用边界过渡块表征替换对应掩码标记，生成动态上下文表征；

37、根据局部连接模式确定核心目标块的连通方向，读取各连通方向对应边界过渡块位置处的动态上下文表征，构建连接上下文表征；

38、获取全部核心目标块的结构突变值，进行归一化，得到各核心目标块对应的边界预测权重和参照预测权重；

39、将连接上下文表征乘以边界预测权重，将同源参照块的目标编码表征乘以参照预测权重，与核心目标块的位置编码相加，生成核心目标块融合表征，输入接力预测单元进行自注意力计算和前馈映射，生成核心目标块预测表征。

40、可选的，所述生成角色目标表征包括：

41、基于图像块关系矩阵，按照各核心目标块的排列顺序，逐一匹配对应同源参照块，读取核心目标块的目标编码表征和同源参照块的目标编码表征；

42、计算同源参照块的目标编码表征的二范数，构建归一化基向量；

43、基于核心目标块的目标编码表征与归一化基向量，计算生成外观共享分量和角色差异分量；

44、根据局部连接模式，读取对应边界过渡块的目标编码表征和位置编码，将轮廓连接状态、目标编码表征和位置编码进行拼接，将拼接结果映射至与核心目标块的目标编码表征相同的特征维度，生成边界角色分量；

45、分别将外观共享分量、角色差异分量、边界角色分量和核心目标块的位置编码映射至相同特征维度，进行拼接和特征映射，生成角色目标表征。

46、可选的，所述训练结构角色i-jepa模型包括：

47、针对每个核心目标块，逐维计算核心目标块预测表征与角色目标表征之间的绝对差值，生成结构角色误差，并进行归一化，得到归一化误差；

48、基于各图像块的归一化误差，计算各图像块在下一训练轮次中成为核心目标块的采样概率，按照采样概率对全部图像块进行无放回抽取，确定下一训练轮次的核心目标块；

49、以当前训练轮次中全部核心目标块的结构角色误差之和作为反向传播损失，更新上下文编码器参数、接力预测单元参数及角色换位单元中的特征映射参数，并采用指数移动平均更新目标编码器参数；

50、完成每个训练轮次后，计算结构角色误差变化率，重复执行核心目标块采样及模型参数更新，直至结构角色误差变化率满足要求，得到完成训练的结构角色i-jepa模型；

51、将不存在结构关系异常的待训练视觉图像输入完成训练的结构角色i-jepa模型，计算各图像块对应的结构角色误差，计算结构角色误差均值和结构角色误差标准差。

52、可选的，所述输出结构异常标记结果包括：

53、采集待处理视觉图像，生成待处理图像块序列；

54、将待处理图像块序列输入目标编码器，生成待处理目标编码表征，建立待处理关系矩阵；

55、根据待处理关系矩阵，构建局部连接模式和结构突变值；

56、依次将每个待处理图像块确定为核心目标块，调用结构采样单元确定边界过渡块和同源参照块，调用上下文编码器生成上下文表征，调用接力预测单元生成核心目标块预测表征；

57、基于角色换位单元，根据核心目标块、边界过渡块和同源参照块生成角色目标表征，计算待处理结构角色误差；

58、将待处理结构角色误差与结构角色误差均值和结构角色误差标准差作对比，确定结构异常图像块，生成并输出结构异常标记结果。

59、本发明的有益效果是：

60、首先，本发明通过图像块关系矩阵、局部连接模式和结构突变值协同确定核心目标块、边界过渡块及同源参照块，将图像区域的外观相似性与空间连接关系同时纳入处理过程，能够降低重复纹理、镜像结构和相似构件对图像识别结果的干扰，提高连接中断、部件错位及局部结构关系异常的识别准确性。

61、其次，本发明利用表征传递路径限制上下文表征、同源参照块的目标编码表征及位置编码之间的注意力连接，并通过接力预测单元先生成边界过渡块表征，再生成核心目标块预测表征，能够减少模型直接依赖局部颜色和纹理完成预测的情况，提高核心目标块预测过程对轮廓连通关系和周边结构信息的敏感程度。

62、此外，本发明通过角色换位单元生成外观共享分量、角色差异分量和边界角色分量，并组合生成角色目标表征，再利用结构角色误差调整核心目标块的采样概率及模型参数，使训练过程持续关注结构角色差异明显的图像区域，能够增强结构角色i-jepa模型对少量、隐蔽及外观正常但连接关系异常区域的处理能力。