基于交叉注意力的语义与指纹桥接的图像识别方法及装置
本发明涉及图像识别，尤其是涉及一种基于交叉注意力的语义与指纹桥接的图像识别方法及装置。
背景技术：
1、随着生成对抗网络和扩散模型的发展，生成图像在纹理、光照、对象形态和整体语义上日益接近真实图像，肉眼识别难度不断增大。
2、现有生成式图像识别方法通常利用空间域伪迹、频率统计、局部像素关系、预训练语义表示或扩散重建响应等线索，对输入图像输出生成概率或二分类结果。
3、空间域、频率和局部关系线索能够反映生成过程留下的细微痕迹，但容易受到压缩、缩放、模糊和噪声等后处理影响，且不同生成器在网络结构、上采样方式和采样过程上的差异会削弱识别模型对未知生成器的适应能力。预训练视觉语言模型具有较强的语义迁移能力，但对细微噪声、局部纹理和成像残差的刻画不足；扩散重建类方法通常还需要附加的反演或去噪过程，计算开销较大。
4、现有多源融合方法多采用直接拼接方式处理语义、空间和高频指纹特征，难以显式建立全局语义与局部响应之间的对应关系，容易造成信息利用不均衡。
技术实现思路
1、本发明的目的在于克服现有技术中的不足，提供一种基于交叉注意力的语义与指纹桥接的图像识别方法及装置，能够对局部结构、全局语义和高频指纹信息进行有效对齐与双向交互，提高对未知生成器和退化图像的识别稳定性。
2、为达到上述目的，本发明是采用下述技术方案实现的：
3、一方面，本发明提供了一种基于交叉注意力的语义与指纹桥接的图像识别方法，包括：
4、获取待测图像；
5、将所述待测图像输入图像识别模型，输出图像识别结果；
6、所述图像识别模型的处理步骤包括：
7、在局部结构分支中，对所述待测图像进行残差构造获得局部结构残差，通过空间特征编码网络对所述局部结构残差进行分层卷积编码，获得保留空间位置关系的空间标记序列；
8、在全局语义分支中，对所述待测图像进行预处理获得满足输入规范的预处理图像，通过语义图像编码网络对所述预处理图像进行语义提取，获得全局语义向量；
9、在高频指纹分支中，通过至少一个高通滤波核提取所述待测图像的高频残差图，通过高频指纹编码网络对所述高频残差图进行编码，获得高频指纹；
10、将所述空间标记序列、全局语义向量和高频指纹映射至统一特征空间，将映射后的全局语义标记和高频指纹拼接为语义与指纹桥接标记集合；
11、基于交叉注意力，前向交互以映射后的空间标记序列为查询、语义与指纹桥接标记集合为键和值，更新空间标记序列，反向交互以语义与指纹桥接标记集合为查询、更新后的空间标记为键和值，更新语义与指纹桥接标记集合，获得双向交互后的空间标记和桥接标记；
12、对所述双向交互后的空间标记和桥接标记依次进行融合与池化，获得图像级表示；
13、对所述图像级表示进行分类，输出图像识别结果。
14、可选的，在局部结构分支中，对所述待测图像进行残差构造获得局部结构残差，通过空间特征编码网络对所述局部结构残差进行分层卷积编码，获得保留空间位置关系的空间标记序列，包括：
15、对所述待测图像依次进行最近邻下采样、最近邻上采样，获得恢复图像；
16、根据所述待测图像与恢复图像之间的差异，获得局部结构残差；
17、将局部结构残差输入空间特征编码网络，在各阶段中对所述局部结构残差依次进行深度卷积、层归一化、逐点卷积、gelu激活和全局响应归一化，获得空间特征图，将所述空间特征图展平为保留空间位置关系的空间标记序列；所述各阶段的特征通道依次扩大。
18、可选的，所述局部结构残差表示为：
19、；
20、其中，表示局部结构残差；表示残差缩放系数；表示待测图像；表示最近邻上采样；表示最近邻下采样；
21、所述保留空间位置关系的空间标记序列表示为：
22、；
23、其中，表示保留空间位置关系的空间标记序列；表示空间特征编码网络；表示空间特征编码网络的可学习参数；表示空间位置数量；表示空间标记的特征维度；表示实数集合。
24、可选的，所述满足输入规范的预处理图像表示为：
25、；
26、其中，表示满足输入规范的预处理图像；表示待测图像；分别表示clip使用的通道均值、通道标准差；表示把输入图像调整为224×224；
27、所述全局语义向量表示为：
28、；
29、其中，表示全局语义向量；表示语义图像编码网络；表示语义图像编码网络的参数；表示实数集合；表示损失函数相对于语义图像编码网络的参数的梯度。
30、可选的，所述高频残差图表示为：
31、；
32、其中，表示第个高通滤波核提取的高频残差图；表示第个高通滤波核；表示待测图像；表示二维卷积；
33、所述高频指纹表示为：
34、；
35、其中，表示高频指纹；表示高频指纹编码网络；分别表示第1个、第2个、第3个高通滤波核提取的高频残差图；表示实数集合。
36、可选的，所述映射后的空间标记序列表示为：
37、；
38、其中，表示映射后的空间标记序列；表示保留空间位置关系的空间标记序列；表示局部结构分支的可学习投影矩阵；表示层归一化；
39、所述映射后的全局语义标记表示为：
40、；
41、其中，表示映射后的全局语义标记；表示全局语义向量；表示全局语义分支的可学习投影矩阵；
42、所述映射后的高频指纹表示为：
43、；
44、其中，表示映射后的高频指纹；表示高频指纹；表示高频指纹分支的可学习投影矩阵；
45、所述语义与指纹桥接标记集合表示为：
46、；
47、其中，表示语义与指纹桥接标记集合；表示沿标记序列方向拼接。
48、可选的，所述双向交互后的空间标记表示为：
49、；
50、其中，表示双向交互后的空间标记；表示映射后的空间标记序列；表示语义与指纹桥接标记集合；表示层归一化；表示交叉注意力；表示生成空间查询的投影矩阵；表示生成桥接键的投影矩阵；表示生成桥接值的投影矩阵；
51、所述双向交互后的桥接标记表示为：
52、；
53、其中，表示双向交互后的桥接标记；表示生成桥接查询的投影矩阵；表示生成更新后空间键的投影矩阵；表示生成更新后空间值的投影矩阵。
54、可选的，所述图像级表示表示为：
55、；
56、其中，表示图像级表示；表示交叉注意力；表示可学习池化查询；表示双向交互后的桥接标记；表示双向交互后的空间标记；表示沿标记序列方向拼接。
57、可选的，所述图像识别结果通过图像生成概率获取，所述图像生成概率通过预设分类函数对图像级表示进行分类获取；
58、所述图像生成概率表示为：
59、；
60、式中，；
61、其中，表示图像生成概率；表示sigmoid函数；表示未归一化分类得分；分别表示第一线性层的权重、偏置；表示图像级表示；表示层归一化；分别表示第二线性层的权重、偏置；表示非线性激活；表示训练阶段的随机失活处理。
62、另一方面，本发明提供了一种基于交叉注意力的语义与指纹桥接的图像识别装置，包括：
63、图像获取模块，用于：获取待测图像；
64、图像识别模块，用于：将所述待测图像输入图像识别模型，输出图像识别结果；
65、模型处理模块，用于：所述图像识别模型的处理步骤包括：
66、在局部结构分支中，对所述待测图像进行残差构造获得局部结构残差，通过空间特征编码网络对所述局部结构残差进行分层卷积编码，获得保留空间位置关系的空间标记序列；
67、在全局语义分支中，对所述待测图像进行预处理获得满足输入规范的预处理图像，通过语义图像编码网络对所述预处理图像进行语义提取，获得全局语义向量；
68、在高频指纹分支中，通过至少一个高通滤波核提取所述待测图像的高频残差图，通过高频指纹编码网络对所述高频残差图进行编码，获得高频指纹；
69、将所述空间标记序列、全局语义向量和高频指纹映射至统一特征空间，将映射后的全局语义标记和高频指纹拼接为语义与指纹桥接标记集合；
70、基于交叉注意力，前向交互以映射后的空间标记序列为查询、语义与指纹桥接标记集合为键和值，更新空间标记序列，反向交互以语义与指纹桥接标记集合为查询、更新后的空间标记为键和值，更新语义与指纹桥接标记集合，获得双向交互后的空间标记和桥接标记；
71、对所述双向交互后的空间标记和桥接标记依次进行融合与池化，获得图像级表示；
72、对所述图像级表示进行分类，输出图像识别结果。
73、与现有技术相比，本发明所达到的有益效果：
74、本发明局部结构残差与空间特征编码网络保留了上采样相关的局部像素依赖、结构畸变和边缘连续性信息，避免过早全局平均造成局部伪迹被稀释；采用局部结构残差残差与空间特征编码网络时可进一步突出邻域结构差异；语义图像编码网络形成相对稳定的全局语义表征，高通滤波核及高频指纹编码网络形成与内容关系较弱的高频指纹，两路辅助特征分别弥补空间特征编码网络在跨域语义和细粒度统计上的不足，语义分支采用冻结的图像编码器，高频分支采用固定高通核及其轻量编码器；三类异构特征先被映射至统一潜空间，再由全局语义标记与高频指纹标记构成语义与指纹桥接信息，通过双向交叉注意力完成空间标记与桥接标记之间的相互读取，克服直接拼接难以显式建立对应关系及信息利用不均衡的问题；注意力池化使用可学习查询从融合标记中自适应聚合判别证据，使图像级表示能够关注分布不均匀的局部伪迹，而无需在推理阶段执行扩散模型反演或扩散重建。