一种图像识别方法与流程

摘要: 本申请涉及图像处理,特别涉及一种图像识别方法。背景技术:1、卷积神经网络依靠多层卷积完成图像特征提取,依托视觉特征直接输出目标识别结果,是目前图像识别的主流技术...
一种图像识别方法与流程

本申请涉及图像处理,特别涉及一种图像识别方法。

背景技术:

1、卷积神经网络依靠多层卷积完成图像特征提取,依托视觉特征直接输出目标识别结果,是目前图像识别的主流技术方案。常规识别方法仅依靠单张图像的像素数据完成目标判定。在图像出现遮挡、局部缺损时,提取到的有效视觉特征会大幅减少。识别结果仅由像素特征决定,识别置信度容易出现数值失真;面对低质量图像样本时,识别结果难以结合场景信息进行优化调整,时序图像中的有效信息无法参与识别后处理,残缺图像容易出现识别结论偏离实际场景的问题,整体识别精度波动较大,难以满足高精度识别业务需求。

技术实现思路

1、本申请的目的是提供一种图像识别方法,旨在解决现有技术中残缺图像置信度失真、识别精度波动大的技术问题。

2、为实现上述目的,本申请提供一种图像识别方法,包括:

3、对输入图像进行分层特征提取,得到深层语义特征;

4、基于所述深层语义特征提取并融合多维度语义信息,生成初始识别结果及对应的初始置信度;

5、将融合后的多维度语义信息与预构建的常识知识库进行规则比对,过滤违背常识约束的无效识别结果,并根据比对结果对所述初始置信度进行动态修正;

6、当修正后的置信度低于预设阈值时,调取上下文关联图像的有效特征对当前图像的缺陷区域进行定向修复,生成修正图像;

7、对所述修正图像依次执行分层特征提取、多维度语义融合及常识知识库逻辑核验,输出最终识别结果。

8、在一实施方式中,基于所述深层语义特征提取并融合多维度语义信息,生成初始识别结果及对应的初始置信度,包括:

9、从所述深层语义特征中拆解出多维度语义信息,所述多维度语义信息包含目标信息、空间位置信息、属性信息、行为信息以及场景信息;

10、对拆解得到的多维度语义信息执行加权融合处理,形成整合语义数据;

11、依据所述整合语义数据输出识别结论,并计算得到对应的初始置信度。

12、在一实施方式中,对拆解得到的多维度语义信息执行加权融合处理,形成整合语义数据,包括:

13、为目标信息、空间位置信息、属性信息、行为信息、场景信息分别设置独立权重系数;

14、将每一维度的语义信息与该维度对应的权重系数进行运算后合并,生成整合语义数据。

15、在一实施方式中,将融合后的多维度语义信息与预构建的常识知识库进行规则比对,过滤违背常识约束的无效识别结果,并根据比对结果对所述初始置信度进行动态修正,包括:

16、调取所述常识知识库内存储的各项约束规则;

17、将所述多维度语义信息逐条与所述约束规则进行比对,得到语义匹配结果,并筛选出不符合规则的识别内容;

18、依据所述语义匹配结果调整所述初始置信度的数值。

19、在一实施方式中,将所述多维度语义信息逐条与所述约束规则进行比对,得到语义匹配结果,并筛选出不符合规则的识别内容,包括:逐项比对目标信息、空间位置信息、属性信息、行为信息以及场景信息,当任意一类语义信息不匹配所述约束规则时,标记当前的识别结果为无效。

20、在一实施方式中,依据所述语义匹配结果调整所述初始置信度的数值,包括:

21、当所述识别结果被标记为无效时,下调所述初始置信度数值;

22、当所述识别结果全部匹配所述约束规则时,维持所述初始置信度原有数值。

23、在一实施方式中,当修正后的置信度低于预设阈值时,调取上下文关联图像的有效特征对当前图像的缺陷区域进行定向修复,生成修正图像,包括:

24、将所述修正后的置信度与所述预设阈值进行数值对比,确认启动图像修复流程;

25、锁定当前图像中语义信息缺失的区域作为所述缺陷区域;

26、读取时序相邻帧的上下文关联图像,提取与所述缺陷区域空间位置相匹配的图像特征作为所述有效特征;

27、利用提取得到的所述有效特征填补所述缺陷区域,生成修正图像。

28、在一实施方式中,锁定当前图像中语义信息缺失的区域作为所述缺陷区域,包括:比对当前图像各维度语义信息的完整程度,将目标信息、场景信息不完整的像素区域划定为所述缺陷区域。

29、在一实施方式中,读取时序相邻帧的上下文关联图像,提取与所述缺陷区域空间位置相匹配的图像特征作为所述有效特征,包括:截取当前帧前后相邻图像内同一坐标范围的像素内容,将包含完整语义的像素内容确定为所述有效特征。

30、在一实施方式中,利用提取得到的所述有效特征填补所述缺陷区域,生成修正图像,包括:将所述有效特征与所述缺陷区域完成坐标对齐,对拼接边界做平滑处理,完成缺陷填补得到所述修正图像。

31、本申请的上述技术方案至少具有如下有益技术效果:

32、本申请的技术方案通过融合图像多维度语义信息开展识别判定,突破单一像素特征识别的局限性,丰富图像识别的判定依据,有效提升初始识别结果与真实场景的匹配度;同时结合常识知识库的约束规则对初始置信度进行动态修正,精准校准语义偏差带来的置信度异常问题。在此基础上,依托时序上下文图像信息开展识别后处理优化,对置信度不达标的图像补齐缺失特征、修复图像缺陷,并对修复图像重新完成完整识别流程,迭代优化识别结果,有效改善复杂场景下图像特征残缺导致的识别偏差问题,稳定识别输出精度,显著提升各类复杂工况下图像识别的整体准确性与鲁棒性。

1.一种图像识别方法,其特征在于,包括:

2.根据权利要求1所述的图像识别方法,其特征在于,基于所述深层语义特征提取并融合多维度语义信息,生成初始识别结果及对应的初始置信度,包括:

3.根据权利要求2所述的图像识别方法,其特征在于,对拆解得到的多维度语义信息执行加权融合处理,形成整合语义数据,包括:

4.根据权利要求3所述的图像识别方法,其特征在于,将融合后的多维度语义信息与预构建的常识知识库进行规则比对,过滤违背常识约束的无效识别结果,并根据比对结果对所述初始置信度进行动态修正,包括:

5.根据权利要求4所述的图像识别方法,其特征在于,将所述多维度语义信息逐条与所述约束规则进行比对,得到语义匹配结果,并筛选出不符合规则的识别内容,包括:逐项比对目标信息、空间位置信息、属性信息、行为信息以及场景信息,当任意一类语义信息不匹配所述约束规则时,标记当前的识别结果为无效。

6.根据权利要求5所述的图像识别方法,其特征在于,依据所述语义匹配结果调整所述初始置信度的数值,包括:

7.根据权利要求6所述的图像识别方法,其特征在于,当修正后的置信度低于预设阈值时,调取上下文关联图像的有效特征对当前图像的缺陷区域进行定向修复,生成修正图像,包括:

8.根据权利要求7所述的图像识别方法,其特征在于,锁定当前图像中语义信息缺失的区域作为所述缺陷区域,包括:比对当前图像各维度语义信息的完整程度,将目标信息、场景信息不完整的像素区域划定为所述缺陷区域。

9.根据权利要求8所述的图像识别方法,其特征在于,读取时序相邻帧的上下文关联图像,提取与所述缺陷区域空间位置相匹配的图像特征作为所述有效特征,包括:截取当前帧前后相邻图像内同一坐标范围的像素内容,将包含完整语义的像素内容确定为所述有效特征。

10.根据权利要求9所述的图像识别方法,其特征在于,利用提取得到的所述有效特征填补所述缺陷区域,生成修正图像,包括:将所述有效特征与所述缺陷区域完成坐标对齐,对拼接边界做平滑处理,完成缺陷填补得到所述修正图像。