图像识别装置、电子设备、介质和程序

本公开涉及图像识别，尤其涉及一种图像识别装置、电子设备、计算机可读存储介质和计算机程序。

背景技术：

1、随着现代临床医学与影像技术的快速迭代，x光、ct、mri、超声、病理切片等多模态医学影像已成为疾病筛查、临床诊断、术前评估、术后随访的核心依据，广泛应用于肿瘤、心脑血管、呼吸系统、神经系统等各类疾病的诊疗全流程。

2、目前主流的超声影像人工智能诊断方案主要分为基于卷积神经网络的分类路径和基于目标检测/分割的定位。基于卷积神经网络的分类路径通常采用resnet、efficientnet等成熟的骨干网络，实现流程为首先进行数据预处理（例如，对超声图像进行裁剪、去噪及归一化），然后进行特征提取（例如，通过多层卷积操作自动提取图像的深层特征），之后通过一个全连接层，直接输出该超声图像属于“良性”或“恶性”的概率分数。基于目标检测/分割的定位通常采用yolo、u-net或maskr-cnn等框架，实现流程为首先进行人工标注（例如，由医生手动勾画病灶边界或拉取外接矩形框），然后进行区域预测，即模型预测像素级别的分割掩码或坐标框，辅助医生寻找病变位置。

技术实现思路

1、为解决相关技术中的问题，本公开实施例提供了一种图像识别装置、电子设备、计算机可读存储介质和计算机程序。

2、本公开实施例的一个方面提供了一种图像识别装置，包括：融合感知单元、特征识别单元和协同推理单元，其中，所述融合感知单元配置为获取医学影像和元数据的融合特征表达，其中，所述元数据为与所述医学影像相关的临床信息；所述特征识别单元配置为基于所述医学影像或者所述元数据，从候选特征集中确定多个候选特征组，所述多个候选特征组与多个专业维度一一对应；以及针对所述多个专业维度每个，对所述融合特征表达进行分类处理，得到所述多个候选特征组每个的预测结果描述；所述协同推理单元配置为基于所述预测结果描述，对所述医学影像进行诊断分级得到诊断结论；其中，所述协同推理单元包括：匹配子单元，配置为将所述医学影像划分为多个第一局部区域，将所述多个第一局部区域的局部特征分别与所述预测结果描述进行匹配，得到所述多个第一局部区域与所述预测结果描述的匹配程度；分析子单元，配置为基于所述匹配程度，确定所述医学影像中的感兴趣区域和不确定度评分；细节提取子单元，配置为响应于所述不确定度评分满足预设条件，对所述感兴趣区域进行特征提取得到细节特征；以及诊断分级子单元，配置为基于所述医学影像、所述细节特征以及所述多个专业维度，对所述医学影像进行诊断分级得到诊断结论。

3、根据本公开实施例，分析子单元包括：热力图生成子单元，配置为基于所述匹配程度并且按照所述多个第一局部区域在所述医学影像中的原始物理位置，生成热力图；感兴趣区域确定子单元，配置为基于所述热力图的空间响应值分布进行阈值分割与连通域分析以确定所述感兴趣区域，其中，基于第一阈值对所述空间响应值进行抑制，基于第二阈值对所述空间响应值进行连通聚合；以及不确定度评分子单元，配置为基于所述热力图的空间统计特征确定所述不确定度评分，其中，所述空间统计特征基于所述热力图的归一化空间响应值分布计算得到；所述空间统计特征包括峰值强度、空间熵以及空间方差中的一种或多种；所述不确定度评分基于所述空间统计特征进行加权组合得到。

4、根据本公开实施例，图像识别装置还包括：逻辑闭环校验单元，配置为将所述诊断结论对应的医学诊断标准与所述预测结果描述进行对比，以确定所述预测结果描述和所述诊断结论是否逻辑冲突；以及响应于所述预测结果描述和所述诊断分级结果存在逻辑冲突，执行反馈重定向，其中，所述反馈重定向包括：降低采样步长并且由所述协同推理单元基于降低后的采样步长，重新基于所述预测结果描述，对所述医学影像进行诊断分级得到诊断结论，其中，所述采样步长为所述协同推理单元对所述多个局部区域分别采样得到所述局部特征时所采用的步长。

5、根据本公开实施例，分析子单元还配置为：响应于所述不确定度评分高于第三阈值，对所述医学影像进行标记，并且执行所述反馈重定向。

6、根据本公开实施例，协同推理单元还包括：输出子单元，配置为基于所述预测结果描述，输出初步结构化文本，并且输出所述诊断结论。

7、根据本公开实施例，协同推理单元还包括自适应子单元，所述自适应子单元的参数包括可训练的自适应参数，所述自适应参数加载于所述图像识别装置的注意力机制相关网络层中，配置为在保持骨干网络参数不变的情况下对所述图像识别装置进行适应性调整，以适应不同影像设备所产生的图像风格差异。

8、根据本公开实施例，细节提取子单元配置为：响应于所述不确定度评分满足所述预设条件，使用高分辨率的特征算子对所述感兴趣区域进行特征提取得到所述细节特征，其中，所述高分辨率的特征算子是指将所述感兴趣区域划分为多个第二局部区域，所述第二局部区域的尺寸小于所述第一局部区域，或者降低所述协同推理单元对所述多个第一局部区域分别采样得到所述局部特征的采样步长。

9、根据本公开实施例，诊断分级子单元，配置为：基于所述医学影像，获取所述医学影像的全局图像轮廓特征；基于所述全局图像轮廓特征、所述细节特征以及所述多个专业维度，对所述医学影像进行诊断分级得到诊断结论。

10、根据本公开实施例，多个专业维度包括以下至少一种：回声水平、边缘形态、纵横比/长宽比、钙化特征/微钙化、生长方式、内部结构，其中，所述回声水平对应的候选特征组包括以下至少两种：极低回声、低回声、等回声、无回声、内部回声均匀、回声不均；所述边缘形态对应的候选特征组包括以下至少两种：边缘不清晰、边界清晰、边缘不整、分叶、毛刺；所述纵横比/长宽比对应的候选特征组包括：纵横比>1以及纵横比<1；所述钙化特征/微钙化对应的候选特征组包括以下至少两种：存在微钙化 、粗大钙化、环状钙化、无钙化；所述生长方式对应的候选特征组包括：垂直位生长以及平行位生长；所述内部结构对应的候选特征组包括以下至少两种：实性、囊实性、囊性、海绵状。

11、根据本公开实施例，所述融合感知单元、特征识别单元和协同推理单元包括自注意力机制的深度学习模型，所述深度学习模型的参数包括骨干网络参数和自适应网络参数，所述自适应网络参数包括所述自适应子单元的参数，所述图像识别装置还包括：后训练单元，配置为对所述自适应网络参数进行更新而保持所述骨干网络参数不变。

12、根据本公开实施例，融合感知单元包括：图像编码器，配置为将所述医学影像转化为高维空间向量；文本编码器，配置为将所述元数据转化为语义向量；以及融合子单元，配置为将所述高维空间向量和所述语义向量分别经视觉投影矩阵和文本投影矩阵映射为相同维度的特征向量后进行特征拼接融合得到所述融合特征表达，其中，所述骨干网络参数包括所述图像编码器中的参数和所述文本编码器中的参数，自适应网络参数还包括所述视觉投影矩阵的参数和所述文本投影矩阵的参数。

13、根据本公开实施例，所述特征识别单元包括：结构化征象预测分类层，配置为对所述融合特征表达执行线性映射运算，得到全量候选特征得分矩阵；候选特征组提取子单元，配置为从所述 全量候选特征得分矩阵中提取所述多个候选特征组中各个通道的得分；预测结果描述生成子单元，配置为基于所述多个候选特征组中各个通道的得分，得到所述预测结果描述，所述自适应网络参数还包括所述结构化征象预测分类层的参数。

14、根据本公开实施例，自适应子单元的参数包括所述深度学习模型中解码器中的自注意力与交叉注意力机制旁路中的低秩自适应（lora，low-rank adaptation）矩阵对。

15、根据本公开实施例，后训练单元配置为：筛选无标签数据中诊断结论置信度大于预设阈值的目标数据；计算所述目标数据的预测结果，并且计算所述预测结果与所述诊断结论的损失函数；以及利用反向传播算法，更新所述自适应网络参数使得所述损失函数收敛。

16、本公开实施例的另一个方面提供了一种电子设备，包括本公开任意实施例提供的图像识别装置。

17、本公开实施例的另一个方面提供了一种计算机可读存储介质，配置为存储非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时实现：获取医学影像和元数据的融合特征表达，其中，所述元数据为与所述医学影像相关的临床信息；基于所述医学影像或者所述元数据，从候选特征集中确定多个候选特征组，所述多个候选特征组与多个专业维度一一对应； 针对所述多个专业维度每个，对所述融合特征表达进行分类处理，得到所述多个候选特征组每个的预测结果描述；以及基于所述预测结果描述，对所述医学影像进行诊断分级得到诊断结论。

18、本公开实施例的另一个方面提供了一种计算机程序产品，包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行：获取医学影像和元数据的融合特征表达，其中，所述元数据为与所述医学影像相关的临床信息；基于所述医学影像或者所述元数据，从候选特征集中确定多个候选特征组，所述多个候选特征组与多个专业维度一一对应；针对所述多个专业维度每个，对所述融合特征表达进行分类处理，得到所述多个候选特征组每个的预测结果描述；以及基于所述预测结果描述，对所述医学影像进行诊断分级得到诊断结论。