图像识别的非标医疗产品自动建档方法、存储介质及设备与流程
本技术涉及计算机视觉与图像识别数据处理,具体地,涉及图像识别的非标医疗产品自动建档方法、存储介质及设备。
背景技术:
1、在医疗器械供应链和相关交易平台中,存在海量长尾非标产品。由于生产厂家和经销商的技术能力差异,平台接收到的初始医疗产品图片往往是在仓库、病房或办公桌等复杂背景下随意拍摄的。这类图片通常存在光照不均、拍摄角度多变、缺乏标准外包装和条形码等客观情况。人工识别图片并录入规格型号、材质等结构化属性数据的效率较低,限制了平台上游货源的扩充速度。
2、在现有的自动建档方案中,多数依赖于光学字符识别技术读取包装盒上的文本标签,然而当非标产品以裸机形态呈现或标签存在磨损时,该方案难以发挥作用。采用常规的卷积神经网络对非标图片直接进行分类处理时存在明显的技术缺陷。一方面,杂乱的背景会被常规的卷积神经网络误提取为特征,导致底层数据处理的信噪比低下;另一方面,医疗器械例如各类骨科内植入物、不同规格的外科钳,其类间差异较小,属于细粒度图像分类,常规卷积神经网络提取的全连接层特征维度过高,在平台进行大规模商品比对与建档归类时,高维浮点运算会引发严重的计算延迟,无法满足交易平台底层极速结构化建档与检索的业务需求。
技术实现思路
1、本技术提供了一种图像识别的非标医疗产品自动建档方法、存储介质及设备,用于在复杂背景中实现细微特征的准确提取以及低延迟的结构化建档检索。
2、本技术提供了一种图像识别的非标医疗产品自动建档方法,包括:接收非标医疗产品原始图片并转换为图片矩阵;将所述图片矩阵输入预训练的显著性目标检测网络,基于输出的概率分布图生成背景抑制掩码;将所述背景抑制掩码与所述图片矩阵进行逐元素相乘的哈达玛积操作,分离出目标器械图像;将所述目标器械图像输入预训练的多尺度卷积神经网络,执行通道注意力聚合和空间注意力聚合,输出高维浮点特征向量;对所述高维浮点特征向量执行局部敏感哈希投影,量化生成二进制特征序列;在预先构建的标准医疗器械属性图谱中,计算所述二进制特征序列与已知记录的汉明距离以确定目标标准记录;提取所述目标标准记录的结构化属性标签与所述非标医疗产品原始图片绑定,生成结构化建档数据并写入底层数据库。
3、具体地,所述将所述图片矩阵输入预训练的显著性目标检测网络,基于输出的概率分布图生成背景抑制掩码的步骤,包括:采用aures-net分割模型作为所述显著性目标检测网络;通过所述aures-net分割模型的编码器提取所述图片矩阵的多尺度特征;通过所述aures-net分割模型的解码器对所述多尺度特征进行上采样恢复空间分辨率,输出各个像素点属于医疗器械前景的所述概率分布图;将所述概率分布图中各个像素点的概率值与固定阈值进行比较,执行二值化处理生成所述背景抑制掩码。
4、具体地,所述将所述背景抑制掩码与所述图片矩阵进行逐元素相乘的哈达玛积操作,分离出目标器械图像的步骤,包括:获取所述图片矩阵的通道数与空间分辨率维度;将所述背景抑制掩码的维度扩展至与所述图片矩阵的通道数一致,得到多通道掩码矩阵;将所述图片矩阵中的每一个像素点的颜色通道值与所述多通道掩码矩阵中对应空间位置和通道的掩码值进行逐像素的乘法运算;对于所述多通道掩码矩阵中所述掩码值为零的像素点,将所述图片矩阵中对应位置的像素通道值重置为零以过滤背景信息;对于所述多通道掩码矩阵中所述掩码值为一的像素点,保留所述图片矩阵中对应位置的像素通道值,以提取出纯净的所述目标器械图像。
5、具体地,所述将所述目标器械图像输入预训练的多尺度卷积神经网络,执行通道注意力聚合和空间注意力聚合,输出高维浮点特征向量的步骤,包括:将所述目标器械图像输入以resnet-50为主干的网络结构中;在所述主干的网络结构的残差块之间嵌入双通道注意力聚合模块;通过所述双通道注意力聚合模块中的通道注意力分支计算各个特征通道的权重响应值;通过所述双通道注意力聚合模块中的空间注意力分支计算各个空间像素位置的鉴别性权重响应值;通过全局平均池化层对聚合后的特征图进行降维,输出维度为五百一十二维的所述高维浮点特征向量。
6、具体地,所述通过所述双通道注意力聚合模块中的通道注意力分支计算各个特征通道的权重响应值的步骤,包括:对输入所述双通道注意力聚合模块的特征图同时执行基于特征通道的全局最大池化操作和全局平均池化操作,得到第一空间压缩向量和第二空间压缩向量;将所述第一空间压缩向量和所述第二空间压缩向量分别输入共享权重的多层感知机网络中进行特征降维和升维处理,输出第一激活向量和第二激活向量;将所述第一激活向量和所述第二激活向量进行逐元素的加法操作,并通过激活函数将加法操作的结果映射至预设的归一化区间内,生成通道注意力权重向量;通过预设的金属反光惩罚函数对所述通道注意力权重向量中响应值异常过高的通道权重进行衰减;将衰减后的所述通道注意力权重向量与所述输入所述双通道注意力聚合模块的特征图在通道维度上进行逐元素相乘,以强化与所述非标医疗产品细粒度结构特征相关的通道特征响应并抑制反光噪声特征。
7、具体地,所述对所述高维浮点特征向量执行局部敏感哈希投影,量化生成二进制特征序列的步骤,包括:预先构建随机超平面法向量矩阵组,所述随机超平面法向量矩阵组中的每一个元素均服从标准正态分布;将所述高维浮点特征向量与所述随机超平面法向量矩阵组进行内积运算,得到投影特征向量;判断所述投影特征向量中的每一个维度的数值符号;根据所述数值符号的判断结果,将所述投影特征向量映射为由零和一组成的所述二进制特征序列。
8、具体地,所述根据所述数值符号的判断结果,将所述投影特征向量映射为由零和一组成的所述二进制特征序列的步骤,包括:获取所述投影特征向量中当前处理维度的浮点投影值;判断所述浮点投影值是否大于零;当所述浮点投影值大于零时,判定所述高维浮点特征向量位于对应随机超平面的正侧,将所述二进制特征序列中对应位的位置赋值为一;当所述浮点投影值小于或等于零时,判定所述高维浮点特征向量位于对应随机超平面的负侧,将所述二进制特征序列中对应位的位置赋值为零;获取所述投影特征向量中的下一个维度的浮点投影值作为新的当前处理维度的浮点投影值;依次遍历所述投影特征向量的所有维度重复上述判定赋值操作,直至完成全部维度的符号判断,生成长度固定的所述二进制特征序列。
9、具体地,所述在预先构建的标准医疗器械属性图谱中,计算所述二进制特征序列与已知记录的汉明距离以确定目标标准记录的步骤,包括:获取所述标准医疗器械属性图谱,所述标准医疗器械属性图谱中存储有多个所述已知记录的预存二进制哈希序列;对所述二进制特征序列与各个所述预存二进制哈希序列执行底层位异或运算,统计运算结果中值为一的比特位数量以得出所述汉明距离;将所述汉明距离与预设的距离匹配阈值进行比较;筛选出所述汉明距离小于所述距离匹配阈值的所述已知记录作为所述目标标准记录。
10、本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的图像识别的非标医疗产品自动建档方法的步骤。
11、本技术还提供了一种电子设备,包括:处理器;存储器,与所述处理器通信连接,用于存储计算机程序;其中,所述处理器被配置为执行所述计算机程序以实现上述的图像识别的非标医疗产品自动建档方法的步骤。
12、本技术通过引入显著性背景掩码,实现了非标图片中冗余像素的物理过滤,为后续的多尺度特征提取提供了高信噪比输入,有效排除了杂乱背景对卷积网络注意力机制的干扰,提高了医疗器械局部形态特征的提取纯度;同时,利用局部敏感哈希算法将高维浮点特征转化为二进制序列,将相似特征的余弦相似度计算转换为底层的位异或运算,压缩了底层数据的存储空间,降低了底层数据库结构化比对的延迟。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com