基于深度学习的宠物X光片姿态分类方法及装置和设备与流程

基于深度学习的宠物x光片姿态分类方法及装置和设备
技术领域
1.本发明属于人工智能医疗、医学影像诊断领域，具体涉及一种基于深度学习的宠物x光片姿态分类方法及装置和设备。


背景技术：

2.dr(digital radiography)系统(其拍摄原理如图6所示)是一种直接数字化x射线的摄影系统，在普通放射线投影原理基础上，采用数字化感光板采集数据，通过计算机综合分析整理后成像。dr拍摄的x线数字图像的空间分辨率更高，动态范围更大，图像质量更高，是许多大型医院常用的检测装置。
3.宠物在拍摄dr影像时有正位和侧位两类姿态。正位是指宠物正面或背面对着放射线探头，呈现出正面和背面重叠出来的二维平面影像；侧位是指宠物右侧或左侧对着放射线探头，放射线从身体一侧穿透到另一侧所呈现出来的影像。
4.在基于深度学习的医疗诊断领域，通常采用卷积神经网络提取图像特征，然后对特征进行分类，进而预测图像的状态。
5.目前，在人的ct医疗领域，可使用卷积神经网络训练分类模型，分类模型对人体左右手进行预测分类。
6.目前，在宠物医疗领域，x光片是宠物疾病诊断最常用的手段之一，通常使用x光摄影系统(dr)对宠物进行拍摄得到x光片，由于dr拍摄的宠物x光片存在分辨率高、宠物尺度大小不固定、画面密度差异较小、异物、图像标签缺失等问题，导致基于深度学习的宠物x光片姿态分类研究不多；因此，需要由宠物医生人工阅片进行正位图和侧位图的分类筛选，诊断疾病。
7.通常在拍摄宠物的x光片时，宠物采用正位姿态和侧位姿态进行拍摄。不同宠物姿态下拍摄的x光片对应不同部位疾病的诊断。
8.宠物医生通过观看正位或侧位图像进行相关病症的诊断。例如，宠物医生通过观察侧位图可看出腹部水肿、胸腔积液等症状；观察正位图可看出脊椎损伤等症状。
9.而基于人工的x光片诊病时需要宠物医生进行阅片进行正侧位图像的分类和挑选，当病例图像数据较多时会耗费较长时间，另外人工阅片过程中存在大量重复性劳动，宠物医生诊断效率较低且容易出现漏诊、误诊情况。


技术实现要素：

10.本发明为了解决上述现有技术中存在的缺陷和不足，提供了一种使用深度学习方法，辅助医生进行正侧位图像的分类，分类准确度高，减少漏诊、误诊的情况，可以减少宠物医生的阅片时间，降低医生工作强度，有效提升医生阅片效率，从而提高诊断效率的基于深度学习的宠物x光片姿态分类方法及装置和设备。
11.本发明的技术方案：一种基于深度学习的宠物x光片姿态分类方法，包括如下步骤：
12.1)数据准备：收集临床中由dr设备拍摄的宠物x光图像，过滤掉不能用于姿态分类的图像，如无法分辨姿态、对象不是宠物的图像；
13.2)数据标注：对收集到的宠物影像标注类别生成对应的标签文件，其中标签类别为正位和侧位；
14.3)数据增广：将带标签的宠物图像数据以预设方式进行增广；
15.4)姿态分类模型构建：按照预设方式设计深度卷积神经网络结构、网络参数、损失函数、优化器，然后将宠物图像作为样本送入网络训练分类模型，训练分类模型；
16.5)宠物姿态预测：向分类模型输入宠物影像，将输出预测的宠物姿态。
17.优选地，步骤3)中预设数据增广方式包括：
18.a.对原图顺时针旋转90度、180度、270度；
19.b.对原图进行垂直方向镜像翻转；
20.c.对翻转后的镜像顺时针旋转90度、180度、270度；
21.d.对原图以图像中心为圆心随机旋转抖动，抖动幅度为上下10度以内；
22.e.对经过a,b,c,d增广后图像数据进行归一化；
23.f.随机打乱e步骤之后的图像数据。
24.优选地，步骤4)中预设姿态分类模型构建参数设置包括：
25.a.卷积神经网络模型结构包括图像特征提取阶段和分类阶段,特征提取阶段使用预训练模型detnet59的前六个stage作为骨干网络提取宠物影像的图像特征，分类阶段包括detnet59的fc层加一层二分类全连接层用于正侧位分类；
26.b.模型的训练参数包括设置训练轮数epoch＝100、训练批次大小batch_size＝16、学习率learning_rate＝0.0001、优化器采用sgd算法、网络采用softmax 交叉熵损失函数ce再经过加权作为loss函数l(x,y)；
27.l(x,y)＝-w
p
ylog(p(y＝1|x))-wn(1-y)log(p(y＝0|x))
28.其中，y表示深度卷积网络对宠物姿势的预测结果，p(y＝1|x)表示网络预测宠物姿态为正位的概率，p(y＝0|x)表示网络预测宠物姿态为侧位的概率，w
p
和wn分别表示样本中正例(正位)和负例(侧位)所占比重。
29.一种基于深度学习的宠物x光片姿态分类装置，应用于基于深度学习的宠物x光片姿态分类方法，包括训练姿态分类模型的模块组件和预测宠物姿态的模块组件，其中训练姿态分类模型的模块组件包括样本获取模块、样本标注模块、样本预处理模块和分类模型训练模块；预测宠物姿态的模块组件包括宠物图像获取模块、宠物图像预处理模块、宠物图像识别模块和宠物图像预测模块。
30.优选地，其中：
31.样本获取模块，用于获取若干张dr设备拍摄的宠物x光影像；
32.样本标注模块，用于获取宠物x光图像对应的宠物姿态标签；标签分为正例(正位)和负例(侧位)，然后使用多种数据增强方法对样本进行扩充，得到训练集数据；
33.样本预处理模块：用于对输入网络的宠物图像进行图像预处理，首先对图像进行归一化，然后将其裁剪为分辨率512
×
512的图像；同时对训练数据的标签进行数字编码，将正例记为1，负例记为0；
34.分类模型训练模块，用于将预处理后的宠物姿态训练数据输入深度卷积神经网络，确定宠物姿态的类型；深度卷积神经网络的模型参数是以样本标注模块所得的训练样本经过调优训练后确定的；宠物姿态类型包括正位和侧位。
35.优选地，其中，分类模型训练模块还包括：
36.a.模型训练子模块，其连接样本预处理模块，用于从训练集数据中抽取n张图像，送入分类网络进行正向传播，得到宠物姿态的预测概率，其中，n为预设batch_size大小，预测概率为宠物姿态为正位的概率；
37.b.loss计算子模块，其连接模型训练子模块和样本预处理模块，以如下方式计算loss值；
[0038][0039]
其中，n＝16为batch_size大小，yi表示这个batch中第i张宠物图片姿势的预测结果，p(y＝1|x)表示网络预测宠物姿态为正位的概率，p(y＝0|x)表示网络预测宠物姿态为侧位的概率，侧位的概率，w
p
和wn分别表示这个batch的样本中正例(正位)和负例(侧位)所占比重；
[0040]
c.参数更新子模块，其与loss计算子模块连接，使用sgd梯度下降算法将loss回传，从而更新神经网络参数；
[0041]
d.训练控制子模块，其与参数更新子模块、loss计算子模块、模型训练子模块连接，用于控制loss值低于阈值时，结束网络训练流程。
[0042]
优选地，其中：
[0043]
宠物图像获取模块，用于获取待预测的宠物x光片；
[0044]
宠物图像预处理模块，与宠物图像获取模块相连，用于将待预测的宠物图像进行预处理，将图像进行标准化裁剪和归一化处理；
[0045]
宠物图像识别模块，分别与分类模型训练模块和宠物图像预处理模块相连接，用于将待预测的宠物图像输入训练完成的深度卷积神经网络中，得到该图像中宠物姿态为正位的概率；
[0046]
宠物图像预测模块，与宠物图像识别模块相连，用于根据宠物姿态为正位的概率值进行判定；若宠物姿态为正位的概率不小于正位与侧位预设的分隔阈值，则判定宠物姿态为正位；反之，判定宠物姿态为侧位。
[0047]
一种基于深度学习的宠物x光片姿态分类设备，包括存储器和处理器，其中存储器用来存储基于深度学习的x光片姿态分类算法的计算机程序；处理器执行所述计算机程序，用来实现如前所述的基于深度学习的宠物x光片姿态分类方法。
[0048]
本发明的有益效果如下：
[0049]
1.本发明从实际宠物医疗的临床诊断过程中出发，针对宠物医生在阅片时需要对宠物姿态进行分类筛选导致时间久、阅片效率低的问题，发明了一种基于深度学习的宠物x光片的姿态分类方法和设备。
[0050]
2.本发明通过对宠物x光片数据的整理、标注、训练出基于卷积神经网络的姿态分
类模型，实现了利用深度神经网络预测宠物x光片姿态的效果。
[0051]
3.本发明通过快速的判断出宠物姿态类别，为宠物医生提供想要的姿态图像，能够提高宠物医生在阅片时的效率，也能辅助宠物医生进行更准确的姿态分类诊断。
[0052]
4.本发明可以由计算机自动筛选出侧位的宠物图像，对基于深度学习的宠物x光片腹部区域分割任务有较好的影像。
[0053]
5.本发明还可用于宠物医生查找相似图片时，过滤出宠物姿态相同的图像，提高宠物医生查找相似图像的准确度。
附图说明
[0054]
图1为本发明中基于深度学习的宠物x光片姿态分类方法流程图；
[0055]
图2为本发明中基于深度学习的宠物x光片姿态分类设备的模块示意图；
[0056]
图3为本发明宠物x光片姿态分类网络架构图；
[0057]
图4为本发明中宠物正位图像示意图；
[0058]
图5为本发明中宠物侧位图像示意图；
[0059]
图6为本发明背景技术中提到的dr系统拍摄原理图。
具体实施方式
[0060]
下面结合附图对本发明作进一步详细的说明，但并不是对本发明保护范围的限制。
[0061]
如图1所示，一种基于深度学习的宠物x光片姿态分类方法，包括如下步骤：
[0062]
1)数据准备：收集临床中由dr设备拍摄的宠物x光图像，过滤掉不能用于姿态分类的图像，如无法分辨姿态、对象不是宠物的图像；
[0063]
2)数据标注：对收集到的宠物影像标注类别生成对应的标签文件，其中标签类别为正位和侧位；
[0064]
3)数据增广：将带标签的宠物图像数据以预设方式进行增广；
[0065]
4)姿态分类模型构建：按照预设方式设计深度卷积神经网络结构、网络参数、损失函数、优化器，然后将宠物图像作为样本送入网络训练分类模型，训练分类模型；
[0066]
5)宠物姿态预测：向分类模型输入宠物影像，将输出预测的宠物姿态。
[0067]
步骤3)中预设数据增广方式包括：
[0068]
a.对原图顺时针旋转90度、180度、270度；
[0069]
b.对原图进行垂直方向镜像翻转；
[0070]
c.对翻转后的镜像顺时针旋转90度、180度、270度；
[0071]
d.对原图以图像中心为圆心随机旋转抖动，抖动幅度为上下10度以内；
[0072]
e.对经过a,b,c,d增广后图像数据进行归一化；
[0073]
f.随机打乱e步骤之后的图像数据。
[0074]
步骤4)中预设姿态分类模型构建参数设置包括：
[0075]
a.卷积神经网络模型结构包括图像特征提取阶段和分类阶段,特征提取阶段使用预训练模型detnet59的前六个stage作为骨干网络提取宠物影像的图像特征，分类阶段包括detnet59的fc层加一层二分类全连接层用于正侧位分类；
[0076]
b.模型的训练参数包括设置训练轮数epoch＝100、训练批次大小batch_size＝16、学习率learning_rate＝0.0001、优化器采用sgd算法、网络采用softmax 交叉熵损失函数ce再经过加权作为loss函数l(x,y)；
[0077]
l(x,y)＝-w
p
ylog(p(y＝1|x))-wn(1-y)log(p(y＝0|x))
[0078]
其中，y表示深度卷积网络对宠物姿势的预测结果，p(y＝1|x)表示网络预测宠物姿态为正位的概率，p(y＝0|x)表示网络预测宠物姿态为侧位的概率，w
p
和wn分别表示样本中正例(正位)和负例(侧位)所占比重。
[0079]
如图2-5所示，一种基于深度学习的宠物x光片姿态分类装置，包括训练姿态分类模型的模块组件和预测宠物姿态的模块组件，其中训练姿态分类模型的模块组件包括样本获取模块、样本标注模块、样本预处理模块和分类模型训练模块；预测宠物姿态的模块组件包括宠物图像获取模块、宠物图像预处理模块、宠物图像识别模块和宠物图像预测模块。
[0080]
其中：
[0081]
样本获取模块，用于获取若干张dr设备拍摄的宠物x光影像；
[0082]
样本标注模块，用于获取宠物x光图像对应的宠物姿态标签；标签分为正例(正位)和负例(侧位)，然后使用多种数据增强方法对样本进行扩充，得到训练集数据；
[0083]
样本预处理模块：用于对输入网络的宠物图像进行图像预处理，首先对图像进行归一化，然后将其裁剪为分辨率512
×
512的图像；同时对训练数据的标签进行数字编码，将正例记为1，负例记为0；
[0084]
分类模型训练模块，用于将预处理后的宠物姿态训练数据输入深度卷积神经网络，确定宠物姿态的类型；深度卷积神经网络的模型参数是以样本标注模块所得的训练样本经过调优训练后确定的；宠物姿态类型包括正位和侧位。
[0085]
其中，分类模型训练模块还包括：
[0086]
a.模型训练子模块，其连接样本预处理模块，用于从训练集数据中抽取n张图像，送入分类网络进行正向传播，得到宠物姿态的预测概率，其中，n为预设batch_size大小，预测概率为宠物姿态为正位的概率；
[0087]
b.loss计算子模块，其连接模型训练子模块和样本预处理模块，以如下方式计算loss值；
[0088][0089]
其中，n＝16为batch_size大小，yi表示这个batch中第i张宠物图片姿势的预测结果，p(y＝1|x)表示网络预测宠物姿态为正位的概率，p(y＝0|x)表示网络预测宠物姿态为侧位的概率，侧位的概率，w
p
和wn分别表示这个batch的样本中正例(正位)和负例(侧位)所占比重；
[0090]
c.参数更新子模块，其与loss计算子模块连接，使用sgd梯度下降算法将loss回传，从而更新神经网络参数；
[0091]
d.训练控制子模块，其与参数更新子模块、loss计算子模块、模型训练子模块连
接，用于控制loss值低于阈值时，结束网络训练流程。
[0092]
其中：
[0093]
宠物图像获取模块，用于获取待预测的宠物x光片；
[0094]
宠物图像预处理模块，与宠物图像获取模块相连，用于将待预测的宠物图像进行预处理，将图像进行标准化裁剪和归一化处理；
[0095]
宠物图像识别模块，分别与分类模型训练模块和宠物图像预处理模块相连接，用于将待预测的宠物图像输入训练完成的深度卷积神经网络中，得到该图像中宠物姿态为正位的概率；
[0096]
宠物图像预测模块，与宠物图像识别模块相连，用于根据宠物姿态为正位的概率值进行判定；若宠物姿态为正位的概率不小于正位与侧位预设的分隔阈值，则判定宠物姿态为正位；反之，判定宠物姿态为侧位。
[0097]
本发明还提供了一种基于深度学习的宠物x光片姿态分类设备，包括存储器和处理器，其中存储器用来存储基于深度学习的x光片姿态分类算法的计算机程序；处理器执行所述计算机程序，用来实现基于深度学习的宠物x光片姿态分类方法。
[0098]
本发明主要创新点如下：
[0099]
发明了一种基于深度学习的宠物x光片姿态分类预测的方法。在宠物医疗临床诊断中，发明了一种对dr设备拍摄的宠物x光片进行ai姿态分类的设备。用于辅助宠物医生阅片。为了替代人工阅片时需要对宠物图像进行分类，本发明首次提出基于深度学习的分类网络模型对宠物图像的姿态进行分类预测。