一种人体骨骼语义分割模型的半监督学习方法

1.本发明涉及人工智能领域，具体涉及计算机视觉和深度学习技术，尤其涉及一种人体骨骼语义分割模型的半监督学习方法。


背景技术：

2.计算机辅助的骨科术前规划中，需要先提取碎骨的内外表面，然后以每个碎骨外表面为单元进行拼接从而完成骨折高效修复；另一方面，对骨病进行诊断时，也需要对骨骼表面的医学语义区域进行分割。现有的骨骼分割方法一般采用手动或半自动分割，分割效率低下且通常依赖骨科医生经验，这会导致病人辐射次数较多、分割精度不高、分割时间较长等问题。
3.目前，利用深度学习进行三维物体语义分割已经成为研究热点。深度学习中，监督学习需要大量标注数据训练深度神经网络，由于手工标注费时费力，尤其对于骨骼标注，需要非常专业的骨科医生进行标注，成本较高，因此这也是制约当前骨骼语义智能分割的关键因素。其中，三维点云分割方法包括pointnet [17]、pointcnn[18]、dgcnn[19]等，这些都属于监督学习方法，但这些监督方法需要大量标注完备的数据，而骨骼数据获取十分困难，标注成本较高。


技术实现要素：

[0004]
为了解决上述现有技术中存在的不足，本发明提供一种人体骨骼语义分割模型的半监督学习方法，其可以高效地完成人体骨骼自动化语义分割任务。
[0005]
本发明解决上述技术问题所采用的技术方案为：从训练样本集中选取训练样本，其中，训练样本集中包括标签训练样本和无标签训练样本。基于训练样本，得到第一图像和第二图像，其中第一图像基于标签训练样本获得，第二图像基于无标签训练样本获得。通过初始语义分割模型，得到第一图像的第一语义分割结果和第二语义分割结果以及第二图像的第三语义分割结果，其中第一语义分割结果和第三语义分割结果通过初始语义分割模型中的第一模型获得，第二语义分割结果通过初始语义分割模型中的第二模型获得。确定第一语义分割结果的第一损失，以及第二语义分割结果和第三语义分割结果之间的第二损失。根据第一损失和第二损失，调整所述初始语义分割模型。
[0006]
进一步的，基于第一图像得到第一图像的初始语义分割结果。
[0007]
进一步的，根据初始语义分割结果和第一语义分割结果计算交叉熵函数得到所述第一损失。
[0008]
进一步的，确定第二语义分割结果和第三语义分割结果之间的第二损失，包括：根据第二语义分割结果和第三语义分割结果计算交叉熵函数得到第二损失。
[0009]
进一步的，为所述第二损失赋予损失权重得到第三损失。
[0010]
进一步的，根据第一损失和第三损失之和得到第四损失，根据第四损失，调整所述初始语义分割模型。
[0011]
进一步的，根据第四损失进行梯度下降调整初始语义分割模型中的第一模型。
[0012]
进一步的，第二模型的参数为第一模型的参数进行滑动指数平均传递得到。
[0013]
进一步的，第二图像通过所述第一模型获得第四语义分割结果，第四语义分割结果经过置信过滤后选取后验概率最大的分割结果为第三语义分割结果。
[0014]
进一步的，第一模型的训练样本采用采样、平移、翻转中的至少一种弱增强策略进行样本分布扩大。第二模型的训练样本采用采样、平移、翻转中的至少一种弱增强策略和缩放、扰动中的至少一种强增强策略进行样本分布扩大。
[0015]
进一步的，一种人体骨骼语义分割方法，包括：获取待分割图像；通过语义分割模型处理所述待分割图像，得到分割结果，其中，所述语义分割模型为训练初始语义分割模型得到。
[0016]
与现有技术相比，本发明的优点在于：
[0017]
1.多个模型协同，有效利用无标签数据训练模型，优于传统半监督学习方法；
[0018]
2.利用部分标签训练样本即可接近全监督网络性能；
[0019]
3.提出了带有标签约束的图像分割算法优化分割，高效地完成了人体骨骼语义分割。
附图说明
[0020]
图1为本发明的原理框图；
[0021]
图2为人体骨骼语义分割模型的半监督学习方法的流程图；
[0022]
图3为人体骨骼语义分割模型的半监督学习方法实施例的示意性流程图；
[0023]
图4为人体骨骼语义分割方法实施例的示意性流程图。
具体实施方式
[0024]
以下结合附图和实施例对本发明作进一步详细说明，但不作为对本发明的限定。
[0025]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0026]
在语义分割领域，已标注的数据往往是比较难获得的。相反的，未标注的数据的数据量一般要远远多于已标注的数据的数据量。基于此，半监督学习方法被广泛应用。半监督学习是利用小部分有标签数据和大部分无标签数据训练神经网络，从而尽可能提高神经网络的性能。
[0027]
实施例一：参照图1，图1示出了本发明公开的人体骨骼语义分割模型1的原理框图，包括第一模型2和第二模型3。
[0028]
作为示例，人体骨骼语义分割模型1可以为三维点云语义分割模型。
[0029]
本公开的实施例所提供的人体骨骼语义分割模型的半监督学习方法、语义分割方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。
[0030]
服务器可以是提供各种服务的服务器，例如接收终端设备获取的待分割图像，通过语义分割模型进行语义分割的后台服务器。服务器基于训练样本得到第一图像和第二图像，并结合第一图像的第一语义分割结果对应的第一损失，以及第一图像的第二语义分割结果和第一图像的第三语义分割结果之间的第二损失，对模型进行参数更新，得到语义分
割模型。
[0031]
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。作为示例，服务器可以是云端服务器。
[0032]
终端设备可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于车载智能设备、监控设备、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0033]
实施例二：请参考图2，图2为本公开实施例提供的一种人体骨骼语义分割模型的半监督学习方法的流程图。通过执行如下表征半监督学习操作的流程200，直至得到人体骨骼语义分割模型1，流程200包括以下步骤：
[0034]
步骤201，从训练样本集中选取训练样本。
[0035]
本实施例中，人体骨骼语义分割模型的半监督学习方法的执行主体可以基于有线或无线通信方式从远程、或从本地获取训练样本集，并从训练样本集中选取训练样本。其中，训练样本集中包括带标签的训练样本和无标签的训练样本。
[0036]
带标签的训练样本，其标签可以是采用人工标注方式，进行像素级的标注而得到。
[0037]
无论是带标签的训练样本，还是不带标签的训练样本，所包括的目标对象可以是各种各样的对象，包括但不限于是目标人，目标动物等目标物。
[0038]
作为示例，本实施例中的训练样本数据为人体骨骼点云数据，具体的，为人体骨骼ct影像扫描数据。
[0039]
人体骨骼点云数据包括完整骨骼点云数据和碎骨骨骼点云数据。碎骨骨骼点云数据提取过程具体操作如下：采用mimics医学影像控制系统对碎骨ct原始数据进行三维重建。在碎骨三维网格模型中，由于三角面片数量多且纹理复杂，顶点分布不均匀，本实施例中还利用3-matic三维解析模型软件对三维碎骨模型进行网格优化最终得到碎骨骨骼点云数据。
[0040]
语义分割模型的训练过程一般包括多次迭代的半监督学习操作。在每次半监督学习操作中，响应于确定达到预设结束条件，可以将训练后的初始语义分割模型确定为语义分割模型。其中，预设结束条件可以根据实际训练情况而灵活设置，包括但不限于是训练次数超过预设次数阈值、训练时间超过预设时间阈值、初始语义分割模型的损失趋于收敛等条件。
[0041]
步骤202，基于训练样本，得到第一图像和第二图像。
[0042]
作为示例，第一图像基于标签训练样本获得，第二图像基于无标签训练样本获得。
[0043]
基于同一训练样本，可通过数据增强的方式在不增加训练样本及不改变训练样本本身性质的情况下，扩大训练样本分布，从而引导语义分割模型学习到训练样本集分布之外的数据特征。
[0044]
步骤203，通过初始语义分割模型，得到第一图像的第一语义分割结果和第二语义
分割结果以及第二图像的第三语义分割结果。
[0045]
作为示例，第一语义分割结果和第三语义分割结果通过初始语义分割模型中的第一模型获得，第二语义分割结果通过初始语义分割模型中的第二模型获得。
[0046]
初始语义分割模型中的第一模型和第二模型可以是能够执行语义分割任务的各种网络模型，包括但不限于是u-net(u型网络)、fcn(fully convolutional networks，全卷积网络)、segnet(一种用于图像分割的深度卷积编解码结构)、pspnet(pyramid scene parsing network，金字塔场景解析网络)、dfanet(用于实时语义分割的深度特征聚合网络)、pointnet(点云神经网络)、pointcnn(点云卷积神经网络)、dgcnn(点云数据分割网络)、pointnet (点云语义分割神经网络)。
[0047]
在本实施例的一些可选的实现方式中，第一模型的训练样本采用采样、平移、翻转中的至少一种弱增强策略进行样本分布扩大；第二模型的训练样本采用采样、平移、翻转中的至少一种弱增强策略和缩放、扰动中的至少一种强增强策略进行样本分布扩大。
[0048]
初始语义分割模型对第一图像的第一语义分割结果和第二语义分割结果以及第二图像的第三语义分割结果，是像素级的分割结果。
[0049]
步骤204，确定第一语义分割结果的第一损失，以及第二语义分割结果和第三语义分割结果之间的第二损失。
[0050]
第一损失是基于像素级的第一语义分割结果对应得到的像素级的损失。
[0051]
第二损失是基于像素级的第二语义分割结果和第三语义分割结果之间对应得到的像素级的损失。
[0052]
步骤205，根据第一损失和第二损失，调整初始语义分割模型。
[0053]
第一损失和第二损失共同用于提高初始语义模型对于图像的语义分割过程中所得到的语义分割结果的准确性。其中，语义分割过程表征语义分割模型自接收待分割的图像至得到语义分割结果的整个过程。
[0054]
作为示例，可以根据第一损失和第二损失，求取总损失，并根据总损失计算梯度；进而，根据梯度下降算法更新初始语义分割模型的参数，以调整初始语义分割模型。
[0055]
具体的，根据第一损失和第二损失，调整初始语义分割模型中的第一模型。
[0056]
其中，还可以基于第一损失和/或第二损失的预设权重，计算得到总损失。
[0057]
在进行多次迭代后，响应于达到预设结束条件，可以将训练后的初始语义分割模型作为人体骨骼语义分割模型。
[0058]
本实施例中，结合第一语义分割结果对应的像素级的第一损失以及第二语义分割结果和第三语义分割结果之间对应得到的像素级的第二损失，对模型进行参数更新，使得最终得到的人体骨骼语义分割模型具有更好的语义分割效果。
[0059]
实施例三：与上述实施例不同的是，可以为第二损失赋予损失权重β(t)得到第三损失。根据第一损失和第三损失之和得到第四损失，根据第四损失，调整初始语义分割模型。
[0060]
第二损失的损失权重β(t)对语义分割模型非常重要。若设置过高，会影响标签训练样本的训练；反之，将无法利用无标签训练样本给第一模型带来增益，影响语义分割模型的分割效果。
[0061]
作为示例，第二损失损失权重β(t)可表示如下：
[0062][0063]
其中，βf为预设损失权重值，t1和t2为模型训练轮数。
[0064]
在本实施例的一些可选的实现方式中，βf＝5，t1＝500，t2＝1000。当t大于t1时，β(t)＝0,语义分割模型在预训练阶段，损失由第一损失构成，可以加快网络收敛速度；当t大于等于t1且小于t2时，通过缓慢增加β(t)的确定性退火过程,有助于在模型优化过程避免局部极小值,使无标签数据的语义分割尽可能与真实标签相同；当t大于等于t2时，β(t)＝5，模型处于稳定训练阶段。
[0065]
本实施例中，通过合理的设置第二损失的损失权重，可以有效地利用无标签数据给语义分割模型带来的增益，提高网络泛化性能。
[0066]
实施例四：参照图3，图3示出了根据本发明公开的一个人体骨骼语义分割模型的半监督学习方法实施例的示意性流程图。通过执行如下表征半监督学习操作的流程300，直至得到语义分割模型，流程300包括以下步骤：
[0067]
步骤301，基于第一图像，得到第一图像的初始语义分割结果。
[0068]
由于训练样本集中包括带标签的训练样本和无标签的训练样本，因此，所选取的训练样本可能是带标签的训练样本也可能是无标签的训练样本。本实施例中，第一图像是基于标签训练样本获得。
[0069]
在开始对语义分割模型训练之前，基于标签训练样本获得的第一图像的初始语义分割结果。本实现方式中，第一图像就是标签训练样本本身，而初始语义分割结果即为第一图像的标签。
[0070]
步骤302，根据初始语义分割结果和第一语义分割结果计算交叉熵函数得到第一损失。
[0071]
初始语义分割模型的第一模型对于第一图像的第一语义分割结果应该以第一图像的标签为目标。
[0072]
第一损失的计算过程可以表示为：
[0073]
其中，l
l
为第一损失，b
l
为每批训练的标签训练样本数量，为第一语义分割结果，y
l
为初始语义分割结果。第一损失根据初始语义分割结果y
l
和第一语义分割结果计算交叉熵函数得到。通过第一损失约束第一图像的标签和第一语义分割结果之间的一致性从而提高第一模型的语义分割准确度。
[0074]
通过第一损失约束第一图像的标签和第一语义分割结果之间的一致性从而提高第一模型的语义分割准确度。
[0075]
在本实施例的一些可选的实现方式中，在开始训练前，还可根据第一损失来进行梯度下降，更新第一模型的参数，提高训练的质量。
[0076]
步骤303，根据第二语义分割结果和第三语义分割结果计算交叉熵函数得到第二损失。
[0077]
第一图像的第二语义分割结果是通过初始语义分割模型中的第二模型获得的，第
二图像的第三语义分割结果是通过初始语义分割模型中的第一模型获得。本实现方式中，第一图像就是标签训练样本本身，第二图像就是无标签顺利样本本身。所以第二语义分割结果为标签训练样本通过第二模型获得的语义分割结果，第三语义分割结果是无标签训练样本通过第一模型获得的语义分割结果。
[0078]
作为示例，上述的第二模型的参数可根据第一模型的参数进行滑动指数平均(ema)传递得到，并不与第一模型共享参数。。
[0079]
(ema)的计算公式如式所示：t
′
t
＝αt
′
t-1
(1-α)s
t
[0080]
其中，α为平滑系数，即ema权重，t
′
t
为训练阶段第t步的第二模型参数，s
t
为训练阶段第t步的第一模型参数。当α＝0，表示第二模型参数与第一模型参数相同。
[0081]
无标签训练样本经过第一模型预测并过滤得到代理标签,与第二模型的输出计算一致性差异，即第二损失。
[0082]
第二损失的计算过程可以表示为：
[0083]
其中，lu为第二损失，bu为每批训练的无标签训练样本数量，为第二语义分割结果，为第三语义分割结果。第二损失根据第二语义分割结果和第三语义分割结果计算交叉熵函数得到。
[0084]
通过第二损失约束第一图像的标签和无标签顺利样本的第三语义分割结果之间的一致性从而进一步提高第一模型的语义分割准确度。
[0085]
其中第三语义分割结果为无标签训练样本的第二图像通过第一模型获得的语义分割结果经过置信过滤后选取后验概率最大的分割结果。
[0086]
第三语义分割结果的计算过程可以表示为：
[0087]
其中，其中，为学生网络点云的预测的概率分布，τ为置信阈值。
[0088]
第一模型在对无标签训练样本的分割过程中会先生成代理标签。在代理标签的生成过程中不可避免地会有一些不正确的预测。因为训练模型的参数仅从有限的标签训练样本中获得，对整个数据是欠拟合的。因此，需要进行标签选择以获得合适的代理标签。常用的方法是设置一个严格的置信阈值，并选择在其之上的概率所对应的标签。
[0089]
置信阈值的大小决定第一模型所产生代理标签的质量以及数量。在本实施例的一些可选的实现方式中，当置信阈值取值在[0.55,0.8]范围，语义分割模型的准确率呈现出上升的趋势。当置信阈值取值在[0.8,0.9]范围，语义分割模型的准确率呈下降趋势。
[0090]
本实施例中，通过选择合适的置信阈值平衡代理标签的质量与数量，对语义分割模型的分割效果具有重要意义。
[0091]
步骤304，根据第一损失和第二损失，调整初始语义分割模型。
[0092]
从本实施例中可以看出，本实施例中的语义分割模型的半监督学习方法的流程具体说明了第一损失和第二损失的确定过程，以及针对于带标签的训练样本和不带标签的训练样本的损失的确定过程，进一步提高了语义分割模型的分割效果。
[0093]
实施例五：参照图4，图4示出了根据本公开的一个人体骨骼语义分割方法实施例的示意性流程图400，流程400包括以下步骤：
[0094]
步骤401，获取待分割图像。
[0095]
本实施例中，可以基于有线或无线通信方式从远程，或从本地获取待分割图像。待分割图像是待进行语义分割的图像，可以包括目标人，建筑物、车辆、交通标志等目标物。
[0096]
作为示例，上述待分割图像可以是ct摄像设备所摄取的、表征人体骨骼信息的待分割图像。
[0097]
步骤402，通过语义分割模型处理所述待分割图像，得到分割结果。
[0098]
本实施例中，通过语义分割模型处理待分割图像，得到分割结果。其中，语义分割模型根据实施例200、300的方法训练得到。
[0099]
本实施例中，通过实施例200、300的方法训练得到的语义分割模型处理待分割图像，提高了所得到的分割结果的准确度。
[0100]
值得注意的是，以上所述仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。