基于相对温差的红外热图双足区域分割方法

1.本发明属于计算机视觉技术领域，涉及一种基于相对温差的红外热图双足区域分割方法。


背景技术：

2.糖尿病足的足部溃疡易发部位的温度变化比非溃疡部位要高。常规评估皮肤的方法，包括检查和触诊，虽然是有价值的方法，但通常它们在溃疡形成之前无法检测到皮肤完整性的变化。相反，红外成像是一种能够评估皮肤完整性及其多层面的技术，但有时会包含部分脚踝区域。为了提高图像分割精度，多家机构设计和采用了遮挡装置，所获得的热图通常仅包含双足区域和遮挡背景。当双足区域和背景对比度较好时，阈值法、基于边缘的方法、分水岭法等均较容易获得不错的分割效果。
3.红外热成像技术应用于糖尿病足检测主要有两种形式：被动式和主动式，被动式是直接使用红外热像仪观察足底温度分布，而主动式通常是先对足底进行降温，然后用红外热像仪观察和记录足底升温过程。对于主动式红外热成像，在实验过程中，室温通常可看做是恒温的，而足底温度也一般会降温至低于室温，在慢慢的升温过程中，足底温度会高于室温。因而，在整个过程中，会存在一定时间范围内，足底温度和室温下的背景温度比较接近，其图像对比度很差。对于被动式红外图像，也是类似的可能会存在对比度很差的情况，目前还没有办法能很好的解决这种情况下的双足区域分割问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于相对温差的红外热图双足区域分割方法，可实现主动式红外热图序列中双足区域与背景差异小或对比度差的双足区域分割。
5.为达到上述目的，本发明提供如下技术方案：
6.一种基于相对温差的红外热图双足区域分割方法，具体包括以下步骤：
7.s1：建立双足的全局平均温度-时间曲线；
8.s2：确定热图序列中所需做温差热图分割的时刻t；
9.s3：确定参考时刻t0；
10.s4：求t时刻的温差热图双足边缘；
11.s5：采用u2-net网络提取红外热图双足的完整边缘。
12.进一步，步骤s1具体包括：选取感兴趣区域求每一帧的平均温度值，再用每一帧的平均温度值减去第一帧的平均温度值；将其结果与感兴趣区域像素与足内像素相比的比例值相乘，然后再加上第一帧足内平均温度值，即得到比较精确的双足的全局平均温度-时间升温曲线。
13.进一步，步骤s2具体包括：建立热图序列的标准差-时间曲线，对双足热图原始图片使用sobel算法提取边缘，然后对其进行分类处理，分为可以分割和不可以分割两个类别，将这两个类别作为纵坐标，同时引进标准差作为横坐标；并采用sigmoid函数作为决策
边界曲线，sigmoid函数中纵坐标为0.5时所对应的横坐标值定为所需做温差热图分割的阈值σ0，大于阈值σ0即为可以分割，小于阈值σ0即为不可以分割，即热图序列中标准差小于阈值σ0的时间段即是所需做温差热图分割的时刻t。
14.进一步，步骤s3具体包括：将对足内和背景区域赋予不同温度差δt，然后添加不同标准差的高斯噪声；然后通过sobel算法得到边缘，通过分析是否能正确提取到边缘，建立温度差和噪声标准差的关系；计算背景均匀位置噪声来确定温差热图的噪声值，再由温度差和噪声标准差的关系得到温度差，从而根据步骤s1建立的双足的全局平均温度-时间曲线确定参考时刻t0。
15.进一步，步骤s3中，温差热图的表达式为：
16.f(x,y)＝|t(x,y,t)-αt(x,y,t0)|t0《t,0≤α≤1
ꢀꢀꢀꢀ
(1)
17.其中，f(x,y)为t0和t时刻热图对应差值，t(x,y,t)为所获得的热恢复序列，(x,y)为坐标值，α为系数；温度差结果存在四种情况：足底减背景、背景减足底、足底减足底和背景减背景。
18.进一步，步骤s3中，建立温度差和噪声标准差的关系，具体包括：假设在原始热图中，足底温度为t1，背景温度为t0；现用红外相机采集，由于相机采集过程中含有噪声干扰，则会出现t0时刻，足底温度为t1 n1，背景温度为t0 n1；t1时刻时足底温度为t2 n2，背景温度为t0 n2；n1为t0时刻噪声，n2为t1时刻噪声；分别用σ1和σ2表示两个时刻的噪声标准差，则有以下关系：σ1＝σ2；
19.利用公式(1)做温差处理，温差结果中背景噪声为：
20.t0 n
2-α(t0 n1)＝(1-α)t0 n
2-αn1ꢀꢀꢀꢀ
(2)
21.通过模拟发现温差背景噪声标准差与t0无关，当α已知时，温差背景噪声标准差σ和n1或n2的关系为：
[0022][0023]
进一步，步骤s4具体包括：从步骤s2中选出一张需要使用温差热图分割方法的热图，再由步骤s3确定参考时刻t0，进而得到参考时刻热图的温度值，将对比度差的热图温度值与参考时刻相减，再将得到的差值进行0到255的线性转换由此转化为图片；再将温差热图和t0时刻的参考热图分别进行sobel算法和二值化操作；为了正确得到t时刻的双足边缘，需要将温差热图边缘与t0时刻的参考热图边缘相减，所得到的结果中t时刻的双足边缘相较t0时刻热图双足边缘信号更强。
[0024]
进一步，步骤s5具体包括：对所有实验数据进行步骤s1～步骤s4的温差处理后，选取总体数据集的三分之二作为训练集，其余的三分之一作为测试集；对训练集进行标注处理，标注出特征区域，把标注后生成的json文件，转化为mask图，通过u2-net网络进行训练，生成u2-net模型；使用测试集测试所获得图像即为分割处理的结果，其中目标区域就是所需分割的区域。
[0025]
本发明的有益效果在于：本发明基于红外温差热图，实现了主动式红外热图序列中双足区域与背景差异小或对比度差的双足区域分割。
[0026]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和
获得。
附图说明
[0027]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0028]
图1为本发明采用的相对温差分割方法的整体流程图；
[0029]
图2为热图温差分析流程图；
[0030]
图3为对比度不同的双足直方图；
[0031]
图4为标准差-时间曲线；
[0032]
图5为散点图与sigmoid函数关系曲线图；
[0033]
图6为得到完整边缘时间间隔流程图；
[0034]
图7为温差δt和标准差曲线图；
[0035]
图8为全局温度-时间曲线；
[0036]
图9为带有零星边缘的热图；
[0037]
图10为对比度差的分割图。
具体实施方式
[0038]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0039]
请参阅图1～图10，本发明提供了一种基于温差热图的分割方法，假设t(x,y,t)为所获得的热恢复序列，其中(x,y)为坐标值，t为对应时间。温差热图f(x,y)为两个不同时刻热图对应差值，即热图在t时刻对应于坐标(x,y)的温度值减去以t0时刻对应坐标温度值乘以系数α，得到两个时刻间的差值：
[0040]
f(x,y)＝|t(x,y,t)-αt(x,y,t0)|t0《t,0≤α≤1
ꢀꢀꢀꢀ
(1)
[0041]
当热图对比度较差时，即足底区域温度和背景温度差异较小时，较难正确分割得到足底区域。原始热图中主要包括两个区域：足底和背景，因而，温差结果存在四种情况：足底减背景、背景减足底、足底减足底和背景减背景。
[0042]
假设t0时刻为参考时刻，其背景温度值为t0，足底温度值为t1。t时刻为对比度差的时刻，背景温度值为t0，足底温度值为t2。按照式(1)的方法得到的温差热图中，所述的四种结果相对于第四种结果(即背景减背景)的温度差为：
[0043]
1)足底减背景：(t
2-αt0)-(t
0-αt0)＝t
2-t0；
[0044]
2)背景减足底：(t
0-αt1)-(t
0-αt0)＝α(t
0-t1)；
[0045]
3)足底减足底：(t
2-αt1)-(t
0-αt0)＝t
2-t0 α(t
0-t1)；
[0046]
4)背景减背景：(t
0-αt0)-(t
0-αt0)＝0；
[0047]
t时刻热图中，足内和背景的温度差为t
2-t0。经过式1)进行处理后，所得到的温度
差变为上述四种情况。本发明提出采用温差方法代替用原图进行双足区域分割，则所得到的上述情况下的温度差应大于原图中的温度差，即t
2-t0。用所得到的温差热图中四种情况下的结果与t
2-t0进行比较：
[0048]
1)足底减背景：(t
2-t0)-(t
2-t0)＝0；
[0049]
2)背景减足底：α(t
0-t1)-(t
2-t0)＝(t
0-t2) α(t
0-t1)；
[0050]
3)足底减足底：(t
2-t0 α(t
0-t1))-(t
2-t0)＝α(t
0-t1)；
[0051]
4)背景减背景：作为前三种情况的背景参考温度，故其无需再考虑。
[0052]
不管是原图还是温差热图，由于感兴趣区域图像主要由背景和双足组成，因而，图像对比度由双足和背景之间的温度差的绝对值决定。对于第1)种情况，由于结果为0，温差和原图中对比度没有改变。对于第2)种情况是需要做温差的t时刻背景减去t0时刻的足底，所得到的温差信号是关于t0时刻的足底，由于本发明关注的是t时刻的足底区域，所以对于其温差是否有改善不做讨论。对于第3)种情况，其差值为α(t
0-t1)。如果选取的时间相对靠前时，t0》t1，该差值大于0，对比度会有提升。如果t0《t1，则α(t
0-t1)《0，对比度更差。由于实验过程中，背景温度保持不变，而足内区域其初始温度是低于背景温度，然后慢慢上升，最后保持平衡。而对于本发明感兴趣的t时刻的足底区域，其在温差热图中由第1)和第3)种情况的结果组成，同时，由于实验过程中，双足基本保持不动，仅存在较小角度转动或较小移动，因而，温差热图中足底区域主要由第3)种情况构成。综合以上分析，基于式1)的温差热图相比原始热图具有更好的对比度，所以，本发明提出一种基于相对温差的红外热图双足区域分割方法，算法整体流程如图1所示，具体包括以下步骤：
[0053]
步骤1：建立双足的全局(平均)温度-时间曲线。
[0054]
在整个实验图像中，背景保持不变，变化的是双足区域。不管双足是否有移动，对于图像的升温没有任何影响，所以，整个图像的升温曲线就是双足区域的平均升温曲线。选取感兴趣roi区域求每一帧的平均温度值，再用每一帧的平均温度值减去第一帧的平均温度值。将其结果与roi区域像素数与足内像素数相比的比例值相乘，然后再加上第一帧足内温度均值，即可得到比较精确的双足温度-时间平均升温曲线。基于该曲线，当确定需要做温差分析的区间时刻t及相对应的温差后，即可得到参考时刻t0，从而得到温差结果进行进一步处理。
[0055]
步骤2：确定哪些时刻热图需要进行基于温差热图的分割方法。
[0056]
采用相对温差的红外热图双足区域分割方法，首先需要确定哪些时刻的热图可以直接采用传统方法进行处理，哪些时刻热图需要采用本发明提出的基于相对温差的红外热图分割方法进行处理。对于哪些时刻热图需要基于温差热图的分割方法，其算法流程如图2所示。
[0057]
对于特定时刻热图，首先计算其直方图，对于较早时刻热图，足底温度低于背景温度，由于足底和背景温差较大，其直方图呈典型的双峰形状。随着时间增大，足底温度慢慢升高，而背景温度不变，直方图不再具有明显的双峰，也就是双峰会逐渐叠加在一起，有一个从双峰到单峰的过程。当采集时间足够长时，随着时间进一步增大，足底温度进一步升高，而高于背景温度，单峰直方图会逐渐变为双峰直方图。实际检测时，不同实验环境可能造成不一定具有所描述的完整的从双峰到单峰，再到双峰的过程。如图3所示，当图像直方图呈典型双峰形状时(图3(a))，足底和背景温差较大，图像对比度好，标准差较大；而呈单
峰形状时(图3(b))，足底和背景温差较小，图像对比度差，标准差较小。
[0058]
对于实验所得到的热图序列数据，计算所有时刻热图的标准差，以时间为横坐标，标准差为纵坐标，可得到标准差-时间曲线，如图4所示，由于受噪声影响，该曲线存在一定波动，进行多项式拟合，可得到标准差与时间关系：
[0059][0060]
其中，ai表示多项式拟合后的系数；对于不同实验序列数据，公式(2)中的多项式参数不一样。一个完整的标准差-时间曲线是一个呈“u”形曲线，中央标准差值较小，也对应着图像对比度差。
[0061]
为了确定做温差处理的区间，观察标准差-时间曲线。已知标准差越大，其对比度越好，对应的双足热图也更容易分割。反之，标准差越小，热图对比度越差，也更不易分割出双足。为了确定t的取值范围，首先对原图采用sobel算法提取边缘，根据边缘断续情况将双足图片分为可以分割(1)和不可以分割(0)两个类别，以这两个类别作为纵坐标，同时引进标准差作为横坐标，由于标准差值小，不方便观察，便将值放缩到-1到1，确定阈值后需要将其值还原回标准差，如图5所示。为了更好的确定阈值，这里引进sigmoid函数作为决策边界曲线，该函数曲线在极端情况下是平滑的，在中间几乎是线性的，降低了错误分类的误差。sigmoid函数中纵坐标为0.5时所对应的横坐标值是放缩后的值，需要将其还原为原来的标准差，还原后的值便定为所需做温差分析的阈值σ0，热图序列中标准差小于该阈值的时间段即是所需做温差分析的时刻t。
[0062]
步骤3：确定参考时刻t0。
[0063]
已知所需做温差分析的时刻t，还需要确定其参考图像的选择，即t0的选择，其处理流程如图6所示。其总体思路是：当无噪声时，足内和背景存在温差，理论上就应该能正确得到边缘。但是实验数据存在噪声，且不同热像仪存在不同水平的噪声，因而，在噪声干扰下，足内和背景间温度差要达到一定水平，才能采用图像处理算法正确得到边缘，本发明与步骤2一样采用sobel进行处理。热像仪噪声通常呈高斯分布，将对足内和背景区域赋予不同温度差δt，然后添加不同标准差的高斯噪声。然后通过sobel算法得到边缘，通过分析是否能正确提取到边缘，建立温度差和噪声标准差的关系，如图7所示。
[0064]
对于原始热图，通过图8所建立的关系，在已知噪声情况下，即可得到温差需要多大，才能正确分割足底区域。对于实验数据，噪声标准差可以通过选取相对均匀背景区域进行计算可得到。由于本发明是基于相对温差进行后续处理的，所以需要分析在温差热图中，噪声和温差之间的关系。从图像处理角度来看，该关系在原图和温差热图中无区别，但是，在温差热图中，背景和足内温度均发生了改变。
[0065]
假设在原始热图中，足底温度为t1，背景温度为t0。现用红外相机采集，由于相机采集过程中含有噪声干扰，则会出现t0时刻时，足底温度为t1 n1，背景温度为t0 n1。t1时刻时足底温度为t2 n2，背景温度为t0 n2。在这两个时刻中，n1为t0时刻噪声，表达为n1(x,y)，n2为t1时刻噪声，表达为n2(x,y)。实际上，不同位置噪声值是不同的。即n1(x,y)≠n2(x,y)。分别用σ1和σ2表示两个时刻的噪声标准差，则有以下关系：σ1＝σ2，即标准差相同。
[0066]
利用公式(1)做温差处理，温差结果中背景噪声为：
[0067]
t0 n
2-α(t0 n1)＝(1-α)t0 n
2-αn1ꢀꢀꢀꢀ
(3)
[0068]
通过模拟发现温差背景噪声标准差与t0无关，当α已知时，温差背景噪声标准差σ和n1或n2的关系：
[0069][0070]
经过式(1)处理后，t时刻足底区域分为两部分，一部分是足底减背景，由于其与原图中足底与背景之间的温差一致，因而，原图中不能正确分割，在温差热图中也不能正确分割。另外一部分，也是主要部分则是足底减足底，按照前面的分析，其与温差背景之间的温差为t
2-t0 α(t
0-t1)。该表达式中，除了t1外，其余参数均已知或可从实验数据中得到。利用如图8所得到的δt与噪声标准差之间的关系，并用式(4)计算温差背景噪声，从而可求出t1。最后利用步骤1所建立的全局平均温度-时间曲线，即可得到t1对应的时间t0。
[0071]
步骤4：求温差热图边缘。
[0072]
首先，从所需做温差分析的时刻t中选取一张热图，再结合所得到的参考时间t0时的热图，将所需做温差分析的热图中每个像素所对应的温度值与参考时刻中每一像素的温度值相减，再将得到的值进行0到255的线性转换由此转化为图片。再将温差热图和t0时刻的参考热图分别进行sobel算法和二值化操作。对于二值化操作，使用了简单阈值函数二值化，将阈值设为80。所有大于80的值会被处理为255，其余值会被处理为0。二值化后的温差热图边缘不仅包含t时刻的双足边缘，也可能包含着t0时刻的部分双足边缘。为了正确得到t时刻的双足边缘，将其减去t0时刻热图中双足边缘，所得到的结果中t时刻的双足边缘相较t0时刻热图双足边缘信号更强，通过后续深度学习可正确提取到t时刻的双足边缘。
[0073]
步骤5：采用u2-net网络提取完整边缘。
[0074]
对所有实验数据采用上述方法进行温差处理后，选取总体的三分之二作为训练集，其余的三分之一作为测试集。对数据集进行标注处理，标注出特征区域，把标注后生成的json文件，转化为mask图，通过u2-net网络进行训练，生成u2-net模型。使用测试集测试所获得图像即为分割处理的结果，其中目标区域就是所希望的区域。
[0075]
本发明的理论基础是基于一个主动降温后双足后续自动升温的过程，这是一个动态的过程。热像仪每隔一段时间做一次非均匀性矫正，且矫正之后，各个阶段以及相同时段内不同时间的情况下噪声温度标准差无明显区别。选取图片时，要注意不要选择前几张图片，避免制冷不均导致的误差。
[0076]
具体实施例：
[0077]
为了便于理解本发明，本实施例通过具体实验来说明本发明红外热图双足区域相对温差分割方法。本实施例中使用了14度冷水双足直接制冷30秒，室温为25.5℃，湿度为72％，1赫兹采集15分钟的数据所对应的900张热图序列进行处理。
[0078]
对于该实验数据，首先需要确定哪些时刻需要基于温差热图的分割方法。在发明阶段已经确定了对比度差的热图其感兴趣区域标准差会比对比度好的热图感兴趣区域标准差小，建立了该整个热图序列的双足标准差时间曲线，然后又通过建立图5的关系，找到了当标准差低于0.02时，其热图对比度差，需要温差分析。在该实施例中，只需计算感兴趣区域的标准差，其值小于0.02，则该双足热图需要温差分析。
[0079]
接下来需要确定参考时刻t0。首先从所需做温差分析的时刻t中选取一张热图，计算一块背景均匀的区域温度标准差为0.01，将其作为背景噪声。温度波动系数α为0.99，根
据公式(4)，可计算出温差图的噪声值为0.014，参考图7温差δt和标准差σ曲线图，与该实施例中温差图的噪声值相对的温差δt为0.6617℃。
[0080]
此时，需要建立与该实施例相对应的全局温度-时间曲线，如图8所示。首先利用红外软件获取感兴趣区域内的温升曲线图，其中感兴趣区域(roi)包括完整双足部位。此时获得的温升曲线热图是包含背景在内的平均温升曲线。将该温升曲线减去第一帧的平均温度值，将该曲线图就位准备。再将该曲线上的值与roi区域像素值和第一帧中足内像素值的比例相乘，再加上就位准备时第一帧的足内温度均值，此时，便得到了一个精确的双足温升热图曲线。在需做温差分析的区间选出一张对比度差的热图，该时刻的温度值可以从图8中得到，根据式(1)以及所得到的温差δt，可推出参考时刻t0的温度，从而找到与该温度相对应的时刻。
[0081]
已知参考热图和对比度差的热图，将所需做温差分析的热图中每个像素值所对应的温度与参考时刻中每一像素的温度值按照式(1)相减，将温差结果进行0到255的线性转换为灰度值，由此转化为图片。再将温差热图和t0时刻的参考热图分别进行sobel算法和二值化操作。二值化后的温差热图边缘不仅包含对比度差的时刻的双足边缘，也可能包含着参考时刻t0的部分双足边缘。为了正确得到t时刻的双足边缘，将其减去t0时刻热图中双足边缘，所得到的结果中t时刻的双足边缘相较t0时刻热图双足边缘信号更强，如图9所示。
[0082]
利用温差热图分割的方法得到相对应的一系列温差热图边缘。在这些热图边缘中，选取总体的三分之二作为训练集，其余的三分之一作为测试集。对数据集进行标注处理，标注出特征区域，把标注后生成的json文件，转化为mask图，通过u2-net网络进行训练，生成u2-net模型。最后，利用该模型可以将双足分割出来，如图10所示。
[0083]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。