体征数据的融合方法、数据融合设备以及可读存储介质与流程

1.本发明涉及超声扫查技术领域，尤其涉及一种体征数据的融合方法、数据融合设备以及可读存储介质。


背景技术：

2.目前，热疗作为一种新兴的肿瘤治疗方式，在医学领域的应用被越来越多，常见的热疗方式为通过ct（computed tomography，计算机断层扫描）/mri（magnetic resonance imaging，核磁共振成像）技术获取患者身体内部的三维结构图像，根据该图像使用各种热疗仪器来进行患者体内的肿瘤治疗。
3.然而，热疗过程中需要对人体内部进行实时监测，受限于采集成本和采集方式，通常患者在拍摄一次ct/mri图像后，在较长时间内（几天到几个月不定），都是基于该次获取到的人体内部的静态三维结构图像进行诊断治疗，因此，传统的ct/mri技术获取到的静态的人体内部三维结构图像并不能很好的满足热疗过程中实时监测人体内部的需求。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种体征数据的融合方法，旨在解决热疗过程中如何对人体的进行实时监测的问题。
6.为实现上述目的，本发明提供的一种体征数据的融合方法，所述体征数据的融合方法包括：根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；确定所述体表结构数据对应的体表温度；确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
7.可选地，所述根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据包括：将多视角深度相机采集的图像数据进行融合，得到所述采集结果；根据所述采集结果确定所述体表结构数据的初始点云；基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；确定所述候选人体点云中不包含所述表面衣物部分的目标点云，并根据所述目标点云确定所述体表结构数据。
8.可选地，所述确定所述候选人体点云中不包含所述表面衣物部分的目标点云，并
根据所述目标点云确定所述体表结构数据的步骤包括：确定所述待检测部位对应的肤色区域；获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
9.可选地，所述确定所述体表结构数据对应的体表温度的步骤包括：获取所述体表结构数据对应的点云坐标；根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
10.可选地，所述确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据的步骤包括：获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；根据所述单视角融合体表数据确定所述融合体表数据。
11.可选地，所述根据所述单视角融合体表数据确定所述融合体表数据的步骤包括：获取每一深度相机的采集视角下对应的所述单视角融合体表数据；确定每一所述单视角融合体表数据对应的坐标矩阵；确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
12.可选地，所述根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征的步骤包括：获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；将所述刚性变换矩阵通过非刚性精配准，确定所述待检测部位的所述实时体征。
13.可选地，所述将所述刚性变换矩阵通过非刚性精配准，确定所述实时体征的步骤包括：获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
14.此外，为实现上述目的，本发明还提供一种数据融合设备，所述数据融合设备包括传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述传感器包括深度相机和红外热成像仪，所述数据处理程序被所述处理器执行时实现如上所述的体征数据的融合方法的步骤。
15.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的体征数据的融合方法的步骤。
16.本发明实施例提供一种体征数据的融合方法、数据融合设备以及可读存储介质，其中，所述方法包括：根据计算机断层扫描/核磁共振成像的扫描结果，获取待检测部位的体内结构数据，以及所述待检测部位关联的体表结构数据；确定所述体表结构数据对应的体表温度；确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。通过将三种数据进行融合，得到包含内部器官结构的动态的人体体征，实现了对待检测人体的实时监测，提高了检测效率。
附图说明
17.图1为本发明实施例涉及的数据融合设备的硬件架构示意图；图2为本发明体征数据的融合方法的第一实施例的流程示意图；图3为本发明体征数据的融合方法的第二实施例中步骤s10的细化流程示意图；图4为本发明体征数据的融合方法的第三实施例中步骤s20的细化流程示意图；图5为本发明体征数据的融合方法的第四实施例中步骤s30的细化流程示意图；图6为本发明体征数据的融合方法的第四实施例中步骤s40的细化流程示意图；本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
19.作为一种实现方案，本发明的数据融合设备的硬件架构可以如图1所示。
20.本发明实施例方案涉及的是数据融合设备，所述数据融合设备包括：处理器101，例如cpu，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
21.存储器102可以是高速ram存储器，也可以是稳定的存储器（non-volatilememory），例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括数据处理程序；而处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；确定所述体表结构数据对应的体表温度；确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
22.在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
将多视角深度相机采集的图像数据进行融合，得到所述采集结果；根据所述采集结果确定所述体表结构数据的初始点云；基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；确定所述待检测部位对应的肤色区域；获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
23.在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：获取所述体表结构数据对应的点云坐标；根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
24.在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；获取每一深度相机的采集视角下对应的所述单视角融合体表数据；确定每一所述单视角融合体表数据对应的坐标矩阵；确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
25.在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
26.基于上述基于超声扫查技术的数据处理装置的硬件架构，提出本发明体征数据的融合方法的实施例。
27.参照图2，在第一实施例中，所述体征数据的融合方法包括以下步骤：步骤s10，根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构
数据；在本实施中，通过主流的计算机断层扫描/核磁共振成像（即ct/mri）技术可以获取待检测人体的内部三维结构，并且通过采集系统中的深度相机，获取到所述待检测部位关联的体表结构数据，所述体表结构数据为包括所述待检测人体的待检测部位的外部轮廓，如胸部、背部等部位的大致轮廓，能够反应出待检测人体的当前体位信息。
28.步骤s20，确定所述体表结构数据对应的体表温度；在本实施例中，为了获取到待检测部位的温度，由于体内的温度不便于直接获取，因此采用获取体表温度进而间接获取体内温度的方式确定所述待检测部位的温度。通过采集系统中的红外热成像仪，得到所述体表结构数据对应的所述待检测部位中的体表温度。
29.步骤s30，确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；在本实施例中，将所述体表结构数据和所述体表温度进行融合，得到包含有待检测部位的融合温度的表面轮廓结构的融合体表数据。
30.步骤s40，根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
31.在本实施例中，将融合体表数据和所述体内结构数据进行融合，得到同时包含待检测部位的体内结构、体表结构和温度的实时体征，以根据所述实时体征对所述待检测人体进行治疗诊断。
32.在本实施例提供的技术方案中，分别获取待检测部位的体内结构数据、体外结构数据和所述体外结构数据对应的体表温度，然后先融合体外结构数据和所述体表温度得到融合体表数据，再将融合体表数据与所述体外结构数据进行融合，最后得到包括体内结构、体表结构和温度的实时体征，以根据所述实时体征对所述待检测人体进行治疗诊断。通过将三种数据进行融合，得到包含内部器官结构的动态的人体体征，实现了对人体的实时监测，提高了检测效率。
33.参照图3，在第二实施例中，基于第一实施例，所述根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据的步骤包括：步骤s11，将多视角深度相机采集的图像数据进行融合，得到所述采集结果；步骤s12，根据所述采集结果确定所述体表结构数据的初始点云；步骤s13，基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；步骤s141，确定所述待检测部位对应的肤色区域；步骤s142，获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；步骤s143，根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
34.可选地，本实施例提供一种体表结构数据的确定方法。在本实施例中，输入的点云比较稠密，全部处理的话会非常耗时，因此对输入点云先进行降采样，降低点云的密度，加快处理速度。直观上来说，点云降采样就是对原始点云每间隔一定的空间距离取一个点代表其邻域内的其它点，这样就可以得到一个更稀疏的点云。理论上人体表面点云应当构成
一个平滑连续的曲面，但由于各种原因会存在一些异常点云（如孤立的几个离散点），点云滤波就可以滤除这些异常点云，输出一个更高质量的点云供后续步骤使用。滤波后的点云由于传感器的测量误差，会有不平滑的现象，如水浪般的波纹。因此，进一步对点云进行平滑处理，使点云曲面更加平滑。将剩下的点云包含人体区域点云和非人体区域点云，进一步根据连续性将剩下的点云分割成若干连续的曲面（假设人体区域表面是光滑连续的）。从分割出的若干曲面中筛选出面积最大曲面（也即最显著）作为候选人体区域点云。
35.此外，由于候选人体区域点云没有考虑如人体肤色、纹理等信息，因此可能会造成误分割（如：将盖在人体表面的衣物也误分割为人体皮肤）。为此，进一步使用肤色分割对候选区域进行分割优化。
36.具体的，采用深度卷积分割网络对对应的彩色图像进行分割，提取出肤色区域ri；对候选人体区域点云中的任意第j个点判断其是否在ri区域内（其中j属于[0,ni)，ni为包含的点云数），如果该点在ri内则将其加入到优化后的点云，判断方法如下：首先，变换到ri所在的坐标空间：其中，r
dc
和t
dc
是深度相机的参数，预先标定获得；然后，投影到ri所在的图像平面：其中，是点的z轴坐标、ki是彩色相机的内参，预先标定获得；最后，判断点是否在ri内部。
[0037]
在本实施例提供的技术方案中，通过对点云进行预处理并分割，得到包含人体表面衣物的候选人体区域点云，再将所述候选人体区域点云基于待检测人体区域的分割优化，得到只包含待检测人体待检测部位的体表结构数据，避免了将盖在人体表面的衣物也误分割为人体皮肤，提高了获取到的待检测部位相关点云的精确度。
[0038]
参照图4，在第三实施例中，基于第一实施例，所述步骤s20包括：步骤s21，获取所述体表结构数据对应的点云坐标；步骤s22，根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
[0039]
可选地，本实施例提供一种体表温度的获取方法。在本实施例中，首先获取传感器采集的体表结构数据对应的点云坐标，通过红外热成像仪采集在所述点云坐标下的人体部位的体表温度。
[0040]
在本实施提供的技术方案中，通过获取体表结构数据对应的点云坐标，再通过红外热成像仪采集在所述点云坐标下的人体部位的体表温度的方式，采集到体表结构数据对应的体表温度。
[0041]
参照图5，在第四实施例中，基于第一实施例，所述步骤s30包括：
步骤s31，获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；步骤s32，确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；步骤s33，根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；步骤s341，获取每一深度相机的采集视角下对应的所述单视角融合体表数据；步骤s342，确定每一所述单视角融合体表数据对应的坐标矩阵；步骤s343，确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
[0042]
可选地，本实施例提供一种将体表结构数据和体表温度融合的方式。在本实施例中，通过将体表结构数据关联的结构点云和体表温度关联的温度点云结合，得到一个单一视角下的包括待检测部位的体表三维结构以及其对应温度的单视角融合体表数据，再将每一视角中获取到的单视角融合体表数据变换至统一坐标系中，得到所有点云组合成的待检测部位的表面温度结构点云，将所述表面温度结构点云优化处理之后得到融合体表数据。
[0043]
示例性地，首先确定单视角融合体表数据，具体的，输入体表结构数据和体表温度图像ti，输出为带温度的表面结构si。si和都是点云集合，差别是si中的每个点比中的每个点多出一个温度信息，因此该步的关键就是计算。具体步骤如下：（1）计算中任意点在ti中的对应位置：首先变换到ti所在的坐标空间：其中，r
dt
和t
dt
是标定出的深度相机和红外温度相机间的空间关系参数；然后投影到ti所在的图像平面：其中，是点的z轴坐标、k
it
是红外温度相机的内参；则即为在ti中的对应位置。
[0044]
（2）计算对应位置处的温度值：首先利用图像插值算法（可以是双线性插值法），计算出处的温度值；然后将和结合，得到带温度的表面结构信息。
[0045]
进一步的，将带有温度的表面结构信息，据离线标定的变换矩阵（静态多视角）或机械臂反馈的变换矩阵（动态多视角）将其变换到统一的基坐标系下，得到统一坐标系的表面温度结构，进一步将中的所有点云组合形成融合后的表面温度结构点云s
d’。
[0046]
进一步的，为了降低计算量提高机器的处理速度，需要将融合后的表面温度结构点云s
d’进行优化处理，在本实施例中，先通过点云降采样手段，以消除s
d’中冗余的点云，接着再通过点云平滑（可以是滑动最小二乘法平滑算法），以消除多视角拼接带来的点云不重合等噪声问题。
[0047]
最后，将优化处理后的s
d’，作为融合体表数据sd。
[0048]
在本实施例提供的技术方案中，先将每一视角下的温度和表面结构融合得到融合表面数据，再将每一视角下融合表面数据变换到统一的坐标系中进行融合并处理，得到全覆盖的融合体表数据。
[0049]
参照图6，在第五实施例中，基于第一实施例，所述步骤s40包括：步骤s41，获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；步骤s42，确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；步骤s431，获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；步骤s432，确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；步骤s433，根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
[0050]
可选地，本实施例提供一种将体内结构数据和融合体表数据融合得到待检测部位的实时体征的方式。在本实施中，使用icp（iterative closest point，最近点迭代算法）将融合体表数据sd和通过ct/mri获取到的体内结构数据ss进行配准融合，得到刚性变换矩阵r
sd
t
sd
。
[0051]
进一步的，由于sd和ss在不同的时间采集，采集时的体位等都不一样，加之人体存在柔性变形，因此将两者假设为刚体仅进行刚性配准会存在误差，因此需要对刚性变换矩阵r
sd
t
sd
进行非刚性精配准。
[0052]
具体的，首先计算在当前r
sd
t
sd
下，计算sd中每个元素到ss的成对匹配点的匹配误差向量e
sd
，其中，e
sd
∈三维误差向量集合r3；然后对e
sd
中的每个元素，使用其一定邻域范围内（如3cm半径的球形区域）的元素进行平滑滤波（如可以使用高斯平滑）；平滑滤波后的e
sd
中每个元素更新sd中对应的元素；对ss和更新后的sd在刚性变换矩阵r
sd
t
sd
基础上再次通过icp微调，得到新的r
sd
t
sd
‘
；最后对r
sd
t
sd
‘
误差判断，当r
sd
t
sd
‘
小于一个预设阈值时（如1mm），则将r
sd
t
sd
‘
最终的实时体征数据，否则，继续迭代对刚性变换矩阵r
sd
t
sd
进行非刚性精配准。
[0053]
在本实施例提供的技术方案中，通过将体内结构数据和融合体表数据融合，并将
融合后所得的数据进行非刚性精配准，得到最终包含体表结构、体内结构以及对应部位的温度的融合实时体征，实现了对人体的实时监测，提高了检测效率。
[0054]
此外，本发明还提供一种数据融合设备，所述数据融合设备包括：传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述传感器包括深度相机和红外热成像仪，所述数据处理程序被所述处理器执行时实现如上任一项所述的体征数据的融合方法的步骤。
[0055]
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上任一项所述的体征数据的融合方法的步骤。
[0056]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0057]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0058]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。