一种三维动态热能-动能影像数据的生成方法与流程

1.本发明属于数据生成领域，具体涉及一种三维动态热能-动能影像数据的生成方法。


背景技术：

2.传统检测人体功能状态的系统大多是基于特定生理参数的稳定性或时间可变性来实现的，例如运动手环和测谎仪等。其中，所提到的生理参数包括心电图、脑电图以及皮肤电反应等。
3.然而，上述生理参数均只是从生物放电这一微观角度对人体进行检测，以一种狭窄的视角来对人体进行检测，所得到的信息较为片面。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种三维动态热能-动能影像数据的生成方法。本发明要解决的技术问题通过以下技术方案实现：
5.一种三维动态热能-动能影像数据的生成方法，包括：
6.采用3路拍摄模组同步对人员对象的头颈部进行不同角度的拍摄，得到3组拍摄数据；其中，每组所述拍摄数据均包括：可见光视频、热红外视频以及时序高程数据；
7.基于3路所述可见光视频，提取所述头颈部各点随时间变化的动能变化率信息，得到第一动态数据，并基于3路所述热红外视频，提取所述头颈部各点随时间变化的动能变化率信息，得到第二动态数据；
8.对所述第一动态数据和所述第二动态数据进行数据融合，得到第三动态数据，以表征所述头颈部各点在拍摄平面上随时间变化的动能变化率信息；
9.基于3路所述时序高程数据，提取所述头颈部各点在深度方向上随时间变化的动能变化率信息，得到第四动态数据；
10.基于所述第三动态数据、所述第四动态数据以及所述热红外视频形成三维动态热能-动能影像数据，以基于所述三维动态热能-动能影像数据生成三维动态热能-动能影像。
11.可选地，所述基于3路所述可见光视频，提取所述头颈部各点随时间变化的动能变化率信息，得到第一动态数据，包括：
12.对每路所述可见光视频均进行帧间亚像素级的同名点配准；
13.针对配准后的每路可见光视频，基于该视频中每两帧相邻的图像，计算所述头颈部各点随时间排序的多个第一动能变化率矩阵；
14.对分别来自于3路所述可见光视频的、具有时间对应关系的每3个第一动能变化率矩阵进行拼接，形成第一动态数据；
15.所述基于3路所述热红外视频，提取所述头颈部各点随时间变化的动能变化率信息，得到第二动态数据，包括：
16.对每路所述热红外视频均进行帧间亚像素级的同名点配准；
17.针对配准后的每路热红外视频，基于该视频中每两帧相邻的图像，计算所述头颈部各点随时间排序的多个第二动能变化率矩阵；
18.对分别来自于3路所述热红外视频的、具有时间对应关系的每3个第二动能变化率矩阵进行拼接，形成第二动态数据；
19.可选地，所述基于3路所述时序高程数据，提取所述头颈部各点在深度方向上随时间变化的动能变化率信息，得到第四动态数据，包括：
20.对分别来自于3路所述时序高程数据的、具有时间对应关系的每3个高程数据矩阵均进行拼接，得到多个拼接数据矩阵；
21.利用每2个数据测量时间相邻的拼接数据矩阵，计算所述头颈部在深度方向上随时间排序的多个第三动能变化率矩阵；
22.基于所述多个第三动能变化率矩阵，得到所述第四动态数据。
23.可选地，所述基于所述多个第三动能变化率矩阵，得到所述第四动态数据，包括：
24.采用三次样条插值算法对每个所述第三动能变化率矩阵均进行元素扩充，得到多个扩充矩阵；
25.根据预设的采样坐标对每个所述扩充矩阵均进行数据采样，得到所述第四动态数据；
26.其中，所述采样坐标是预先基于所述测试模组的测距覆盖范围以及视频取景坐标进行换算得到的。
27.可选地，所述对分别来自于3路所述时序高程数据的、具有时间对应关系的每3个高程数据矩阵均进行拼接，包括：
28.针对每2个位置相邻的高程数据矩阵，根据所述3路拍摄模组相对于所述人员对象的布设方式，计算该2个高程数据矩阵的行间相似度或列间相似度，以根据相似度计算结果确定拼接边界；基于所述拼接边界，对该2个位置相邻的高程数据矩阵进行拼接；
29.其中，位置相邻的高程数据矩阵是指测得高程数据矩阵的测距模块的物理位置相邻。
30.可选地，所述第三动态数据包括所述头颈部各点在拍摄平面上随时间排序的多个平面动能变化率矩阵，所述第四动态数据包括所述头颈部各点在深度方向上随时间排序的多个深度动能变化率矩阵，所述平面动能变化率矩阵和所述深度动能变化率矩阵的维度相同；
31.所述基于所述第三动态数据、所述第四动态数据以及所述热红外视频形成三维动态热能-动能影像数据，包括：
32.对具有时间对应关系的每对平面动能变化率矩阵和深度动能变化率矩阵均进行求和，得到随时间排序的多个三维动能变化率矩阵；
33.基于所述多个三维动能变化率矩阵和所述热红外视频，形成三维动态热能-动能影像数据。
34.可选地，所述第三动态数据包括所述头颈部各点在拍摄平面上随时间排序的多个平面动能变化率矩阵，所述第四动态数据包括所述头颈部各点在深度方向上随时间排序的多个深度动能变化率矩阵，所述平面动能变化率矩阵和所述深度动能变化率矩阵的维度相同；
35.所述基于所述第三动态数据、所述第四动态数据以及所述热红外视频形成三维动态热能-动能影像数据，包括：
36.针对具有时间对应关系的每对平面动能变化率矩阵和深度动能变化率矩阵，以该对矩阵中位置相同的元素对作为平面向量的水平投影坐标和垂直投影坐标，计算平面向量的模，得到一模矩阵；
37.基于得到的多个模矩阵和所述热红外视频形成三维动态热能-动能影像数据。
38.可选地，所述基于所述第三动态数据、所述第四动态数据以及所述热红外视频形成三维动态热能-动能影像数据，包括：
39.获取每路所述热红外视频关联的多个原始温度数据矩阵；
40.对分别关联于3路所述热红外视频的、具有时间对应关系的每3个原始温度数据矩阵进行拼接，得到多个拼接温度数据矩阵；
41.基于每2个温度采集时间相邻的拼接温度数据矩阵，计算所述人员对象的头颈部各点随时间排序的多个热能变化率矩阵；
42.基于所述第三动态数据、所述第四动态数据以及所述多个热能变化率矩阵形成三维动态热能-动能影像数据。
43.可选地，基于所述三维动态热能-动能影像数据生成三维动态热能-动能影像的方式，包括：
44.基于所述热红外视频生成所述人员对象的三维头颈部热能影像；
45.基于所述第三动态数据、所述第四动态数据以及所述三维头颈部热能影像三者与所述头颈部各点的对应关系，将所述三者进行合成显示，得到三维动态热能-动能影像。
46.可选地，所述方法还包括：
47.对所述第三动态数据进行统计，得到所述头颈部各点在拍摄平面上的动能变化率的变化周期；
48.对所述第四动态数据进行统计，得到所述头颈部各点在拍摄平面上的动能变化率的变化周期；
49.求取得到的两种所述变化周期的交集，作为所述头颈部各点在三维空间的动能变化率的变化周期；
50.将所述头颈部各点在三维空间的动能变化率的变化周期添加入所述三维动态热能-动能影像数据中。
51.本发明的有益效果：
52.本发明提供的三维动态热能-动能影像数据的生成方法中，采用3路拍摄模组同步对人员对象的头颈部进行不同角度的拍摄，得到3组拍摄数据，每组拍摄数据均包括可见光视频、热红外视频以及时序高程数据。其中，本发明分别基于3路可见光视频、3路热红外视频来提取头颈部各点在两种不同光电感应条件下随时间变化的动能变化率信息，并对两方面信息进行融合，作为人员对象在拍摄平面上随时间变化的动能变化率信息(即第三动态数据)。并且，本发明还基于3路时序高程数据，提取了头颈部各点在深度方向上随时间变化的动能变化率信息(即第四动态数据)。由此，本发明基于第三动态数据、第四动态数据以及热红外视频形成的三维动态热能-动能影像数据，从动能、热能、时间以及三维空间多个维度对人员对象的头颈部运动信息进行了全面、细致的提取。这样，即使对于人在紧张、焦虑
或者患有疾病时在其前庭系统的反射下导致的头颈部运动，本发明也能够实现精确的捕捉和刻画，从而可以提高后续基于该三维动态热能-动能影像数据进行人体功能状态评估或分析时的有效性和准确性。
53.相较于现有技术中采集心电图、脑电图以及皮肤电反应等信息采集方式来说，本发明实现了一种无接触式的数据提取方案，可以降低被采集的对象因身体接触采集仪器而产生的焦虑情绪，减少因采集事件本身而引入的误差。
54.此外，当本发明以影像的形式将人员对象的三维动态热能-动能影像数据进行显示时，可以使观看者更直观地查看人员对象的数据，从而基于影像化的数据迅速获取人员对象的部分人体功能状态信息。
55.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
56.图1是本发明实施例提供的一种三维动态热能-动能影像数据生成方法的流程示意图；
57.图2(a)～图2(c)是本发明实施例中布设3组拍摄模组的三种方式的示意图；
58.图3是本发明实施例中所提到的时间对应关系的示意图；
59.图4是本发明实施例中对高程数据矩阵进行拼接的示意图；
60.图5是本发明实施例中所提到的平面向量的示意图；
61.图6是本发明实施例中所使用的头颈部三维模型的示意图；
62.图7是本发明实施例中将三维动态热能-动能影像数据进行可视化显示的一种示意图；
63.图8是本发明实施例中将三维动态热能-动能影像数据进行可视化显示的另一种示意图；
64.图9是本发明实施例中将三维动态热能-动能影像数据进行可视化显示的又一种示意图；
65.图10和图11构成了本发明的一个优选实施例中，生成三维动态热能-动能影像数据的过程示意图；
66.图12是本发明实施例中使用的改进型matchnet网络的结构示意图；
67.图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
68.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
69.人体头部的垂直平衡受前庭系统的控制，这被称为前庭反射功能。人体头部运动是人一生中最频繁的重复运动，头部会进行连续的微小运动，直到头部有了支撑才会停止调整；调整过程中每秒钟会进行多次的数百微米尺度的微小运动。
70.人体功能状态和身体运动之间有着直接联系。例如，当一个人平静和休息时，他的心率和呼吸是最小的；而当一个人兴奋时，他的呼吸和心跳就会加快。同理，当人紧张、焦虑或者患有疾病时会伴随着不可控制的自体原发性紧张，在前庭系统的反射下会导致头颈部
发生微小运动以及温度上的变化，通过对这些变化进行数据采集进而展开数据分析，可以在一定程度上获悉人体功能状态。
71.为了能够更为全面、准确地对人员对象的头颈部运动信息进行刻画和捕捉，从而提高后续基于所提取信息对人体功能状态进行评估或分析时的准确性，本发明实施例提供了一种三维动态热能-动能影像数据生成方法。
72.参见图1所示，本发明实施例提供的三维动态热能-动能影像数据生成方法，包括以下步骤：
73.s1：采用3路拍摄模组同步对人员对象的头颈部进行不同角度的拍摄，得到3组拍摄数据；其中，每组拍摄数据均包括：可见光视频、热红外视频以及时序高程数据。
74.其中，拍摄过程中人员对象的头颈部维持在一个准静止的状态。所谓准静止指的是人员对象被要求保持头颈部静止不动时所维持的一个相对静止的状态，而不是绝对静止的状态。
75.在准静止的状态下，人的头颈部运动是由无意识过程决定的，主要由前庭系统的工作决定，具体表现为人员对象因内在的心理因素或生理疾病而表现在外的头颈部微运动。也就是说，在准静止的状态下捕捉到的头颈部运动信息与人员对象的内在状态紧密相关。
76.在实际应用中，每组拍摄模组均包括可见光摄像头、热红外摄像头以及测距模块。其中，可见光摄像头用于拍摄可见光视频；热红外摄像头用于拍摄热红外视频，可以理解的是，热红外视频通常关联有多个原始温度数据矩阵，热红外视频中呈现的影像即是基于这些原始温度数据矩阵进行像素可视化处理后得到的。测距模块可以是微型近距离测距雷达，当然并不局限于此。测距模块实际测量的数据包含了多个随时间排序的高程数据矩阵，因此将其称为时序高程数据。
77.实际在拍摄时，主要是对人员对象的头颈部正面一侧进行拍摄，这是因为人面部五官的运动包含着更多的有用信息，而人的后脑勺则包含的有用信息较少。其中，在拍摄时，3路拍摄模组的布设方式可以采用图2(a)～图2(c)所示拍摄环境中的任一种布设方式。可以看到，这几种拍摄环境中相邻的拍摄模组的取景都会有部分重叠。
78.优选地，该步骤s1中的拍摄的时长可以为30秒～180秒，当然并不局限于此。
79.另外，在实际应用中，为了拍摄到高质量的视频和高程数据，从而能够从中提取到更加精准的信息，可以提高背景的光学对比度、提升环境照明质量、确保摄像头安装稳定以及为摄像头设置合适的分辨率以及帧速率等等。
80.s2：基于3路可见光视频，提取头颈部各点随时间变化的动能变化率信息，得到第一动态数据，并基于3路热红外视频，提取头颈部各点随时间变化的动能变化率信息，得到第二动态数据。
81.其中，基于3路可见光视频，提取头颈部各点随时间变化的动能变化率信息，得到第一动态数据，可以包括：
82.(1)针对每路可见光视频，基于该视频中每两帧相邻的图像，计算头颈部各点随时间排序的多个第一动能变化率矩阵；
83.(2)对分别来自于3路可见光视频的、具有时间对应关系的每3个第一动能变化率矩阵均进行拼接，形成第一动态数据。
84.举例而言，假设可见光视频包括m帧图像，沿可将光视频的时间轴依次为a1、a2、a3…am
；m帧可见光图像中的每两帧相邻的图像相互作差，可以得到m-1个差值矩阵，分别为：d1＝a
2-a1、d2＝a
3-a2、d3＝a
4-a3…dm-1
＝a
m-a
m-1
；这些差值矩阵中的元素值可以表示人员对象的头颈部各点在拍摄平面上的位置信息变化值；因此，给这m-1个差值矩阵分别除以视频的帧间隔时间，得到的新矩阵中的元素值可以表示人员对象的头颈部各点在拍摄平面上的运动速度v；然后，为每个点设置一虚拟质量m，例如设置m＝100，则利用动能计算公式e＝mv2/2，便可以计算出每个点的动能，由此可得到m-1个动能矩阵。然后，利用每个点在相邻时间点上的动能，便可以计算出该点的动能变化率，从而形成m-2个第一动能变化率矩阵。其中，动能变化率的计算方式如下述公式所示：
[0085][0086]
该公式中，ei表示随时间排序的两个相邻动能矩阵中，排在后面的动能矩阵里的元素，e
i-1
则表示排在前面的动能矩阵里相同位置的元素；index
ek
表示计算出的该元素对应的点的动能变化率。
[0087]
计算出各个第一动能变化率矩阵后，便可以如图3所示的，对分别来自于3路可见光视频的、具有时间对应关系的每3个第一动能变化率矩阵均进行拼接，形成第一动态数据。其中，对3个第一动能变化率矩阵进行拼接的方式存在多种。为了使说明书的布局清晰，后续对具体的拼接方式进行举例说明。
[0088]
在另一种实现方式中，为了提高数据准确性，在基于上述步骤(1)计算第一动能变化率矩阵之前，可以先行对每路可见光视频均进行帧间亚像素级的同名点配准。然后，针对配准后的每路可见光视频，继续按照上述步骤(1)的方式计算头颈部各点随时间排序的多个第一动能变化率矩阵。
[0089]
其中，亚像素级的同名点配准可以采用神经网络来实现。为了使说明书布局清楚，后续对采用神经网络实现亚像素级的同名点配准的具体实现方式进行举例说明。
[0090]
第二动态数据的具体形成方式可参见第一动态数据的具体形成方式，例如，基于3路热红外视频，提取头颈部各点随时间变化的动能变化率信息，得到第二动态数据，可以包括：对每路热红外视频均进行亚像素级的同名点配准；针对配准后的每路热红外视频，基于该视频中每两帧相邻的图像，计算头颈部各点随时间排序的多个第二动能变化率矩阵；对分别来自于3路热红外视频的、具有时间对应关系的每3个第二动能变化率矩阵均进行拼接，形成第二动态数据。
[0091]
可以理解的是，对于单个测试模组而言，其内部的可见光摄像头、红外摄像头以及测距模块彼此之间的距离非常紧凑，故而三者相对于人员对象的拍摄角度差别不大。因此，只需将可见光摄像头以及红外摄像头的分辨率设置为相同，则拼接后的第一动能变化率矩阵与拼接后的第二动能变化率矩阵的维度便可以相匹配。
[0092]
s3：对第一动态数据和第二动态数据进行数据融合，得到第三动态数据，以表征头颈部各点在拍摄平面上随时间变化的动能变化率信息。
[0093]
具体的，根据上文已知，第一动态数据包括多个拼接的第一动能变化率矩阵，第二动态数据包括多个拼接的第二动能变化率矩阵；这里，把拼接的第一动能变化率矩阵记为
t2，并把拼接的第二动能变化率矩阵记为t3，则第三动态数据的形成过程包括：通过归一化的方式，将t2和t3中的元素值归一化到同一量纲。然后，按照时间先后顺序，将具有时间对应关系的每对t2和t3进行融合，得到头颈部各点在拍摄平面上随时间排序的多个平面动能变化率矩阵，作为第三动态数据。其中，具体的融合方式包括：对于t2和t3中每个相同的元素位置点，当t2和t3的元素值不相等时，取较大值或平均值作为该点融合结果，当t2和t3的元素值相等时，保留该元素值。
[0094]
s4：基于3路时序高程数据，提取头颈部各点在深度方向上随时间变化的动能变化率信息，得到第四动态数据。
[0095]
其中，每路时序高程数据均包括多个高程数据矩阵；因此，该步骤s4具体包括下述的多个子步骤：
[0096]
(1)对分别来自于3路时序高程数据的、具有时间对应关系的每3个高程数据矩阵均进行拼接，得到多个拼接数据矩阵。
[0097]
当测距模块的物理位置相邻时，可以将这两个测距模块测得的高程数据矩阵称为位置相邻的高程数据矩阵。由此，在对具有时间对应关系的3个高程数据矩阵进行拼接时，针对其中每2个位置相邻的高程数据矩阵，根据3路拍摄模组相对于人员对象的布设方式，计算该2个高程数据矩阵的行间相似度或列间相似度，以根据相似度计算结果确定拼接边界。具体而言，当3路拍摄模组相对于人员对象的布设方式为图2(a)或图2(b)所示的水平排列时，计算该2个高程数据矩阵的列间相似度；当3路拍摄模组相对于人员对象的布设方式为图2(c)所示的垂直排列时，计算该2个高程数据矩阵的行间相似度。然后，将相似度最高的两行或两列作为这2个高程数据矩阵的拼接边界，对这2个位置相邻的高程数据矩阵进行拼接。其中，在拼接时，对于需要合并的每两个元素，取该两个元素的平均值。
[0098]
举例而言，如图4所示，3个高程数据矩阵b1、b2和b3具有时间对应关系，其中，b1和b2位置相邻，b2和b3位置相邻；因此，计算b1和b2的列间相似度，从而选取相似度最高的两列作为拼接边界(如图4中的虚线所示)，同理，计算b2和b3的列间相似度，从而选取相似度最高的两列作为拼接边界进行拼接。
[0099]
在一种可选实现方式中，可以在基于第一组的3个高程数据矩阵确定出拼接边界时，后续其他组均按照此拼接边界进行拼接，从而减少计算量。或者，可以先选取时间靠前的若干组高程数据矩阵尝试确定拼接边界，从而将相似度最高的拼接边界作为正式的拼接边界，后续每3个时间上对应的高程数据矩阵进行拼接时都使用此拼接边界来进行拼接。
[0100]
同理的，在上述步骤s2中，对来自于可见光视频的第一动能变化率矩阵进行拼接的方式，以及对来自于红外视频的第二动能变化率矩阵进行拼接的方式均可参照这里对高程数据矩阵进行拼接的方式。
[0101]
(2)利用每两个数据测量时间相邻的拼接数据矩阵，计算头颈部在深度方向上随时间排序的多个第三动能变化率矩阵。
[0102]
举例而言，假设步骤(1)中共得到了m个拼接数据矩阵，沿时间排序依次为g1、g2、g3…gm
；每两个时间相邻的拼接数据矩阵相互作差，可以得到m-1个差值矩阵，分别为：
△1＝g
2-g1、
△2＝g
3-g2、
△3＝g
4-g3…△
m-1
＝g
m-g
m-1
；这些差值矩阵中的元素值可以表示人员对象的头颈部各点在深度方向上的位置信息变化值；因此，给这m-1个差值矩阵分别除以高程数据的采集间隔时间，得到的新矩阵中的元素值便可以表示人员对象的头颈部各点在深度方
向上的运动速度v；同理，每个点的虚拟质量都为m，则利用动能计算公式e＝mv2/2，便可以计算出每个点在深度方向上的动能，由此可得到m-1个深度方向的动能矩阵。然后，利用每个点在相邻时间点上的动能，利用上文给出的动能变化率的计算公式，便可以计算出该点在深度方向上的动能变化率，从而形成m-2个第三动能变化率矩阵。
[0103]
(3)基于多个第三动能变化率矩阵，得到第四动态数据。
[0104]
这里，该步骤(3)的具体实现方式存在多种。示例性的，在一种实现方式中，基于多个第三动能变化率矩阵，得到第四动态数据，可以包括：
[0105]
(3-1)采用三次样条插值算法对每个第三动能变化率矩阵均进行元素扩充，得到多个扩充矩阵；
[0106]
(3-2)根据预设的采样坐标对每个扩充矩阵均进行数据采样，得到第四动态数据。
[0107]
由此，得到的第四动态数据包括头颈部各点在深度方向上随时间排序的多个深度动能变化率矩阵。
[0108]
其中，采样坐标是预先基于测试模组的测距覆盖范围以及视频取景坐标进行换算得到的。具体的，每个测试模组均对应有一组采样坐标。由于单个测试模组内的可见光摄像头、红外摄像头以及测距模块彼此之间的距离非常紧凑，且位置关系固定；因此，在已知视频取景坐标后，可根据测距模块与摄像头的位置关系，将该取景坐标对应变换到测距模块的测距覆盖范围内，便得到测距模块的视角下的采样坐标。
[0109]
可以理解的是，若测距模块的测量分辨率不如视频分辨率高，采用该实现方式扩充数据量，相当于增大了测距模块的测量分辨率。然后，通过采样操作，使得到的深度动能变化率矩阵能够与上述的平面动能变化率矩阵的数据分辨率相匹配，也就是说使这两种矩阵的维度相同，从而便于对它们进行融合。
[0110]
在另一种实现方式中，若所使用的测距模块的测量分辨率能够与视频分辨率匹配，也可以直接将多个第三动能变化率矩阵作为第四动态数据，即直接将第三动能变化率矩阵作为深度动能变化率矩阵。
[0111]
s5：基于第三动态数据、第四动态数据以及热红外视频形成三维动态热能-动能影像数据，以基于该三维动态热能-动能影像数据生成三维动态热能-动能影像。
[0112]
其中，基于第三动态数据、第四动态数据以及热红外视频形成三维动态热能-动能影像数据的具体实现方式存在多种。
[0113]
示例性的，在第1种实现方式中，基于第三动态数据、第四动态数据以及热红外视频形成三维动态热能-动能影像数据，可以包括：
[0114]
(1)对具有时间对应关系的每对平面动能变化率矩阵和深度动能变化率矩阵均进行求和，得到随时间排序的多个三维动能变化率矩阵；
[0115]
(2)基于多个三维动能变化率矩阵和热红外视频，形成三维动态热能-动能影像数据。
[0116]
具体的，该步骤(2)可以包括：从3路热红外视频中提取生成平面动能变化率矩阵时所用到的视频帧，例如始终取生成平面动能变化率矩阵所需的多帧中的最后一帧，当然并不局限于此；然后，将分别来自于3路热红外视频的、具有时间对应关系的每3个视频帧进行拼接，得到拼接图像。其中，在拼接视频帧时，拼接边界可以参考第二动能变化率矩阵的拼接边界。然后，将得到的多帧拼接图像与多个三维动能变化率矩阵按照时间顺序一一对
应，即得到三维动态热能-动能影像数据。
[0117]
在第2种实现方式中，基于第三动态数据、第四动态数据以及热红外视频形成三维动态热能-动能影像数据，可以包括：
[0118]
(1)针对具有时间对应关系的每对平面动能变化率矩阵和深度动能变化率矩阵，以该对矩阵中位置相同的元素对作为平面向量的水平投影坐标和垂直投影坐标，计算平面向量的模，得到一模矩阵；
[0119]
(2)基于得到的多个模矩阵和热红外视频形成三维动态热能-动能影像数据。
[0120]
举例而言，假设有一对平面动能变化率矩阵和深度动能变化率矩阵，分别为：
[0121][0122]
以该对矩阵中位置相同元素对作为平面向量的水平投影坐标和垂直投影坐标，可以得到(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)共4组平面坐标，它们对应的平面向量可以如图5所示；然后，计算这4个向量的模，得到的模矩阵如下：
[0123][0124]
然后，可以参见第一种实现方式，基于热红外视频生成若干帧拼接图像，从而与得到的多个模矩阵组成三维动态热能-动能影像数据。
[0125]
在第三种实现方式中，基于第三动态数据、第四动态数据以及热红外视频形成三维动态热能-动能影像数据，可以包括：
[0126]
(1)获取每路热红外视频关联的多个原始温度数据矩阵。
[0127]
(2)对分别关联于3路热红外视频的、具有时间对应关系的每3个原始温度数据矩阵进行拼接，得到多个拼接温度数据矩阵。
[0128]
这里，对原始温度数据矩阵进行拼接的方式可参见上文对第一动能变化率矩阵、第二动能变化率矩阵或高程数据矩阵进行拼接的方式，此处不再赘述。
[0129]
(3)基于每2个温度采集时间相邻的拼接温度数据矩阵，计算人员对象的头颈部各点随时间排序的多个热能变化率矩阵。
[0130]
例如，若有m个拼接温度数据矩阵，沿时间排序分别为t
mp-1
、t
mp-2
、t
mp-3
…
t
mp-m
；对每两个相邻的拼接温度数据矩阵相互作差，可以得到m-1个差值矩阵，分别为：x1＝t
mp-2-t
mp-1
、x2＝t
mp-3-t
mp-2
、x3＝t
mp-4-t
mp-3
…
x
m-1
＝t
mp-m-t
mp-m-1
；这些差值矩阵中的元素值表示的是热红外图像中各个像素点对应的温度差δt，因此利用热能计算公式q＝c
×m×
δt便可以估算各个像素点对应的热能数据，由此可得到m-1个热能矩阵，来表征热红外图像中的人员对象的头颈部各点随时间变化的热能数据；其中，c是为像素点赋予的一个虚拟比热容，m是上述的虚拟质量，q是计算的热能。然后，基于每个像素点在相邻时间点上的热能，利用热能变化率的计算公式，便可以计算出该点的热动能变化率，从而形成m-2个热能变化率矩阵。其中，该热能变化率的计算公式如下：
[0131][0132]
其中，qi表示随时间排序的两个相邻热能矩阵中，排在后面的热能矩阵里的元素，q
i-1
则表示排在前面的热能矩阵里相同位置的元素；index
eq
表示计算出的该元素对应的点的热能变化率。
[0133]
(4)基于第三动态数据、第四动态数据以及多个热能变化率矩阵形成三维动态热能-动能影像数据。
[0134]
具体的，可以参见上述第1种或第2种实现方式中对第三动态数据和第四动态数据进行融合处理的方式，从而将融合结果与该步骤(4)中得到的多个热能变化率矩阵组成三维动态热能-动能影像数据。
[0135]
在一个优选的实施例中，三维动态热能-动能影像数据的生成过程可以参见图10和图11所示。
[0136]
本发明实施例提供的三维动态热能-动能影像数据的生成方法中，采用3路拍摄模组同步对人员对象的头颈部进行不同角度的拍摄，得到3组拍摄数据，每组拍摄数据均包括可见光视频、热红外视频以及时序高程数据。其中，本发明实施例分别基于3路可见光视频、3路热红外视频来提取头颈部各点在两种不同光电感应条件下随时间变化的动能变化率信息，并对两方面信息进行融合，作为人员对象在拍摄平面上随时间变化的动能变化率信息(即第三动态数据)。并且，本发明实施例还基于3路时序高程数据，提取了头颈部各点在深度方向上随时间变化的动能变化率信息(即第四动态数据)。由此，本发明实施例基于第三动态数据、第四动态数据以及热红外视频形成的三维动态热能-动能影像数据，从动能、热能、时间以及三维空间多个维度对人员对象的头颈部运动信息进行了全面、细致的提取。这样，即使对于人在紧张、焦虑或者患有疾病时在其前庭系统的反射下导致的头颈部运动，本发明实施例也能够实现精确的捕捉和刻画，从而可以提高后续基于该三维动态热能-动能影像数据进行人体功能状态评估或分析时的有效性和准确性。
[0137]
相较于现有技术中采集心电图、脑电图以及皮肤电反应等信息采集方式来说，本发明实施例实现了一种无接触式的数据提取方案，可以降低被采集的对象因身体接触采集仪器而产生的焦虑情绪，减少因采集事件本身而引入的误差。
[0138]
可选地，在一种实现方式中，本发明实施例提供的三维动态热能-动能影像数据的生成方法，还可以包括以下步骤：
[0139]
步骤一、对第三动态数据进行统计，得到头颈部各点在拍摄平面上的动能变化率的变化周期。
[0140]
具体的，对多个三维动能变化率矩阵进行统计；统计方式包括：针对三维动能变化率矩阵的每个元素位置点，统计该位置点处出现次数次最多的一个元素值的出现次数，并利用拍摄时长除以该次数，得到该位置点对应的动能变化率的变化周期，由此得到头颈部各点在拍摄平面上的动能变化率的变化周期；实际中，执行该步骤后得到统计结果可形成一个变化周期矩阵。
[0141]
步骤二、对第四动态数据进行统计，得到头颈部各点在拍摄平面上的动能变化率的变化周期。
[0142]
该步骤二的具体实现方式可参见步骤一。
[0143]
步骤三、求取得到的两种变化周期的交集，作为头颈部各点在三维空间的动能变化率的变化周期。
[0144]
具体的，对步骤一中得到的变化周期矩阵和步骤二中得到的变化周期均矩阵求取交集。在求取交集中，对于每个元素位置点，当两种变化周期在预设的精度范围内相等时，保留该变化周期，当两种变化周期在精度范围内不相等时，则将该点求交集的结果设置为空或者一个表示周期极大的预设值。例如，对于某个元素位置点，两种变化周期分别为20毫秒和22毫秒，若精度范围设置为5毫秒，则这两个变化周期被认为是相等的。若精度范围设置为1毫秒，则这两个变化周期被认为是不相等的。
[0145]
可以理解的是，对于同一种运动(例如眼球震颤)而言，从平面和深度方向捕捉到的变化周期应一致，所以本发明实施例中对平面和深度两个方向提取的变化周期取交集，以此来表征头颈部各点在三维空间的动能变化率的变化周期。
[0146]
步骤四、将头颈部各点在三维空间的动能变化率的变化周期添加入三维动态热能-动能影像数据中。
[0147]
由此，三维动态热能-动能影像数据中还包含了时间上的统计数据，内容更加丰富。
[0148]
本发明实施可以用影像的形式将人员对象的三维动态热能-动能影像数据进行显示，使观看者更直观地查看人员对象的数据，从而基于影像化的数据迅速获取人员对象的部分人体功能状态信息。
[0149]
其中，基于三维动态热能-动能影像数据生成三维动态热能-动能影像的方式，可以包括：
[0150]
(1)基于热红外视频生成人员对象的三维头颈部热能影像。
[0151]
其中，基于热红外视频生成人员对象的三维头颈部热能影像，可以是将上文提到过的、基于热红外视频生成的拼接图像进行三维立体化显示，得到三维头颈部热能影像；具体的，将拼接图像中的像素映射入预设的头颈部三维模型(如图6所示)上，使头颈部模型显示出拼接图像中的图像纹理，从而得到三维的头颈部热能影像。
[0152]
或者，也可以将热能变化率矩阵映射入预设的头颈部三维模型，得到三维的头颈部热能影像。
[0153]
(2)基于第三动态数据、第四动态数据以及头颈部热能影像三者与头颈部各点的对应关系，将这三者进行合成显示，得到三维动态热能-动能影像。
[0154]
其中，第三动态数据和第四动态数据被融合为多个三维动能变化率矩阵，由此可以将三维动能变化率矩阵在三维头颈部热能影像的左右两侧绘制为多个沿水平方向延伸的直线；该直线在水平方向上的长度根据三维动能变化率矩阵中的元素的值确定。由于三维动能变化率矩阵、基于热红外视频生成的拼接图像以及热能变化率矩阵均有多个，故而合成的三维动态热能-动能影像实际上呈现出的是一种动态的影像。
[0155]
具体而言，在三维头颈部热能影像左侧绘制的直线的长度根据三维动能变化率矩阵左半部分的元素值确定；同理，右半侧绘制的直线的长度则根据三维动能变化率矩阵右半侧的元素值确定。
[0156]
示例性的，在具体绘制时，三维头颈部热能影像的左右两侧的直线可以如图7所示
的，分别以三维头颈部热能影像左右两侧对称设置的两个平面为起点进行绘制。或者，也可以如图8所示的，将左右两侧的直线环绕于三维头颈部热能影像两侧周围。
[0157]
由此，当观看者看到如图7或图8所示的三维动态热能-动能影像时，若三维头颈部热能影像左右两侧的直线呈明显不对称的分布状态时，则可以知晓此时被测的人员对象的人体功能状态处于一种异常的状态。若观看者看到三维头颈部热能影像左右两侧的直线呈明显的对称分布状态时，则可以知晓人员对象的人体功能状态为正常。
[0158]
可选地，当三维动态热能-动能影像数据中还包括头颈部各点在三维空间的动能变化率的变化周期时，可以进一步根据变化周期矩阵中元素的数值来设置在三维头颈部热能影像左侧绘制的直线的颜色。
[0159]
在另一种合成显示方式中，可以如图9所示的，在三维头颈部热能影像的左右两侧分别绘制两个彩色的曲面，曲面上的每个点对应三维动能变化率矩阵中的一个元素，且该点的颜色根据该元素的值确定。
[0160]
由此，当观看者看到如图9所示的三维动态热能-动能影像时，若三维头颈部热能影像左右两侧的曲面颜色明显不对称时，可以知晓此时被测的人员对象的人体功能状态处于一种异常的状态。而若观看者看到三维头颈部热能影像左右两侧的曲面颜色基本对称时，可以知晓人员对象的人体功能状态为正常。
[0161]
需要说明的是，上文所举例的合成显示方式仅仅作为原理性的示例，并不构成对本发明实施例的实际限定；任何基于第三动态数据、第四动态数据以及头颈部热能影像三者与头颈部各点的对应关系，将这三者进行合成显示，从而使所展示的数据更加一目了然的实现方式，均适用于本发明实施例中。
[0162]
下面，对本发明实施例中实现帧间亚像素级的同名点配准所使用的神经网络进行举例说明。
[0163]
示例性的，本发明实施例中实现帧间亚像素级的同名点配准可以采用如图12所示的一种改进型matchnet网络。该改进型matchnet网中，使用了lift(learned invariant feature transform,度不变特征转换)网络来生成图像的特征描述子，并使用包含三层全连接层的度量(metric)网络来度量特征描述子间的相似度；其中，lift网络内部对输入到其中的图像依次进行特征点检测、softmax激活、图像裁剪、方向估计以及图像旋转，最后还会基于旋转后的图像生成特征描述子。配准后的图像从lift网络的图像旋转模块的输出端得到。此外，配准后的两帧图像的特征描述子还会被送入度量网络中，度量网络会计算这两帧图像的相似度，该度量网络的三个全连接层的激活函数均为relu(linear rectification function，线性整流函数)。
[0164]
在实际应用中，视频中的每两帧相邻的图像为一组待配准的图像被送入该改进型matchnet网络种进行配准。
[0165]
本发明实施例中，采用lift网络来从图像中提取特征描述子，可以挖掘图像中的特征点在实际变化因素下的不变特征，降低光学影像中因光照、背景以及人为等干扰因素对配准精度造成的影响。并且，传统的比较特征向量之间相似性的做法是使用欧式距离，然而在复杂流形学习中，欧氏距离往往无法准确度量特征描述子之间的相似性；因此，本发明实施例采用该度量网络来比较特征描述子间的相似度，可以对亚像素级的同名点配准的结果进行更准确的相似度评估。
[0166]
需要说明的是，实现亚像素级的同名点配准的神经网络并不局限于本发明实施例所使用的改进型matchnet网络。例如，使用现有的matchnet网络同样可以达到近似的使用效果；该现有matchnet网络与本发明实施例中使用的改进型matchnet网络的区别在于：现有matchnet网络中使用的是深度卷积网络而非lift网络，故而对于在有光照、背景以及人为等干扰因素时的配准精度略差。
[0167]
在本发明实施例提供的三维动态热能-动能影像数据的生成方法的基础上，从三维动态热能-动能影像数据中可提取的人体功能状态参数存在多种。下面对可提取的人体功能状态参数进行举例说明。
[0168]
示例性的，可以从三维动态热能-动能影像数据中提取一种表示人的压力大小的压力指数，该压力指数的定义公式如下：
[0169][0170]
其中，pri表示该压力指数；三维动能变化率矩阵和热能变化率矩阵的行数均为n。三维动能变化率矩阵和热能变化率矩阵的个数均为m-2。为根据第m∈[1,m]个三维动能变化率矩阵的第n行元素计算的、人员对象的头颈部左右两侧的动能差异值。为根据第m∈[1,m]个热能矩阵的第n行元素计算的、人员对象的头颈部左右两侧的热能差异值。
[0171]
此外，还可以从三维动态热能-动能影像数据中提取一种表示人的焦虑程度的焦虑指数，该焦虑指数的定义公式为：
[0172][0173]
其中，ani表示焦虑指数，函数f(t)为一概率密度函数，用于计算头颈部各点在三维空间的动能变化率的变化周期，t表示变化周期；t∈[t
min
,b
×
t
min
]，t
min
为头颈部各点在三维空间的动能变化率的最小变化周期，b为预设的常量，1＜b＜5；函数f(t)可利用实际统计的变化周期矩阵计算一组变化周期的概率密度值，然后基于这组密度值利用最小二乘法进行拟合得到。
[0174]
需要说明的是，基于三维动态热能-动能影像数据所能够提取的人体功能状态参数并不局限于上文所举例的压力指数和焦虑指数。在实际应用中，通过对大量的人员对象进行三维动态热能-动能影像数据的采集以及分析，可以得到某一类特定人群的三维动态热能-动能影像数据中所存在的特定规律。然后，利用数学方法对该特定规律进行总结和表征，可以得到更多的人体功能状态参数的定义公式，从而基于这些定义公式提取人员对象的人体功能状态参数，进而对人员对象的人体功能状态进行评估和分析。
[0175]
鉴于更为具体的参数提取方法非本发明实施例的发明要点，本发明实施例中不再进行一一举例。
[0176]
基于同一发明构思，本发明实施例还提供了一种电子设备，如图13所示，包括：热红外摄像头1305、可见光摄像头1306、测距模块1302、处理器1301和存储器1303；其中，热红外摄像头1305、可见光摄像头1306以及测距模块1302电连接处理器1301；存储器1303，用于
存放计算机程序；处理器1301，用于执行存储器1303上所存放的程序时，实现上述的任一种三维动态热能-动能影像数据的生成方法。
[0177]
在实际应用中，任何关联有可同步拍摄的可见光摄像头、热红外摄像头以及测距模块、且具有运算处理功能的电子设备均可作为本发明实施例中所提供的电子设备。
[0178]
上述存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0179]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0180]
需要说明的是，对于电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见该方法实施例的部分说明即可。
[0181]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0182]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0183]
尽管在此结合各实施例对本发明实施例进行了描述，然而，在实施所要求保护的本发明实施例过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在说明书中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0184]
本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0185]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。