基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法与流程

1.本发明涉及健康技术领域，尤其涉及一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法。


背景技术：

2.新冠肺炎疫情，病毒传播速度快，传染力强。相关地市的所有社区配合落实相应防控策略的调整，快速开展全员核酸检测。
3.目前新冠肺炎是通过核酸检测进行筛查的，核酸检测流程是需要先设置信息录入点，由核酸检测者出示身份证，再由信息识别设备识别核酸检测者身份证，再由相关工作人员或者志愿者手工录入检测者联系方式与家庭住址，最后打印核酸取样顺序凭条，由核酸检测者前往指定的核酸取样处进行核酸取样。
4.现有的新冠肺炎筛查过程需要到医院或者专业的诊疗机构进行检测，检测较为繁琐。


技术实现要素：

5.(一)要解决的技术问题
6.为了解决现有技术的上述问题，本发明提供一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法。
7.(二)技术方案
8.为了达到上述目的，本发明采用的主要技术方案包括：
9.一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法，所述方法包括：
10.s101，同时采集含测评对象头颈部的视频图像以及红外影像；
11.s102，根据所述视频图像确定测评对象头颈部像素点的运动振幅和震动频率；
12.s103，根据所述红外影像确定体温特征；
13.s104，根据所述体温特征、运动振幅和震动频率与新冠肺炎标准特征之间的关系对测评对象进行新冠肺炎快速筛查。
14.可选地，所述视频图像由多帧图像构成；
15.所述红外影像由多帧红外图像构成；
16.所述视频图像的帧数与所述红外影像的帧数相同。
17.可选地，所述s103包括：
18.s103-1，确定各帧红外图像的脸部温度；
19.s103-2，确定相邻两帧脸部温度的差；
20.s103-3，若所有差的标准差小于预设阈值，则将各帧脸部温度的均值确定为体温特征；若所有差的标准差不小于预设阈值，则确认红外影像采集异常，退出所述基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法。
21.可选地，所述s103-1包括：
22.对于任一帧红外图像，执行如下步骤：
23.s103-1-1，确定所述任一帧红外图像中的人脸区域；
24.s103-1-2，确定所述任一帧红外图像中人脸区域的平均温度；
25.s103-1-3，确定所述任一帧红外图像中人脸区域是否存在极值温度点；
26.s103-1-4，若不存在极值温度点，则将平均温度确定为所述任一帧红外图像的脸部温度；
27.s103-1-5，若存在极值温度点，则根据极值温度点调整平均温度，并将调整后的温度确定为所述任一帧红外图像的脸部温度。
28.可选地，所述s103-1-3包括：
29.确定非人脸区域的最高温度和最低温度；
30.确定阈值温度＝(非人脸区域的最高温度 非人脸区域的最低温度 4*平均温度)/6；
31.确定人脸区域中每个点的温度与阈值温度的差；
32.将差值小于0.1的点确定为极值温度点。
33.可选地，所述根据极值温度点调整平均温度，包括：
34.根据所有极值温度点之间的位置关系，确定是否构成区域；
35.若未构成区域，则不进行平均温度的调整；
36.若构成区域，则确定构成区域的最大面积，计算最大面积占人脸面积的比例，确定调整后的温度＝平均温度*(1 比例*极值温度点的平均差值)。
37.可选地，所述s102包括：
38.s102-1，将所述视频图像中的各帧图像按时间顺序排列，形成帧序列；
39.s102-2，对帧序列中的每一元素进行预处理，形成标准帧序列；
40.s102-3，对标准帧序列中的每一元素进行头颈部像素点识别，得到目标像素点；
41.s102-4，根据标准帧序列中各元素的目标像素点得到运动振幅和震动频率。
42.可选地，对于帧序列中的任一元素ai，其中，i标识元素序号，i＝1，
…
，n，n为所述帧序列中元素总数，所述s102-2，包括：
43.s102-2-1，对ai的帧图像进行人脸识别，确定ai人脸区域的最小外接矩形；
44.s102-2-2，若i＝1，则按ai人脸区域的最小外接矩形剪裁
45.ai的帧图像，形成仅保留ai人脸区域的最小外接矩形内像素的标准帧图像；
46.s102-2-3，若i≠1，则执行如下步骤：
47.s201，获取所述帧序列中ai的前一元素a
i-1
；
48.s202，确定a
i-1
人脸区域的最小外接矩形，所述a
i-1
人脸区域的最小外接矩形的左下角的像素点坐标为左上角的像素点坐标为右下角的像素点坐标为右上角的像素点坐标为
49.s203，若且且且则按ai人脸区域的最小外接矩形剪裁ai的帧图像，形成仅保留ai人脸区域的最小外接矩形内像素的标准帧图像，其中，为ai人脸区域的最小外接
矩形的左下角的像素点坐标，为ai人脸区域的最小外接矩形的左上角的像素点坐标，为ai人脸区域的最小外接矩形的右下角的像素点坐标，为ai人脸区域的最小外接矩形的右上角的像素点坐标；
50.s204，若或者，或者，或者，则根据a
i-1
人脸区域的最小外接矩形对ai人脸区域的最小外接矩形进行调整，得到ai调整后的帧图像以及ai人脸区域调整后的最小外接矩形；按ai人脸区域调整后的最小外接矩形剪裁ai调整后的帧图像，形成仅保留ai人脸区域调整后的最小外接矩形内像素的标准帧图像。
51.可选地，所述根据a
i-1
人脸区域的最小外接矩形对ai人脸区域的最小外接矩形进行调整，包括：
52.s204-1，平移ai的帧图像，直至平移后ai人脸区域的最小外接矩形的左上角与a
i-1
人脸区域的最小外接矩形的左上角像素点重合，得到平移后ai人脸区域的最小外接矩形的左下角的像素点坐标左上角的像素点坐标右下角的像素点坐标右上角的像素点坐标
53.s204-2，旋转ai平移后的帧图像，直至
54.其中，为旋转后ai人脸区域的最小外接矩形的右上角的像素点纵轴坐标，为旋转后ai人脸区域的最小外接矩形的左上角的像素点纵轴坐标，为旋转后ai人脸区域的最小外接矩形的右上角的像素点横轴坐标，为旋转后ai人脸区域的最小外接矩形的左上角的像素点横轴坐标，δ为旋转误差；
55.s204-3，针对ai旋转后的帧图像，在保证位置不变的前提下，等比例缩放ai旋转后的帧图像，得到ai调整后的帧图像；
56.s204-4，将ai调整后的帧图像中的最小外接矩形确定为ai人脸区域调整后的最小外接矩形。
57.可选地，所述s204-3包括：
58.s204-3-1，计算
59.s204-3-2，计算其中，为旋转后ai人脸区域的最小外接矩形的左下角的像素点纵轴坐标；
60.s204-3-3，若则在保证位置不变的前提下，等比例缩放ai旋转后的帧图像，得到hi″′
＝h
i-1
的ai调整后的帧图像，其中，
为缩放后ai人脸区域的最小外接矩形的左上角的像素点纵轴坐标，为缩放后ai人脸区域的最小外接矩形的左下角的像素点纵轴坐标；
61.s204-3-4，若则确认该帧图像异常，丢弃该帧图像。
62.(三)有益效果
63.本发明的有益效果是：同时采集含测评对象头颈部的视频图像以及红外影像；根据视频图像确定测评对象头颈部像素点的运动振幅和震动频率；根据红外影像确定体温特征；根据体温特征、运动振幅和震动频率与新冠肺炎标准特征之间的关系对测评对象进行新冠肺炎快速筛查。本发明通过测评对象头颈部像素点的运动振幅和震动频率以及提问特征对测评对象进行新冠肺炎感染者快速筛查，降低了新冠肺炎筛查的繁琐度
附图说明
64.图1为本技术一实施例提供的一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法的流程示意图；
65.图2为本技术一实施例提供的一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法的实现架构图；
66.图3为本技术一实施例提供的任一帧图像的示意图。
具体实施方式
67.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
68.现有的新冠肺炎筛查过程需要到医院或者专业的诊疗机构进行检测，检测较为繁琐。鉴于此，本发明提供一种基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法，通过测评对象头颈部像素点的运动振幅和震动频率以及提问特征对测评对象进行新冠肺炎感染者快速筛查，降低了新冠肺炎筛查的繁琐度。
69.参见图1，本实施例提供的基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法的实现过程如下。
70.s101，同时采集含测评对象头颈部的视频图像以及红外影像。
71.本步骤可以通过包括红外影像采集功能的图像采集设备采集视频图像。
72.如果本步骤的执行主体为分析服务器，那么其可以通过图2所示架构中的具有红外影像采集功能的高清网络摄像机获取。
73.例如，具有红外影像采集功能的高清网络摄像机分别采集各测评对象头颈部的视频图像和红外影像，并将采集的测评对象头颈部的视频图像和红外影像通过网络交换机发送给分析服务器。
74.同时，通过图2所示的架构，可以实现多测评对象的同时快速筛查，提升快速筛查速率。在多测评对象同时快速筛查时，各对象分别通过本实施例提供的方法进行识别。
75.另外，视频图像由多帧图像构成。红外影像由多帧红外图像构成。
76.视频图像的帧数与红外影像的帧数相同。
77.如，视频图像由n帧图像构成，那么红外影像也由n帧红外图像构成。
78.此外，视频图像的时长取值范围为[10，30]，单位为秒。也就是说，本步骤会获取10秒至30秒时长的视频图像。
[0079]
构成视频图像的各帧图像的像素相同，且像素大于250万。也就是说，视频图像中的每帧图像的像素大于250万，例如500万。
[0080]
s102，根据视频图像确定测评对象头颈部像素点的运动振幅和震动频率。
[0081]
本步骤的实现过程为：
[0082]
s102-1，将视频图像中的各帧图像按时间顺序排列，形成帧序列。
[0083]
例如，视频图像中包括n帧图像，那么帧序列为{a1，a2，...，ai，...，am}。
[0084]
其中，ai为帧序列中的任一元素ai，其中，i标识元素序号，i＝1，
…
，n，n为帧序列中元素总数。
[0085]
s102-2，对帧序列中的每一元素进行预处理，形成标准帧序列。
[0086]
对于帧序列中的任一元素ai，如图3所示的元素，s102-2的执行过程为：
[0087]
s102-2-1，对ai的帧图像进行人脸识别，确定ai人脸区域的最小外接矩形。
[0088]
s102-2-2，若i＝1，则按ai人脸区域的最小外接矩形剪裁
[0089]ai
的帧图像，形成仅保留ai人脸区域的最小外接矩形内像素的标准帧图像。
[0090]
剪裁过程可以为，保持小外接矩形(含小外接矩形边界)的像素值不变，将小外接矩形之外的像素变为透明。
[0091]
也就是说，对于首帧图像，其最小外接矩形内像素的标准帧图像。
[0092]
s102-2-3，若i≠1，也就是非首帧图像，则执行如下步骤：
[0093]
s201，获取帧序列中ai的前一元素a
i-1
。
[0094]
s202，确定a
i-1
人脸区域的最小外接矩形，a
i-1
人脸区域的最小外接矩形的左下角的像素点坐标为左上角的像素点坐标为右下角的像素点坐标为右上角的像素点坐标为
[0095]
s203，若且且且则按ai人脸区域的最小外接矩形剪裁ai的帧图像，形成仅保留ai人脸区域的最小外接矩形内像素的标准帧图像，其中，为ai人脸区域的最小外接矩形的左下角的像素点坐标，为ai人脸区域的最小外接矩形的左上角的像素点坐标，为ai人脸区域的最小外接矩形的右下角的像素点坐标，为ai人脸区域的最小外接矩形的右上角的像素点坐标。
[0096]
也就是说，当前帧图像(即ai)中最小外接矩形与前一帧图像(即a
i-1
)中最小外接矩形的位置相同，大小相同，那么其最小外接矩形内像素的标准帧图像。
[0097]
s204，若或者，或者，或者，则
[0098]
(1)根据a
i-1
人脸区域的最小外接矩形对ai人脸区域的最小外接矩形进行调整，得到ai调整后的帧图像以及ai人脸区域调整后的最小外接矩形。
[0099]
(2)按ai人脸区域调整后的最小外接矩形剪裁ai调整后的帧图像，形成仅保留ai人脸区域调整后的最小外接矩形内像素的标准帧图像。
[0100]
对于根据a
i-1
人脸区域的最小外接矩形对ai人脸区域的最小外接矩形进行调整的过程为：
[0101]
s204-1，平移ai的帧图像，直至平移后ai人脸区域的最小外接矩形的左上角与a
i-1
人脸区域的最小外接矩形的左上角像素点重合，得到平移后ai人脸区域的最小外接矩形的左下角的像素点坐标左上角的像素点坐标右下角的像素点坐标右上角的像素点坐标
[0102]
步骤s204-1会通过平移的方式，将ai的最小外接矩形的左上角与a
i-1
最小外接矩形的左上角重合。后续，均是在保持ai的最小外接矩形的左上角与a
i-1
最小外接矩形的左上角重合的前提下对ai的最小外接矩形进行调整。
[0103]
s204-2，旋转ai平移后的帧图像，直至其中，为旋转后ai人脸区域的最小外接矩形的右上角的像素点纵轴坐标，为旋转后ai人脸区域的最小外接矩形的左上角的像素点纵轴坐标，为旋转后ai人脸区域的最小外接矩形的右上角的像素点横轴坐标，为旋转后ai人脸区域的最小外接矩形的左上角的像素点横轴坐标，
[0104]
δ为旋转误差。
[0105]
步骤s204-2会在保持ai的最小外接矩形的左上角与a
i-1
最小外接矩形的左上角重合的前提下，通过旋转的方式，将ai的最小外接矩形进行转动，直至
[0106]
表明ai的最小外接矩形的角度与a
i-1
最小外接矩形的角度相同。
[0107]
其中，δ＝1.3*500万/像素。此处的像素为步骤s101中获取的视频图像中任一帧的像素。例如δ＝1.3*500万/ai的像素。
[0108]
s204-3，针对ai旋转后的帧图像，在保证位置不变的前提下，等比例缩放ai旋转后的帧图像，得到ai调整后的帧图像。
[0109]
具体的调整过程为：
[0110]
s204-3-1，计算
[0111]
s204-3-2，计算其中，为旋转后ai人脸区域的最小外接矩形的左下角的像素点纵轴坐标。
[0112]
s204-3-3，若则在保证位置不变的前提下，等比例缩放ai旋转后的帧图像，得到hi″′
＝h
i-1
的ai调整后的帧图像，其中，为缩放后ai人脸区域的最小外接矩形的左上角的像素点纵轴坐标，
[0113]
为缩放后ai人脸区域的最小外接矩形的左下角的像素点纵轴坐标。
[0114]
s204-3-4，若则确认该帧图像异常，丢弃该帧图像。
[0115]
例如，为下取整函数。
[0116]
步骤s204-3会在保持ai的最小外接矩形的左上角与a
i-1
最小外接矩形的左上角重合，且ai的最小外接矩形的角度与a
i-1
最小外接矩形的角度相同的前提下，通过等比例缩放的方式，将ai的最小外接矩形的大小调整值a
i-1
的最小外接矩形的大小。
[0117]
s204-4，将ai调整后的帧图像中的最小外接矩形确定为ai人脸区域调整后的最小外接矩形。
[0118]
经过s204-1至s204-3会将ai的最小外接矩形调整至与a
i-1
的最小外接矩形相同的位置、角度和大小，即调整后的ai的最小外接矩形与a
i-1
的最小外接矩形大小相同，角度相同，且在相同的位置，保证了a
i-1
的最小外接矩形与调整后的ai的最小外接矩形的可比性。通过该可比性可以保证通过标准帧图像可以对癌症进行快速筛查。
[0119]
s102-3，对标准帧序列中的每一元素进行头颈部像素点识别，得到目标像素点。
[0120]
具体的，对标准帧序列中的每一元素进行头颈部像中人脸特征的素点识别，得到目标像素点。
[0121]
目标像素点为位于头颈部的像素点，如面部的像素等。
[0122]
目标像素点的确定可以通过对样本数据进行学习得到的。
[0123]
例如，获取样本视频图像，样本视频图像由多帧样本图像构成，每帧样本图像中包括癌症样本头颈部像，通过预先设置的学习模型对样本视频图像进行学习，得到能够反应样本特征的像素点，将该像素点确定为目标像素点。
[0124]
s102-4，根据标准帧序列中各元素的目标像素点得到运动振幅和震动频率。
[0125]
获取到每帧的目标像素点之后，将所有帧的目标像素点的值，按时间顺序进行统计，即可得到目标像素点的运动振幅和震动频率。
[0126]
s103，根据红外影像确定体温特征。
[0127]
本步骤的实现过程为：
[0128]
s103-1，确定各帧红外图像的脸部温度。
[0129]
例如，对于任一帧红外图像，执行如下步骤：
[0130]
s103-1-1，确定任一帧红外图像中的人脸区域。
[0131]
s103-1-2，确定任一帧红外图像中人脸区域的平均温度。
[0132]
s103-1-3，确定任一帧红外图像中人脸区域是否存在极值温度点。
[0133]
例如，1)确定非人脸区域的最高温度和最低温度。2)确定阈值温度＝(非人脸区域的最高温度 非人脸区域的最低温度 4*平均温度)/6。3)确定人脸区域中每个点的温度与阈值温度的差。4)将差值小于0.1的点确定为极值温度点。
[0134]
如果测评对象佩戴眼镜等设备，那么眼镜温度会与人脸温度有明显的差异，此差异会影响体温特征的判定。而极值温度点可以反应是否存在眼镜等影响快速筛查结果的情况。
[0135]
s103-1-4，若不存在极值温度点，则将平均温度确定为任一帧红外图像的脸部温度。
[0136]
如果不存在极值温度点，那么说明测评对象面部无干扰因素，则将平均温度确定为任一帧红外图像的脸部温度。
[0137]
s103-1-5，若存在极值温度点，则根据极值温度点调整平均温度，并将调整后的温度确定为任一帧红外图像的脸部温度。
[0138]
如果存在极值温度点，那么说明测评对象面部存在干扰因素，加入干扰因素的平均温度不能准确反应测评对象的体温。如极值温度点较低，那么平均温度会比测评对象的真实温度低，会误将发热用户识别为未发热用户，降低了快速筛查准确性。因此，在s103-1-5中，会根据极值温度点调整平均温度，使得调整后的温度能够准确反应测评对象的真实温度，提升快速筛查准确性。
[0139]
调整过程为：
[0140]
1、根据所有极值温度点之间的位置关系，确定是否构成区域。
[0141]
对于佩戴眼镜等情况，其温度会与面部温度差别较大，即极值温度点。且眼镜等的影响是面状的，也就是说，极值温度点并非以不连接的单点呈现，而是以像素坐标存在关联关系的区域形式呈现。那么本步骤会先根据各极值温度点的像素坐标，确定是否有连接成片的区域。如果没有，则说明是偶发情况，不进行调整。如果有，则说明存在眼镜等影响体温的情况存在，需要进行调整。
[0142]
2、若未构成区域，则不进行平均温度的调整。
[0143]
如果未构成区域，那么说明极值点是偶发情况，并非配戴眼镜的情况，此时不做调整。
[0144]
3、若构成区域，则确定构成区域的最大面积，计算最大面积占人脸面积的比例，确定调整后的温度＝平均温度*(1 比例*极值温度点的平均差值)。
[0145]
如果构成区域，那么说明存在影响体温的情况，需要进行调整。调整方案为：调整后的温度＝平均温度*(1 比例*极值温度点的平均差值)。
[0146]
s103-2，确定相邻两帧脸部温度的差。
[0147]
s103-3，若所有差的标准差小于预设阈值，则将各帧脸部温度的均值确定为体温特征。若所有差的标准差不小于预设阈值，则确认红外影像采集异常，退出基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法。
[0148]
其中，预设阈值是根据红外影像之间的测量误差确定的。标准差表明了所有差之间的差距。标准差越小，说明所有差的值差别不大，而人体温度在短时间内的变化不大，因此，所有差的标准差小于预设阈值，那么说明采集的测评对象头颈部的视频图像以及红外影像是正确的，此时，将各帧脸部温度的均值确定为体温特征。所有差的标准差不小于预设阈值，那么说明短时间内采集的提问差异较大，则确认红外影像采集异常，退出基于人脸视频图像点阵的新冠肺炎感染者快速筛查方法，可以再次执行本实施例提供的方法进行重新快速筛查。
[0149]
s104，根据体温特征、运动振幅和震动频率与新冠肺炎标准特征之间的关系对测评对象进行新冠肺炎快速筛查。
[0150]
其中，新冠肺炎标准特征可以通过对样本数据进行学习得到。例如，获取样本视频图像和样本红外影像，样本视频图像由多帧样本图像构成，每帧样本图像中包括新冠肺炎样本头颈部像。样本红外影像由多帧样本红外图像构成，对所有样本图像和样本红外影像中的特征点进行聚类。根据聚类结果确定表征新冠肺炎的新冠肺炎标准特征。
[0151]
将s103中得到的体温特征、s102-4得到的目标像素点的运动振幅和震动频率与新冠肺炎标准特征之间进行比对，如果目标像素点的体温特征、运动振幅和震动频率符合新冠肺炎标准特征，那么则确定测评对象患有新冠肺炎，否则，确定测评对象未患有新冠肺炎。
[0152]
有益效果：同时采集含测评对象头颈部的视频图像以及红外影像；根据视频图像确定测评对象头颈部像素点的运动振幅和震动频率；根据红外影像确定体温特征；根据体温特征、运动振幅和震动频率与新冠肺炎标准特征之间的关系对测评对象进行新冠肺炎快速筛查。本实施例通过测评对象头颈部像素点的运动振幅和震动频率以及提问特征对测评对象进行新冠肺炎感染者快速筛查，降低了新冠肺炎筛查的繁琐度
[0153]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0154]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0155]
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。