一种防护过程引导系统及机器人的制作方法

1.本发明涉及防疫技术领域，特别是涉及一种防护过程引导系统及机器人。


背景技术：

2.新型冠状病毒肺炎(简称新冠肺炎，英文简称为covid-19)传染性强，病程进展快，新冠肺炎患者需要在医护人员的指导下经过一步步检查才能得到检查结果，该过程加大了医护人员的感染风险，因此，医护人员必须事先做好充足的防护措施才能够将感染风险降低至最小，而防护用具的穿脱便是降低感染风险的重要手段。但是，医护人员穿防护用具或者脱防护用具都有一套标准动作流程，并有严格的先后顺序，整个防护过程的动作流程较多，医护人员容易混淆。
3.现有的防护过程引导系统在引导医护人员进行穿脱防护用具的过程中，能够在医护人员做错动作时进行错误反馈并反馈具体错误内容，但是，这种防护过程引导系统在医护人员完成了一个动作之后并不会进行下一个动作的引导，功能过于简单，难以适用于动作流程复杂的新冠肺炎防护过程。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种防护过程引导系统及机器人，自动识别医护人员正在进行的动作并引导其进行下一动作，满足新冠肺炎防护过程的要求。
5.为了解决上述技术问题，第一方面，本发明实施例提供一种防护过程引导系统，所述防护过程引导系统包括：
6.语音接收模块，用于接收待引导对象的第一语音指令和第二语音指令；其中，所述第一语音指令用于启动引导流程，所述第二语音指令用于选择穿防护用具场景或者脱防护用具场景；
7.图像获取模块，用于获取所述待引导对象穿防护用具或者脱防护用具的动作图像；
8.界面显示模块，用于显示所述待引导对象选择的穿防护用具场景或者脱防护用具场景的完整标准动作流程、所述待引导对象当前阶段需要进行的标准动作和所述待引导对象下一阶段需要进行的标准动作；
9.动作识别模块，用于将所述动作图像输入当前的识别模型中，判断所述待引导对象的动作是否为当前阶段需要进行的标准动作，并在所述待引导对象的动作为当前阶段需要进行的标准动作时，通过下一识别模型识别下一阶段需要进行的标准动作，直至所述待引导对象完成所有的标准动作。
10.在一个优选方案中，所述防护过程引导系统还包括语音播放模块，用于在所述待引导对象的动作为当前阶段需要进行的标准动作时，播放第一提示语音；以及
11.用于在所述待引导对象的动作不为当前阶段需要进行的标准动作时，播放第二提示语音。
12.在一个优选方案中，所述界面显示模块还用于播放与所述待引导对象当前阶段需要进行的动作对应的教学视频和教学文字；
13.所述语音播放模块还用于播放与所述教学文字对应的教学语音。
14.在一个优选方案中，所述界面显示模块还用于显示所述动作图像；其中，对于不同的动作图像，采用限位框将部分图像框出，表示动作的识别必须在所述限位框内进行。
15.在一个优选方案中，所述界面显示模块还用于显示当前的识别模型的识别结果图像；
16.其中，所述识别结果图像具体通过如下步骤获取：
17.获取识别模型的最后一个卷积层中的每一个神经元的权重；
18.将识别模型的最后一个卷积层中的每一个神经元的权重与对应的神经元相乘，并将所有的乘积相加；
19.通过relu函数对相加得到的值进行处理得到所述识别结果图像。
20.在一个优选方案中，识别模型的最后一个卷积层中的每一个神经元的权重的计算公式如下：
21.其中，为第k个神经元在类别c下的权重值，z为像素值的个数，yc为类别c的分类分数，为第k个神经元的第i行第j个像素值；
22.识别模型的最后一个卷积层中的每一个神经元的权重与对应的神经元相乘并将所有的乘积相加的计算公式如下：
23.其中，αc为相加得到的值，ak为第k个神经元。
24.在一个优选方案中，在所述完整动作流程中，所述待引导对象已完成的动作采用第一标识进行标记，所述待引导对象正在进行的动作采用第二标识进行标记，所述待引导对象未完成的动作采用第三标识进行标记。
25.在一个优选方案中，所述语音接收模块还用于接收所述待引导对象的第三语音指令和第四语音指令；其中，所述第三语音指令用于将当前的识别模型切换到下一识别模型，所述第四语音指令用于将当前的识别模型切换到上一识别模型。
26.为了解决上述技术问题，第二方面，本发明实施例提供一种防护过程引导机器人，所述防护过程引导机器人包括如第一方面任一项所述的防护过程引导系统。
27.与现有技术相比，本发明实施例提供的一种防护过程引导系统及机器人，其有益效果在于：通过语音指令实现待引导对象与系统的交互、通过摄像装置来获取待引导对象的动作图像，不需要待引导对象与系统进行肢体接触；而且系统的显示界面清晰明了，便于待引导对象了解需要完成的动作、现阶段需要完成的动作以及下一阶段需要完成的动作，能够无接触地完成整个防护过程的引导，满足新冠肺炎防护过程的要求。
附图说明
28.为了更清楚地说明本发明实施例的技术特征，下面将对本发明实施例中所需要使用的附图做简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于
本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明提供的一种防护过程引导系统的一个优选实施例的结构示意图；
30.图2是本发明提供的一种防护过程引导系统的另一个优选实施例的结构示意图。
具体实施方式
31.为了对本发明的技术特征、目的、效果有更加清楚的理解，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但是不用来限制本发明的保护范围。基于本发明的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的其他实施例，都应属于本发明的保护范围。
32.在本发明的描述中，应当理解的是，本文中的编号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有顺序或者技术含义，不能理解为规定或者暗示所描述的对象的重要性。
33.图1所示为本发明提供的一种防护过程引导系统的一个优选实施例的结构示意图。
34.如图1所示，所述防护过程引导系统包括：
35.语音接收模块11，用于接收待引导对象的第一语音指令和第二语音指令；其中，所述第一语音指令用于启动引导流程，所述第二语音指令用于选择穿防护用具场景或者脱防护用具场景；
36.图像获取模块12，用于获取所述待引导对象穿防护用具或者脱防护用具的动作图像；
37.界面显示模块13，用于显示所述待引导对象选择的穿防护用具场景或者脱防护用具场景的完整标准动作流程、所述待引导对象当前阶段需要进行的标准动作和所述待引导对象下一阶段需要进行的标准动作；
38.动作识别模块14，用于将所述动作图像输入当前的识别模型中，判断所述待引导对象的动作是否为当前阶段需要进行的标准动作，并在所述待引导对象的动作为当前阶段需要进行的标准动作时，通过下一识别模型识别下一阶段需要进行的标准动作，直至所述待引导对象完成所有的标准动作。
39.其中，语音接收模块一直处于监听状态，接收所有的声音信号，截取信号强度大于预设阈值的部分，去噪后将其上传至语音识别的在线接口，并得到返回结果，系统根据返回的结果做出相应的操作。
40.具体而言，所述防护过程引导系统的初始界面显示可以的是一个欢迎使用界面，在接收到待引导对象发出的第一语音指令(例如，“启动引导”或者“开始引导”等)之后，所述防护过程引导系统切换至场景选择界面，并在接收到所述待引导对象发出的第二语音指令(例如，“选择第一场景”等)之后，进入引导界面。所述引导界面包括有所述待引导对象选择的穿防护用具场景或者脱防护用具场景的完整标准动作流程、所述待引导对象当前阶段需要进行的标准动作和所述待引导对象下一阶段需要进行的标准动作，便于所述待引导对象清晰明了地了解。同时，获取所述待引导对象穿防护用具或者脱防护用具的动作图像，并将所述动作图像输入到当前的识别模型中，通过识别模型判断所述待引导对象的动作是否
为当前阶段需要进行的标准动作，若是，则将识别模型切换至下一标准动作的识别模型，识别下一阶段需要进行的标准动作，直至所述待引导对象完成所有的标准动作；若否，则继续进行当前阶段需要进行的标准动作的识别，直至所述待引导对象完成当前阶段需要进行的标准动作。
41.需要说明的是，每一个穿防护用具或者脱防护用具的标准动作均对应有一个识别模型，而且标准动作具有时序的先后关系，相应的，识别模型也具有时序的先后关系，即需要先通过第一个识别模式完成第一个标准动作的识别之后才能通过第二个识别模型进行第二个标准动作的识别，后续的以此理类推。
42.其中，穿防护用具的标准动作包括戴防护帽、手卫生、戴口罩、戴护目镜、戴内层手套、穿防护服、穿内层鞋套、穿外层鞋套以及戴外层手套；
43.脱防护用具的标准动作包括第一缓冲区的标准动作和第二缓冲区的标准动作，第一缓冲区的标准动作包括外层手套手卫生、脱外层手套、内层手套手卫生、拉下拉链再内层手卫生、脱防护服和外鞋套、内层手套手卫生、脱内层手套以及手卫生；
44.第二缓冲区的标准动作包括戴内层手套、脱护目镜、内层手套手卫生、脱口罩、内层手套手卫生、脱防护帽、内层手套手卫生、脱内鞋套、消毒湿巾清洁鞋、内层手套手卫生、脱内层手套以及手卫生。
45.进一步的，在穿防护用具的标准动作中，戴防护帽、戴口罩、戴护目镜、穿防护服、穿内层鞋套以及带外层手套的识别模型的识别过程为：将动作图像输入到识别模型，经过一层卷积层和一层最大池化层之后，依次经过layer1、layer2、layer3和layer4，再经过平均池化层和全连接层之后，得到识别结果；layer1、layer2、layer3和layer4均具有两个基本块。其中，layer1、layer2、layer3和layer4的每个基本块均包括两个相连的3*3的卷积核以及一连接首尾的残差连接，layer2、layer3和layer4的第一个基本块的残差连接还包括一个1*1的卷积核。
46.优选的，第一层卷积层包括一个7*7的卷积核，输出通道数为64，步长为2；最大池化层的窗口大小为3*3，步长为2；layer1、layer2、layer3和layer4的基本块中相连的卷积核的步长为2，两个卷积核之间还包括bn层和激活层；layer2、layer3和layer4的第一个基本块中残差连接的卷积核后还连着一个bn层。
47.进一步的，在第一缓冲区的标准动作中，外层手套手卫生、脱外层手套、拉下拉链再内层手卫生、脱防护服和外鞋套以及脱内层手套的动作识别模型的识别过程为：将动作图像输入到动作识别模型，经过一层卷积层和一层最大池化层之后，依次经过layer1、layer2、layer3和layer4，再经过平均池化层和全连接层之后，得到识别结果；layer1、layer2、layer3和layer4均具有两个基本块。其中，layer1、layer2、layer3和layer4的每个基本块均包括两个相连的3*3的卷积核以及一连接首尾的残差连接，layer2、layer3和layer4的第一个基本块的残差连接还包括一个1*1的卷积核。
48.优选的，第一层卷积层包括一个7*7的卷积核，输出通道数为64，步长为2；最大池化层的窗口大小为3*3，步长为2；layer1、layer2、layer3和layer4的基本块中相连的卷积核的步长为2，两个卷积核之间还包括bn层和激活层；layer2、layer3和layer4的第一个基本块中残差连接的卷积核后还连着一个bn层。
49.进一步的，在第二缓冲区的标准动作中，脱护目镜、脱口罩、脱防护帽、穿防护服、
脱内鞋套以及消毒湿巾清洁鞋的动作识别模型的识别过程为：将动作图像输入到动作识别模型，经过一层卷积层和一层最大池化层之后，依次经过layer1、layer2、layer3和layer4，再经过平均池化层和全连接层之后，得到识别结果；layer1、layer2、layer3和layer4均具有两个基本块。其中，layer1、layer2、layer3和layer4的每个基本块均包括两个相连的3*3的卷积核以及一连接首尾的残差连接，layer2、layer3和layer4的第一个基本块的残差连接还包括一个1*1的卷积核。
50.优选的，第一层卷积层包括一个7*7的卷积核，输出通道数为64，步长为2；最大池化层的窗口大小为3*3，步长为2；layer1、layer2、layer3和layer4的基本块中相连的卷积核的步长为2，两个卷积核之间还包括bn层和激活层；layer2、layer3和layer4的第一个基本块中残差连接的卷积核后还连着一个bn层。
51.本实施例针对实时性要求和降低算力消耗的需求，以及结合应用场景特点：室内光线骤变干扰较小，目标位置大小比较稳定，主要难度在于动作的细微变化较多，本实施例通过在进行“戴口罩”等步骤的检测识别时，首先将图像数据经过一层卷积层和一层最大池化层的处理，然后再依次经过layer1、layer2、layer3和layer4，最后经过平均池化层和全连接层处理得到识别结果。
52.而对于“手卫生”等动作，现有的yolov3模型能够很好地进行识别，为了便于设计，对这些动作，本实施例结合采用yolov3模型进行识别；其中，yolov3的检测原理为：当待识别对象进行手卫生、戴内层手套等动作时，两只手的重合度较大，当yolov3模型只检测到一个手对象或者两个距离较近的手对象时，认为当前帧属于手卫生或戴内层手套的动作类型。
53.优选的，为了进一步提高动作识别的准确率，每个识别模型在进行训练时，对样本图片进行截取，仅截取模型重点关注的部分进行训练；识别模型在进行动作识别时，也是仅识别模型重点关注的部分图像。
54.优选的，在进行识别模型训练的过程中，当正负样本数目(严重)失衡时，进行过采样处理。
55.在进行识别模型的训练时，以戴口罩的二分类器为例，戴口罩的过程以及戴好口罩之后的图片均属于正样本，没有口罩的图片均属于负样本，因此只截取图片的上半部分进行训练(戴口罩的时候口罩一般出现在上半部分，其他模型在训练也是只截取需要关注的部分)，排除了大部分背景，识别模型训练的效果更好。
56.本实施例考虑到新冠肺炎防护过程中动作繁琐，医护人员很容易混淆，错误的动作顺序可能会导致病毒感染，后果相当严重。因此，将人工智能与防护过程引导系统相结合，即防护引导系统需要自动识别出医院人员当前的动作并引导其进行下一动作，最后完成所有的动作。引入人工智能后，医护人员只需要听从防护引导系统的指示，将注意力放在当前动作上，不需要关心动作顺序是否混淆的问题，整个防护过程更为简单便捷，也能够减轻医护人员的工作压力。
57.进一步的，识别模型在动作图像进行识别时，首先获取每一帧动作图像中的动作为当前阶段需要进行的标准动作的概率，若当前帧动作图像中的动作为当前阶段需要进行的标准动作的概率大于预设阈值，判定当前帧动作图像中的动作为当前阶段需要进行的标准动作；否则，判定当前帧动作图像中的动作不为当前阶段需要进行的标准动作。当若干帧
动作图像中有超过预设比例的动作图像中的动作为当前阶段需要进行的标准动作时，判定待引导对象的动作为当前阶段需要进行的标准动作，否则，判定待引导对象的动作不为当前阶段需要进行的标准动作。
58.作为一个举例，在进行“戴口罩”标准动作识别时，需要将获取到的图像帧输入到当前的识别模型中，得到该帧属于正样本的概率p，若p大于预设阈值(本实施例中为0.5)，则认为当前帧属于“戴口罩”的动作。与此同时，为提高识别模型的容错性，本实施例在连续识别的w帧中，若有70％以上的帧识别结果为正，则认为待引导对象正在进行的当前动作为当前阶段需要进行的标准动作。其中，对于不同的标准动作，w的值一般不同，对于耗时较长的动作(例如，穿防护服)，w的值较大(例如，设为240)，对于耗时较短的动作(例如，戴护目镜)，w的值较小(例如，为40)。
59.优选的，在光线较强、背景较复杂等场景下，还可以通过降低预设阈值的方式提高模型的识别准确率。
60.本发明提供的防护过程引导系统，通过语音指令实现待引导对象与系统的交互、通过摄像装置来获取待引导对象的动作图像，不需要待引导对象与系统进行肢体接触；而且系统的显示界面清晰明了，便于待引导对象了解需要完成的动作、现阶段需要完成的动作以及下一阶段需要完成的动作，能够无接触地完成整个防护过程的引导，满足新冠肺炎防护过程的要求。
61.在另一个优选实施例中，如图2所示，所述防护过程引导系统还包括语音播放模块15，用于在所述待引导对象的动作为当前阶段需要进行的标准动作时，播放第一提示语音；以及
62.用于在所述待引导对象的动作不为当前阶段需要进行的标准动作时，播放第二提示语音。
63.具体而言，在当前的识别模型识别出标准动作时，识别模型处于激活状态，并提示待识别对象当前阶段需要进行的标准动作已完成(例如，播放“已完成当前阶段标准动作，进行下一动作识别”的语音)，并切换至下一识别模型进行下一标准动作的识别。在(一定时间内)当前的识别模型未识别出标准动作时，识别模型仍处于运行状态，并提示待识别对象当前阶段需要进行的标准动作未完成(例如，播放“未完成当前阶段标准动作，重新进行识别”的语音)。
64.在一个优选实施例中，所述界面显示模块13还用于播放与所述待引导对象当前阶段需要进行的动作对应的教学视频和教学文字；
65.所述语音播放模块15还用于播放与所述教学文字对应的教学语音。
66.具体而言，在进行标准动作的引导时，本实施例会同步播放与当前阶段需要进行的动作相对应的示例教学视频和教学文字，并播放与所述教学文字对应的教学语音，供待引导对象进行学习或者对照，提高使用体验。
67.在一个优选实施例中，所述界面显示模块13还用于显示所述动作图像；其中，对于不同的动作图像，采用限位框将部分图像框出，表示动作的识别必须在所述限位框内进行。
68.具体而言，对于获取得到的动作图像，本实施使用红色加粗方框将其中一部分图像画面框出，表示待引导对象的动作必须在该画面内进行才能够进行识别。作为一个举例，正在进行的动作是“戴护目镜”，则红色加粗方框在动作图像的上半部，表示戴护目镜的动
作只能在该红色加粗方框范围内完成识别，排除了大部分背景，能够提高识别结果的准确率。
69.在一个优选实施例中，所述界面显示模块13还用于显示当前的识别模型的识别结果图像；
70.其中，所述识别结果图像具体通过如下步骤获取：
71.获取识别模型的最后一个卷积层中的每一个神经元的权重值；
72.将识别模型的最后一个卷积层中的每一个神经元的权重值与对应的神经元相乘，并将所有的乘积相加；
73.通过relu函数对相加得到的值进行处理得到所述识别结果图像。
74.具体而言，所述识别结果图像能够显示当前识别模型重点关注的图像中哪些信息，并根据权重用不同的颜色显示。其计算原理为：给定一张输入图像，对于最后一个卷积层的输出特征图，用类别相对于每一个通道的梯度对这个特征图中的每个通道进行加权，从而得到对模型识别输出贡献值较高的区域。其具体计算步骤为：
75.根据式(1)计算识别模型的最后一个卷积层中的每一个神经元的权重值：
[0076][0077]
式(1)中，为第k个神经元在类别c下的权重值，z为像素值的个数，yc为类别c的分类分数，为第k个神经元的第i行第j个像素值。
[0078]
根据式(2)将识别模型的最后一个卷积层中的每一个神经元的权重值与对应的神经元相乘，并将所有的乘积相加：
[0079][0080]
式(2)，αc为相加得到的值，ak为第k个神经元；
[0081]
根据式(3)通过relu函数对相加得到的值进行处理得到所述识别结果图像；
[0082]
lc＝relu(αc)
ꢀꢀꢀ
(3)
[0083]
其中，relu函数起到保留对识别具有积极作用的像素值，抑制对识别具有消极作用的像素值。
[0084]
在一个优选实施例中，在所述完整动作流程中，所述待引导对象已完成的动作采用第一标识进行标记，所述待引导对象正在进行的动作采用第二标识进行标记，所述待引导对象未完成的动作采用第三标识进行标记。
[0085]
其中，标识方式可采用颜色标识、文字标识等，本实施例不做具体限定。
[0086]
作为一个举例，在所述完整动作流程中，已经完成的动作采用绿色小圆点标出，正在进行的动作用红色闪烁小圆点标出，后续待进行的动作用灰色小圆点标出，待引导对象能够清晰地看到当前应当进行的动作和当前防护过程的进度。
[0087]
在一个优选实施例中，所述语音接收模块11还用于接收所述待引导对象的第三语音指令和第四语音指令；其中，所述第三语音指令用于将当前的识别模型切换到下一识别模型，所述第四语音指令用于将当前的识别模型切换到上一识别模型。
[0088]
具体而言，在进行动作识别的过程中，语音接收模块在后台保持监听，当收到“我已完成”的语音指令时，系统将认为当前动作已完成，将识别模型切换到下一动作的识别模型；当收到“回到前面”的语音指令时，系统将识别模型切换到上一动作的识别模型。如此，待引导对象能够自行控制识别模型的切换，用户控制与系统默认的自动控制的方式结合，提高了系统的灵活性和容错能力。
[0089]
作为一个举例，在穿进行防护用具时，初始标准动作为戴防护帽，初始的识别模型为戴防护帽识别模型，当戴防护帽识别模型识别到当前动作为标准动作后(模型激活)或者待引导对象发出“我已完成”的语音指令后，当前应当进行的动作切换为手卫生，识别模型切换为手卫生识别模型。若识别模型误识别(待引导对象并未完成戴防护帽的标准动作，但识别模型已经激活并跳转到识别手卫生)，待引导对象可以发出“回到前面”的语音指令回到戴防护帽的识别步骤。当系统识别到最后一个动作后，返回到初始的选择场景界面。
[0090]
相应的，本发明还提供一种防护过程引导机器人，所述防护过程引导机器人包括如上述任一实施例所述的防护过程引导系统，能够自动识别待引导对象正在进行的动作并引导其进行下一动作，满足新冠肺炎防护过程的要求。
[0091]
其中，所述防护过程引导机器人可以包括全向轮或者差分轮，从而可移动地对待引导对象进行防护过程的引导。
[0092]
以上所述，仅是本发明的优选实施方式，但本发明的保护范围并不局限于此，应当指出，对于本领域技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干等效的明显变型方式和/或等同替换方式，这些明显变型方式和/或等同替换方式也应视为本发明的保护范围。