餐饮人员不规范行为模型训练方法、检测方法及处理设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种餐饮人员不规范行为模型训练方法、检测方法及处理设备。


背景技术：

2.传统餐饮行业对违规人员的监查通常依赖人力，由专门的监督人员对服务人员的行为规范进行监督。随着ai技术的深入研究，目前已经出现了部分利用ai代替人力的监督检测方法。
3.cn112464818a后厨监管方法、装置、设备及存储介质：提供了一种后厨监管的方法及闭环处理系统，其包含了对后厨人员不规范行为的检测，有人员身份不符、人员穿戴不规范、人员行为不规范、不明物体移动等。该专利仅针对后厨场景，未能针对多个场景进行检测。
4.cn110378311a基于encoder-decoder模型和混合高斯模型的餐饮后厨违规判断方法：提供了一种基于encoder-decoder模型和混合高斯模型的餐饮后厨违规判断方法，其输出为违规概率值。该专利在提供概率值的情况下，不能提供具体的违规人员以及违规类型。
5.基于以上情况，本发明提供了一套涉及场景更多，违规信息抓取更为丰富的方法，旨在为餐饮行业提供一套更为全面适用性更广的违规行为检测系统。
6.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术对餐饮违规人员的监查场景单一，且不能提供具体的违规人员以及违规类型。


技术实现要素：

7.本发明的目的在于提供一种餐饮人员不规范行为模型训练方法、检测方法及处理设备，以解决现有技术中存在的对餐饮违规人员的监查场景单一，且不能提供具体的违规人员以及违规类型的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
8.为实现上述目的，本发明提供了以下技术方案：本发明提供的一种餐饮人员不规范行为模型训练方法，包括步骤：s1：获取厨房、休息室和吧台内摄像头拍摄的监控视频，将所述监控视频转换成多张帧图片；s2：对所述多张帧图片进行目标检测和目标跟踪，提取多张具有人体检测框和跟踪id的待检测图像；s3：将所述待检测图像分为训练集图像和测试集图像，所述训练集图像包括厨房训练图像、休息室训练图像和吧台训练图像，所述测试集图像包括厨房测试图像、休息室测试图像和吧台测试图像，并分别构建厨房初始模型、休息室初始模型和吧台初始模型；s4：将所述厨房训练图像、休息室训练图像和吧台训练图像分别送入所述厨房初
始模型、休息室初始模型和吧台初始模型进行训练，得到厨房训练模型、休息室训练模型和吧台训练模型；s5：将所述厨房测试图像、休息室测试图像和吧台测试图像分别送入所述厨房训练模型、休息室训练模型和吧台训练模型进行测试，观察测试结果；将未能被正确识别的测试图像建立负样本集，并重新进行训练，直至所述测试图像均能被正确识别；s6：得到所述测试图像均能被正确识别的厨房检测模型、休息室检测模型和吧台检测模型，并作为餐饮人员不规范行为检测模型输出使用。
9.优选的，从所述厨房的监控视频中提取的所述待检测图像为厨房待检测图像；从所述休息室的监控视频中提取的所述待检测图像为休息室待检测图像；从所述吧台的监控视频中提取的所述待检测图像为吧台待检测图像。
10.优选的，所述厨房检测模型将所述厨房待检测图像分为正例图像和负例图像，所述正例图像不存在违规行为，所述负例图像存在违规行为；所述厨房检测模型标记输出所述负例图像。
11.优选的，所述违规行为包括口罩违规行为、围裙违规行为、厨师帽违规行为和玩手机违规行为；所述口罩违规行为判断是否为正确佩戴口罩；所述围裙违规行为判断是否为正确穿戴围裙；所述厨师帽违规行为判断是否为正确穿戴厨师帽；所述玩手机违规行为判断是否为玩手机；所述口罩违规行为、围裙违规行为、厨师帽违规行为、玩手机违规行为的判断结果独立统计。
12.优选的，所述休息室检测模型将所述休息室待检测图像内出现的全部所述跟踪id进行汇总，通过对所述跟踪id编号，获取其出现和丢失的时间戳；计算两个所述时间戳的时间差，与休息阈值做比较，判断是否为休息滞留；若所述时间差大于所述休息阈值，标记输出为超时滞留违规行为。
13.优选的，所述吧台检测模型对所述吧台待检测图像的所述人体检测框进行手机检测；若检测到手机，标记输出为玩手机违规行为。
14.此外，本发明还提供了一种餐饮人员不规范行为检测方法，所述餐饮人员不规范行为检测方法基于餐饮人员不规范行为模型训练方法进行，包括步骤：s100：获取厨房、休息室和吧台内摄像头拍摄的监控视频，将所述监控视频转换成多张帧信息；s200：对所述多张帧信息进行目标检测和目标跟踪，提取多张具有人体检测框和跟踪id的预检帧信息；s300：将所述预检帧信息送入所述餐饮人员不规范行为检测模型中进行检测，得到标记有违规行为的违规图像；s400：设定厨房违规判断逻辑和玩手机违规判断逻辑，判断同一所述跟踪id的所述违规图像是否具备违规行为；s500：汇总所有所述违规行为，并保存至上位机设备。
15.优选的，所述玩手机违规判断逻辑，包括步骤：s10：遍历所有标记玩手机违规行为的所述违规图像，针对同一所述跟踪id，判断是否存在超过第一判断帧的玩手机行为；若是，转入s20步骤；若否，判定为误检并不做记录；
s20：判定所述跟踪id存在玩手机行为；s30：提取所述跟踪id存在玩手机行为的开始与结束的两帧预检帧信息；s40：根据所述两帧预检帧信息判断所述手机是否有大范围移动；若是，转入s50步骤；若否，判定为误检并不做记录；s50：判定所述跟踪id具备玩手机违规行为，记录数据后上传至所述上位机设备。
16.优选的，所述厨房违规判断逻辑设定了口罩违规行为判断帧、围裙违规行为判断帧和厨师帽违规行为判断帧；遍历所述厨房检测模型输出的所述违规图像，针对同一所述跟踪id，若存在口罩违规行为的违规图像的帧数超过口罩违规行为判断帧时，判断所述跟踪id的人员具备口罩违规行为；若存在围裙违规行为的违规图像的帧数超过围裙违规行为判断帧时，判断所述跟踪id的人员具备围裙违规行为；若存在厨师帽违规行为的违规图像的帧数超过厨师帽违规行为判断帧时，判断所述跟踪id的人员具备厨师帽违规行为；遍历完成后，标注所述违规图像具备的不规范行为类型，并输出记录。
17.此外，本发明还提供了一种餐饮人员不规范行为处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行餐饮人员不规范行为模型训练方法和餐饮人员不规范行为检测方法。
18.实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：本发明在基于目标检测和跟踪识别算法的基础上，通过构建多个检测模型对多个场景可能会出现的违规行为进行检测，不仅扩大了餐饮人员违规行为的监察场景范围，还能够在检测出违规行为的同时，提供具体违规人员名单和违规类型。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：图1是本发明实施例一的模型训练方法的流程图；图2是本发明实施例二的检测方法的流程图；图3是本发明实施例二的玩手机违规判断逻辑的流程图。
具体实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
21.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于
附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
22.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
23.实施例一：如图1所示，本发明提供了一种餐饮人员不规范行为模型训练方法，包括步骤：s1：获取厨房、休息室和吧台内摄像头拍摄的监控视频，将监控视频转换成多张帧图片；s2：对多张帧图片进行目标检测和目标跟踪，提取多张具有人体检测框和跟踪id的待检测图像；s3：将待检测图像分为训练集图像和测试集图像，训练集图像包括厨房训练图像、休息室训练图像和吧台训练图像，测试集图像包括厨房测试图像、休息室测试图像和吧台测试图像，并分别构建厨房初始模型、休息室初始模型和吧台初始模型；s4：将厨房训练图像、休息室训练图像和吧台训练图像分别送入厨房初始模型、休息室初始模型和吧台初始模型进行训练，得到厨房训练模型、休息室训练模型和吧台训练模型；s5：将厨房测试图像、休息室测试图像和吧台测试图像分别送入厨房训练模型、休息室训练模型和吧台训练模型进行测试，观察测试结果；将未能被正确识别的测试图像建立负样本集，并重新进行训练，直至测试图像均能被正确识别；s6：得到测试图像均能被正确识别的厨房检测模型、休息室检测模型和吧台检测模型，并作为餐饮人员不规范行为检测模型输出使用。具体的，该餐饮人员不规范行为模型提取了厨房、休息室和吧台等多个场景的监控视频，将其作为训练和识别样本，能够更适配于现实生活中餐饮行业对违规行为的捕获。不同场景的摄像头具有固定的id，该摄像头监控的画面中包括有该摄像头的id，即通过不同摄像头提取的监控视频转换获取的待检测图像上会具有对应场景的摄像头id。根据不同的摄像头id，能够将不同场景的待检测图像送入不同的场景检测模型进行检测。本实施例在基于目标检测和跟踪识别算法的基础上，通过构建多个检测模型对多个场景可能会出现的违规行为进行多次训练和识别，且厨房检测模型、休息室检测模型和吧台检测模型针对相应的场景，更能够提高餐饮人员不规范行为模型对违规行为识别的效率和准确性。
24.作为可选的实施方式，厨房的监控视频中提取的待检测图像为厨房待检测图像；从休息室的监控视频中提取的待检测图像为休息室待检测图像；从吧台的监控视频中提取的待检测图像为吧台待检测图像。具体的，餐饮人员不规范行为模型通过不同的摄像头id，能够将待检测图像根据不同场景进行分类，并送入对应场景的检测模型进行训练。待检测图像由多个场景的视频信息中提取出来，在配置时会根据不同场景配置给不同的检测模型。为了区分不同场景，将待检测图像分为厨房待检测图像、休息室待检测图像和吧台待检测图像。其中，厨房待检测图像、休息室待检测图像和吧台待检测图像分别被厨房检测模型、休息室检测模型和吧台检测模型接收。
25.作为可选的实施方式，厨房检测模型将厨房待检测图像分为正例图像和负例图像，正例图像不存在违规行为，负例图像存在违规行为；厨房检测模型标记输出负例图像。具体的，对厨房待检测图像进行训练时，需要将厨房待检测图像分类成正例图像和负例图像。在检测前，分别将未存在违规行为的图片与存在违规行为图片挑选出来，作为正负样本集进行训练和识别。其中，未存在违规行为的图片作为正样本，组成正例图像；存在违规行为的图片作为负样本，组成负例图像。本实施例针对不同的违规行为，应建立不同的正负样本集进行训练和识别。将这四个正负样本集送入检测模型中进行训练和识别，才能够在实际应用中对具体违规行为进行监测。
26.作为可选的实施方式，违规行为包括口罩违规行为、围裙违规行为、厨师帽违规行为和玩手机违规行为；口罩违规行为判断是否为正确佩戴口罩；围裙违规行为判断是否为正确穿戴围裙；厨师帽违规行为判断是否为正确穿戴厨师帽；玩手机违规行为判断是否为玩手机；口罩违规行为、围裙违规行为、厨师帽违规行为、玩手机违规行为的判断结果独立统计。具体的，针对口罩违规行为，当厨房待检测图像中的人体检测框内出现未正确佩戴口罩、没有佩戴口罩或看不到正脸以上三类情况之一时，判定该人体检测框对应的跟踪id存在口罩违规行为，并标记输出该口罩违规行为。针对围裙违规行为，当厨房待检测图像中的人体检测框内出现未正确穿戴围裙或没有穿戴围裙以上两类情况之一时，判定该人体检测框对应的跟踪id存在围裙违规行为，并标记输出该围裙违规行为。针对厨师帽违规行为，当厨房待检测图像中的人体检测框内出现未正确佩戴厨师帽或没有穿戴厨师帽以上两类情况之一时，判定该人体检测框对应的跟踪id存在厨师帽违规行为，并标记输出该厨师帽违规行为。口罩违规行为、厨师帽违规行为和围裙违规行为的检测都应用了resnet-18算法。针对玩手机违规行为，餐饮人员不规范行为模型应用了yolox-s算法，对厨房待检测图像中的人体检测框内进行手机检测，当该人体检测框内检测到手机时，判定该人体检测框对应的跟踪id存在手机违规行为，并标记输出该手机违规行为。在实际操作场景中，餐饮服务人员可能会出现不止一项违规行为。该检测模型在检测时应能同时检测出不同类型的违规行为，这需要对多个违规行为分别进行训练和识别，最后才能实现对多种违规行为的检测。
27.作为可选的实施方式，休息室检测模型将休息室待检测图像内出现的全部跟踪id进行汇总，通过对跟踪id编号，获取其出现和丢失的时间戳；计算两个时间戳的时间差，与休息阈值做比较，判断是否为休息滞留；若时间差大于休息阈值，标记输出为超时滞留违规行为。具体的，一般来说，餐饮服务人员可能会存在休息滞留的行为，这显然在管理中是不被允许的。在人员进入休息室时，休息室检测模型会对休息室内的人员进行跟踪识别。只要获取该人员的跟踪id的出现时间与丢失时间的时间戳。计算其时间差，能够获知该人员是否在休息室逗留。当其时间差大于休息阈值时，证明该人员存在在休息室超时滞留的违规行为，需要对该人员的跟踪id进行标记。该休息阈值可以由用户自定义，休息室检测模型默认的休息阈值为10分钟。
28.作为可选的实施方式，吧台检测模型对吧台待检测图像的人体检测框进行手机检测；若检测到手机，标记输出为玩手机违规行为。具体的，吧台检测模型主要针对餐饮服务人员的玩手机行为进行检测，在实际使用时也应用了yolox-s算法，通过人体检测框对该人员进行手机检测，当检测到手机时，对该吧台检测图像作为违规图像输出标记。
29.实施例二：
如图2所示，本发明提供了一种餐饮人员不规范行为检测方法，包括步骤：s100：获取厨房、休息室和吧台内摄像头拍摄的监控视频，将监控视频转换成多张帧信息；s200：对多张帧信息进行目标检测和目标跟踪，提取多张具有人体检测框和跟踪id的预检帧信息；s300：将预检帧信息送入餐饮人员不规范行为检测模型中进行检测，得到标记有违规行为的违规图像；s400：设定厨房违规判断逻辑和玩手机违规判断逻辑，判断同一跟踪id的违规图像是否具备违规行为；s500：汇总所有违规行为，并保存至上位机设备。具体的，本实施例在基于目标检测和跟踪识别算法的基础上，通过构建多个检测算法对多个场景可能会出现的违规行为进行检测，不仅扩大了餐饮人员违规行为的监察场景范围，还能够在检测出违规行为的同时，提供具体违规人员名单和违规类型。通过餐饮人员不规范行为模型，能够将厨房、休息室和吧台的监控视频内存在违规行为的预检帧信息输出标记，但为了避免误检，需要设定厨房违规判断逻辑和玩手机违规判断逻辑对该违规图像内的违规人员的违规行为进行再判断。当该违规人员的违规帧数超过对应的阈值时，标记输出该违规人员的跟踪id和具体违规行为，并上传至上位机设备保存，方便后续监察人员调取数据。
30.作为可选的实施方式，玩手机违规判断逻辑，包括步骤：s10：遍历所有标记玩手机违规行为的违规图像，针对同一跟踪id，判断是否存在超过第一判断帧的玩手机行为；若是，转入s20步骤；若否，判定为误检并不做记录；s20：判定跟踪id存在玩手机行为；s30：提取跟踪id存在玩手机行为的开始与结束的两帧预检帧信息；s40：根据两帧预检帧信息判断手机是否有大范围移动；若是，转入s50步骤；若否，判定为误检并不做记录；s50：判定跟踪id具备玩手机违规行为，记录数据后上传至上位机设备。具体的，除了餐饮服务人员自身在餐饮邻域需要做到的整洁干净的要求外，在厨房、吧台等认真工作的场景，需要对玩手机的行为进行检测监控。针对玩手机违规行为，在玩手机违规判断逻辑中设定了第一判断帧作为判断是否玩手机的判断阈值。当同一跟踪id具有玩手机违规行为的违规图像，其帧数超过第一判断帧时，判定该跟踪id确实具备玩手机行为。该第一判断帧为十帧，且该帧数是一个动态更新的值。同一跟踪id从检测到玩手机行为的第一帧违规图像开始计数，如果超过十帧违规图像且这十帧违规图像的时差超过一分钟，则判定该跟踪id存在玩手机行为；如果时差超过一分钟但计数小于十帧，则需要从下一违规图像出现时，重新开始计数和计时。最后，为了避免手机放桌子上等情况造成的误检，会有一个后处理逻辑。即根据玩手机过程的起始和结束两帧，使用opencv中的模板匹配方法，对手机是否有大范围移动进行判断。如是，则认为该餐饮服务人员确实在玩手机，将其记录为违规玩手机，并上传数据。如否，则认为该违规行为是误检，将该违规行为记录删除。
31.作为可选的实施方式，厨房违规判断逻辑设定了口罩违规行为判断帧、围裙违规行为判断帧和厨师帽违规行为判断帧；遍历厨房检测模型输出的违规图像，针对同一跟踪id，若存在口罩违规行为的违规图像的帧数超过口罩违规行为判断帧时，判断跟踪id的人员具备口罩违规行为；若存在围裙违规行为的违规图像的帧数超过围裙违规行为判断帧时，判断跟踪id的人员具备围裙违规行为；若存在厨师帽违规行为的违规图像的帧数超过厨师帽违规行为判断帧时，判断跟踪id的人员具备厨师帽违规行为；遍历完成后，标注违规图像具备的不规范行为类型，并输出记录。具体的，该餐饮人员不规范行为模型能够检测出预检帧信息中出现的所有违规行为。而所有预检帧信息中，都标记有人体检测框和跟踪id。在判断该跟踪id的餐饮服务人员是否在厨房场景存在违规行为时，会通过一个逻辑判定。
其中，口罩违规行为判断帧、围裙违规行为判断帧和厨师帽违规行为判断帧为厨房违规判断逻辑的判定阈值。针对同一个跟踪id而言，口罩违规行为判断帧、围裙违规行为判断帧和厨师帽违规行为判断帧的判断阈值是一致的，假设总共的跟踪帧数为f，违规行为判断帧的判断阈值为f*0.95。当口罩、厨师帽和围裙任一违规行为的违规图像的帧数超过f*0.95时，判定为违规并标注具体违规行为。当该餐饮服务人员有超过口罩违规行为判断帧、围裙违规行为判断帧和/或厨师帽违规行为判断帧的多张预检帧信息显示其存在违规行为时，检测模型会根据该判断阈值判断该餐饮服务人员具备违规行为，并记录其跟踪id及其具体的违规行为，上传至上位机设备，方便后续监察人员掌握该餐饮服务人员的违规记录并对其进行教育。
32.实施例三：本发明还提供一种餐饮人员不规范行为处理设备，包括一个或多个处理器及存储器；其中，存储器用于存储一个或多个计算机程序，一个或多个处理器用于执行存储器存储的一个或多个计算机程序，以使处理器执行上述的一种餐饮人员不规范行为模型训练方法和餐饮人员不规范行为检测方法实施例的特征/步骤。具体的，该餐饮人员不规范行为处理设备能够对实施例一和实施例二提供设备进行模型训练识别和行为检测，并储存记录具备违规行为的人员及其具体违规行为。
33.实施例仅是一个特例，并不表明本发明就这样一种实现方式。
34.以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。