一种基于图像识别的智能监控方法、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于图像识别的智能监控方法、装置、设备及介质。


背景技术：

2.民以食为天，“食品”是人类赖以生存的能源和发展的物质基础，所以食品的卫生安全十分重要。新闻常常报道餐饮界卫生安全的问题，一些不良商家使用餐厨废弃油脂，过期食材多次使用，种种恶劣的行为对我们的身体健康造成了危害。
3.现有的餐饮界食品安全监测也只限于监管人员的不定时抽查，安装的摄像监控只能监控操作环境。即使公开监控操作环境，只是保证了操作环节的卫生问题，而无法保证食材的质量，尤其是食材的新鲜程度。作为顾客尤其关心的是后厨加工制作过程中使用的食材是否为新鲜的，可食用的。


技术实现要素：

4.本发明提供了一种基于图像识别的智能监控方法、装置、设备及介质，以解决对后厨加工制作过程中使用的食材实时鉴别，并将鉴别结果展示给用户，以排解顾客心中对食材的新鲜与否的顾虑。
5.第一方面，本发明提供了一种基于图像识别的智能监控方法，该方法包括：
6.获取待识别食材图片；
7.从所述待识别食材图片中裁切出食材区域，得到待测食材图片；
8.通过预训练的神经网络模型识别所述待测食材图片的特征标签，所述特征标签包括食材类型以及食材新鲜度；
9.发送食材鉴别结果到用户终端，其中，所述食材鉴别结果包括所述待测食材图片以及所述特征标签。
10.第二方面，提供了一种鉴别装置，包括用于执行如第一方面所述方法的单元。
11.第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
12.存储器，用于存放计算机程序；
13.处理器，用于执行存储器上所存放的程序时，执行如第一方面所述方法。
14.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行如第一方面所述方法。
15.本发明实施例提供的上述技术方案与现有技术相比具有如下优点：
16.本发明实施例提供的该方法，通过预训练的神经网络模型分析、鉴别食材图片，得到食材图片的特征标签，将特征标签实时发送给用户，以排解顾客心中对食材的新鲜与否的顾虑。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例1提供的一种基于图像识别的智能监控方法的流程示意图；
20.图2为本发明实施例1提供的一种基于图像识别的智能监控方法的子流程示意图；
21.图3为本发明实施例1提供的一种基于图像识别的智能监控方法的子流程示意图；
22.图4为本发明实施例1提供的一种基于图像识别的智能监控方法的子流程示意图；
23.图5为本发明实施例1提供的一种基于图像识别的智能监控方法的子流程示意图；
24.图6为本发明实施例2提供的一种基于图像识别的智能监控方法的子流程示意图；
25.图7为本发明实施例3提出的一种基于图像识别的智能监控装置结构框图；
26.图8为本发明实施例4提出的一种基于图像识别的智能监控装置结构框图；
27.图9为本发明实施例5提供的一种电子设备的结构示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.实施例1
30.图1为本发明实施例提供的一种基于图像识别的智能监控方法的流程示意图。本发明实施例提出了一种基于图像识别的智能监控方法，具体地，参见图1，该基于图像识别的智能监控方法包括如下步骤s101-s104。
31.s101，获取待识别食材图片。
32.具体实施中，通过网络连接，人工智能控制器从视频采集装置获取待识别食材图片。
33.在一实施例中，参见图2，图2为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s101包括步骤s201-s202：
34.s201，获取视频采集装置的视频流。
35.具体实施中，视频采集装置即视频采集卡(video capture card)也叫视频卡，用以将模拟摄像机、录像机、ld视盘机、电视机输出的视频信号等输出的视频数据或者视频和音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。按照其用途可以分为广播级视频采集卡，专业级视频采集卡，民用级视频采集卡，具有自动采集视频的功能。在一实施例中，通过将视频采集装置装在厨房、食品仓库等地方，视频采集装置与人工智能控制器连接，可让人工智能控制器获取视频采集装置采集的视频流。
36.s202，从所述视频流中获取画面帧作为待识别食材图片。
37.具体实施中，人工智能控制器从采集装置获取到视频流后，会对视频流进行处理，获取视频流中的画面帧，并将画面帧作为待识别食材图片做下一步处理。
38.s102，从所述待识别食材图片中裁切出食材区域，得到待测食材图片。
39.具体实施中，人工智能控制器会对待识别食材图片做识别处理，分析出待识别食材图片中的食材区域，并将食材区域以外的图片进行裁切，仅保留食材区域做待测食材图片，可以有效避免文件过大导致处理时间变长。
40.在一实施例中，参见图3，图3为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s102包括步骤s301-s302：
41.s301，基于预训练的目标检测模型获取所述待识别食材图片中的食材区域的坐标。
42.具体实施中，目标检测模型获取待识别食材图片中包含食材区域的对角坐标，以对角坐标作为裁切标记，以进行步骤s302。
43.s302，根据所述食材区域的坐标将所述食材区域从所述待识别食材图片中剪裁出来作为待测食材图片。
44.具体实施中，由步骤s301得到的以对角坐标作为裁切标记，对待识别食材图片进行裁切，保留对角坐标形成的矩形范围以内部分，并作为待测食材图片以便后续处理。
45.同时，所述神经网络模型为卷积神经网络模型；所述目标检测模型为判别网络模型。
46.具体实施中，卷积神经网络模型具有图像分割能力：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。在一实施例中，卷积神经网络模型分辨待识别食材图片中的食材作为目标对象，并将目标对象从图像中分割出来。判别网络模型是一种对未观测数据y与已观测数据x之间关系进行建模的方法，直接对条件概率p(y|x；θ)建模。在一实施例中，判别网络模型将待测食材图片进行判别食材类型，并且根据待测食材图片预测食材的新鲜度、保质期。
47.s103，通过预训练的神经网络模型识别所述待测食材图片的特征标签。
48.具体实施中，人工智能控制器接收到待测食材图片后，控制预训练的神经网络模型对待测食材图片进行识别处理，可以得到待测食材图片对应的特征标签，特征标签包括了食材类型以及食材新鲜度，食材类型指食材的名称，食材新鲜度以数据、百分比形式展示，具体地食材新鲜度的展示形式本发明不做限定。
49.在一实施例中，参见图4，图4为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s103包括步骤s401-s402：
50.s401，对所述待测食材图片进行二值化处理、膨胀处理以及腐蚀处理，得到输入图片。
51.具体实施中，图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。膨胀处理就是图像的边缘添加像素值，使得整体的像素值扩张，进而达到图像的膨胀效果，也可以说是信号与系统书中所提到的像素插值处理，而腐蚀处理与膨胀处理是相反的操作，腐蚀是求局部最小值。具体地，本发明不对所述待测食材图片进行的二值化处理、膨胀处理以及腐蚀处理的处理顺序做限
定，二值化处理、膨胀处理以及腐蚀处理的目的在于让待测食材图片更清晰，处理待测食材图片得到输入图片。
52.s402，将所述输入图片输入到所述预训练的神经网络模型中，以由所述预训练的神经网络模型识别所述待测食材图片的特征标签。
53.具体实施中，将步骤s401处理得到的输入图片输入到预训练的神经网络模型中，预训练的神经网络模型可识别出待测食材图片的特征标签信息。
54.s104，发送食材鉴别结果到用户终端。
55.具体实施中，人工智能控制器将包含待测食材图片以及特征标签的食材鉴别结果发送至用户终端，用户终端可以为计算机、手机等。
56.在一实施例中，参见图5，图5为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s104包括步骤s501-s502：
57.s501，将所述待测食材图片、所述食材类型以及所述食材新鲜度打包为json数据包。
58.具体实施中，人工智能控制器将所述待测食材图片、所述食材类型以及所述食材新鲜度转化为json格式，json格式更利于解析以及阅读。
59.s502，将所述json数据包发送到用户终端。
60.具体实施中，人工智能控制器将步骤s501转化后的json数据包进行发送，任意用户终端只需解析json数据包即可获得待测食材图片、所述食材类型以及所述食材新鲜度数据。
61.实施例2
62.图6为本发明实施例提供的一种基于图像识别的智能监控方法的流程示意图。本发明实施例提出了一种基于图像识别的智能监控方法，具体地，参见图6，该基于图像识别的智能监控方法包括如下步骤s601-s606。
63.s601，获取待识别食材图片。
64.具体实施中，通过网络连接，人工智能控制器从视频采集装置获取待识别食材图片。
65.在一实施例中，参见图2，图2为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s601包括步骤s201-s202：
66.s201，获取视频采集装置的视频流。
67.具体实施中，视频采集装置即视频采集卡(video capture card)也叫视频卡，用以将模拟摄像机、录像机、ld视盘机、电视机输出的视频信号等输出的视频数据或者视频和音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。按照其用途可以分为广播级视频采集卡，专业级视频采集卡，民用级视频采集卡，具有自动采集视频的功能。在一实施例中，通过将视频采集装置装在厨房、食品仓库等地方，视频采集装置与人工智能控制器连接，可让人工智能控制器获取视频采集装置采集的视频流。
68.s202，从所述视频流中获取画面帧作为待识别食材图片。
69.具体实施中，人工智能控制器从采集装置获取到视频流后，会对视频流进行处理，获取视频流中的画面帧，并将画面帧作为待识别食材图片做下一步处理。
70.s602，从所述待识别食材图片中裁切出食材区域，得到待测食材图片。
71.具体实施中，人工智能控制器会对待识别食材图片做识别处理，分析出待识别食材图片中的食材区域，并将食材区域以外的图片进行裁切，仅保留食材区域做待测食材图片，可以有效避免文件过大导致处理时间变长。
72.在一实施例中，参见图3，图3为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s602包括步骤s301-s302：
73.s301，基于预训练的目标检测模型获取所述待识别食材图片中的食材区域的坐标。
74.具体实施中，目标检测模型获取待识别食材图片中包含食材区域的对角坐标，以对角坐标作为裁切标记，以进行步骤s302。
75.s302，预训练的目标检测模型会根据所述食材区域的坐标将所述食材区域从所述待识别食材图片中剪裁出来作为待测食材图片。
76.具体实施中，由步骤s301得到的以对角坐标作为裁切标记，对待识别食材图片进行裁切，保留对角坐标形成的矩形范围以内部分，并作为待测食材图片以便后续处理。
77.同时，所述神经网络模型为卷积神经网络模型；所述目标检测模型为判别网络模型。
78.具体实施中，卷积神经网络模型具有图像分割能力：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。在一实施例中，卷积神经网络模型分辨待识别食材图片中的食材作为目标对象，并将目标对象从图像中分割出来。判别网络模型是一种对未观测数据y与已观测数据x之间关系进行建模的方法，直接对条件概率p(y|x；θ)建模。在一实施例中，判别网络模型将待测食材图片进行判别食材类型，并且根据待测食材图片预测食材的新鲜度、保质期。
79.s603，从预设的食材图片数据库中获取食材图片训练集。
80.具体实施中，预设的食材图片数据库包含了食材图片训练集，食材图片训练集可用于训练神经网络模型。
81.s604，通过所述食材图片训练集对预构建的神经网络模型进行训练，得到所述预训练的神经网络模型。
82.具体实施中，将食材图片训练集对神经网络模型，使得预训练的神经网络模型可以自动根据待测食材图片识别食材。
83.s605，通过预训练的神经网络模型识别所述待测食材图片的特征标签。
84.具体实施中，人工智能控制器接收到待测食材图片后，控制预训练的神经网络模型对待测食材图片进行识别处理，可以得到待测食材图片对应的特征标签，特征标签包括了食材类型以及食材新鲜度，食材类型指食材的名称，食材新鲜度以数据、百分比形式展示，具体地食材新鲜度的展示形式本发明不做限定。
85.在一实施例中，参见图4，图4为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s605包括步骤s401-s402：
86.s401，对所述待测食材图片进行二值化处理、膨胀处理以及腐蚀处理，得到输入图片。
87.具体实施中，图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将
整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。膨胀处理就是图像的边缘添加像素值，使得整体的像素值扩张，进而达到图像的膨胀效果，也可以说是信号与系统书中所提到的像素插值处理，而腐蚀处理与膨胀处理是相反的操作，腐蚀是求局部最小值。具体地，本发明不对所述待测食材图片进行的二值化处理、膨胀处理以及腐蚀处理的处理顺序做限定，二值化处理、膨胀处理以及腐蚀处理的目的在于让待测食材图片更清晰，处理待测食材图片得到输入图片。
88.s402，将所述输入图片输入到所述预训练的神经网络模型中，以由所述预训练的神经网络模型识别所述待测食材图片的特征标签。
89.具体实施中，将步骤s401处理得到的输入图片输入到预训练的神经网络模型中，预训练的神经网络模型可识别出待测食材图片的特征标签信息。
90.s606，发送食材鉴别结果到用户终端。
91.具体实施中，人工智能控制器将包含待测食材图片以及特征标签的食材鉴别结果发送至用户终端，用户终端可以为计算机、手机等。
92.在一实施例中，参见图5，图5为本发明实施例提供的一种基于图像识别的智能监控方法的子流程示意图。以上步骤s104包括步骤s501-s502：
93.s501，将所述待测食材图片、所述食材类型以及所述食材新鲜度打包为json数据包。
94.具体实施中，人工智能控制器将所述待测食材图片、所述食材类型以及所述食材新鲜度转化为json格式，json格式更利于解析以及阅读。
95.s502，将所述json数据包发送到用户终端。
96.具体实施中，人工智能控制器将步骤s501转化后的json数据包进行发送，任意用户终端只需解析json数据包即可获得待测食材图片、所述食材类型以及所述食材新鲜度数据。
97.实施例3
98.参见图7本发明实施例还提供了一种基于图像识别的智能监控装置700，该基于图像识别的智能监控装置包括第一获取单元701、第一裁切单元702、第一识别单元703以及第一发送单元704。
99.第一获取单元701,用于获取待识别食材图片。
100.在一实施例中，以上第一获取单元701具体包括：
101.获取视频采集装置的视频流；
102.从所述视频流中获取画面帧作为待识别食材图片。
103.第一裁切单元702,用于从所述待识别食材图片中裁切出食材区域，得到待测食材图片。
104.在一实施例中，以上第一裁切单元702具体包括：
105.基于预训练的目标检测模型获取所述待识别食材图片中的食材区域的坐标；
106.根据所述食材区域的坐标将所述食材区域从所述待识别食材图片中剪裁出来作为待测食材图片。
107.第一识别单元703,用于通过预训练的神经网络模型识别所述待测食材图片的特
征标签。
108.在一实施例中，以上第一识别单元703具体包括：
109.对所述待测食材图片进行二值化处理、膨胀处理以及腐蚀处理，得到输入图片；
110.将所述输入图片输入到所述预训练的神经网络模型中，以由所述预训练的神经网络模型识别所述待测食材图片的特征标签。
111.第一发送单元704,用于发送食材鉴别结果到用户终端。
112.在一实施例中，以上第一发送单元704具体包括：
113.将所述待测食材图片、所述食材类型以及所述食材新鲜度打包为json数据包；
114.将所述json数据包发送到用户终端。
115.实施例4
116.参见图8本发明实施例还提供了一种基于图像识别的智能监控装置800，该基于图像识别的智能监控装置包括第二获取单元801、第二裁切单元802、第三获取单元803、训练单元804、第二识别单元805以及第二发送单元806。
117.第二获取单元801,用于获取待识别食材图片。
118.在一实施例中，以上第二获取单元801具体包括：
119.获取视频采集装置的视频流；
120.从所述视频流中获取画面帧作为待识别食材图片；
121.第二裁切单元802,用于从所述待识别食材图片中裁切出食材区域，得到待测食材图片。
122.在一实施例中，以上第二裁切单元802具体包括：
123.基于预训练的目标检测模型获取所述待识别食材图片中的食材区域的坐标；
124.根据所述食材区域的坐标将所述食材区域从所述待识别食材图片中剪裁出来作为待测食材图片。
125.第三获取单元803,用于从预设的食材图片数据库中获取食材图片训练集。
126.训练单元804,用于通过所述食材图片训练集对预构建的神经网络模型进行训练，得到所述预训练的神经网络模型。
127.第二识别单元805,通过预训练的神经网络模型识别所述待测食材图片的特征标签。
128.在一实施例中，以上第二识别单元805具体包括：
129.对所述待测食材图片进行二值化处理、膨胀处理以及腐蚀处理，得到输入图片；
130.将所述输入图片输入到所述预训练的神经网络模型中，以由所述预训练的神经网络模型识别所述待测食材图片的特征标签。
131.第二发送单元806,用于发送食材鉴别结果到用户终端。
132.在一实施例中，以上第二发送单元806具体包括：
133.将所述待测食材图片、所述食材类型以及所述食材新鲜度打包为json数据包；
134.将所述json数据包发送到用户终端。
135.实施例5
136.如图9所示，本发明实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成
相互间的通信，
137.存储器113，用于存放计算机程序；
138.在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的基于图像识别的智能监控的方法的步骤。
139.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的基于图像识别的智能监控方法的步骤。
140.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
141.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。