一种基于人工智能的目标识别方法、装置及机器人与流程

1.本发明涉及人工智能领域，特别涉及一种基于人工智能的目标识别方法、装置及机器人、计算机可读存储介质。


背景技术：

2.在现有技术中，一般通过人工手持设备或者在固定安装相机拍摄商品的照片，由人力对商品的照片进行识别，或是通过将商品的照片传送至云端进行计算与识别，接着由云端返回识别结果的方式对商品进行盘点。


技术实现要素：

3.本说明书实施例提供了一种基于人工智能的目标识别方法、装置及机器人、计算机可读存储介质，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种基于人工智能的目标识别方法，所述方法包括：
5.在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
6.从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
7.确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
8.可选地，所述规划路径通过如下方法确定：
9.为所述机器人所在的场景建立栅格地图；
10.为所述栅格地图中的每一个栅格设置状态值，其中，所述状态值用于表征所述栅格的空旷程度；
11.根据所述栅格地图中每一个栅格的状态值设置所述机器人在所述目标区域中的所述规划路径。
12.可选地，从所述第一帧图像中识别目标对象，包括：
13.将所述第一帧图像输入识别模型中，通过所述识别模型识别得到目标对象，所述目标对象携带有坐标信息、位置信息、类别信息以及所述目标对象的外接框。
14.可选地，确定所述目标对象和参考对象的差异值，包括：
15.分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值；
16.根据所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值获取所述目标对象与所述参考对象的差异值。
17.可选地，分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值，包括：
18.通过将所述目标对象的外接框与参考对象的外接框进行对比，得到所述目标对象的外接框与所述参考对象的外接框的宽度差异值、高度差异值、坐标差异值和所述目标对象的外接框与所述参考对象的外接框的距离；
19.根据所述宽度差异值和所述高度差异值获取目标对象与所述参考对象的外观差异值；
20.根据所述坐标差异值获取目标对象与所述参考对象的位置差异值；
21.根据所述距离获取目标对象与所述参考对象的相似度差异值。
22.可选地，所述方法还包括：
23.根据所述差异值确定不存在差异的情况下，将所述参考对象的数量加一。
24.可选地，基于第一帧图像和参考图像的差异进行处理，包括：
25.将所述目标对象添加至参考对象中。
26.可选地，基于第一帧图像和参考图像的差异进行处理，包括：
27.提取所述目标对象的位置信息与类别信息，根据所述目标对象的位置信息与类别信息确定所述目标对象在所述第一帧图像中的第一摆放位置；
28.将所述第一摆放位置与预定摆放位置进行对比，若所述第一摆放位置与所述预定摆放位置存在差异，则发出摆放提示，其中，所述预定摆放位置根据位置信息与类别信息确定。
29.可选地，在基于第一帧图像和参考图像的差异进行处理后，还包括：
30.提取目标对象的坐标信息；
31.基于所述目标对象的坐标信息识别空缺位置，若所述空缺位置的宽度大于第一距离阈值，则确定存在缺货情况。
32.可选地，所述坐标信息包括深度信息。
33.可选地，基于所述目标对象的坐标信息识别空缺位置，包括：
34.在深度方向上根据所述深度信息拟合空缺平面，若所述空缺平面间的距离大于第二距离阈值，则在深度方向上确定存在缺货情况。
35.可选地，通过如下方法控制所述机器人的行进过程：
36.从所述机器人的速度区间确定至少两个预测速度；
37.预测所述机器人从当前栅格位置分别基于所述至少两个预测速度行进相同时间到达的至少两个预测栅格位置；
38.将所述至少两个预测栅格位置中代价值最小的预测栅格位置作为目标栅格位置，并且以行进至所述目标栅格位置对应的预测速度作为目标速度控制所述机器人从当前栅格行进至所述目标栅格位置，其中所述目标栅格位置为可到达区域，所述代价值根据所述规划路径确定。
39.可选地，所述识别模型通过如下方法训练得到：
40.获取样本图像与样本标签，其中，所述样本标签包括样本图像中的目标对象的坐标信息、位置信息、类别信息以及所述样本图像中目标对象的外接框；
41.将所述样本图像作为待处理图像输入识别模型，得到预测结果；
42.将所述预测结果与样本标签进行对比得到损失值，基于所述损失值调整所述识别模型中的样本参数，直到达到训练停止条件。
43.根据本说明书实施例的第二方面，提供了一种机器人，包括机械本体，所述机械本体上设置有至少一个处理器，以及至少一个存储计算机指令的存储器；
44.所述至少一个处理器用于执行计算机指令，实现以下方法：
45.在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
46.从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
47.确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
48.根据本说明书实施例的第三方面，提供了一种基于人工智能的目标识别装置，所述装置包括：
49.获取模块，被配置为在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
50.识别模块，被配置为从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
51.更新模块，被配置为确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
52.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现以下方法的步骤：
53.在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
54.从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
55.确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
56.本发明实施例提供的技术方法带来的有益效果至少包括：
57.控制机器人沿规划路径行进过程中，采集目标区域的视频图像，从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象，确定所述目标对象和参考对象的差异值，在存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，通过上述方式，解放了人力，在非工作时间也可以对商品进行盘点，提升了工作效率，实现了商品盘点的智能化、机械化，达到了相比于人力盘点速度更快、准确度更高的有益效果。
58.其次，通过预训练的图像识别模型对图像进行处理，保证了对待处理图像的处理速度快、精度高，进而保证了本发明对商品的盘点效率高、速度快、准确率高的效果。
59.另外，通过图像识别对比后进行差异处理，可以由机器人进行商品计数辅助，也可以对商品摆放位置进行提醒，还可以对检测区域内的缺货情况进行提醒，有效地提升了相
比于人力盘点的工作效率和工作质量，也保证了商品盘点过程中的智能化，使扫货流程更加完整。
附图说明
60.图1是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
61.图2a是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
62.图2b是本发明一实施例的栅格地图示意图；
63.图3是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
64.图4是本发明一实施例的规划路径示意图；
65.图5是本发明一实施例的商品位置示意图；
66.图6是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
67.图7是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
68.图8是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
69.图9是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
70.图10是本发明一实施例的商品外接框示意图；
71.图11是本发明一实施例的深度方向直角坐标系示意图；
72.图12是本发明一实施例的一种基于人工智能的目标识别方法的流程示意图；
73.图13是本发明一实施例的栅格地图与规划路径示意图；
74.图14是本发明一实施例的货架与商品示意图；
75.图15是本发明一实施例的商品摆放位置错误提示示意图；
76.图16是本发明一实施例的商品缺货提示示意图；
77.图17是本发明一实施例的深度方向商品缺货提示示意图；
78.图18是本发明一实施例的一种机器人的结构示意图；
79.图19是本发明一实施例的一种基于人工智能的目标识别装置的结构示意图。
具体实施方式
80.在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
81.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
82.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
83.针对现有技术中，存在的对商品进行盘点的需求，缺乏高频次、高精度的盘点方法，从而影响对商品盘点的工作效率，在本发明提供了一种基于人工智能的目标识别方法、装置及机器人、计算机可读存储介质，在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。机器人在沿着规划路线行进过程中，由机器人自身携带的摄像设备采集商品的视频图像，并根据神经网络模型识别视频图像，达到了可以不借助人力对商品进行盘点，可以实现高频次、高精度的对商品进行盘点，在下面的实施例中逐一进行详细说明。
84.首先，对本发明涉及的机器人进行示意性的解释。本发明提及的机器人，可以为各种具有运动功能、拍照功能、地图建立功能、规避障碍功能和自动导航功能的人工智能设备。本发明中所述的对目标对象进行盘点，即机器人处于工作状态，对待盘点区域中的目标对象进行清点工作。例如，在机器人移动的过程中，由机器人自身携带的摄像设备采集目标对象的视频图像，将采集到的视频图像输入识别模型中进行识别并得到识别结果，根据识别结果进行对目标对象进行采集、确认工作。本发明对所述机器人控制方法的使用场景不作具体限定。
85.本发明中，并不限制机器人的各种形状，例如椭圆形、圆形、凸多边形、人形外观，或是具有机械臂的机器人，并且，机器人可以通过在与机器人配套使用的控制器中安装软件、应用程序或者在机器人内部的相应器件中写入程序来实现本发明的控制方法的逻辑。
86.本发明一实施例公开了一种基于人工智能的目标识别方法，如图1所示，包括下述步骤s102～s106。需要说明的是，本发明所述的方法，可以由被配置在位于所述机器人内部的处理器执行，也可以由被配置在独立于所述机器人的处理器执行，本发明对此不作具体限定。
87.步骤s102：在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像。
88.具体地，如图2a所示，所述规划路线通过步骤s202～s206确定。
89.步骤s202：为所述机器人所在的场景建立栅格地图。
90.步骤s204：为所述栅格地图中的每一个栅格设置状态值，其中，所述状态值用于表征所述栅格的空旷程度。
91.步骤s206：根据所述栅格地图中每一个栅格的状态值设置所述机器人在所述目标区域中的所述规划路径。
92.其中，栅格地图的定义为：把环境划分成一系列栅格，其中每一栅格给定一个可能值，表示该栅格被占据的概率。
93.进一步地，首先为所述机器人所在的场景建立栅格地图，所述栅格地图的示意图如图2b所示。
94.其中，所述栅格地图中的每一个栅格均由像素点组成，每一个像素点的像素值用于表征所述栅格的空旷程度。
95.具体地，每一个所述栅格的像素值在0～255之间，像素值越接近0表示所述栅格越
空旷，像素值越接近253表示所述栅格越拥挤，像素值254表示该栅格有障碍物无法通过，像素值255表示该栅格为未知区域。
96.进一步地，根据所述栅格中的像素值，可以通过在起点和终点之间连接相邻栅格中像素值最小的栅格组成预定路线。所述预定路线示意图如图4所示，图4中折线段即为所述预定路线。
97.通过建立所述机器人所在场景的栅格地图，并通过所述栅格地图中栅格的状态值确定预定路线，保证了可以迅速准确地建立场景地图，也确保了可以迅速准确地确定预定路线，保证了所述机器人不会出现由于路径规划误差导致的行进过程受阻的情况。
98.本发明一实施例中，以图3为例，可以通过步骤s302～s306控制所述机器人的行进过程。
99.步骤s302：从所述机器人的速度区间确定至少两个预测速度。
100.步骤s304：预测所述机器人从当前栅格位置分别基于所述至少两个预测速度行进相同时间到达的至少两个预测栅格位置。
101.步骤s306：将所述至少两个预测栅格位置中代价值最小的预测栅格位置作为目标栅格位置，并且以行进至所述目标栅格位置对应的预测速度作为目标速度，控制所述机器人从当前栅格行进至所述目标栅格位置。
102.其中，所述目标栅格位置为可到达区域，所述代价值根据所述规划路径确定。
103.具体地，根据规划路径，为栅格地图上的每一个像素点构建路径距离数组path_dis、目标距离数组goal_dis、路径权重系数weightpath和目标地点权重系数weightgoal，其中，路径距离数组path_dis记录的的是该像素点与规划路径最近的距离，目标距离数组goal_dis记录的是该像素点与规划路径终点的距离。
104.取预定的时间段t，记录所述机器人在时间段t内可以达到的最大速度vmax与最小速度vmin，记n为取样数，将所述时间段t分为n个计数点，所述机器人在每个所述计数点的预测速度v为：vmin (vmax-vmin)/n*i，其中，所述i为计数点的序号，i为0～n范围内的整数。
105.以n取3为例，即在时间段t内取3个预测速度v1、v2和v3，再根据v1、v2和v3得到在t时间段内在规划路径中可以到达的栅格位置s1、s2和s3，分别计算并比较栅格位置s1、s2和s3对应的代价值value，对于value小于254的栅格位置，取最小的代价值value对应的预测速度作为机器人行进到规划路径中该栅格位置的速度。
106.所述代价值value通过如下方式得到：
107.value＝weightpath*path_dis[index] weightgoal*goal_dis[index]；
[0108]
其中，所述path_dis[index]为代价值最小的栅格在路径距离数组path_dis中的索引值，该索引值为该栅格所在横坐标 该栅格所在纵坐标*该路径距离数组的宽度；所述goal_dis[index]为代价值最小的栅格在目标距离数组goal_dis中的索引值，该索引值为该栅格所在横坐标 该栅格所在纵坐标*该目标距离数组的宽度。
[0109]
通过计算到达每一个栅格位置的代价值确定机器人行进到规划路径中该栅格位置的速度，保证了机器人在行进过程中可以以最合适的速度准确地沿着规划路径移动，确保了机器人在进行过程中不会出现行进速度过低导致的盘点时间过长的问题，也保证了机器人在进行过程中不会出现行进速度过快导致的识别结果出现误差的效果。
[0110]
步骤s104：从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象。
[0111]
具体地，将所述第一帧图像输入识别模型中，通过所述识别模型识别得到目标对象，所述目标对象携带有坐标信息、位置信息、类别信息以及所述目标对象的外接框。
[0112]
其中，所述坐标信息为所述目标对象在预定坐标系内的坐标，所述位置信息为预定坐标系的位置，所述类别信息为所述目标对象的种类。
[0113]
例如，以机器人在商店货架之间进行货物盘点为例，在此情况下，所述目标对象为货架上的商品，所述位置为商品在货架中的位置，所述类别为商品的种类。具体地，如图4所示，假设商品a为一瓶瓶装饮料，位于第一货架上的第三排第四列，此时将所述第一货架作为第一坐标系，其中，商品a的坐标信息为(3,4)，位置信息为“第一货架”，类别信息为“瓶装饮料”，再例，商品b为一袋袋装食品，位于第二货架上的第三排第四列，此时将所述第二货架作为第二坐标系，其中商品b的坐标信息为(3,4)，位置信息为“第二货架”，类别信息为“袋装食品”。需要注意的是，此时，由于商品a与商品b的都处于相应货架的第三排第四列，坐标信息为(3,4)，但所述相应货架不相同，可认为商品a与商品b的坐标信息不同。
[0114]
本发明一实施例中，识别模型可以通过如下方法训练得到：
[0115]
获取样本图像与样本标签，其中，所述样本标签包括样本图像中的目标对象的坐标信息、位置信息、类别信息以及所述目标对象与参考对象的外接框；
[0116]
将所述样本图像作为待处理图像输入识别模型，得到预测结果；
[0117]
将所述预测结果与样本标签进行对比得到损失值，基于所述损失值调整所述识别模型中的样本参数，直到达到训练停止条件。
[0118]
通过训练识别模型，保证了可以准确、迅速的得出视频图像中目标对象的坐标信息、位置信息、类别信息以及所述目标对象与参考对象的外接框，也保证了机器人可以准确、迅速的得出对目标对象的识别结果，确保了盘点工作的快速与便利。
[0119]
步骤s106：确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理。
[0120]
在实际应用中，可以将所述差异值与预定的差异阈值进行比较，在所述差异值不大于所述预设的差异阈值的情况下，可以认为所述目标对象与所述参考对象属于同一种类，在所述差异值大于所述预设的差异阈值的情况下，可以认为所述目标对象与所述参考对象不属于同一种类。
[0121]
所述参考图像中的参考对象也可以通过所述识别模型通过同样的方法识别，此处不再赘述。
[0122]
本发明一实施例中，如图6所示，可以通过如步骤s602～s604的步骤实现基于第一帧图像和参考图像的差异进行处理。
[0123]
步骤s602：分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值。
[0124]
步骤s604：根据所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值获取所述目标对象与所述参考对象的差异值。
[0125]
本发明一实施例中，如图7所示，步骤s602可以通过步骤s702～s708实现。
[0126]
步骤s702：通过将所述目标对象的外接框与参考对象的外接框进行对比，得到所述目标对象的外接框与所述参考对象的外接框的宽度差异值、高度差异值、坐标差异值和所述目标对象的外接框与所述参考对象的外接框的距离。
[0127]
步骤s704：根据所述宽度差异值和所述高度差异值获取目标对象与所述参考对象的外观差异值。
[0128]
步骤s706：根据所述坐标差异值获取目标对象与所述参考对象的位置差异值。
[0129]
步骤s708：根据所述距离获取目标对象与所述参考对象的相似度差异值。
[0130]
例如，假设所述目标对象为a1，所述参考对象为a2，分别提取a1、a2的外接框，并对所述a1、a2的外接框进行对比，得到a1的外接框与a2的外接框的宽度差异值widthdiff、高度差异值heightdiff、坐标差异值xdiff、ydiff，和所述a1与a2的距离distance。
[0131]
根据所述a1的外接框与a2的外接框的宽度差异值widthdiff、高度差异值heightdiff得到a1、a2的外观差异值shapevalue：
[0132]
shapevalue＝exp(-weight*(widthdiff heightdiff))；
[0133]
根据所述a1的外接框与a2的外接框的坐标差异值xdiff、ydiff得到a1、a2的位置差异值motionvalue：
[0134]
motionvalue＝exp(-weight*(xdiff ydiff))；
[0135]
根据所述a1与a2的距离distance得到a1、a2的相似度差异值：
[0136]
apperancevalue＝1.0f-cosdistance；
[0137]
根据所述a1、a2的外观差异值shapevalue、位置差异值motionvalue以及相似度差异值apperancevalue得到a1、a2的差异值affinityvalue：
[0138]
affinityva lue＝motionvalu e*shapevalue*apperancev alue；
[0139]
若所述a1、a2的差异值不高于预定的差异阈值，则确定a1、a2种类相同，若在视频图像中，存在多个目标对象与参考对象a2的差异值均不高于预定的差异阈值，使用匈牙利法找到a1、a2匹配的最优解，并将参考对象a2的数量加一。其中，匈牙利法是一种最优利用生产资源，计算、调整最优分配方案变量的分析方法。
[0140]
若所述a1、a2的差异值高于预定的差异阈值，则确定a1、a2为不同种类的商品，将a1作为新商品，并记录a1的商品种类。
[0141]
通过差异值对目标对象进行追踪检测，简化了目标对象的识别流程，减少了对目标对象对遗漏或者重复计数，提高了机器人对目标对象进行盘点的准确性。
[0142]
本发明一实施例中，如图8所示，步骤s106可以通过步骤s802～s804实现。
[0143]
步骤s802：提取所述目标对象的位置信息与类别信息，根据所述目标对象的位置信息与类别信息确定所述目标对象在所述第一帧图像中的第一摆放位置。
[0144]
步骤s804：将所述第一摆放位置与预定摆放位置进行对比，若所述第一摆放位置与所述预定摆放位置存在差异，则发出摆放提示，其中，所述预定摆放位置根据位置信息与类别信息确定。
[0145]
具体地，假设当前目标对象为b1，根据b1的摆放位置与b1周围的目标对象的摆放位置与类别确定当前目标对象的摆放位置。假设目标对象b1的货架为“早餐”，并为货架构建平面直角坐标系，b1的类别为“面包”，b1周围的目标对象为“牛奶”，b1在所述平面直角坐
标系中的坐标为(2,1)，则确定b1当前的摆放位置为：早餐货架，周围摆放牛奶，具体位置为第二排第一列。
[0146]
进一步地，将b1当前的摆放位置与b1预定的摆放位置进行对比，若所述b1的摆放位置与预定的摆放位置相符，则确定b1的摆放位置正确；若所述b1的摆放位置与预定的摆放位置存在差异，则确定b1的摆放位置错误并发出b1正确摆放位置的提示。
[0147]
结合机器人对目标对象的位置信息与类别信息，构建数字化场景，实现了货架位置、货架上商品位置、种类的提取，验证商品的摆放规则，为商品摆放规则与销量关系数据分析提供了依据，并且，通过构建数字化场景，也确保了商品摆放位置的准确性。
[0148]
本发明一实施例中，如图9所示，步骤s106之后，还可以包括步骤s902和s904。
[0149]
步骤s902：提取目标对象的坐标信息。
[0150]
步骤s904：基于所述目标对象的坐标信息识别空缺位置，若所述空缺位置的宽度大于第一距离阈值，则确定存在缺货情况。
[0151]
具体地，以图10为例，基于当前货架建立平面直角坐标系，提取图像中目标对象1与目标对象2的坐标信息、目标对象1的外接框宽度width，根据所述目标对象1与所述目标对象2的外接矩形框左上角顶点的横坐标x1与x2，所述目标对象1与所述目标对象2间空缺位置的宽度d为：
[0152]
d＝abs(x1 width-x2)；
[0153]
若所述间距d大于第一距离阈值，则确定在所述目标对象1与所述目标对象2之间缺少目标对象。
[0154]
进一步地，若所述坐标信息包括深度信息，则在深度方向上根据所述深度信息拟合空缺平面，若所述空缺平面间的距离大于第二距离阈值，则在深度方向上确定存在缺货情况。
[0155]
具体地，以图11为例，获取待检测区域的视频图像和与视频图像对应的深度信息，以货架的第一排作为xoy平面建立平面直角坐标系，在货架的深度方向上添加zoy平面，图中1、2分别代表不同的目标对象，分别拟合目标对象1、目标对象2所对应的空缺平面，所述平面间的距离为d。
[0156]
若所述距离d大于第二距离阈值，则确定在目标对象1、2之间存在缺货情况。
[0157]
进一步地，在判断深度方向上的缺货信息后，还可以根据视频图像的深度信息对缺货情况的判断进行检测。若根据目标对象在深度方向上的外接框之间的距离与空缺平面间的距离不符，则认为缺货情况的判断结果存在误差，可以结合所采集的当前视频图像之前的视频图像重新判断缺货情况，例如结合当前视频图像的前几帧视频图像重新判断。
[0158]
本发明一实施例中，所述视频图像可以是彩色图像，也可以是其他图像，本发明对此不作限定。
[0159]
通过在待识别区域根据深度信息建立坐标系，分别拟合在深度方向上目标对象所在的平面的方式，达到了可以准确快速识别深度方向上目标对象是否存在缺失的效果。
[0160]
如图12所示，本发明一实施例公开了一种基于人工智能的目标识别方法，以所述机器人在一仓库为例进行说明，所述方法包括步骤s1202～s1210。
[0161]
步骤s1202：为所述机器人所在的仓库建立栅格地图，根据所述栅格地图中像素点的状态值确定规划路径。
[0162]
具体地，该仓库中，待检测区域为货架区域，目标对象为货架上摆放对商品，根据当前的仓库建立栅格地图并设置路径起点与路径终点，根据仓库中各个点对空旷程度为所述栅格地图中的每一个像素点设置对应的状态值，依次连接相邻栅格中状态值最小对栅格为所述机器人规划路径。所述栅格地图与规划路径如图13所示，其中，点a为规划路径的起点，点b为规划路径的终点，折线段ab为规划路径。
[0163]
通过建立所述机器人所在仓库的栅格地图，并基于所述栅格地图中栅格的状态值确定预定路线，保证了可以迅速准确地建立场景地图，也确保了可以迅速准确地确定预定路线，保证了所述机器人不会出现由于路径规划误差导致的行进过程受阻的情况。
[0164]
步骤s1204：基于所述规划路径控制所述机器人的行进速度，在所述机器人行进过程中采集货架与商品的视频图像。
[0165]
步骤s1206：将所述视频图像输入识别模型获取商品的坐标信息、位置信息和类别信息，根据所述坐标信息、位置信息和类别信息获取所述商品与所述参考对象的差异值。
[0166]
具体地，机器人在规划路径上进行的过程中，通过机器人自身携带的摄像设备采集货架与商品的视频，并在所述视频中提取关键帧作为视频图像输入识别模型。
[0167]
通过识别模型得到货架对应的坐标系、商品在所述坐标系中的坐标和商品的种类。如图14所示，图中货架为第一货架，对应的坐标系为xoy，商品a的坐标信息为(1,4)，商品a的类别为“罐装饮料”，商品b的坐标信息为(8,5)，商品b的类别为“瓶装饮料”。
[0168]
提取商品a的外接框、商品a的参考对象c的外接框，获取所述商品a的外接框与参考对象c的外接框相应的外观差异值、位置差异值以及所述商品a与所述参考对象c的相似度差异值，进而确定商品a与参考对象c的差异值。
[0169]
步骤s1208：根据所述差异值对商品进行处理。
[0170]
具体地，若所述差异值小于预定的差异阈值，则确定商品a与参考对象c为同一种商品，并将参考对象c的数量加一；若所述差异值大于预定的差异阈值，则确定商品a与参考对象为不同种类的商品，判断商品a的种类是否已经记录，若已经记录则将商品a对应的种类中的商品数量加一，若未记录，则将a作为新商品并记录商品a的种类。
[0171]
根据差异值对目标对象进行之中检测，简化了目标对象的识别流程，减少了对目标对象对遗漏或者对目标对象的重复计数，提高了机器人对目标对象进行盘点的准确性。
[0172]
在确定商品a与参考对象c的差异值后，对商品b进行更新的方法及步骤与商品a进行更新的方法及步骤相同，在此不再赘述。
[0173]
进一步地，本实施例中，还可以对商品的摆放位置进行检测。由当前商品a相邻商品的种类、相邻商品的坐标信息确定商品a当前的摆放位置，接着将所述商品a当前的摆放位置与预定的摆放位置进行对比。假设商品a预定的摆放位置为“第一货架，第2排第6列”，进过对比后得出商品a当前的摆放位置与预定的摆放位置不符，则在机器人终端标识出商品a摆放错误的提示。摆放位置错误提示效果示意图如图15所示。
[0174]
结合机器人对目标对象的位置信息与类别信息，构建数字化仓库，实现了货架位置、货架上商品位置、种类的提取，验证商品的摆放规则，为商品摆放规则与销量关系数据分析提供了依据，并且，通过构建数字化仓库，也确保了商品摆放位置的准确性。
[0175]
步骤s1210：根据商品的坐标信息检测商品的缺货情况。
[0176]
具体地，根据商品a与商品b的坐标信息，判断商品a与商品b之间的间距是否大于
第一预定间距d1，若小于第一预定间距d1，则确定商品a与商品b之间不存在缺货情况，若大于第一预定间距d1，则确定商品a与商品b之间存在缺货情况，由机器人终端标识出缺货位置并给出缺货提示。缺货提示效果示意图如图16所示，其中，c区域表示缺货区域。
[0177]
进一步地，根据视频图像的深度信息，在货架的深度方向上添加zoy平面，分别拟合商品a与商品b所在的平面，记录商品a与商品b所在的平面的距离，若所述距离大于第二预定间距d2，则确定商品a与商品b之前存在缺货情况，由机器人终端标识出缺货位置并给出缺货提示。在深度方向上的缺货提示效果示意图如图17所示，其中，区域c表示缺货区域。
[0178]
通过在待识别区域根据深度信息建立坐标系，分别拟合在深度方向上目标对象所在的平面的方式，达到了可以准确快速识别深度方向上目标对象是否存在缺失的效果。
[0179]
步骤s1212：检测所述缺货情况是否正确。
[0180]
在判断商品a与商品b之间的缺货情况后，还可以根据机器人对第一货架采集的视频图像对应的深度信息对商品a与商品b之间的缺货情况的判断进行检测。若根据视频图像的深度信息在深度方向上商品a的外接框与商品b的外接框之间的距离与空缺平面间的距离不符，则认为缺货情况的判断结果存在误差，可以结合所采集的当前视频图像之前的视频图像重新判断缺货情况，例如结合当前视频图像的前几帧视频图像重新判断。
[0181]
通过在待识别区域根据深度信息建立坐标系，分别拟合在深度方向上目标对象所在的平面的方式，达到了可以准确快速识别深度方向上目标对象是否存在缺失的效果。
[0182]
机器人由规划路径起点a行进至规划路径终点b后，机器人完成在仓库的盘点工作。
[0183]
本发明一实施例公开了一种机器人，参见图18，包括机械本体180，所述机械本体上设置有至少一个处理器1801，以及至少一个存储计算机指令的存储器1802。
[0184]
其中，所述存储器1802用于存储支持该机器人执行前述实施例中的控制方法程序，所述处理器1801被配置为用于执行所述存储器中存储的程序。
[0185]
机械本体180上除了设有一个或多个处理器1801以及一个或多个存储器1802之外，还设置有机器人的一些基本组件，例如驱动组件、摄像头、传感器组件、识别组件、终端显示器和电源组件等等。可选地，驱动组件可以包括驱动轮、驱动电机、万向轮等。不同机器人所包含的这些基本组件以及基本组件的构成均会有所不同，本发明实施例列举的仅是部分示例。
[0186]
值得说明的是，一个或多个处理器1801、一个或多个存储器1802可设置于机械本体内部，也可以设置于机械本体180的表面。
[0187]
机械本体180是机器人赖以完成作业任务的执行机构，可以在确定的环境中执行处理器指定的操作。其中，机械本体180一定程度上体现了机器人的外观形态。在本实施例中，并不限定机器人的外观形态，例如可以是圆形、椭圆形、三角形、凸多边形、人形外观，或是具有机械臂的机器人。
[0188]
一个或多个存储器1802，主要用于存储计算机指令，该计算机指令可被一个或多个处理器1801执行，致使一个或多个处理器1801可以控制机器人的机械本体180执行机器人控制方法。除了存储计算机指令之外，一个或多个存储器1802还可被配置为存储其它各种数据以支持在机器人上的操作。这些数据的示例包括用于在机器人上操作的任何应用程序或方法的指令，机器人所在环境/场景的地图数据，待盘点区域的信息等等。
[0189]
一个或多个存储器1802，可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0190]
一个或多个处理器1801，可以看作是机器人控制系统，可用于执行一个或多个存储器1802中存储的计算机指令，以实现基于人工智能的目标识别方法。
[0191]
所述至少一个处理器1801用于执行计算机指令，实现以下方法：
[0192]
在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
[0193]
从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
[0194]
确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
[0195]
可选地，所述规划路径通过如下方法确定：
[0196]
为所述机器人所在的场景建立栅格地图；
[0197]
为所述栅格地图中的每一个栅格设置状态值，其中，所述状态值用于表征所述栅格的空旷程度；
[0198]
根据所述栅格地图中每一个栅格的状态值设置所述机器人在所述目标区域中的所述规划路径。
[0199]
可选地，从所述第一帧图像中识别目标对象的过程中，所述至少一个处理器还用于：
[0200]
将所述第一帧图像输入识别模型中，通过所述识别模型识别得到目标对象，所述目标对象携带有坐标信息、位置信息、类别信息以及所述目标对象与参考对象的外接框。
[0201]
可选地，定所述目标对象和参考对象的差异值，包括：
[0202]
分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值；
[0203]
根据所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值获取所述目标对象与所述参考对象的差异值。
[0204]
可选地，分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值，包括：
[0205]
通过将所述目标对象的外接框与参考对象的外接框进行对比，得到所述目标对象的外接框与所述参考对象的外接框的宽度差异值、高度差异值、坐标差异值和所述目标对象的外接框与所述参考对象的外接框的距离；
[0206]
根据所述宽度差异值和所述高度差异值获取目标对象与所述参考对象的外观差异值；
[0207]
根据所述坐标差异值获取目标对象与所述参考对象的位置差异值；
[0208]
根据所述距离获取目标对象与所述参考对象的相似度差异值。
[0209]
可选地，所述至少一个处理器还用于：
[0210]
根据所述差异值确定不存在差异的情况下，将所述参考对象的数量加一。
[0211]
可选地，基于第一帧图像和参考图像的差异进行处理，包括：
[0212]
将所述目标对象添加至参考对象中。
[0213]
可选地，基于第一帧图像和参考图像的差异进行处理，包括：
[0214]
提取所述目标对象的位置信息与类别信息，根据所述目标对象的位置信息与类别信息确定所述目标对象在所述第一帧图像中的第一摆放位置；
[0215]
将所述第一摆放位置与预定摆放位置进行对比，若所述第一摆放位置与所述预定摆放位置存在差异，则发出摆放提示，其中，所述预定摆放位置根据位置信息与类别信息确定。
[0216]
可选地，在基于第一帧图像和参考图像的差异进行处理后，还包括：
[0217]
提取目标对象的坐标信息；
[0218]
基于所述目标对象的坐标信息识别空缺位置，若所述空缺位置的宽度大于第一距离阈值，则确定存在缺货情况。
[0219]
可选地，所述坐标信息包括深度信息。
[0220]
可选地，基于所述目标对象的坐标信息识别空缺位置，包括：
[0221]
在深度方向上根据所述深度信息拟合空缺平面，若所述空缺平面间的距离大于第二距离阈值，则在深度方向上确定存在缺货情况。
[0222]
可选地，通过如下方法控制所述机器人的行进过程：
[0223]
从所述机器人的速度区间确定至少两个预测速度；
[0224]
预测所述机器人从当前栅格位置分别基于所述至少两个预测速度行进相同时间到达的至少两个预测栅格位置；
[0225]
将所述至少两个预测栅格位置中代价值最小的预测栅格位置作为目标栅格位置，并且以行进至所述目标栅格位置对应的预测速度作为目标速度控制所述机器人从当前栅格行进至所述目标栅格位置，其中所述目标栅格位置为可到达区域，所述代价值根据所述规划路径确定。
[0226]
可选地，所述识别模型通过如下方法训练得到：
[0227]
获取样本图像与样本标签，其中，所述样本标签包括样本图像中的目标对象的坐标信息、位置信息、类别信息以及所述目标对象与参考对象的外接框；
[0228]
将所述样本图像作为待处理图像输入识别模型，得到预测结果；
[0229]
将所述预测结果与样本标签进行对比得到损失值，基于所述损失值调整所述识别模型中的样本参数，直到达到训练停止条件。
[0230]
控制机器人沿规划路径行进过程中，采集目标区域的视频图像，从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象，确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，通过上述方式，保证了可以由机器人高频次、高精度地对商品进行盘点，克服了现有技术中以人工操作盘点商品的缺陷。
[0231]
上述为本实施例的一种机器人示意性方案。需要说明的是，该机器人的技术方案
与上述的基于人工智能的目标识别方法的技术方案属于同一构思，控制装置的技术方案未详细描述的细节内容，均可以参见上述基于人工智能的目标识别方法的技术方案的描述。
[0232]
本发明一实施例公开了一种基于人工智能的目标识别装置，参见图19，包括：
[0233]
获取模块1901，被配置为在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
[0234]
识别模块1902，被配置为从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
[0235]
更新模块1903，被配置为确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
[0236]
可选地，获取模块1901包括：
[0237]
第一地图子模块，被配置为为所述机器人所在的场景建立栅格地图；
[0238]
第二地图子模块，被配置为为所述栅格地图中的每一个栅格设置状态值，其中，所述状态值用于表征所述栅格的空旷程度；
[0239]
规划路径子模块，被配置为根据所述栅格地图中每一个栅格的状态值设置所述机器人在所述目标区域中的所述规划路径。
[0240]
可选地，识别模块1902包括：
[0241]
识别子模块，被配置为将所述第一帧图像输入识别模型中，通过所述识别模型识别得到目标对象，所述目标对象携带有坐标信息、位置信息、类别信息以及所述目标对象的外接框。
[0242]
可选地，更新模块1903包括：
[0243]
第一提取子模块，被配置为分别提取所述目标对象与参考对象的外接框，获取所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值；
[0244]
第二提取子模块，被配置为根据所述目标对象的外接框与参考对象的外接框相应的外观差异值、位置差异值以及所述目标对象与所述参考对象的相似度差异值获取所述目标对象与所述参考对象的差异值。
[0245]
可选地，所述第二提取子模块还包括：
[0246]
第三提取子模块，被配置为通过将所述目标对象的外接框与参考对象的外接框进行对比，得到所述目标对象的外接框与所述参考对象的外接框的宽度差异值、高度差异值、坐标差异值和所述目标对象的外接框与所述参考对象的外接框的距离；
[0247]
第四提取子模块，被配置为根据所述宽度差异值和所述高度差异值获取目标对象与所述参考对象的外观差异值；
[0248]
第五提取子模块，被配置为根据所述坐标差异值获取目标对象与所述参考对象的位置差异值；
[0249]
第六提取子模块，被配置为根据所述距离获取目标对象与所述参考对象的相似度差异值。
[0250]
可选地，所述装置还包括：
[0251]
添加子模块，被配置为根据所述差异值确定不存在差异的情况下，将所述参考对
象的数量加一。
[0252]
可选地，所述更新模块1903包括：
[0253]
第二添加子模块，被配置为将所述目标对象添加至参考对象中。
[0254]
可选地，所述更新模块1903包括：
[0255]
第七提取子模块，被配置为提取所述目标对象的位置信息与类别信息，根据所述目标对象的位置信息与类别信息确定所述目标对象在所述第一帧图像中的第一摆放位置；
[0256]
第八提取子模块，被配置为将所述第一摆放位置与预定摆放位置进行对比，若所述第一摆放位置与所述预定摆放位置存在差异，则发出摆放提示，其中，所述预定摆放位置根据位置信息与类别信息确定。
[0257]
可选地，所述装置还包括：
[0258]
缺货检测模块，被配置为提取目标对象的坐标信息。
[0259]
可选地，所述缺货检测模块包括：
[0260]
第一阈值子模块，被配置为基于所述目标对象的坐标信息识别空缺位置，若所述空缺位置的宽度大于第一距离阈值，则确定存在缺货情况；
[0261]
第二阈值子模块，被配置为在深度方向上根据所述深度信息拟合空缺平面，若所述空缺平面间的距离大于第二距离阈值，则在深度方向上确定存在缺货情况，其中，所述坐标信息包括深度信息，基于所述目标对象的坐标信息识别空缺位置。
[0262]
可选地，所述装置还包括：
[0263]
行进控制模块，被配置为控制所述机器人的行进过程。
[0264]
可选地，所述行进控制模块包括：
[0265]
第一预测子模块，被配置为从所述机器人的速度区间确定至少两个预测速度；
[0266]
第二预测子模块，被配置为预测所述机器人从当前栅格位置分别基于所述至少两个预测速度行进相同时间到达的至少两个预测栅格位置；
[0267]
确认子模块，被配置为将所述至少两个预测栅格位置中代价值最小的预测栅格位置作为目标栅格位置，并且以行进至所述目标栅格位置对应的预测速度作为目标速度控制所述机器人从当前栅格行进至所述目标栅格位置，其中所述目标栅格位置为可到达区域，所述代价值根据所述规划路径确定。
[0268]
可选地，所述装置还包括训练模块，所述训练模块包括：
[0269]
样本子模块，被配置为获取样本图像与样本标签，其中，所述样本标签包括样本图像中的目标对象的坐标信息、位置信息、类别信息以及所述样本图像中的目标对象的外接框；
[0270]
识别子模块，被配置为将所述样本图像作为待处理图像输入识别模型，得到预测结果；
[0271]
对比子模块，被配置为将所述预测结果与样本标签进行对比得到损失值，基于所述损失值调整所述识别模型中的样本参数，直到达到训练停止条件。
[0272]
控制机器人沿规划路径行进过程中，采集目标区域的视频图像，从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象，确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，通过上述方式，保证了可以由机器人高频次、高精度地对商品进行盘点，克服了现有
技术中以人工操作盘点商品的缺陷。
[0273]
本发明一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现以下方法的步骤：
[0274]
在控制机器人沿规划路径行进过程中，控制所述机器人采集目标区域的视频图像；
[0275]
从所述视频图像中提取第一帧图像并从所述第一帧图像中识别目标对象；
[0276]
确定所述目标对象和参考对象的差异值，根据所述差异值确定存在差异的情况下，基于第一帧图像和参考图像的差异进行处理，其中，所述参考对象为从所述视频图像中提取的所述第一帧图像的上一帧图像中的目标对象。
[0277]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述基于人工智能的目标识别方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于人工智能的目标识别方法的技术方案的描述。
[0278]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0279]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
[0280]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0281]
以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。