目标跟随方法及机器人与流程

1.本技术涉及计算机视觉技术领域，尤其涉及目标跟随方法及机器人。


背景技术：

2.随着科技的发展，机器人逐渐应用于人们日常生活的不同领域，机器人的人体识别与人体跟随功能可以很好的满足人机互动需求，为人们的生产、生活提供多种多样的服务，例如，家庭陪伴、养老照护、医院导诊、餐厅送餐及展厅导览等服务。
3.目前，控制机器人对目标进行跟随，存在应用场景受限、鲁棒性差等缺陷，机器人的跟随过程容易被打断或出现误跟随现象。


技术实现要素：

4.本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种目标跟随方法，以保证机器人跟随的正确性和稳定性。
5.根据本技术第一方面实施例的目标跟随方法，包括：
6.获取跟随目标在初始帧图像中的初始深度信息；
7.获取当前帧图像中人体目标与所述跟随目标之间的目标相似度；
8.基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标；
9.基于所述当前帧图像中所述跟随目标的当前位置信息和当前深度信息，输出目标控制指令，所述目标控制指令用于控制机器人跟随所述跟随目标；
10.其中，所述初始帧图像包括所述跟随目标，所述初始帧图像和所述当前帧图像为包括深度信息的图像。
11.根据本技术实施例的目标跟随方法，通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
12.根据本技术的一个实施例，所述基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标，包括：
13.确定所述当前帧图像中所述目标相似度大于目标阈值的m个第一人体目标，m为正整数；
14.在m等于1的情况下，确定所述第一人体目标为所述跟随目标；
15.在m大于1的情况下，获取所述m个第一人体目标的深度信息，基于所述m个第一人体目标的深度信息和所述初始深度信息，从所述m个第一人体目标中确定所述跟随目标。
16.根据本技术的一个实施例，在所述基于所述初始深度信息从所述m个第一人体目标中确定所述跟随目标之后，所述方法还包括：
17.基于所述m个第一人体目标与所述跟随目标之间的所述目标相似度，更新所述目
标阈值。
18.根据本技术的一个实施例，在所述获取当前帧图像中人体目标与所述跟随目标之间的目标相似度之后，所述方法还包括：
19.在所述目标相似度小于目标阈值的情况下，基于所述跟随目标的人脸特征信息在所述当前帧图像中确定所述跟随目标；
20.其中，所述人脸特征信息为从所述初始帧图像中确定出所述跟随目标后获取的。
21.根据本技术的一个实施例，所述初始帧图像中的所述跟随目标通过如下步骤确定：
22.对所述初始帧图像进行人体目标检测，确定所述初始帧图像中的人体目标区域；
23.基于所述人体目标区域的关键点信息，从所述人体目标区域中确定第二人体目标；
24.基于所述第二人体目标的外观特征，确定所述跟随目标。
25.根据本技术的一个实施例，所述获取当前帧图像中人体目标与所述跟随目标之间的目标相似度，包括：
26.获取目标图像序列中所述跟随目标的目标位置信息和目标外观特征，所述目标图像序列包括所述初始帧图像至所述当前帧图像的前一帧图像；
27.获取所述当前帧图像中人体目标的人体位置信息和人体外观特征；
28.基于所述目标位置信息、所述目标外观特征、所述人体位置信息和所述人体外观特征，确定所述目标相似度。
29.根据本技术的一个实施例，所述获取目标图像序列中所述跟随目标的目标位置信息和目标外观特征，包括：
30.将所述前一帧图像中所述跟随目标的位置信息作为目标位置信息；
31.基于所述目标图像序列中所述跟随目标的外观特征，确定目标外观特征。
32.根据本技术的一个实施例，所述基于所述目标图像序列中所述跟随目标的外观特征，确定目标外观特征，包括：
33.将所述目标图像序列中为目标姿态的所述跟随目标的外观特征作为目标姿态特征；
34.将所述当前帧图像的前k帧图像中为非目标姿态的所述跟随目标的外观特征作为非目标姿态特征，k为正整数；
35.基于所述目标姿态特征和所述非目标姿态特征，确定所述目标外观特征。
36.根据本技术第二方面实施例的目标跟随装置，包括：
37.第一获取模块，用于获取跟随目标在初始帧图像中的初始深度信息；
38.第二获取模块，用于获取当前帧图像中人体目标与所述跟随目标之间的目标相似度；
39.第一处理模块，用于基于所述初始深度信息和所述目标相似度，在所述当前帧图像的人体目标中确定所述跟随目标；
40.第二处理模块，用于基于所述当前帧图像中所述跟随目标的当前位置信息和当前深度信息，输出目标控制指令，所述目标控制指令用于控制机器人跟随所述跟随目标；
41.其中，所述初始帧图像包括所述跟随目标，所述初始帧图像和所述当前帧图像为
包括深度信息的图像。
42.根据本技术第三方面实施例的机器人，包括：
43.机器人本体，所述机器人本体设有如上述的目标跟随装置。
44.根据本技术第四方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述目标跟随方法的步骤。
45.根据本技术第五方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标跟随方法的步骤。
46.根据本技术第六方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标跟随方法的步骤。
47.本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
48.通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
49.进一步的，在机器人的跟随过程中，也可以通过人脸识别对跟随目标进行识别确认，一定程度上纠正错误跟踪的情况，保证机器人对跟随目标进行跟随的正确性和稳定性。
50.更进一步的，通过将当前帧图像之前所有的图像帧对应的目标图像序列的位置信息和外观特征进行提取，有效更新所跟随的跟随目标的reid特征，以目标位置信息和目标外观特征作为相似度计算的基准，提升当前帧图像中跟随目标的识别准确度。
51.再进一步的，在基于reid特征的跟踪过程中，根据跟随目标的姿态类型对目标外观特征进行更新，保证更新的目标外观特征的有效性和多样性。
52.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是本技术实施例提供的目标跟随方法的流程示意图之一；
55.图2是本技术实施例提供的目标跟随方法的流程示意图之二；
56.图3是本技术实施例提供的目标跟随方法的流程示意图之三；
57.图4是本技术实施例提供的目标跟随装置的结构示意图；
58.图5是本技术实施例提供的电子设备的结构示意图。
具体实施方式
59.下面结合附图和实施例对本技术的实施方式作进一步详细描述。以下实施例用于说明本技术，但不能用来限制本技术的范围。
60.在本技术实施例的描述中，需要说明的是，术语“上”、“下”、“前”、“后”、“左”、“右”、等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
61.在本技术实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术实施例中的具体含义。
62.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
63.行人重识别(person re-identification，reid)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，指通过穿着、姿态、发型等行人外观特征，在不确定的场景中再次识别出同一个人，并以此描绘出个体行进轨迹的ai视觉技术。
64.目前，移动机器人针对目标进行跟随主要是使用单一特征，进行不同场景下的行人重识别，进而实现人体跟随，但单一特征的行人重识别存在应用场景受限、鲁棒性差等缺陷，机器人跟随过程中容易出现目标丢失、跟随被打断及误跟踪等现象。
65.下面结合图1至图3描述本技术实施例的目标跟随方法，以提升机器人目标跟随的正确性和稳定性。
66.如图1所示，本技术实施例的目标跟随方法包括步骤110至步骤140，该方法的执行主体可以为机器人的控制器，或者云端，或者边缘服务器。
67.步骤110、获取跟随目标在初始帧图像中的初始深度信息。
68.机器人在接收到启动移动跟随的跟随命令后，开启机器人的摄像头，开始采集图像帧进行分析，确定其中的人体目标。
69.在该实施例中，向机器人发送跟随命令的方式，包括但不限于语音输入、点击输入、按钮输入及手势输入等方式。
70.其中，机器人的摄像头所采集的图像帧是包括深度信息的图像，图像帧可以为彩色图像，也可以为黑白图像。
71.在实际执行中，机器人的摄像头可以为rgb-d摄像头，可以同时获取图像信息和深度信息，机器人的摄像头也可以为rgb摄像头和深度摄像头的组合。
72.在该实施例中，在初始帧图像中确定出机器人需要跟随的跟随目标，并获取跟随目标在初始帧图像中的初始深度信息。
73.其中，对初始帧图像进行分析，所得到的多个人体目标中包括跟随目标。
74.在该实施例中，对初始帧图像中的多个人体目标分别获取对应的外观特征和二维的位置信息，向每个人体目标分配单独的id。
75.其中，外观特征指表征人体目标的穿着、姿态及发型等信息的特征向量，可以通过行人重识别相关算法获得，外观特征可以为一定维度大小的特征向量，例如，外观特征的大小可以为512维度。在实际执行中，将初始帧图像中的多个人体目标分别用检测框进行框选，并为每个框选出来检测框分配对应的id。
76.其中，位置信息指框选出人体目标的检测框在图像帧中的相对位置。
77.每个人体目标有各自对应的id，从多个人体目标确定出需要跟随的跟随目标，跟随目标对应的id为跟随id。
78.在该步骤中，从初始帧图像中获取跟随目标的初始深度信息，初始深度信息指跟随目标的检测框内的深度信息，表征了跟随目标所对应的三维形状信息，例如跟随目标的身高、发型、躯干形状及四肢形状等三维形状信息。
79.步骤120、获取当前帧图像中人体目标与跟随目标之间的目标相似度。
80.其中，当前帧图像指机器人的摄像头当前拍摄的图像帧，机器人在开启摄像头后不断的拍摄图像帧，在该步骤中还未从当前帧图像中确定出机器人所要跟随的跟随目标。
81.在该步骤中，已经通过人体检测技术检测出了当前帧图像中人体目标，对当前帧图像中人体目标的外观特征和位置信息进行提取。
82.在该实施例中，可以根据当前帧图像中人体目标的外观特征和位置信息，与当前帧图像之前的图像帧中所获取的跟随目标的外观特征和位置信息，进行相似度计算，得到当前帧图像中人体目标与跟随目标之间的目标相似度。
83.也即通过对当前帧图像中人体目标进行行人重识别，通过对外观特征和位置信息进行相似度计算，判断当前帧图像中人体目标中是否存在特定的跟随目标。
84.其中，当前帧图像中人体目标与跟随目标之间外观特征的相似度计算，可以采用cosine距离或者马氏距离，确定对应的相似度信息。
85.当前帧图像中人体目标与跟随目标之间位置信息的相似度计算，可以对当前帧图像中人体目标与跟随目标各自的位置信息进行卡尔曼滤波处理，再进行比对，确定对应的相似度信息。
86.位置信息的相似度计算也可以直接根据当前帧图像中人体目标与跟随目标各自的位置信息的交并比进行匹配，确定出对应的相似度信息。
87.当前帧图像中人体目标与跟随目标之间，位置信息的相似度信息与外观特征的相似度信息进行加权求和即可得到目标相似度。
88.需要说明的是，在该步骤中，当前帧图像是没有确定出跟随目标的，当前帧图像之前的图像帧(包括初始帧图像)是已经确定出跟随目标，并获取了跟随目标的外观特征和位置信息。
89.步骤130、基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标。
90.初始深度信息表征机器人所跟随的跟随目标对应的三维形状信息，例如跟随目标的身高、发型、躯干形状及四肢形状等三维形状信息。
91.目标相似度表征当前帧图像中人体目标与跟随目标之间的相似程度，目标相似度越大表明该人体目标为跟随目标的可能性越大。
92.在该步骤中，通过融合初始深度信息和目标相似度两种不同的判断策略来确定当
前帧图像中机器人需要跟随的跟随目标，能够不同的应用场景下使用，保证了机器人对跟随目标进行跟随的正确性和稳定性。
93.根据目标相似度，在当前帧图像中检测出两个或多个与跟随目标较为相似的人体目标时，可以将人体目标的深度信息和跟随目标对应的初始深度信息进行匹配，从而确定出跟随目标。
94.当前帧图像中出现人体目标被遮挡的情况时，无法完整获取当前帧图像中人体目标的深度信息，可以根据外观信息和位置信息所计算的目标相似度，确定出跟随目标。
95.下面介绍一个具体的实施例。
96.两个外观特征相似的人体目标发生交叉重叠时，容易发生人体检测框的id切换，从而使机器人识别出错误的跟随id，造成跟随目标丢失或误跟随的情况。
97.从当前帧图像中判断出两个外观特征与跟随目标相似的人体目标将要发生交叉重叠时，通过获取当前帧图像中人体目标的深度信息，并调出跟随目标对应的初始深度信息进行匹配纠正，从而确定当前帧图像中的跟随目标。
98.在实际执行中，可以通过当前帧图像中人体目标的iou测量标准(intersection over union)判断是否将要发生人体目标的交叉重叠。
99.步骤140、基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令。
100.在该实施例中，从当前帧图像中确定出需要跟随的跟随目标后，根据跟随目标的当前位置信息和当前深度信息，输出目标控制指令，控制机器人跟随该跟随目标。
101.在实际执行中，通过跟随目标的当前位置信息确定机器人跟随该跟随目标的目标方向，通过跟随目标的当前深度信息确定机器人跟随该跟随目标的目标距离。
102.通过当前位置信息和当前深度信息对应的目标方向和目标距离两个参数，生成目标控制指令，进而控制机器人的行走机构动作，使得机器人朝着目标方向保持目标距离跟随着跟随目标。
103.在本技术实施例中，从初始帧图像中确定出跟随目标后，跟随目标的外观特征、位置信息和深度信息会被提取，机器人根据外观特征、位置信息和深度信息对跟随目标进行跟随，并在所采集的初始帧图像之后的图像帧中对出现的人体目标进行相似度计算，在当前帧图像中结合初始深度信息，匹配出跟随目标，实现对跟随目标准确且稳定的跟随。
104.根据本技术实施例提供的目标跟随方法，通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
105.在一些实施例中，步骤130包括：确定当前帧图像中目标相似度大于目标阈值的m个第一人体目标；在m等于1的情况下，确定第一人体目标为跟随目标；在m大于1的情况下，基于初始深度信息从m个第一人体目标中确定跟随目标。
106.可以理解的是，当前帧图像中某一人体目标与跟随目标之间的目标相似度越大，表明该人体目标与跟随目标越相似，该人体目标是跟随目标的概率越大。
107.在该实施例中，目标阈值是判断当前帧图像中的人体目标可能为跟随目标的相似度临界值，当某一人体目标与跟随目标之间的目标相似度大于目标阈值时，表明该人体目
标可能为跟随目标，将该人体目标作为第一人体目标。
108.在实际执行中，对当前帧图像中出现的所有人体目标进行与跟随目标的相似度计算，某一人体目标与跟随目标之间的目标相似度大于目标阈值，该人体目标为第一人体目标，从当前帧图像确定出m个第一人体目标，m为正整数。
109.当m等于1时，当前帧图像中只有1个第一人体目标，表明当前帧图像中只有一个人体目标与跟随目标之间的目标相似度大于目标阈值，将当前帧图像中的该第一人体目标确定为机器人所要跟随的跟随目标。
110.当m大于1时，当前帧图像中有m个第一人体目标，表明当前帧图像中不止一个人体目标与跟随目标之间的目标相似度大于目标阈值，也即当前帧图像中出现了两个或多个可能为跟随目标的第一人体目标。
111.在该实施例中，获取m个第一人体目标各自的深度信息，与跟随目标的初始深度信息进行匹配，从m个第一人体目标中确定出跟随目标。
112.可以理解的是，标相似度表征的是人体目标间外观特征和位置信息间的相似程度，初始深度信息表征跟随目标对应的三维形状信息，初始深度信息不受外观特征和位置信息的影响，通过初始深度信息能够准确地从m个第一人体目标中确定出跟随目标。
113.需要说明的是，当m等于0时，表明在当前帧图像中没有目标相似度大于目标阈值的第一人体目标，也即当前帧图像中没有机器人所要跟随的跟随目标，机器人丢失了跟随目标，此时，可以控制机器人的摄像头调整角度，重新获取当前帧图像进行分析。
114.在一些实施例中，当m大于1时，从当前帧图像的m个第一人体目标中，根据初始深度信息匹配出跟随目标后，基于m个第一人体目标与跟随目标之间的目标相似度，更新目标阈值。
115.可以理解的是，目标阈值是判断当前帧图像中的人体目标可能为跟随目标的相似度临界值，在当前帧图像中出现了两个或多个可能为跟随目标的第一人体目标时，表明当前的目标阈值已不再使用，需要进行更新，以便在之后的图像帧中进行相似度计算，确定跟随目标。
116.在该实施例中，当m大于1时，确定出m个第一人体目标中深度信息与跟随目标的初始深度信息相差较大的一个或多个第一人体目标，也即确定出为非跟随目标的第一人体目标。
117.基于非跟随目标与跟随目标之间的目标相似度，确定出一个目标值，使得该目标值作为新的目标阈值时，可以准确地根据目标相似度从m个第一人体目标中确定出跟随目标。
118.在一些实施例中，在步骤120之后，目标跟随方法还包括：在目标相似度小于目标阈值的情况下，基于跟随目标的人脸特征信息在当前帧图像中确定跟随目标。
119.其中，人脸特征信息为从初始帧图像中确定出跟随目标后获取的，也即在机器人启动跟随的过程中，通过机器人的摄像头抓拍并进行人脸特征提取得到的。
120.在该实施例中，通过人脸识别，针对被跟随的跟随目标进行临时人脸注册，在当前帧图像的人体目标与跟随目标之间的目标相似度均小于目标阈值时，也即跟随目标丢失时，可以通过临时注册的人脸特征信息进行匹配识别，进而找回跟随目标。
121.可以理解的是，当跟随目标丢失后，跟随目标的外观和位置信息都可能会失效，此
时可以通过启动注册的临时的人脸特征信息，去找回跟随目标。
122.当前帧图像的人体目标与跟随目标之间的目标相似度均小于目标阈值时，无法从当前帧图像中匹配出跟随目标，跟随目标可能已经走出机器人的摄像头的视野，或者跟随目标因为环境等因素的影响导致跟随目标丢失，可以通过人脸识别重新将跟随目标匹配上，重新进行跟随。
123.可以理解的是，在机器人的跟随过程中，也可以通过人脸识别对跟随目标进行识别确认，一定程度上纠正错误跟踪的情况，保证机器人对跟随目标进行跟随的正确性和稳定性。
124.相关技术中，一些机器人通过预先进行人脸注册，进行人脸识别后，再进行人体跟随，但如果是没有注册过的人脸是无法进行跟随的。
125.在本技术实施例中，无需预先进行人脸注册，在用户启动机器人进行人体跟随后，便可跟随任意一个跟随目标，当出现跟随目标的人脸时，再对跟随目标的人脸特征信息进行临时注册，进行人脸匹配识别，纠正或重新找回跟随目标。
126.在一些实施例中，初始帧图像中的跟随目标通过如下步骤确定：对初始帧图像进行人体目标检测，确定初始帧图像中的人体目标区域；基于人体目标区域的关键点信息，从人体目标区域中确定第二人体目标；基于第二人体目标的外观特征，确定跟随目标。
127.其中，人体目标区域指初始帧图像中可能存在人体目标的位置，人体目标区域的关键点信息可以用于对人体目标区域进行人体姿态估计，进而确定出初始帧图像中所有的人体目标，也即第二人体目标。
128.在实际执行中，对于初始帧图像可以同时进行人体目标检测和人体姿态估计，也可以通过先进行人体目标检测，再基于人体目标区域进行人体姿态估计，确定出初始帧图像中的第二人体目标。
129.其中，针对初始帧图像进行人体目标检测，可以采用yolo、ssd等目标检测算法，确定初始帧图像中的人体目标区域。
130.对初始帧图像中的人体目标区域使用人体姿态估计的关键点信息去评估检测的人体目标区域是否可靠，如果检测的人体目标区域的关键点大于预设的目标关键点时，表明该人体目标区域的人体目标可靠，将该人体目标区域的人体目标作为第二人体目标。
131.在该实施例中，基于关键点信息去评估人体目标区域的目标是否是人体目标，可以使用阈值为0.3作为关键点过滤的阈值，验证有效的关键点个数当关键点个数大于5个的时候，判断该人体目标区域的目标为人体目标，也即第二人体目标。
132.在实际执行中，人体关键点可以采用公开数据集mscoco数据格式，一共是17个人体关键点，阈值和关键点个数可以根据实际需求和测试情况进行适当调整。
133.其中，进行人体姿态估计的关键点检测可以采用openpose、alphapose等关键点检测算法，确定人体目标区域的关键点信息。
134.需要说明的是，可以直接使用类似mask rcnn多任务模型的方法，由一个模型直接处理初始帧图像，输出人体目标区域和对应的关键点信息。
135.在本技术实施例中，通过采用人体关键点检测，过滤初始帧图像中如影子等易被识别为人体目标的非人体目标，降低人体目标加测的误检率。
136.在该实施例中，确定出第二人体目标可，可以指定任意一个第二人体目标作为机
器人的跟随目标。
137.在实际执行中，可以选择当前帧图像中间指定区域内最宽或最大的第二人体目标作为被跟随的跟随目标，也可以使用其他规定确定被跟随的跟随目标，本技术实施例对此不作限定。
138.下面介绍一个具体的实施例。
139.如图2所示，机器人在接收跟随命令后，启动跟随。
140.由机器人的摄像头采集初始帧图像，对初始帧图像进行人体目标检测和人体关键点检测。
141.获取初始帧图像中为有效人体目标的第二人体目标，从第二人体目标中选择最大或最宽的作为跟随目标。
142.从初始帧图像中获取跟随目标的初始深度信息，在采集到跟随目标的人脸的图像中获取人脸特征信息。
143.其中，采集到跟随目标的人脸的图像可以是初始帧图像，也可以是初始帧图像之后的图像帧。
144.在当前帧图像中获取人体目标的外观特征和位置信息进行相似度计算，融合外观特征和位置信息进行目标相似度计算，初步获得跟随目标。
145.通过融合深度信息或人脸特征信息，确定当前帧图像中的跟随目标，并控制机器人根据跟随目标的当前位置信息和当前深度信息进行跟随。
146.在一些实施例中，步骤120包括：获取目标图像序列中跟随目标的目标位置信息和目标外观特征；获取当前帧图像中人体目标的人体位置信息和人体外观特征；基于目标位置信息、目标外观特征、人体位置信息和人体外观特征，确定目标相似度。
147.其中，目标图像序列包括初始帧图像至当前帧图像的前一帧图像，也即目标图像序列是机器人的摄像头在当前帧图像之前所采集的图像帧。
148.获取目标图像序列中跟随目标的目标位置信息和目标外观特征，目标位置信息和目标外观特征属于描绘特定的跟随目标行进轨迹的reid特征。
149.其中，对于机器人的摄像头所采集的图像帧进行人体外观特征提取，可以采用mobilenet、resnet及vgg等模型。
150.相关技术中，行人重识别旨在描绘特定目标连续的行进轨迹，通常将前一帧中的位置信息和外观特征作为行人重识别相似度计算的基准，确定当前帧中的特征目标。
151.在本技术实施例中，通过将当前帧图像之前所有的图像帧对应的目标图像序列的位置信息和外观特征进行提取，有效更新所跟随的跟随目标的reid特征，以目标位置信息和目标外观特征作为相似度计算的基准，提升当前帧图像中跟随目标的识别准确度。
152.将当前帧图像中各个人体目标的人体位置信息和人体外观特征与目标位置信息和目标外观特征分别进行相似度计算，确定出当前帧图像中各个人体目标与跟随目标之间的目标相似度。
153.在实际执行中，可以分别计算当前帧图像中每个人体目标的人体位置信息与目标位置信息的位置相似度，计算当前帧图像中每个人体目标的人体外观特征与目标外观特征的外观相似度，根据位置相似度和外观相似度进行加权求和，得到目标相似度。
154.在一些实施例中，将前一帧图像中跟随目标的位置信息作为目标位置信息；基于
目标图像序列中跟随目标的外观特征，确定目标外观特征。
155.目标图像序列中跟随目标被确定出后，可以对跟随目标的外观特征和位置信息进行更新，位置信息直接根据当前帧图像的前一帧图像的位置信息的结果更新即可，也即将前一帧图像中跟随目标的位置信息作为目标位置信息。
156.针对跟随目标的外观特征，缓存目标图像序列中跟随目标的外观特征，进而确定目标外观特征。
157.其中，目标外观特征及基于目标图像序列中跟随目标的外观特征确定的，目标位置信息是根据前一帧图像中跟随目标的位置信息确定的。
158.需要说明的是，对于目标图像序列中的非跟随目标，可以直接按照队列的方式缓存少量帧的外观特征，以便进行非跟随目标的辨认，并且在非跟随目标丢失之后，直接将缓存的非跟随目标的外观特征清理。
159.在一些实施例中，将目标图像序列中为目标姿态的跟随目标的外观特征作为目标姿态特征；将当前帧图像的前k帧图像中为非目标姿态的跟随目标的外观特征作为非目标姿态特征，k为正整数；基于目标姿态特征和非目标姿态特征，确定目标外观特征。
160.在该实施例中，在基于reid特征的跟踪过程中，根据跟随目标的姿态类型对目标外观特征进行更新，保证更新的目标外观特征的有效性和多样性。
161.同时，对非跟随目标的外观特征无需进行姿态的区别，将非跟随目标的外观特征进行及时的丢失处理，有利于在跟随该跟随目标的过程中不被其他非跟随目标干扰影响，从而保证了机器人跟随过程的稳定性，降低对非跟随目标的误跟随概率。
162.在该实施例中，对目标图像序列中的跟随目标进行人体姿态分析，判断跟随目标的姿态是否为目标姿态。
163.其中，目标姿态是预设的可以表征人体姿态特征的姿态，例如，正面、左侧面、右侧面及背面的站立或坐姿等姿态。
164.判断出目标图像序列中某帧图像的跟随目标的姿态为目标姿态时，将该帧图像的跟随目标的外观特征作为目标姿态特征进行存储。
165.在该实施例中，对于目标图像序列中跟随目标的姿态为非目标姿态的外观特征，最需存储离当前帧图像最近的k帧图像的外观特征作为非目标姿态特征，也即将当前帧图像的前k帧图像中为非目标姿态的跟随目标的外观特征作为非目标姿态特征。
166.其中，k为正整数，k可以小于目标图像序列的图像数目。
167.在该实施例中，基于目标图像序列中目标姿态对应的目标姿态特征和前k帧图像中非目标姿态对应的非目标姿态特征，确定目标外观特征。
168.例如，跟随目标的姿态如果是指定的目标姿态，缓存目标姿态特征到对应的特征集a中，缓存最近k帧的非指定姿态外观特征到特征集b，然后将特征集a和特征集b按照(alpha*a (1-alpha)*b)的方式进行融合，融合后进行归一化，得到最终的目标外观姿态。
169.其中，alpha是预设的比例系数，可以根据实际需求进行设置和调整。
170.下面介绍一个具体的实施例。
171.如图3所示，对当前帧图像人体目标的外观特征、位置信息和初始深度信息进行目标匹配跟踪算法的计算，也即计算目标相似度。
172.根据目标相似度和初始深度信息判断对跟随目标是否跟踪成功，跟随成功表明在
当前帧图像中确定出跟随目标。
173.跟随不成功表明在当前帧图像中未确定出跟随目标，此时，需要调用跟随目标的人脸特征信息进行人脸识别校验。
174.在跟随成功后，判读跟随目标的姿态是否属于目标姿态，缓存目标图像序列中所有跟随目标的n个目标姿态特征，以及最近k帧的跟随目标的非目标姿态特征。
175.基于n个目标姿态特征和最近k帧的非目标姿态特征，得到缓存的跟随目标的目标外观特征。
176.对于非跟随目标，只缓存最近p帧的非跟随目标的外观特征，并且无需对非跟随目标的姿态是否属于目标姿态进行判断。
177.在跟随成功后的同时，缓存的跟随目标的目标位置信息和非跟随目标的位置信息。
178.在该实施例中，在基于reid特征的跟踪过程中，通过判断跟随目标的姿态是否为目标姿态，更新跟随目标的目标外观特征，保证跟随目标的目标外观特征的有效性和多样性。
179.对非跟随目标的外观特征无需进行姿态的区别，将非跟随目标的外观特征进行及时的丢失处理，有利于在跟随该跟随目标的过程中不被其他非跟随目标干扰影响，从而保证了机器人跟随过程的稳定性，降低对非跟随目标的误跟随概率。
180.下面对本技术实施例提供的目标跟随装置进行描述，下文描述的目标跟随装置与上文描述的目标跟随方法可相互对应参照。
181.如图4所示，本技术实施例提供的目标跟随装置包括：
182.第一获取模块410，用于获取跟随目标在初始帧图像中的初始深度信息；
183.第二获取模块420，用于获取当前帧图像中人体目标与跟随目标之间的目标相似度；
184.第一处理模块430，用于基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标；
185.第二处理模块440，用于基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令，目标控制指令用于控制机器人跟随该跟随目标；
186.其中，初始帧图像包括跟随目标，初始帧图像和当前帧图像为包括深度信息的图像。
187.根据本技术实施例提供的目标跟随装置，通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
188.在一些实施例中，第一处理模块430用于确定当前帧图像中目标相似度大于目标阈值的m个第一人体目标，m为正整数；
189.在m等于1的情况下，确定第一人体目标为跟随目标；
190.在m大于1的情况下，获取m个第一人体目标的深度信息，基于m个第一人体目标的深度信息和初始深度信息从m个第一人体目标中确定跟随目标。
191.在一些实施例中，第一处理模块430还用于基于m个第一人体目标与跟随目标之间
的目标相似度，更新目标阈值。
192.在一些实施例中，第一处理模块430还用于在目标相似度小于目标阈值的情况下，基于跟随目标的人脸特征信息在当前帧图像中确定跟随目标；其中，人脸特征信息为从初始帧图像中确定出跟随目标后获取的。
193.在一些实施例中，还包括第三处理模块，第三处理模块用于对初始帧图像进行人体目标检测，确定初始帧图像中的人体目标区域；
194.基于人体目标区域的关键点信息，从人体目标区域中确定第二人体目标；
195.基于第二人体目标的外观特征，确定跟随目标。
196.在一些实施例中，第二获取模块420用于获取目标图像序列中跟随目标的目标位置信息和目标外观特征，目标图像序列包括初始帧图像至当前帧图像的前一帧图像；
197.获取当前帧图像中人体目标的人体位置信息和人体外观特征；
198.基于目标位置信息、目标外观特征、人体位置信息和人体外观特征，确定目标相似度。
199.在一些实施例中，第二获取模块420还用于将前一帧图像中跟随目标的位置信息作为目标位置信息；基于目标图像序列中跟随目标的外观特征，确定目标外观特征。
200.在一些实施例中，第二获取模块420还用于将目标图像序列中为目标姿态的跟随目标的外观特征作为目标姿态特征；
201.将当前帧图像的前k帧图像中为非目标姿态的跟随目标的外观特征作为非目标姿态特征，k为正整数；
202.基于目标姿态特征和非目标姿态特征，确定目标外观特征。
203.本技术实施例还提供一种机器人，机器人本体设有目标跟随装置，该目标跟随装置用于基于上述的目标跟随方法控制机器人动作。
204.根据本技术实施例提供的机器人，通过融合目标相似度和初始深度信息，在当前帧图像中准确地确定出跟随目标，在出现目标丢失、跟随被打断及误跟踪现象时，能够通过跟随目标的初始深度信息进行纠正，保证机器人对跟随目标进行跟随的正确性和稳定性。
205.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行目标跟随方法，该方法包括：获取跟随目标在初始帧图像中的初始深度信息；获取当前帧图像中人体目标与跟随目标之间的目标相似度；基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标；基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令，目标控制指令用于控制机器人跟随该跟随目标；其中，初始帧图像包括跟随目标，初始帧图像和当前帧图像为包括深度信息的图像。
206.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施
例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
207.进一步地，本技术还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的目标跟随方法，该方法包括：获取跟随目标在初始帧图像中的初始深度信息；获取当前帧图像中人体目标与跟随目标之间的目标相似度；基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标；基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令，目标控制指令用于控制机器人跟随该跟随目标；其中，初始帧图像包括跟随目标，初始帧图像和当前帧图像为包括深度信息的图像。
208.另一方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的目标跟随方法，该方法包括：获取跟随目标在初始帧图像中的初始深度信息；获取当前帧图像中人体目标与跟随目标之间的目标相似度；基于初始深度信息和目标相似度，在当前帧图像的人体目标中确定跟随目标；基于当前帧图像中跟随目标的当前位置信息和当前深度信息，输出目标控制指令，目标控制指令用于控制机器人跟随该跟随目标；其中，初始帧图像包括跟随目标，初始帧图像和当前帧图像为包括深度信息的图像。
209.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
210.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
211.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
212.以上实施方式仅用于说明本技术，而非对本技术的限制。尽管参照实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，对本技术的技术方案进行各种组合、修改或者等同替换，都不脱离本技术技术方案的精神和范围，均应涵盖在本技术的权利要求范围中。