一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信息处理方法、装置、设备、移动机器人及存储介质与流程

2022-07-19 21:55:11 来源:中国专利 TAG:


1.本技术实施例涉及计算机应用技术领域,尤其涉及一种信息处理方法、装置、设备、移动机器人及存储介质。


背景技术:

2.随着人工智能技术的发展,移动机器人应用也越来也广泛,并逐渐走进家庭生活中,比如日常使用的扫地机器人、陪伴机器人等。目前,移动机器人功能还较为单一,如扫地机器人,只是用来进行扫地清洁功能,利用率仍然较低。


技术实现要素:

3.本技术实施例提供一种信息处理方法、装置、设备、及移动机器人及存储介质,用以提高移动机器人的利用率。
4.第一方面,本技术实施例中提供了一种信息处理方法,包括:获取包含目标对象的对象图像;在目标区域移动并进行图像采集;确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息,生成对象提示信息。
5.第二方面,本技术实施例中提供了一种信息处理方法,包括:获取包含目标对象的对象图像;基于所述对象图像,向移动机器人发送寻找指令,以控制移动机器人在目标区域移动并进行图像采集;获取移动机器人发送的对象提示信息;其中,对象提示信息为移动机器人通过确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息生成;输出所述对象提示信息。
6.第三方面,本技术实施例提供了一种信息处理装置,包括:第一获取模块,用于获取包含目标对象的对象图像;采集模块,用于在目标区域移动并进行图像采集;处理模块,用于确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品,若存在,则触发记录模块;记录模块,用于记录所述至少一个相似物品的位置信息;生成模块,用于基于所述至少一个相似物品的位置信息,生成对象提示信息。
7.第四方面,本技术实施例提供了一种信息处理装置,包括:第二获取模块,用于获取包含目标对象的对象图像;发送模块,用于基于所述对象图像,向移动机器人发送寻找指令,以控制移动机器人在目标区域移动并进行图像采集;第二获取模块,还用于获取移动机器人发送的对象提示信息;其中,对象提示信息为移动机器人通过确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息生成;输出模块,用于输出所述对象提示信息。
8.第五方面,本技术实施例提供了一种信息处理设备,包括处理组件以及存储组件;
9.所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所
述处理组件调用执行;
10.所述处理组件用于:
11.获取包含目标对象的对象图像;在目标区域移动并进行图像采集;确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息,生成对象提示信息。
12.第六方面,本技术实施例提供了一种机器人,包括采集组件、处理组件以及存储组件;所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
13.所述处理组件用于:
14.获取包含目标对象的对象图像;通过采集组件在目标区域移动并进行图像采集;确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息,生成对象提示信息。
15.第七方面,本技术实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时实现如上述方法。
16.本技术实施例中,通过获取待寻找的目标对象的对象图像,控制移动机器人在目标区域移动并进行图像采集;确定采集图像中是否存在与目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于至少一个相似物品的位置信息,生成对象提示信息。该对象提示信息即可以用于提示用户目标对象所在位置等。利用移动机器人即可以有效实现对象寻找,丰富了移动机器人功能,提高了移动机器人利用率。
17.本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
19.图1示出了本技术实施例提供的一种信息处理方法一个实施例的流程图;
20.图2示出了本技术实施例提供的一种信息处理系统一个实施例的结构示意图;
21.图3示出了本技术实施例的目标检测器在一个实际应用中的模型结构图;
22.图4示出了示例性的目标检测结果对比图;
23.图5出了本技术实施例在一个实际应用中的滑窗相似度计算示意图;
24.图6示出了本技术实施例提供的一种信息处理方法又一个实施例的流程图;
25.图7示出了本技术实施例提供的一种信息处理装置一个实施例的结构示意图;
26.图8示出了本技术实施例提供的一种信息处理装置又一个实施例的结构示意图;
27.图9示出了本技术实施例提供的一种信息处理设备一个实施例的结构示意图;
28.图10示出了本技术实施例提供的一种机器人一个实施例的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
30.在本技术的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
31.本技术实施例的技术方案可以适用于各种移动机器人,如扫地机器人、智能对话机器人、以及其它诸如用于物流配送、环境净化、智能客服等可以在目标场所中进行自主移动的机器人,移动方式例如可以采用轮式、履带式等等方式,本技术对此不进行限制。
32.由于目前移动机器人功能仍然较为单一,没有得到充分的利用,发明人发现,日常生活中,经常会存在找不到东西的情况,而移动机器人又进入了日常生活中,比如扫地机器人以成为家庭常用工具,如果利用移动机器人进行物品等对象寻找,既可以提高移动机器人的利用率,同时可以帮助用户寻找对象,提高用户体验。
33.因此,为了提高移动机器人利用率,实现对象有效寻找,发明人经过一系列研究提出了本技术的技术方案,在本技术实施例中,通过获取待寻找的目标对象的对象图像,控制移动机器人在目标区域移动并进行图像采集;确定采集图像中是否存在与目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于至少一个相似物品的位置信息,生成对象提示信息。该对象提示信息即可以用于提示用户目标对象所在位置等。利用移动机器人即可以有效实现对象寻找,丰富了移动机器人功能,提高了移动机器人利用率。
34.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
35.图1示出了本技术实施例提供的一种信息处理方法一个实施例的流程图,本实施例提供的信息处理方法可以由移动机器人执行,此外,由于实际应用中,移动机器人也可以与用户端建立连接,也可以与服务端建立连接以可以接收用户端或者服务端的相应指令而执行相应操作,因此本实施例提供的信息处理方法也可以由与移动机器人连接的用户端或服务端执行,本技术对此不进行具体限制。
36.其中,用户端可以配置在用户设备中,如手机、平板电脑等,服务端可以是云服务器等。参见图2,示出了本技术技术方案可能适用的一种信息处理系统,移动机器人201可以与用户端202、以及服务端203分别建立连接(为了便于理解和说明,图2中的移动机器人为扫地机器人,用户端以其所配置的用户设备形象表示,服务端以服务器形象表示),例如可以具体通过蓝牙、wifi(wireless fidelity,无线保真)等实现连接,连接建立方式与现有技术相同,在此不再赘述。
37.用户端202可以基于用户相应请求直接或者通过服务端203向移动机器人发送相
应控制指令;当然,移动机器人201也可以设置相应控制面板以供用户触发相应控制指令,或者通过语音识别方式识别用户语音发出的相应控制指令等,本技术对此不进行具体限制。其中,移动机器人201可以基于控制指令而执行相应操作。
38.需要说明的是,图2仅是举例说明的本技术技术方案可以适用的一种系统。实际应用中,移动机器人也可以仅和用户端连接,也可以仅和服务端连接,或者为独立工作的设备。
39.可选地,由于移动机器人通常是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统,可以自动执行工作。为了提高处理效率等,可以由移动机器人执行本实施例的技术方案。
40.在一个实际应用中,移动机器人可以具体是指扫地机器人。由于扫地机器人机身小巧的,可以钻入一些肉眼无法观察到的死角区域,因此利用扫地机器人可以有效实现对象寻找。
41.参见图1,该方法可以包括以下几个步骤:
42.101:获取包含目标对象的对象图像。
43.为了便于理解,以移动机器人执行信息处理方法为例进行说明。
44.具体的,移动机器人在确定用户存在确定目标对象的位置的需求时,移动机器人需要获取包含目标对象的对象图像。其中,目标对象可以是人物、动物、或者其它任意处于静态或动态物体等。
45.实际应用中,用户可以将容易丢失的对象的图像提前保存在图像库中,以便后续用户寻找该对象,可以通过其持有的用户设备访问图像库,从图像库中选择包含目标对象的对象图像。
46.因此,作为一种可能实现方式,获取包含目标对象的对象图像具体是:展示图像库中的图像;响应于用户选择操作,确定包含目标对象的对象图像。
47.实际应用中,图像库中可能尚未保存待寻找目标对象的对象图像,或者,用户对图像库中的目标对象的对象图像不满意。
48.因此,为了满足用户上传目标对象的对象图像的需求,作为一种可能实现方式,获取包含目标对象的对象图像具体是:获取所述用户提供的图像作为对象图像。
49.例如,用户通过用户端从网络上搜索包含目标对象的对象图像并上传给移动机器人。又例如,用户向移动机器人发送图像搜索指令,移动机器人从网络上搜索包含目标对象的对象图像。
50.在一些实施例中,在获取所述用户提供的图像作为对象图像之后,将所述用户提供的图像保存到所述图像库中,以便后续再次寻找该目标对象时,从图像库中获取该目标对象的对象图像。
51.在一些实施例中,为了保证图像库中尽量不出现重复的图像,方便用户选择所需的图像,“将所述用户提供的图像保存到所述图像库中”具体是:获取用户提供的图像;判断图像库是否存在图像的相似图像;若存在,则输出更新提示信息;响应于用户更新操作,利用待保存的图像替换相似图像。其中,更新提示信息提示用户图像库中存在与待保存的图像相似的相似图像,用户根据自身需求将相似图像从图像库中删除,以及将待保存的图像保存到图像库,以实现将待保存的图像替换相似图像。
52.102:在目标区域移动并进行图像采集。
53.具体的,在确定用户存在确定目标对象的位置需求时,还需要确定搜索目标对象的搜索范围,搜索范围也即目标区域,接着,便可控制移动机器人在目标区域移动并进行图像采集。
54.因此,在一些实施例中,为了准确确定目标区域,在目标区域移动并进行图像采集之前,还可以获取目标区域信息,根据所述目标区域信息确定要进行查找的目标区域。
55.其中,获取目标区域信息方式为可以通过解析针对目标区域的选择指令获取。具体的,移动机器人接收用户针对目标区域的选择指令,确定搜索目标对象的目标区域。例如,用户通过用户端上查看作业环境的环境地图,环境地图包括客厅、餐厅、卧室、厨房、卫生间等几个分区,每个分区对应作业环境中的一个功能区域。用户通过用户端输入选择至少一个分区的选择指令,并向移动机器人发送选择指令,移动机器人响应选择指令以确定用户所选择的至少一个分区,并将用户所选择的至少一个分区作为目标区域。
56.其中,在至少一个分区为环境地图中的全部分区时,即作业环境中的全部功能区域均为目标区域,这时,移动机器人进入全屋搜索模式,在整个作业环境中搜索目标对象。在至少一个分区为环境地图中的部分分区时,即作业环境中的部分功能区域为目标区域,这时,移动机器人进入指定区域搜索模式,即在整个作业环境中部分区域中搜索目标对象。
57.实际应用中,移动机器人若在某一个区域中来回反复移动,这时移动机器人反复对该区域进行图像采集,进而导致本技术的技术方案需要处理大量的图像数据,降低了信息处理效率。另外,移动机器人在移动过程中,若在图像采集的过程中遗漏了部分区域,也即未对部分区域进行图像采集,而目标对象正好在被遗漏采集的部分区域中,显然,会影响本技术的技术方案的可靠性。
58.因此,可选的,为了保证本技术技术方案的信息处理效率和可靠性,在目标区域移动并进行图像采集具体是:对所述目标区域进行路径规划,确定移动路线;按照所述移动路线在所述目标区域移动并进行图像采集。
59.其中,在对目标区域进行路径规划时,可以结合目标区域在环境地图中的位置信息和针对移动机器人的定位信息进行路径规划。在路径规划时,尽可能使得移动机器人按照移动路径移动时,采集整个目标区域的图像数据,避免遗漏采集目标区域中的部分区域的图像数据。另外,尽可能地避免移动机器人在某一个区域中来回反复移动。
60.103:确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品。
61.在本技术实施例中,采集图像可以是移动机器人在目标区域移动过程中对目标区域进行拍摄得到的拍摄图像,也可以是移动机器人在目标区域移动过程中按照设定的图像采集帧率进行图像采集形成的视频流中的图像帧。其中,为了提升拍摄范围和算法计算速度,移动机器人可以采用170
°
的超广角镜头并按照每秒15帧的图像采集帧率进行图像采集。
62.在采集到采集图像后,需要判断采集图像中是否存在与目标对象的相似度满足第一相似度条件的至少一个相似物品。具体的,可以计算采集图像与对象图像之间的图像相似度,若采集图像与对象图像之间的图像相似度满足第一相似度条件,则说明在图像采集时采集到了与目标对象满足第一相似度条件的相似物品的图像,这时,采集图像中包括至
少一个相似物品。若采集图像与对象图像之间的图像相似度不满足第一相似度条件,则说明在图像采集时没有采集到相似物品的图像,这时,采集图像中不包括至少一个相似物品。
63.其中,第一相似度条件根据具体的业务场景进行设定。例如,第一相似度条件为对相似度按照大到小的顺序排序后,排序靠前的前m个相似物品作为与目标对象的相似度满足第一相似度条件的至少一个相似物品,m为正整数。又例如,第一相似度条件为相似度大于第一相似度阈值,第一相似度阈值例如设置为0.95。又例如,第一相似度条件为相似度落在预设的相似度数值范围内,相似度数值范围例如为[0.95,1]。其中,m的取值、第一相似度阈值或预设的相似度数值范围直接影响目标对象的位置定位准确度。因此,可以根据大量的试验数据设置合适的m、第一相似度阈值或预设的相似度数值范围。
[0064]
104:若存在,则记录所述至少一个相似物品的位置信息。
[0065]
在本技术实施例中,在确定采集图像包括至少一个相似物品时,记录移动机器人对该相似物品进行图像采集时自身所在的位置作为至少一个相似物品的位置信息。
[0066]
当然,在确定采集图像中不包括至少一个相似物品时,控制移动机器人在目标区域移动并进行图像采集。
[0067]
105:基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0068]
具体的,为了提示用户有概率寻找到目标对象的位置,可以基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0069]
实际应用中,只有对整个目标区域全部遍历完成,才能找出与目标对象最相似的相似物体。因此,作为一种可能的实现方式,基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:判断所述目标区域是否遍历完成;若是,基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0070]
实际应用中,确定的相似物品的数据可能比较多,为了提高目标对象的寻找效率,这时可以基于相似度对相似物品进行筛选,选出相似度最高的相似物品的位置信息生成对象提示信息。因此,作为一种可能的实现方式,基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:根据目标区域中所有相似物品与目标对象的相似度,排列出相似度前n个的相似物品,根据所述前n个的相似物品生成提示信息。其中,n根据实际情形进行设置,例如为5。
[0071]
实际应用中,为了满足提示相似物品更多信息的需求,作为一种可能的实现方式,基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:基于所述至少一个相似物品的位置信息及包含所述至少一个相似物品的图像,生成对象提示信息。
[0072]
可以理解的是,提示相似物品的图像可以使得用户更为直观地判断相似物品是否为所要寻找的目标对象。
[0073]
此外,提示相似物品的图像还可以帮助更加形象地刻画相似物品的位置特征,即使相似物品在人眼难以观察到的区域,用户也能够很好地感知相似物品的位置。
[0074]
例如,用户所要寻找的杯子,杯子的采集位置为卧室某一处,基于该采集位置,用户可能不清楚杯子所在位置。基于包括相似物品的图像,用户可以很清楚地获知杯子所在位置。
[0075]
在一些实施例中,在生成对象提示信息之后,输出对象提示信息,以提示用户可以去所提示的相似物品的位置寻找目标对象。对象提示信息可以由移动机器人输出,也可以
用户端输出。
[0076]
其中,移动机器人输出对象提示信息的方式不作限制。例如,移动机器人语音播报对象提示信息,或者,移动机器人在其显示面板中显示对象提示信息,或者,移动机器人以发出光信号的方式进行信息提示。
[0077]
其中,用户端输出对象提示信息的方式不作限制。例如,用户端语音播报对象提示信息,或者,用户端在其显示面板中显示对象提示信息。
[0078]
需要指出的是,移动机器人语音播报对象提示信息时,语音播报内容不做限制,例如对是否包括相似物品的的位置信息不做限制。例如,语音播报内容为“滴滴”或者“已找到相似物品”,用户在听到语音播报内容,跟随声源寻找移动机器人便可找到相似物品。
[0079]
在一些实施例中,还可以响应于用户针对所述至少一个相似物品的选择操作,将被选择的相似物品的位置信息进行保存。
[0080]
在物品寻找场景中,若用户多次丢失某个物品,统计历史保存的丢失位置分析易丢失位置,提示用户去易丢失位置寻找丢失物品。因此,需要支持用户选择相似物品的位置信息进行保存以便后续分析。
[0081]
在一些实施例中,在获取包含目标对象的对象图像之前,还可以接收针对所述目标对象的寻找请求;查找历史保存的易丢失位置,所述易丢失位置为历史保存的丢失位置中出现次数最多的位置;基于该易丢失位置生成寻找提示信息;输出所述寻找提示信息。
[0082]
实际应用中,移动机器人在确定用户存在针对目标对象的寻找需求时,可以先提示用户在易丢失位置寻找,在用户没有在易丢失位置寻找到目标对象时,再执行获取包含目标对象的对象图像的步骤。其中,寻找提示信息用于提示用户目标对象的易丢失位置。易丢失位置是对历史保存的相似物品的位置信息分析得到的。其中,寻找请求可以是用户端响应于用户寻找操作生成。用户端通过向移动机器人发送寻找请求实现远程启动移动机器人。
[0083]
本实施例中,通过获取待寻找的目标对象的对象图像,控制移动机器人在目标区域移动并进行图像采集;确定采集图像中是否存在与目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于至少一个相似物品的位置信息,生成对象提示信息。该对象提示信息即可以用于提示用户目标对象所在位置等。利用移动机器人即可以有效实现对象寻找,丰富了移动机器人功能,提高了移动机器人利用率。
[0084]
实际应用中,当拍摄距离从远到近时,采集对象在采集图像中的图像尺寸越来越大。例如,在拍摄距离较远时,采集图像中包括整个采集对象,在拍摄距离较近时,采集图像中包括局部的采集对象。因此,移动机器人从远至近对采集对象进行图像采集时,采集对象在采集图像中的图像尺寸越来越大,采集图像与包含目标对象的对象图像的相似度越来越大,直至采集对象在采集图像中的图像尺寸与对象图像的尺寸接近时,采集图像与对象图像的相似度最大。若继续靠近采集对象进行图像采集,使得采集对象在采集图像中的图像尺寸大于对象图像的尺寸,这时采集图像与对象图像的相似度越来越小。
[0085]
在一些实施例中,可以设置第一相似度条件和第二相似度条件来控制移动机器人的图像采集工作。其中,第一相似度条件的标准高于第二相似度条件的标准。可以理解的是,移动机器人的采集图像中采集对象与目标对象的相似度满足第二相似度条件时,采集
对象与目标对象的相似度不一定满足第一相似度条件时。但是,移动机器人的采集图像中采集对象与目标对象的相似度满足第一相似度条件时,采集对象与目标对象的相似度一定满足第二相似度条件。例如,第一相似度条件为相似度大于第一相似度阈值,第一相似度阈值例如设置为0.95。第二相似度条件为相似度大于第二相似度阈值,第二相似度阈值例如设置为0.5。
[0086]
作为一种可能的实现方式,在确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品之前,还可以获取进行图像采集获得的视频流中的图像帧;确定所述图像帧是否存在与所述目标对象的相似度满足第二相似度条件的相似物品;若存在,则转动摄像机使得所述相似物品处于摄像机视野的中心位置,然后向所述相似物品方向移动继续进行图像采集直至找到所述相似物品与目标对象最大相似度的位置;判断所述最大相似度是否满足第一相似度条件。
[0087]
具体的,在移动机器人采集到的图像帧中存在与目标对象的相似度满足第二相似度条件的相似物品时,为了更为准确地满足第二相似度条件的相似物品是否为目标对象,可以调整移动机器人的摄像机视野与相似物品的相对位置,例如可以使得相似物品处于摄像机视野的中心位置。当相似物品处于摄像机视野的中心位置时,可以采集到包括相似物品的更多的正面特征的正面图像,基于正面图像可以更为准确地识别候相似物品是否为目标对象。
[0088]
沿用第一相似度阈值为0.95、第二相似条件为0.5的举例,移动机器人在获取到包括目标对象的对象图像之后,按照移动路线在目标区域移动并进行图像采集;若采集到当前图像帧与对象图像的相似度大于0.5,则移动机器人判断当前图像帧中采集到了目标对象的相似物品;为了进一步甄别是否采集到了目标对象的相似物品,则转动摄像机使得所述相似物品处于摄像机视野的中心位置,然后向所述相似物品方向移动继续进行图像采集直至找到所述相似物品与目标对象最大相似度的位置,若相似物品与目标对象最大相似度满足第一相似度条件,确定采集图像中采集到了相似物品。若相似物品与目标对象最大相似度不满足第一相似度条件,继续在目标区域移动并进行图像采集。
[0089]
可以理解的是,由于拍摄距离从远至近,移动机器人采集的图像帧与对象图像的相似度的变化趋势可能是先上升后下降的趋势。因此,当对象图像与当前图像帧的相似度大于对象图像与前一帧图像帧的相似度,说明移动机器人尚未到达相似物品所在位置,继续控制移动机器人向相似物品方向移动并进行图像采集;反之,当对象图像与当前图像帧的相似度不大于对象图像与前一帧图像帧的相似度,说明移动机器人已到达相似物品所在位置,前一帧图像帧的采集位置为相似物品与目标对象最大相似度的位置,这时可以不再控制移动机器人向相似物品方向移动并进行图像采集。此外,如果移动机器人采集的图像帧与对象图像的相似度的变化趋势可能是下降的趋势,说明图像帧中的物品与对象图像不相似。
[0090]
实际应用中,可能需要遍历完整个目标区域,才能准确找出与目标对象最相似的物品。因此,在一些实施例中,在所述图像帧中找出所有与所述目标对象的最大相似度满足第一相似度条件的相似物品后,或者在所述图像帧中没有找出与所述目标对象的相似度满足第二相似度条件的相似物品后,继续在所述目标区域中移动并进行图像采集。
[0091]
在本技术的一些实施例中,在目标检测的过程中,可以计算采集图像与对象图像
的相似度,也即计算采集图像包含的物体与目标对象的相似度;还可以确定采集图像包含的物体在采集图像中的位置;以及还可以确定采集图像包含的物体的尺寸大小。
[0092]
需要指出的是,在训练目标检测器时,可以准备多个目标物的训练数据,每个目标物的训练数据为大量的标记了目标物的边界框的图像,利用多个目标物的训练数据进行训练,得到目标检测器。训练好的目标检测器应用时,不仅可以检测训练过的目标物,没有训练过的目标物也可以检测。
[0093]
图3示出了本技术实施例的目标检测器在一个实际应用中的模型结构图。
[0094]
如图3所示,目标检测器可以包括特征提取器、分类器、状态估计器等。图3中的对象图像作为目标对象的模板图像,移动机器人当前采集的采集图像可以理解为搜索其是否包括目标对象的搜索图像。
[0095]
可选的,目标检测器是基于全卷积孪生网络类的目标跟踪算法创建的模型。该目标检测器用卷积神经网络构造,利用相似性学习来解决跟踪问题,在线跟踪时不进行网络参更新。
[0096]
现有的目标检测器只能检测训练过的物品种类,无法检测未训练过的物品种类,且只能检测某一物品类别下的所有物体,没有区分性,无法满足用户对特定物品的搜索需求。参见图4,图4中要搜索的是目标杯子,现有的目标检测器的检测结果(图4中标记了三个杯子的边界框的图片部分)会输出三个杯子,即将属于杯子类的物品都作为检测结果。
[0097]
而本技术实施例提供的目标检测器能够检测未训练过的特定物品,不需要额外进行大规模的数据采集标注去训练目标检测器,对于任意物品能够快速学习其特征数据,并检测该物品。参见图4,图4中要搜索的是目标杯子,本技术实施例提供的目标检测器的检测结果(图4中只标记了一个杯子的边界框的图片部分)会输出目标杯子,即将特定的目标杯子作为检测结果。可以理解的是,目标检测器在训练阶段即使没有采用目标杯子的训练数据进行训练,仍然是可以对目标杯子进行检测。即目标检测器并不限制待检测的物品的类型,任意物品都可以进行检测,满足了用户对特定物品的搜索需求。
[0098]
可选的,特征提取器为基于全卷积的孪生网络。孪生网络包含两个分支网络,两个分支网络的结构相同,且两个分支网络的参数是共享的,即两个分支网络的参数是一致的。在图3中,孪生网络中的一个分支网络即第一特征提取网络用于提取对象图像的图像特征,孪生网络中的另一个分支网络即第二特征提取网络用于提取采集图像的图像特征。其中,对象图像定义为z,采集图像定义为x。共享参数的孪生网络对输入z和x执行相同的变换,映射到同一个特征空间,提取更高级的高级特征用于后续的任务当中。其中,图3中标记的高级特征即特征提取器提取的图像特征。
[0099]
其中,对特征提取器输出的对象图像的图像特征和采集图像的图像特征进行卷积计算,得到特征图。其中,采用公式(1)进行卷积计算。
[0100]fi
(z,x)=ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0101]
其中,*表示卷积计算,卷积计算可以理解为互相关计算;
[0102]
φ(
·
)表示用于特征提取的孪生网络,ψi表示特定任务的卷积层且i定义为特定任务的种类,cls为目标跟踪分类任务,reg为目标状态估计任务。
[0103]
其中,分类器执行目标跟踪分类任务,即确定采集图像中的物体属于对象图像中的目标对象的概率,以及采集图像中物体在采集图像中图像位置。
[0104]
其中,对象图像与采集图像的相关运算结果即特征图ψ
cls
输入到图3中分类器。图3中圆形虚线框所包围的是分类器。
[0105]
具体的,分类器以特征图ψ
cls
为输入,将特征图中的每个像素对应的原图中的图像块分为正样本或者负样本,以及得到正样本的概率。具体的,特征图中的图像位置与原图(在本文中原图也即采集图像)中的图像位置有着对应的关系。假设特征图中的图像位置为(x,y),则映射到原图中的图像位置是其中s为特征提取器的步长,s例如为8。如果特征图的图像位置(x,y)映射到原图以后,正好落在原图中图像块对应的边界框内,则认为原图中与图像位置(x,y)对应的图像块是正样本,同时输出正样本的概率值p,否则原图中与图像位置(x,y)对应的图像块为负样本。
[0106]
其中,状态估计器用于执行目标状态估计任务,即准确定位采集图像中包含的物体在采集图像中边界框,并基于边界框估计该物体的尺寸大小。其中,对象图像与采集图像的相关运算结果即特征图ψ
reg
输入到图3中的状态估计器。
[0107]
具体的,状态估计器对特征图ψ
reg
中的每个像素输出一个用于回归目标的4维的偏移向量,用4维的偏移向量对原图中的边界框进行微调。假设4维的偏移向量为t
*
=(l
*
,t
*
,r
*
,b
*
),因此,对于特征图ψ
reg
中的图像位置(x,y),其回归目标为:
[0108][0109]
其中,(x0,y0)和(x1,y1)分别为原图中与位置点(x,y)对应的边界框b
*
的左上角坐标和右下角坐标。
[0110]
实际应用中,由于分类置信度往往和定位准确性没有很强的相关性,直接使用分类器输出的相似度选择原图中的边界框,会降低定位的准确性。
[0111]
根据子窗口中心周围的输入像素在相应的输出特征像素上的重要性将高于其余周围像素这个原理,可以设计一个质量评估器,“质量评估器的输出pss”乘以“分类器输出的相似度”,得到最终的用于选择边界框的相似度。
[0112]
因此,可选的,目标检测器还包括质量评估器,质量评估器由与分类器相平行的1
×
1的卷积网络层组成。图3中分类器与质量评估器组成得分器,得分器的输入参数为分类器的输出结果和质量评估器的输出结果,得分器的输出结果为分类器的输出结果与质量评估器的输出结果的乘积。
[0113]
其中,质量评估器能够估计目标的先验空间得分,质量评估器的输出为:
[0114][0115]
其中,pss反映的是距离目标中心点越近的位置区域权重越大,反之分配的权重越小。
[0116]
因此,最终用于选择边界框的相似度是分类器输出的相似度与对应的pss相乘得到。以这种方式选择边界框,可以使得远离目标中心位置的边界框的权重被降低,从而提升
目标跟踪精度。
[0117]
其中,为了提高目标检测器的性能,在训练目标检测器采用损失目标函数如下:
[0118][0119]
其中,针对1{
·
},如果{}内条件满足,则1{
·
}取值为1,否则1{
·
}取值为0;l
cls
使用的是用于二分类的交叉熵损失;l
quality
使用的是二分类交叉熵损失函数;l
reg
使用的是iou(intersection over union)损失函数;如果特征图中的位置(x,y)是正样本的话,分配为1,否则分配0。其中p
x,y
为分类器的预测输出结果,q
x,y
为得分器的预测输出结果,为得分器的期望输出结果,t
x,y
为状态估计器的预测输出结果,为状态估计器的期望输出结果,n定义为正样本的数量,λ是一个超参数,设为1。
[0120]
需要指出的是,目标检测器针对输入的每帧采集图像,能够输出与对象图像的相似度最大的边界框。如果最大相似度小于阈值t,则认为没有发现目标,也即认为采集图像中不包括对象图像中的目标对象,否则认为出现疑似目标。阈值t根据实际情形设置。
[0121]
目标检测器的工作原理是:首先采用特征提取器提取对象图像的图像特征;接着,利用滑动窗口从采集图像提取多个图像块,针对每个图像块,采用特征提取器提取该图像块的图像特征;接着,对对象图像的图像特征和图像块的图像特征进行卷积运算,得到特征图;将特征图输入到分类器中,以得到图像块与对象图像的相似度,以及图像块中物体在采集图像中的初始位置。同时,将特征图输入到状态估计器中,图像块中物体在采集图像中的初始位置进行调整,得到图像块中物体在采集图像中的目标位置,基于目标位置图像块中物体的尺寸大小。
[0122]
需要指出的是,目标检测器针对采集图像,能够确定每个图像块与对象图像的相似度分,以及每个图像块中物体在采集图像中的目标位置,每个图像块中物体的尺寸大小。但是,目标检测器可以只输出最大相似度的图像块的检测结果,最大相似度的图像块是采集图像中与对象图像最相似的图像区域。如果最大相似度小于阈值t,则认为没有发现目标,也即认为采集图像中不包括对象图像中的物体,否则认为出现疑似目标。阈值t根据实际情形设置。
[0123]
图5出了本技术实施例在一个实际应用中的滑窗相似度计算示意图。在图5中,对象图像为核桃的模板图像,采集图像为移动机器人采集到的当前图像帧。基于滑动窗口从采集图像依次提取图像块,针对每个图像块,计算每个图像块与对象图像的相似度。其中,第一图像块对应的相似度p=0.05,第二图像块对应的相似度p=0.06,
……
第n个图像块对应的相似p=0.98。第n个图像块对应的相似度p=0.98大于阈值t,这时,认为第n个图像块为与对象图像最相似的图像块,可以认为在采集图像发现了目标即核桃。同时,对核桃在采集图像中的位置进行微调,以提高对核桃的定位准确性。标记p=0.98的两张图片中,包围
核桃的矩形框一个较大,一个较小,较小的矩形框是对较大的矩形框微调得到的。较大的矩形框即为图像块对应的滑动窗口,教学的矩形框为微调后的滑动窗口。
[0124]
在使用目标检测器判断确定采集图像中是否存在与目标对象的相似度满足第一相似度条件的至少一个相似物品时,可以利用预设的滑动窗口从采集图像中提取图像块;将对象图像输入到孪生网络中的第一特征提取网络中,以提取对象图像的图像特征;针对任一个图像块,将该图像块输入到孪生网络中的第二特征提取网络中,以提取图像块的图像特征;将对象图像的图像特征与图像块的图像特征进行卷积计算,得到特征图;利用分类器对该特征图进行分类处理,得到图像块中的物体属于目标对象的概率,并将概率作为图像块与对象图像的相似度;从多个图像块分别与对象图像的相似度中选择最大相似度,作为对象图像与采集图像的相似度。若对象图像与采集图像的相似度满足第一相似度条件,说明采集图像中存在一个相似物品。若采集图像的数量有多个,则可以通过多个采集图像找出至少一个相似物品。
[0125]
可以理解的是,采集图像是移动机器人设置的摄像头视野范围内的图像数据,为了找到采集图像中与对象图像的相似区域,可以利用预设的滑动窗口依次从采集图像中提取对象图像的尺寸大小相当的图像块。具体应用时可以从采集图像的左上角区域开始提取图像块,利用滑动窗口提取图像块属于现有技术,在此不再赘述。其中,滑动窗口的尺寸大小与对象图像的尺寸大小相当。实际应用中,可以设置滑动窗口的尺寸大小比对象图像的尺寸大小稍微大。
[0126]
针对采用第一相似度条件和第二相似度条件控制移动机器人移动并图像采集的场景,可以获取包含目标对象的对象图像;在目标区域移动并进行图像采集;获取进行图像采集获得的视频流中的图像帧,通过目标检测器确定所述图像帧是否存在与所述目标对象的相似度满足第二相似度条件的相似物品,若存在,通过目标检测器确定与对象图像相似度最大的目标图像块在图像帧中的目标位置,根据该目标位置转动摄像机使得所述相似物品处于摄像机视野的中心位置,然后向所述相似物品方向移动继续进行图像采集直至找到所述相似物品与目标对象最大相似度的位置;判断所述最大相似度是否满足第一相似度条件,若满足第一相似度条件,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0127]
在一种可选实现方式中,目标检测器确定与对象图像相似度最大的目标图像块在图像帧中的目标位置具体是:根据与目标图像块对应的滑动窗口位置,确定目标图像块在图像帧中的初始位置;利用状态估计器对初始位置进行调整,以得到目标图像块在图像帧中的目标位置。
[0128]
图6示出了本技术实施例提供的一种信息处理方法又一个实施例的流程图。图6所示的信息处理方法由用户端执行。
[0129]
参见图6,该方法可以包括以下几个步骤:
[0130]
601:获取包含目标对象的对象图像。
[0131]
其中,客户端可以接收用户上传的对象图像,也可以输出图像库中的图像,供用户选择确定对象图像等。关于获取对象图像的更多介绍可以参见上述实施例。
[0132]
602:基于对象图像,向移动机器人发送寻找指令,以控制移动机器人在目标区域移动并进行图像采集。
[0133]
其中,寻找指令可以是用户端响应于用户寻找操作生成。通过寻找指令移动机器人在目标区域移动并进行图像采集的更多介绍可以参见上述实施例。
[0134]
603:获取移动机器人发送的对象提示信息。
[0135]
其中,对象提示信息为移动机器人通过确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息生成。
[0136]
其中,移动机器人生成对象提示信息的更多介绍可以参见上述实施例。
[0137]
604:输出对象提示信息。
[0138]
其中,用户端输出对象提示信息的方式不作限制。例如,用户端语音播报对象提示信息,或者,用户端在其显示面板中显示对象提示信息。
[0139]
本实施例中,用户通过用户端控制移动机器人生成对象提示信息,以及通过用户端输出对象提示信息。该对象提示信息即可以用于提示用户目标对象所在位置等。利用移动机器人即可以有效实现对象寻找,丰富了移动机器人功能,提高了移动机器人利用率。
[0140]
本技术实施例的技术方案可以适用于不同类型的能够满足确定目标对象位置的需求的移动机器人中。为了便于理解,以用户通过手机客户端远程启动扫地机器人寻找物品的场景为例进行说明。
[0141]
首先,用户通过手机客户端向扫地机器人发送寻找指令,寻找指令包括目标对象的对象图像和搜索区域。
[0142]
其中,用户可以打开图像库,从图像库中选择目标对象的对象图像。当然,图像库没有目标对象的对象图像时,手机客户端接收用户上传的目标对象的对象图像。
[0143]
其中,用户可以通过手机客户端选择搜索模式,搜索模式包括指定搜索区域模式和全屋搜索模式。在指定搜索区域模式下对指定的几个房间进行搜索,在全屋搜索模式下对全部的房间进行搜索。
[0144]
接着,扫地机器人解析寻找指令获取对象图像和搜索区域,并对搜索区域进行路径规划,以及根据规划的移动路线进行移动并在移动过程中进行图像采集。
[0145]
针对采集的每张采集图像,计算采集图像与对象图像的相似度。若相似度大于0.5,可以认为当前采集图像中存在相似物品。这时,转动扫地机器人使相似物品处于摄像机视野的中心位置,并控制扫地机器人朝着相似物品向前避障移动。同时,在朝着相似物品向前避障移动的过程中,继续进行图像采集。针对当前采集图像,判断当前采集图像对应的相似度是否大于前一帧采集图像对应的相似度,若否,说明扫地机器人所处的当前采集位置即为相似物品的位置,扫地机器人在当前采集位置拍摄相似物品的图像、记录当前采集位置以及记录相似物品与目标对象之间的相似度并保存。
[0146]
需要指出的是,若相似物品与目标对象之间的相似度大于0.95,可以认为发现了目标,即相似物品为目标对象,这时控制扫地机器人停止搜索。若相似物品与目标对象之间的相似度小于0.95,则控制扫地机器人继续搜索直至完成遍历整个搜索区域或者直至出现相似物品与目标对象之间的相似度大于0.95。
[0147]
需要指出的是,在扫地机器人停止搜索之后,还可以获取记录的采集位置以及相似物品与目标对象之间的相似度,以及向用户手机输出相似度最大5个采集位置及其采集图像供用户选择确认。
[0148]
图7示出了本技术实施例提供的一种信息处理装置一个实施例的结构示意图。
[0149]
参见图7,该信息处理装置可以包括:
[0150]
第一获取模块701,用于获取包含目标对象的对象图像;
[0151]
采集模块702,用于在目标区域移动并进行图像采集;
[0152]
处理模块703,用于确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品,若存在,则触发记录模块;
[0153]
记录模块704,用于记录所述至少一个相似物品的位置信息;
[0154]
生成模块705,用于基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0155]
在某些实施例中,采集模块702在目标区域移动并进行图像采集之前,还用于:
[0156]
获取目标区域信息,根据所述目标区域信息确定要进行查找的目标区域。
[0157]
在某些实施例中,采集模块702还用于:
[0158]
对所述目标区域进行路径规划,确定移动路线;
[0159]
按照所述移动路线在所述目标区域移动并进行图像采集。
[0160]
在某些实施例中,处理模块703确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品之前,还用于:
[0161]
获取进行图像采集获得的视频流中的图像帧;
[0162]
确定所述图像帧是否存在与所述目标对象的相似度满足第二相似度条件的相似物品;
[0163]
若存在,则转动摄像机使得所述相似物品处于摄像机视野的中心位置,然后向所述相似物品方向移动继续进行图像采集直至找到所述相似物品与目标对象最大相似度的位置;
[0164]
判断所述最大相似度是否满足第一相似度条件。
[0165]
在某些实施例中,处理模块703还用于:
[0166]
在所述图像帧中找出所有与所述目标对象的最大相似度满足第一相似度条件的相似物品后,或者在所述图像帧中没有找出与所述目标对象的相似度满足第二相似度条件的相似物品后,继续在所述目标区域中移动并进行图像采集。
[0167]
在某些实施例中,生成模块705基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:
[0168]
判断所述目标区域是否遍历完成;
[0169]
若是,基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0170]
在某些实施例中,生成模块705基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:
[0171]
根据目标区域中所有相似物品与目标对象的相似度,排列出相似度前n个的相似物品,根据所述前n个的相似物品生成提示信息。
[0172]
在某些实施例中,生成模块705基于所述至少一个相似物品的位置信息,生成对象提示信息具体是:
[0173]
基于所述至少一个相似物品的位置信息及包含所述至少一个相似物品的图像,生成对象提示信息;
[0174]
所述装置还包括:
[0175]
输出模块,输出所述对象提示信息。
[0176]
在某些实施例中,处理模块703还用于:
[0177]
响应于用户针对所述至少一个相似物品的选择操作,将被选择的相似物品的位置信息进行保存。
[0178]
在某些实施例中,处理模块703,在获取包含目标对象的对象图像之前,还用于:
[0179]
接收针对所述目标对象的寻找请求;
[0180]
查找历史保存的易丢失位置,所述易丢失位置为历史保存的丢失位置中出现次数最多的位置;
[0181]
基于该易丢失位置生成寻找提示信息;
[0182]
输出所述寻找提示信息。
[0183]
在某些实施例中,第一获取模块701获取包含目标对象的对象图像具体是:
[0184]
展示图像库中的图像;
[0185]
响应于用户选择操作,确定包含目标对象的对象图像。
[0186]
在某些实施例中,第一获取模块701获取包含目标对象的对象图像具体是:
[0187]
获取所述用户提供的图像作为对象图像。
[0188]
在某些实施例中,第一获取模块701还用于:
[0189]
将所述用户提供的图像保存到所述图像库中。
[0190]
图7的信息处理装置可以执行图1所示实施例的信息处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0191]
对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0192]
图8示出了本技术实施例提供的一种信息处理装置又一个实施例的结构示意图。
[0193]
参见图8,该信息处理装置可以包括:
[0194]
第二获取模块801,用于获取包含目标对象的对象图像;
[0195]
发送模块802,用于基于所述对象图像,向移动机器人发送寻找指令,以控制移动机器人在目标区域移动并进行图像采集;
[0196]
第二获取模块801,还用于获取移动机器人发送的对象提示信息;其中,对象提示信息为移动机器人通过确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;若存在,则记录所述至少一个相似物品的位置信息;基于所述至少一个相似物品的位置信息生成;
[0197]
输出模块803,用于输出所述对象提示信息。
[0198]
图8的信息处理装置可以执行图6所示实施例的信息处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0199]
对于上述实施例中的信息处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0200]
在一个可能的设计中,图7所示实施例的信息处理装置可以实现为信息处理设备,如图9所示,该信息处理设备可以包括存储组件901以及处理组件902;
[0201]
存储组件901存储一条或多条计算机指令,其中,一条或多条计算机指令供处理组件调用执行。
[0202]
处理组件902用于:
[0203]
获取包含目标对象的对象图像;
[0204]
在目标区域移动并进行图像采集;
[0205]
确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;
[0206]
若存在,则记录所述至少一个相似物品的位置信息;
[0207]
基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0208]
其中,处理组件902可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0209]
存储组件901被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0210]
此外,信息处理设备还可以包括显示组件,显示组件可以为电致发光(el)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
[0211]
当然,信息处理设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
[0212]
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
[0213]
通信组件被配置为便于信息处理设备和其他设备之间有线或无线方式的通信等。
[0214]
如在本文所使用的,“信息处理设备”可以是远程web服务器、服务器、计算机联网设备、芯片组、台式计算机、笔记本式计算机、工作站,或任何其他处理设备或者装备。
[0215]
其中,该信息处理设备可以为物理设备或者云计算平台提供的弹性计算主机等,此时信息处理设备即可以是指云服务器,上述处理组件、存储组件等可以是从云计算平台租用或购买的基础服务器资源。
[0216]
在一个可能的设计中,图7所示实施例的信息处理装置可以实现为机器人,如图10所示,该机器人可以包括采集组件1003、存储组件1001以及处理组件1002;
[0217]
存储组件1001存储一条或多条计算机指令,其中,一条或多条计算机指令供处理组件调用执行;
[0218]
所述处理组件1002用于:
[0219]
获取包含目标对象的对象图像;
[0220]
通过采集组件1003在目标区域移动并进行图像采集;
[0221]
确定采集图像中是否存在与所述目标对象的相似度满足第一相似度条件的至少一个相似物品;
[0222]
若存在,则记录所述至少一个相似物品的位置信息;
[0223]
基于所述至少一个相似物品的位置信息,生成对象提示信息。
[0224]
其中,处理组件1002可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0225]
存储组件1001被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0226]
此外,机器人还可以包括显示组件,显示组件可以为电致发光(el)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
[0227]
当然,机器人必然还可以包括其他部件,例如输入/输出接口、通信组件等。
[0228]
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
[0229]
通信组件被配置为便于信息处理设备和其他设备之间有线或无线方式的通信等。
[0230]
本技术实施例还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被计算机执行时可以实现上述图1或图6所示实施例的信息处理方法。
[0231]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0232]
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0233]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
[0234]
最后应说明的是:以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献