一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

机器人巡检方法、装置、存储介质及机器人与流程

2023-01-15 06:15:59 来源:中国专利 TAG:


1.本技术涉及人工智能技术领域,具体涉及一种机器人巡检方法、装置、存储介质及机器人。


背景技术:

2.在变电站、矿区、工厂等工业环境中,需要定期对工业环境中的设施进行巡检,从而保证设施的正常运转。
3.随着机器人的快速发展,考虑到工业环境的环境复杂度和巡检危险度。现如今,将机器人应用于工业环境中替代人工巡检。其中,机器人通过对其携带的巡检功能组件进行供电,以通过巡检功能组件对工业环境进行检测,进而执行巡检任务。
4.由于机器人巡检过程中依赖于巡检功能组件不间断地对工业环境进行检测,而巡检功能组件不间断工作会加剧机器人的电量消耗,进而影响机器人的续航能力。


技术实现要素:

5.本技术提供了一种机器人巡检方法、装置、存储介质及机器人,能够提升机器人的续航能力。
6.本技术提供的机器人巡检方法,机器人包括机器人本体和巡检功能组件,方法包括:
7.检测机器人在巡检过程中的巡检状态,巡检状态包括行进状态和停止状态;
8.在机器人由行进状态切换至停止状态时,启动巡检功能组件;以及
9.在机器人由停止状态切换至行进状态时,关闭巡检功能组件。
10.本技术提供的机器人巡检装置,包括:
11.状态检测模块,用于检测机器人在巡检过程中的巡检状态,巡检状态包括行进状态和停止状态;
12.供电模块,用于在机器人由行进状态切换至停止状态时,启动巡检功能组件;以及在机器人由停止状态切换至行进状态时,关闭巡检功能组件。
13.本技术提供的存储介质,其上存储有计算机程序,当计算机程序被处理器加载时执行如本技术提供的机器人巡检方法中的步骤。
14.本技术提供的机器人,包括处理器和存储器,存储器存有计算机程序,处理器通过加载计算机程序,用于执行本技术提供的机器人巡检方法中的步骤。
15.本技术中,通过检测机器人的巡检状态,以在机器人由行进状态切换至停止状态时,启动巡检功能组件,其中,巡检功能组件用于对当前场景进行巡检,以得到巡检数据,通过对该巡检数据进行分析能够确定出当前场景中存在的异常及其异常原因,由此,通过启动巡检功能组件能够辅助机器人完成巡检任务。另外,当机器人由停止状态切换至行进状态时,关闭巡检功能组件,在不影响机器人执行巡检任务的同时,还避免了因需对巡检功能组件进行供电造成的机器人的电量消耗,从而能够精准地控制巡检功能组件的启停,极大
程度地节省了巡检功能组件对机器人电量的耗用,从而提高了机器人的续航能力。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1为本技术实施例中提供的机器人巡检系统的示意图。
18.图2为本技术实施例提供的机器人巡检方法的流程示意图。
19.图3为机器人巡检方法的逻辑判断图。
20.图4为机器人巡检方法中机器人与巡检功能组件之间的交互流程示意图。
21.图5为机器人巡检方法中结合机器人的巡检状态和移动位置确定巡检功能组件启停的逻辑判断图。
22.图6为机器人巡检方法中基于声源巡检的流程示意图。
23.图7为机器人巡检方法中基于世界坐标系确定声源的当前位置的示意图。
24.图8为机器人巡检方法中成像距离的示意图。
25.图9为机器人巡检方法中确定机器人的移动路径的示意图。
26.图10为机器人巡检方法中确定机器人的移动路径的另一示意图。
27.图11为机器人巡检方法中通过外部设备控制声成像组件的示意图。
28.图12是本技术实施例提供的机器人巡检装置的结构框图。
29.图13是本技术实施例提供的机器人的结构框图。
具体实施方式
30.需要说明的是,本技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本技术具体实施例,其不应被视为限制本技术未在此详述的其他具体实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
31.本技术以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来,并不用于限定这些对象或操作之间存在着实际的顺序关系。在本技术实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
32.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
33.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学
习(machine learning,ml)技术,其中,深度学习(deep learning,dl)是机器学习中一个新的研究方向,它被引入机器学习以使其更接近于最初的目标,即人工智能。目前,深度学习主要应用在计算机视觉、自然语言处理等领域。
34.机器人(robot)是一种能够半自主或全自主工作的智能机器。机器人能够通过编程和自动控制来执行诸如作业或移动等任务。其中,机器人可按照用途划分为巡检机器人、娱乐机器人、扫地机器人等,机器人还可按照其形状进行名称的区分,比如机器狗、机器猫等。
35.本技术中,机器人通过设置的巡检功能组件在各种场景中执行巡检任务,其中,巡检功能组件具备声成像功能,或者具备视觉成像功能,或者同时兼具声成像功能和视觉成像功能。其中,声成像(acoustic imaging)是基于传声器阵列测量技术,通过测量一定空间内的声波到达各传声器的信号相位差异,依据相控阵原理确定声源的位置,测量声源的幅值,并以图像的方式显示声源在空间的分布,即取得空间声场分布云图-声像图,其中以图像的颜色和亮度代表强弱。
36.比如,在电力巡检场景中,机器人对供电设备的供电情况进行巡检,其中,电力巡检场景中的异常情况包括供电设备出现电晕、电痕、电弧等放电情况,以及供电线路出现漏电、起火、悬挂异物、仪表报数示警等异常情况。再比如,在隧道巡检场景中,机器人对隧道内部情况进行巡检,其中,隧道巡检场景中的异常情况包括隧道塌方、地表渗水等。又比如,在管道巡检场景中,机器人对管道的运输情况进行巡检,其中,管道巡检场景中的异常情况包括气体或液体泄露、阀门松动、管道内异物示警等。还比如,在工业巡检场景中,机器人对工业设备的运行情况以及工业环境进行巡检,其中,工业巡检场景中的异常情况包括工业设备故障示警、工业设备运行时发出异常响动、工业场景中起火或爆炸预警、噪声污染等。
37.本技术提供了一种机器人巡检方法、机器人巡检装置、存储介质以及机器人。其中,机器人巡检方法可由机器人执行。在机器人巡检过程中,通过对巡检功能组件的启停时机进行控制,减小机器人的电量消耗,利于提高机器人的续航能力。
38.将机器人所处的巡检场景称为当前场景。对于机器人通过使用巡检功能组件对当前场景进行巡检的场合,此处提供了一个机器人巡检系统,请参阅图1,图1为本技术实施例中提供的机器人巡检系统的示意图。该机器人巡检系统包括机器人和巡检功能组件,其中,机器人和巡检功能组件电连接,比如,两者通过导线连接,或者,两者通过磁感应供电。随着供电方式的推进,还会存在新的供电方式应用于本技术中,此处并不进行限定。
39.其中,机器人用于基于预设巡检路径行进或停止行进。该机器人还用于对巡检功能组件进行供电或断电、控制巡检功能组件的巡检功能启动或关闭。
40.巡检功能组件用于对当前场景进行巡检,得到当前场景的巡检数据。比如,巡检功能组件用于检测当前场景中分布的声源,并对声源的空间分布进行成像,以当前场景声像图的方式显示当前场景中声源的空间分布情况。再比如,巡检功能组件用于对当前场景进行拍摄,得到当前场景的当前场景视觉图像。又比如,巡检功能组件用于录制当前场景的巡检视频。可选地,巡检数据可以为当前场景声像图、当前场景视觉图像以及巡检视频中的一种或多种。
41.可选地,机器人巡检系统还包括外部设备,图1中以手机130作为外部设备,通过手机130能够对机器人本体110进行远程控制。而且,机器人本体110可将其获取的巡检数据发
送给手机130,手机130接收到此类巡检数据后将其呈现在对应应用程序界面中。其中,手机130与机器人本体110通信连接。
42.可选地,手机130还可与遥控手柄140连接,通过遥控手柄140对手机130加载的应用程序进行控制,从而远程控制机器人本体110。其中,遥控手柄140与手机130相连,其连接方式可为wifi连接、蓝牙连接、nfc连接等。
43.请参照图2,图2为本技术实施例提供的机器人巡检方法的流程示意图。如图2所示,本技术实施例提供的机器人巡检方法的流程可以如下:
44.在s210中,检测机器人在巡检过程中的巡检状态,巡检状态包括行进状态和停止状态。
45.其中,通过机器人自身的视觉定位、雷达定位以及控制指令等情况可对其自身的巡检状态进行检测,机器人的巡检状态包括行进状态和停止状态。其中,行进状态指的是机器人正常地移动,而停止状态指的是机器人停止行进的状态,包括机器人的静止状态、受到阻碍时的停滞状态以及机器人在原地移动的非行进状态等。可以理解地,凡是不属于行进状态的其它巡检状态均可归属于停止状态。
46.本实施例中,机器人在巡检过程中的移动方式包括滚轮移动、步行移动、爬行移动等,具体视机器人的驱动结构而定。
47.在s220中,在机器人由行进状态切换至停止状态时,启动巡检功能组件。
48.其中,巡检功能组件与机器人电连接,机器人为巡检功能组件供电,供电方式包括直接供电、间接供电以及无线供电等。
49.本实施例中,预先设定巡检功能组件默认关闭,在需要启动的时候通过机器人控制巡检功能组件启动。具体地,本实施例中是通过检测机器人的巡检状态,进而当机器人有行进状态切换至停止状态时,才控制巡检功能组件启动,以获取当前场景的当前场景巡检数据。提高了控制巡检功能组件启停的灵活性,使其能够根据机器人的实际巡检状态进行自动启停,能够准确地控制其启动或关闭的时机,在不影响机器人巡检的情况下,能够加大程度地节省了巡检功能组件对机器人的供电需求,从而节省了机器人的电量消耗,提高了机器人的续航能力。
50.在s230中,在机器人由停止状态切换至行进状态时,关闭巡检功能组件。
51.其中,当机器人由停止状态切换为行进状态时,即可关闭巡检功能组件,使得机器人行进过程中并不对巡检功能组件进行供电,从而节省机器人在巡检功能组件上的更多的电量消耗,提高了机器人的续航能力。再者,在机器人行进过程中,通过关闭巡检功能组件,并不通过巡检功能组件获取实时场景的巡检数据,也节省了对巡检数据的存储空间。此外,本技术通过判定机器人处于行进过程中时并不需要获取实时场景的巡检数据,仅在处于停止状态时才获取当前场景的巡检数据,以此,能够得到需要的巡检数据,实现了对巡检数据的筛选,提高了巡检数据的质量。
52.为此,请参阅图3,图3为机器人巡检方法的逻辑判断图。其中,在机器人执行巡检之前,默认关闭巡检功能组件,机器人在当前场景中行进时,机器人处于行进状态,通过判断机器人所处状态是否切换,若否,机器人依然处于行进状态,继续在当前场景中行进。若是,机器人所处状态由行进状态切换为停止状态,在机器人处于停止状态时,启动巡检功能组件,并通过巡检功能组件获取当前场景的巡检数据。之后,机器人还在行进过程中不断地
判断其是否由行进状态切换为停止状态,直至巡检完成,该判断流程结束。
53.在一可选的实施例中,启动巡检功能组件,包括:
54.发送超文本传输协议请求至巡检功能组件,超文本传输协议请求携带有功能启动参数,功能启用参数用于指示巡检功能组件启动其巡检功能。
55.其中,超文本传输协议请求也称http协议。机器人通过发送http协议给巡检功能组件,当巡检功能组件接收到该http协议之后,通过对http协议进行解析,以得到http协议携带的功能启动参数,进而使得巡检功能组件根据功能启动参数控制其相应的功能启动。其中,巡检功能组件包括声音检测功能、声成像功能和视觉成像功能中的一种或多种。当巡检功能组件仅具有声音检测功能时,巡检功能组件可以为麦克风、麦克风阵列、传声器阵列测量组件等,当巡检功能组件仅具有视觉成像功能时,巡检功能组件可以为摄像头、传感器等,当巡检功能组件兼具声音检测功能、声成像功能以及视觉成像功能时,巡检功能组件可为声成像组件。通过对功能启动参数进行设定,可启动巡检功能组件对应的功能。
56.其中,声音检测功能指示通过巡检功能组件,能够测量一定空间内的声波到达各传声器的信号相位差异,依据相控阵原理确定声源的位置,测量声源的幅值。
57.声成像功能指示通过巡检功能组件加载声成像算法,以图像的方式显示声源在空间的分布,其中,以图像的颜色和亮度代表强弱。
58.视觉成像功能指示通过巡检功能组件进行拍摄,得到图像或视频。
59.示例性地,在发送超文本传输协议之前,机器人可先对巡检功能组件进行供电。
60.在一可选的实施例中,关闭巡检功能组件,包括:
61.发送超文本传输协议请求至巡检功能组件,超文本传输协议请求携带有功能关闭参数,功能关闭参数用于指示巡检功能组件关闭其巡检功能。
62.其中,机器人通过发送http协议至巡检功能组件,以通过其携带的功能关闭参数控制巡检功能组件的全部或部分功能关闭。另外,在发送http协议至巡检功能组件之后,还可控制机器人停止对巡检功能组件进行供电。
63.在一可选的实施例中,在启动巡检功能组件之前,还包括:
64.发送启动信息至巡检功能组件,以启动巡检功能组件;
65.确定在预设时长内是否接收到从巡检功能组件返回的与启动信息对应的确认信息;
66.若是,则判定启动信息发送成功;
67.若否,则判定启动信息发送失败,重新发送启动信息至巡检功能组件。
68.同理,在关闭巡检功能组件之前,还包括:
69.发送关闭信息至巡检功能组件,以关闭巡检功能组件;
70.确定在预设时长内是否接收到从巡检功能组件返回的与关闭信息对应的确认信息;
71.若是,则判定关闭信息发送成功;
72.若否,则判定关闭信息发送失败,重新发送关闭信息至巡检功能组件。
73.为此,本技术实施例提供了机器人与巡检功能组件之间的交互流程示意图以解释本实施例提供的方案。请参阅4,图4为机器人巡检方法中机器人与巡检功能组件之间的交互流程示意图。图4中仅展示了关于启动信息的交互流程,关闭信息的交互流程与之类似,
此次不再赘述。
74.其中,机器人在当前场景中行进时,机器人处于行进状态,在此过程中,巡检功能组件默认关闭。
75.之后,当检测到机器人所处的状态切换时,机器人处于停止状态,机器人发送启动信息至巡检功能组件。同时,机器人能够获知其自身是否成功发送启动信息,若否,则重新发送启用信息至巡检功能组件。
76.当巡检功能组件接收到机器人发送的启动信息之后,启动巡检功能组件。同时,巡检功能组件能够获知其自身是否成功启动巡检功能组件,若否,则重新启动巡检功能组件;若是,则返回确认信息至机器人。其中,巡检功能组件还能够获知其自身是否成功返回确认信息至机器人,若否,则重新返回确认信息至机器人。
77.若机器人在预设时长内接收到确认信息,则判定巡检功能组件启动成功,可重新执行判断流程。若机器人在预设时长内未接收到确认信息,则判定巡检功能组件启动失败,则返回发送启动信息的步骤,以重新发送启动信息至巡检功能组件,以控制巡检功能组件启动。
78.本实施例中通过机器人和巡检功能组件相互确认其发送或接收的启动信息以及确认信息,以准确地识别机器人控制的巡检功能组件的启动或关闭与巡检功能组件的实际启动或关闭情况是否一致,若不一致时,能够及时地对巡检功能组件进行控制。以此,使得机器人与巡检功能组件的启动和关闭情形一致,能够更好地服务于巡检。
79.在一可选的实施例中,机器人基于预设巡检路径进行巡检;在机器人由行进状态切换至停止状态时,启动巡检功能组件,包括:
80.在机器人由行进状态切换至停止状态时,获取机器人的移动位置;
81.若移动位置在预设巡检路径中具有匹配的目标检测点,则启动巡检功能组件。
82.本实施例中,机器人按照预设巡检路径进行巡检,该预设巡检路径中具有至少一个检测点,通过判断机器人的移动位置是否处于检测点的位置,并在机器人处于某一检测点位置、且机器人处于停止状态时,才启动巡检功能组件,避免了由于误判机器人的巡检状态造成误触发巡检功能组件启动。其中,机器人所处的检测点称为目标检测点。
83.可以理解地,当机器人的移动位置不处于任意一个检测点位置时,则并不启动巡检功能组件,巡检功能组件依然保持默认的关闭状态。
84.具体地,请参阅图5,图5为机器人巡检方法中结合机器人的巡检状态和移动位置确定巡检功能组件启停的逻辑判断图。其中,巡检功能组件默认关闭,机器人在当前场景中行进时处于行进状态,当机器人所处状态切换时,机器人处于停止状态。之后,判断机器人是否处于目标检测点位置,若否,巡检功能组件默认关闭,若是,则启动巡检功能组件。
85.如上,上述的巡检功能组件可为声成像组件、相机、麦克风阵列等,当巡检功能组件为声成像组件时。在一可选的实施例中,巡检功能组件包括声成像组件该方法还包括:
86.在停止状态下,通过巡检功能组件获取当前场景的当前场景巡检图像,当前场景巡检图像包括当前场景的当前场景声像图和当前场景视觉图像。
87.在机器人处于停止状态时,机器人控制巡检功能组件启动,而巡检功能组件用于获取当前场景的当前场景巡检图像。具体地,巡检功能组件启动后通过对当前场景进行拍摄和声源检测,以得到当前场景的场景巡检图像,该场景巡检图像包括当前场景视觉图像
和当前场景声像图。其中,当前场景的当前场景声像图和当前场景视觉图像可本地存储,也可云端存储。
88.其中,通过对当前场景巡检图像进行分析,即可直观地了解到当前场景的实际情况,以及当前场景中的声源是否异常,以此,准确地分析出当前场景中的异常及其异常原因,进而便于及时地解决该异常,保障当前场景的运转秩序正常。
89.在一可选的实施例中,通过声成像组件获取当前场景的当前场景巡检图像,包括:
90.识别当前场景的环境参数;
91.根据环境参数,确定对当前场景的成像参数;
92.根据成像参数,通过声成像组件对当前场景进行声成像得到当前场景声像图,以及对当前场景进行视觉成像得到当前场景视觉图像;
93.融合当前场景声像图和当前场景视觉图像,得到当前场景的当前场景巡检图像。
94.其中,通过机器人识别当前场景的环境参数,以分析该当前场景中存在的遮挡物、需巡检事物、以及通行情况等,以确定当前场景中是否有适合对当前场景成像的位置,换言之,当前场景环境中是否有适合容置机器人的位置。本实施例中,对当前场景进行成像即为通过声成像组件获取当前场景的当前场景巡检图像。
95.示例性地,在机器人处于停止状态时,可连续对当前场景进行成像。也可按照成像参数非连续地对当前场景进行成像。具体地,可按照预设条件确定成像参数。该成像参数可包括成像视角、成像焦距等。当成像参数包括成像视角时,该预设条件包括:选择无遮挡物的成像视角、选择当前场景细节较多的成像视角、选择包含需巡检事物的成像视角。可以理解地,机器人的位置和姿态是可以变化的,当确定机器人对当前场景进行成像时的成像视角之后,即可通过改变其位置(改变后的位置为视为目标成像点)和姿态,使得以该成像视角得到当前场景巡检图像。
96.另外,当成像参数包括成像焦距时,该预设条件包括:选择仅包含需巡检事物的焦距,选择包含需巡检事物局部细节的焦距等。可以理解地,当确定出不同的成像焦距后,即可得到呈现不同大小需巡检事物的当前场景巡检图像。
97.可以理解地,当确定成像参数之后,可根据成像参数驱动机器人移动或调整其姿态,以对当前场景进行拍摄,得到质量高的当前场景巡检图像。
98.其中,当前场景巡检图像是通过当前场景声像图和当前场景视觉图像融合得到的,而该融合的步骤可通过声成像组件实施,也可通过机器人实施,此处并不进行限定,融合后的当前场景巡检图像能够显示当前场景中声源的空间分布,以及声源与当前场景中事物之间的位置关系,以此,便于根据当前场景巡检图像分析出声源的具体位置。
99.本技术实施例通过确定成像参数,继而根据成像参数对当前场景进行成像,能够提高成像质量,以便于通过当前场景巡检图像获取到更加丰富的信息,以对当前场景进行异常检测,提高了异常检测的准确度。
100.在一可选的实施例中,巡检功能组件为声成像组件,且机器人基于预设巡检路径进行巡检。启动声成像组件之后,该方法还包括:
101.响应于当前场景中的异常声音,暂停基于预设巡检路径的巡检;
102.通过声成像组件获取当前场景的当前场景视觉图像和当前场景声像图;
103.根据当前场景的当前场景视觉图像和当前场景声像图,确定异常声音对应声源的
当前位置;
104.根据当前位置,驱动机器人向声源移动;
105.通过声成像组件获取声源的声源巡检图像,声源巡检图像包括声源视觉图像和声源声像图;
106.关闭声成像组件,并恢复基于预设巡检路径的巡检。
107.本实施例中,机器人是基于预设巡检路径巡检的,在巡检过程中,若检测到异常声音,则机器人暂停基于预设巡检路径的巡检,从而根据声源进行巡检,当没有声源的时候,则恢复基于预设巡检路径的巡检。具体地,请参阅图6,图6为机器人巡检方法中基于声源巡检的流程示意图。通过声成像组件不断检测当前场景中是否存在异常声音,以当具有异常声音时,通过定位异常声音对应声源的当前位置,进而驱动机器人向声源移动。而在当前场景中没有异常声音时,则基于预设巡检路径巡检。其中,若机器人已经在某一声源附近,且对声源进行成像之后,若当前场景中没有新的异常声音对应的声源,则返回执行预设巡检路径,此处,返回指的是继续按照预设巡检路径进行自主导航,以续接之前中断的未执行的巡检路径。当然地,还可根据未执行的巡检路径与机器人的移动位置,对未执行的巡检路径进行优化,得到新的巡检路径,并驱动机器人按照新的巡检路径进行巡检。
108.其中,通过声成像组件采集机器人所处的当前场景中的声音,机器人通过对当前场景中的声音进行分析,以判别其是否为异常声音。在巡检场景中,异常声音可比如为噪音、设备异常响动、漏电声音等。
109.在本实施例中,可预先设置异常声音的频率或频段,进而判断采集的声音是否与预先设置的异常声音相匹配,若是,则确定该声音为异常声音。或者,还可将采集的声音输入预先训练好的神经网络模型中进行判别,以确定该声音是否为异常声音。可以理解地,确定当前场景中的声音是否为异常声音的方式有多种,此处不再列举。
110.当机器人确定出异常声音后,机器人获取通过声成像组件得到的当前场景的当前场景声像图和当前场景视觉图像,以根据两者确定当前场景中声源的当前位置。
111.示例性地,声成像组件还可在检测到异常声音时,才对当前场景进行成像,得到当前场景的场景巡检图像。可以理解地,当声成像组件能够检测到当前场景中分布的声源时,通过当前场景声像图才能显示声源,故而,在进一步示例中,还当检测到异常声音时,定位异常声音的方位,进而控制机器人朝向该方位后,再对当前场景进行成像,从而能够得到显示有声源的场景巡检图像。
112.其中,当前场景声像图显示了当前场景中声源的空间分布情况,当前场景视觉图像显示了当前场景中事物的空间分布情况,通过两者即可确定当前场景中声源与事物之间在空间分布上的关联关系,进而根据该关联关系确定声源相对于机器人的空间位置,其中,将声源相对于机器人的空间位置称为声源的当前位置。
113.之后,通过驱动机器人向声源移动,能够缩小机器人与声源之间的距离,从而实现机器人靠近声源对其进行检测,以识别声源的细节,能够提高对声源进行异常分析的准确度。
114.机器人通过控制声成像组件对声源进行成像,得到声源的声源巡检图像,其中,声源巡检图像包括的声源视觉图像显示了声源内容,声源视觉图像显示了声源的空间分布。其中,该声源巡检图像可为声源视觉图像和声源声像图融合或叠加前的图像,也可为融合
或叠加后的图像,而融合或叠加的处理可通过声成像组件实施,也可通过机器人实施,此处并不进行限定。
115.如上,本实施例中通过声成像组件获取声源的声源巡检图像之后,还关闭声成像组件,以恢复基于预设巡检路径的巡检,使得机器人在后续行进过程中,声成像组件处于关闭状态,以此,节省了机器人的电量消耗。
116.在一可选的实施例中,根据当前场景视觉图像和当前场景声像图,确定异常声音对应声源的当前位置,包括:
117.基于机器人所在位置构建世界坐标系;
118.根据当前场景视觉图像和当前场景声像图,确定声源在世界坐标系中的当前位置。
119.在本实施例中,通过构建世界坐标系描述声源的当前位置。请参阅图7,图7为机器人巡检方法中基于世界坐标系确定声源的当前位置的示意图。其中,世界坐标系为三轴空间坐标系,该世界坐标系以机器人所在位置为原点,在机器人移动过程中,原点保持不变。通过将当前场景视觉图像和当前场景声像图从图像坐标系变换到世界坐标系中,以得到声源在世界坐标系中的位置,其中,声源的当前位置以世界坐标系中的坐标值表示。
120.如图7所示,在世界坐标系中,机器人在以x-y轴形成的平面上移动,机器人在z轴上坐标表示其高度,而声源的高度和机器人的高度可不相同。
121.示例性地,以当前位置为参照驱动机器人移动指的是以声源的坐标值(三维空间坐标)为参照,驱动机器人在二维平面(世界坐标系的x-y平面)上移动。当然地,若机器人为无人机等不需依赖地面移动的智能机器,即指的是驱动机器人在空间中移动。
122.在一可选的实施例中,根据当前位置,驱动机器人向声源移动,包括:
123.获取当前场景的地图数据;
124.根据世界坐标系、地图数据以及当前位置,确定机器人的移动路径;
125.按照移动路径,驱动机器人向声源移动。
126.其中,地图数据可以展示环境、设施、障碍物等内容。当机器人获取到当前场景的地图数据之后,即可对该地图数据进行坐标系转换,以将其转换成世界坐标系下的场景地图。之后,根据世界坐标系下的场景地图和声源的当前位置,规划出一条或多条移动路径,其中,在规划时还可根据路面状况进行避障处理。在得到机器人的移动路径之后,机器人通过调整其移动方向在移动路径上移动,从而通过自动导航以向声源移动。
127.在一可选的实施例中,通过声成像组件获取声源的声源巡检图像之前,还包括:
128.确定对声源的成像距离,并关闭声成像组件;
129.通过声成像组件获取声源的声源巡检图像,包括:
130.若机器人与声源之间的实时距离达到成像距离,则启动声成像组件,并通过声成像组件获取声源的声源巡检图像。
131.在确定了成像距离之后,关闭声成像组件,并驱动机器人向声源移动,此时,机器人与声源之间的实时距离呈下降趋势,当实时距离等于或小于成像距离时,即可启动声成像组件以对声源进行成像。可以理解地,以声源为圆点,以成像距离为半径,即可在x-y平面上圈选出一个区域,该区域称为成像区域,而该成像区域上以及成像区域内的任意一个坐标点即可称为成像点。
132.可以理解地,确定成像区域的目的为指示机器人移动到该成像区域内的任意位置(包含成像区域的边缘)时,即可通过启动声成像组件以对声源进行成像,并不限定对声源成像的位置、视角、时刻等,能够更加灵活地对声源进行成像,以及更加准确地控制声成像组件的启停时机。
133.其中,成像距离指的是在机器人对声源进行成像的位置与声源之间的距离,该成像距离可为三维空间的直线距离,也可为x-y平面上的距离(即成像位置在x-y平面上的投影与声源在x-y平面上的投影之间的距离)。
134.请参阅图8,图8为机器人巡检方法中成像距离的示意图。以成像区域上的任意一个成像点为例,当机器人移动至该成像点时,机器人与声源之间的实时距离即为成像距离。图8(a)显示的成像距离为三维空间的直线距离,图8(b)显示的成像距离为x-y平面上的距离,其中,将声源的当前位置投影在x-y平面上得到投影坐标(图中以圆点表示),而该投影坐标与该成像点之间的距离即为成像距离。
135.示例性地,确定成像距离的方式有多种,比如,设定一个固定的成像距离。再比如,设定多个成像距离,以及设定成像距离与声源的当前位置之间的映射关系,进而根据声源的当前位置匹配一个目标成像距离,以当机器人与声源之间的实时距离小于或等于该目标成像距离时,对声源进行成像。再比如,还可通过用户自定义设定对声源的成像距离,或者通过预先训练好的神经网络模型预测出对声源的成像距离。由于确定成像距离的方式有多种,此处并不进行限定,可以理解地,凡是能够确定出成像距离的方式均可用于本技术实施例中,均属于本技术所要求的保护范围。
136.在一可选的实施例中,确定对声源的成像距离之后,还包括:
137.根据成像距离确定成像区域,并从成像区域中确定出目标成像点;
138.当机器人移动到目标成像点时,对声源进行成像,得到声源的声源巡检图像。
139.如上,根据成像距离可确定出一个成像区域,机器人可移动到成像区域内的任意一个成像点以对声源进行成像。本实施例中,提供了确定目标成像点的方案。
140.比如,将与声源的当前位置在x-y平面上投影重合的成像点作为目标成像点。再比如,根据声源的当前位置识别声源,进而获取该声源预设的目标成像点。又比如,根据机器人当前所处位置,将距离该位置最近的成像点作为目标成像点。还比如,结合当前场景,将成像视角较好的成像点作为目标成像点,其中,成像视角较好的依据包括:成像清晰、成像细节较多等。
141.可以理解地,目标成像点有一个或多个,当有多个时,机器人可逐一移动到各目标成像点以对声源进行成像。
142.本实施例中,通过从成像区域中确定出目标成像点,进而精准地驱动机器人移动到该目标成像点时才对声源进行成像,从而避免了需要持续地对声源进行成像,避免了产生较多无效的声源巡检图像,节省了机器人移动的电量消耗,声成像组件进行成像的电量消耗,也节省了对声源巡检图像的存储空间,以及节省了对声源的巡检时长,提高了巡检效率。
143.在一可选的实施例中,根据当前位置,驱动机器人向声源移动,包括:
144.若确定出多个声源各自的当前位置,则根据各声源的当前位置,确定机器人至各声源的待移动距离;
145.根据各声源的当前位置以及机器人至各声源的待移动距离,确定机器人的移动路径;
146.按照移动路径,驱动机器人逐一向各声源移动。
147.本实施例中,可先确定各声源的目标成像点,之后,将目标成像点与机器人之间的直线距离作为该目标成像点对应声源与机器人之间的待移动距离。当确定待移动距离之后,即可按照待移动距离的大小对待移动距离进行升序排列,根据升序顺序规划移动路径,其中,移动路径按照待移动距离由近及远进行规划,即规划好的移动路径指示机器人先移动到与其距离最近的目标成像点。
148.示例性地,在此基础上,还可结合地图数据和世界坐标系确定移动路径。具体地,根据各目标成像点与机器人在世界坐标系上的坐标,在场景地图上寻找机器人至目标成像点的路径,以将该路径称为机器人至各声源的待移动距离,其中,该路径为机器人能够在当前场景中移动且避障后的路径。
149.请参阅图9,图9为机器人巡检方法中确定机器人的移动路径的示意图。如图9所示,在世界坐标系中显示有场景地图、各声源的当前位置、机器人所处位置为原点、各声源的目标成像点(以一个声源有一个目标成像点为例)以及移动路径,当机器人通过调整其移动方向和姿态以按照移动路径进行移动过程中,每达到一个目标检测点,即可在该目标检测点对其对应的声源进行成像,得到该声源的声源巡检图像。
150.本实施例通过根据各目标检测点与机器人之间的待移动距离,由近及远地规划出移动路径,使得机器人顺序地对各声源进行成像,优化了机器人的移动路径,提高了机器人的巡检效率。
151.在一可选的实施例中,根据当前位置,驱动机器人向声源移动,包括:
152.若确定出多个声源各自的当前位置,则评估各声源的紧急程度;
153.根据各声源的当前位置和紧急程度,确定机器人的移动路径;
154.按照移动路径,驱动机器人逐一向各声源移动。
155.其中,根据各声源的异常声音或其属性即可确定其紧急程度。比如,若声源的声音体现了声源剧烈响动,则可确定该声源的紧急程度较高,若声源的声音体现了声源响动但不剧烈,则可确定该声源的紧急程度一般。再比如,若声源指示其为重要设备,该重要设备的紧急程度较高,若声源指示其为非重要设备,该非重要设备的紧急程度较低。可以理解地,评估声源的紧急程度的方式可为对声源的声音进行分析,也可为对声源的属性进行分析,进而根据分析结果从预设的紧急程度中匹配对应声源的紧急程度。
156.本实施例中,当识别出紧急程度之后,即可根据紧急程度对声源进行排序,将紧急程度最高的声源排序在前,进而如上述示例提及的方式,按照紧急程度的排序、各声源对应的目标成像点、场景地图等,规划出移动路径,进而驱动机器人按照移动路径移动至各目标检测点,以在各目标检测点对对应声源进行成像,得到各声源的声源巡检图像。
157.请参阅图10,图10为机器人巡检方法中确定机器人的移动路径的另一示意图。在世界坐标系中显示有场景地图、各声源的当前位置、机器人所处位置为原点、各声源的目标成像点(以一个声源有一个目标成像点为例)以及移动路径,当机器人通过调整其移动方向和姿态以按照移动路径进行移动过程中,通过逐次按照紧急程度移动到每个目标检测点,以先后得到紧急程度降低的声源的声源巡检图像,图10中,黑色星形的紧急程度最高,故
而,将黑色星形的目标检测点作为第一个成像点。
158.本实施例中,按照巡检路径移动以对声源进行成像的过程中,先得到紧急程度最较高的声源的声源巡检图像,以便于通过对该声源巡检图像进行分析,得到紧急程度最较高的声源的异常原因,以及时采取措施进行应对,能够及时地避免重大异常,或者极大程度地降低异常的影响。
159.可以理解地,还可综合各声源的紧急程度以及各声源与机器人之间的待移动距离,在规划移动路径时,先考虑紧急程度,将紧急程度最高的声源对应的目标成像点设置在移动路径最靠近起点的位置。而对于同一紧急程度的声源,则将与机器人之间待移动距离最近的声源对应的目标成像点设置在最靠近起点的位置。由此,可以对移动路径进行合理规划,一方面考虑到了在当前场景中巡检时的紧急情况,另一方面考虑到了机器人的移动次数的优化,能够更加合理地执行巡检任务。
160.在一可选的实施例中,该方法还包括:
161.在驱动机器人向声源移动过程中,按照预设周期交替地关闭和启动声成像组件;
162.在声成像组件启动期间,通过声成像组件获取实时场景的实时场景视觉图像和实时场景声像图;
163.根据实时场景的实时场景视觉图像和实时场景声像图,确定声源的实时位置;
164.根据实时位置,驱动机器人向声源移动。
165.在驱动机器人向声源移动过程中,机器人参照的移动路径是根据世界坐标系中声源的实时位置动态变化的,即移动路径是逐渐缩短的。当机器人移动时,机器人所处的实时场景是发送变化的,可在机器人移动过程中通过按照预设周期交替地关闭和启动声成像组件,以在声成像组件启动期间对实时场景进行成像,以得到实时场景的实时场景视觉图像和实时场景声像图,继而根据实时场景视觉图像和实时场景声像图确定声源的实时位置,当确定声源的实时位置之后,可在世界坐标系上显示声源的实时位置,并根据世界坐标系上的实时场景地图更新移动路径,从而使得机器人持续地自主导航。
166.可以理解地,当声源有多个时,可根据各声源的实时位置,以及世界坐标系以及地图数据,更新移动路径,使得机器人向各声源移动,进而对各声源进行成像,得到各声源的声源巡检图像。另外,通过按照预设周期交替地关闭和启动声成像组件,能够节省声成像组件在关闭期间对机器人电量的消耗。
167.在一可选的实施例中,该方法还包括:
168.将巡检功能组件的启停信息发送给外部设备;
169.响应于外部设备根据启停信息返回的控制指令,根据控制指令通过机器人控制巡检功能组件的启停。
170.请参阅图11,图11为机器人巡检方法中通过外部设备控制巡检功能组件的示意图。其中,以巡检功能组件为声成像组件为例,机器人先将声成像组件的启停信息发送给外部设备,启停信息能够指示声成像组件启动或关闭。外部设备可根据启停信息确定是否要更改声成像组件的启停状态,比如,若启停信息指示声成像组件启动,而用户通过外部设备需要控制声成像组件关闭时,通过外部设备发送控制指令至机器人,机器人通过执行控制指令以关闭声成像组件。
171.本实施例通过外部设备间接控制巡检功能组件,实现了外部设备与巡检功能组件
的之间的交互,提高了启停巡检功能组件的灵活性。
172.请参照图12,为更好的执行本技术所提供的机器人巡检方法,本技术进一步提供一种机器人巡检装置300,如图12所示,该机器人巡检装置300包括:
173.状态检测模块310,用于检测机器人在巡检过程中的巡检状态,巡检状态包括行进状态和停止状态;
174.供电模块320,用于在机器人由行进状态切换至停止状态时,启动巡检功能组件;以及在机器人由停止状态切换至行进状态时,关闭巡检功能组件。
175.在一可选的实施例中,供电模块320还用于:
176.发送超文本传输协议请求至巡检功能组件,超文本传输协议请求携带有功能启动参数,功能启用参数用于指示巡检功能组件启动巡检功能。
177.在一可选的实施例中,机器人基于预设巡检路径进行巡检,供电模块320还用于:
178.在机器人由行进状态切换至停止状态时,获取机器人的移动位置;
179.若移动位置在预设巡检路径中具有匹配的目标检测点,则启动巡检功能组件。
180.在一可选的实施例中,巡检功能组件为声成像组件;机器人巡检装置300还包括功能启用模块,用于:
181.在停止状态下,通过声成像组件获取当前场景的当前场景巡检图像,当前场景巡检图像包括当前场景的当前场景声像图和当前场景视觉图像。
182.在一可选的实施例中,功能启用模块还用于:
183.识别当前场景的环境参数;
184.根据环境参数,确定对当前场景的成像参数;
185.根据成像参数,通过声成像组件对当前场景进行声成像得到当前场景声像图,以及对当前场景进行视觉成像得到当前场景视觉图像;
186.融合当前场景声像图和当前场景视觉图像,得到当前场景的当前场景巡检图像。
187.在一可选的实施例中,功能启用模块还用于:
188.响应于当前场景中的异常声音,暂停基于预设巡检路径的巡检;
189.通过声成像组件获取当前场景的当前场景视觉图像和当前场景声像图;
190.根据当前场景的当前场景视觉图像和当前场景声像图,确定异常声音对应声源的当前位置;
191.根据当前位置,驱动机器人向声源移动;
192.通过声成像组件获取声源的声源巡检图像,声源巡检图像包括声源视觉图像和声源声像图;
193.供电模块还用于:
194.关闭声成像组件,并恢复基于预设巡检路径的巡检。
195.在一可选的实施例中,功能启用模块还用于:
196.若确定出多个声源各自的当前位置,则根据各声源的当前位置,确定机器人至各声源的待移动距离;
197.根据各声源的当前位置以及机器人至各声源的待移动距离,确定机器人的移动路径;
198.按照移动路径,驱动机器人逐一向各声源移动。
199.在一可选的实施例中,功能启用模块还用于:
200.若确定出多个声源各自的当前位置,则评估各声源的紧急程度;
201.根据各声源的当前位置和紧急程度,确定机器人的移动路径;
202.按照移动路径,驱动机器人逐一向各声源移动。
203.在一可选的实施例中,通过声成像组件获取声源的声源巡检图像之前,还包括:
204.确定对声源的成像距离,并关闭声成像组件;
205.通过声成像组件获取声源的声源巡检图像,包括:
206.若机器人与声源之间的实时距离达到成像距离,则启动声成像组件,并通过声成像组件获取声源的声源巡检图像。
207.在一可选的实施例中,供电模块320还用于:
208.在驱动机器人向声源移动过程中,按照预设周期交替地关闭和启动声成像组件;
209.功能启用模块还用于:
210.在声成像组件启动期间,通过声成像组件获取实时场景的实时场景视觉图像和实时场景声像图;
211.根据实时场景的实时场景视觉图像和实时场景声像图,确定声源的实时位置;
212.根据实时位置,驱动机器人向声源移动。
213.应当说明的是,本技术实施例提供的机器人巡检装置300与上文实施例中的机器人巡检方法属于同一构思,其具体实现过程详见以上相关实施例,此处不再赘述。
214.本技术实施例还提供一种机器人,包括机器人本体和巡检功能组件,其中,机器人本体包括存储器和处理器,其中处理器通过调用存储器中存储的计算机程序,用于执行本实施例提供的机器人巡检方法中的步骤。其中,该机器人的移动方式包括但不限于滚轮移动、步行移动、爬行移动等。
215.请参照图13,图13为本技术实施例提供的机器人本体110的结构示意图。
216.该机器人本体110可以包括网络接口150、存储器160、处理器170以及屏幕组件等部件。本领域技术人员可以理解,图13中示出的机器人本体110结构并不构成对机器人本体110的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
217.网络接口150可以用于进行设备之间的网络连接。
218.存储器160可用于存储计算机程序和数据。存储器160存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器170通过运行存储在存储器160的计算机程序,从而执行各种功能应用以及数据处理。
219.处理器170是机器人本体110的控制中心,利用各种接口和线路连接整个机器人本体110的各个部分,通过运行或执行存储在存储器160内的计算机程序,以及调用存储在存储器160内的数据,执行机器人本体110的各种功能和处理数据,从而对机器人本体110进行整体控制。
220.在本技术实施例中,机器人本体110中的处理器170会按照如下的指令,将一个或一个以上的计算机程序对应的可执行代码加载到存储器160中,并由处理器170来执行本技术提供的机器人巡检方法中的步骤,比如:
221.检测机器人在巡检过程中的巡检状态,巡检状态包括行进状态和停止状态;
222.在机器人由行进状态切换至停止状态时,启动巡检功能组件;
223.在机器人由停止状态切换至行进状态时,巡检功能组件。
224.另外,该机器人本体110还与巡检功能组件电连接,并控制巡检功能组件进行声源检测和/或拍摄,以及获取通过巡检功能组件得到的声像图和/或视觉图像。其中,巡检功能组件还可以为声成像组件。
225.尽管图13中未示出,机器人本体110还可以包括摄像头,摄像头用于对机器人所处的环境进行拍摄,或者进行场景识别。
226.机器人本体110还可以包括传感器、定位模块、通信模块等,在此不再赘述。
227.应当说明的是,本技术实施例提供的机器人与上文实施例中的机器人巡检方法属于同一构思,其具体实现过程详见以上相关实施例,此处不再赘述。
228.本技术还提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在本技术实施例提供的机器人的处理器上执行时,使得机器人的处理器执行以上任一适于机器人的机器人巡检方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(read only memory,rom)或者随机存取器(random access memory,ram)等。
229.以上对本技术所提供的一种机器人巡检方法、装置、存储介质及机器人进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本技术的限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献