用于监督关节的方法和多体系统与流程

1.本文件公开了一种方法和多体系统。更具体地，描述了用于监督多体系统中的关节的功能性的方法和多体系统。


背景技术：

2.一些具有移动部件的机器、(自动)车辆和/或机器人可在没有人工监督的情况下运行，或者至少在没有持续人工监督的情况下运行。情况可能如此，尤其是在恶劣或多尘环境，如在矿山、地下、交通、农业环境等中工作的机器。
3.这些具有移动部件/主体区段的机器，如机器人，可称为多体系统。多体系统包括经由关节组装的至少两个主体区段，其中两个主体区段可经由关节相对于彼此移动。
4.这类机器在没有持续监督的情况下运行的一个问题是，要知道机器是正常工作还是由于一些意外事件而发生故障。另一个问题是预测何时执行维修/维护。
5.对于在农业环境中运行的机器，例如挤奶机器人，这些问题可能特别严重，因为挤奶机器人在活物之间运行，这可能导致意外问题，因为动物可能撞击或以其它方式影响机器。
6.希望开发一种解决方案来解决这些与具有移动区段的多体系统相关的问题。


技术实现要素：

7.因此，本文公开的实施例的目的是监督多体系统的移动并检测多体系统的故障。
8.根据第一方面，该目的通过一种多体系统的方法来实现，该多体系统包括经由关节组装的两个主体区段，其中主体区段中的一个包括可在第一位置和第二位置之间移动的相机。该方法包括用位于第一位置的相机检测参考对象。另外，该方法包括确定参考对象的参考值。该方法此外包括请求相机从第一位置到第二位置的移动。该方法还包括启动相机从第一位置向第二位置的移动。在移动期间，会进行动作的连续迭代，如对参考对象的图像进行采样，基于采样的图像确定参考对象的当前对象值，并且将确定的参考值与当前对象值进行匹配。该方法还包括基于匹配确定请求的相机从第一位置到第二位置的移动的成功性。
9.据此，多体系统的移动区段的功能性受到监控，并且可确定移动区段是否按预期运行或需要维护/人工检查。需要人工检查/维护的一些指示可能是，当比较结果是根本没有检测到移动时，或者当相机由于例如污垢或干预障碍物而从未到达第二位置时。
10.在根据第一方面的方法的第一种可能的实施方式中，该方法附加地包括基于确定的相机移动的成功性来确定多体系统的状态。该方法另外可包括输出确定的状态。
11.例如在一些任何实施例中，可向用户输出状态，例如颜色代码(绿色/黄色/红色)、例如1-10之间的等级、快乐/悲伤/恐慌/愤怒的化身。因此，用户可立即了解多体系统的状态，并且可采取适当的措施。
12.状态输出还可，或者另选地在已测量移动时间并与参考值进行比较的实施例中，
包括到接近维护时刻的估计时间。据此，当检测到随时间的延迟时，可执行维修和维护措施。
13.在根据第一方面的方法的第二种可能的实施方式或其第一实施方式中，该方法可包括测量从第一位置到第二位置的相机移动的时间。该方法另外可包括将测量时间与参考时间限制进行比较。此外，该方法还可包括当测量时间超过参考时间达阈值限制时触发维护措施。
14.通过测量完成移动到第二位置的时间，并且将其与参考值进行比较，检测到随时间的延迟，并且基于此，可怀疑(轴承和其它类似移动部件/区段的)随时间的磨损，并且可触发维修措施，如在最佳时间进行润滑和/或更换。据此，由于可避免多体系统由于磨损而发生的机械故障，因此增强了安全性。避免或至少减少紧急停车和延误。
15.在根据第一方面的方法的第三种可能实施方式或其任何实施方式中，该方法还可包括基于存储的确定的相机移动的成功性来确定相机移动的成功率。该方法还可包括将确定的成功率与参考值进行比较。此外，该方法还可包括当确定的成功率低于参考值时触发维护措施。
16.由于所公开的解决方案，农民/操作员可诊断和识别具有高运行阻力的多体系统的机械区段，从而能够对其进行更换或维修维护措施。
17.在根据第一方面的方法的第四种可能的实施方式或其任何实施方式中，确定的参考对象的参考值可包括多体系统的参考点和参考对象的位置之间的参考向量，其中相机位于第一位置。而且，确定的参考对象的当前对象值可基于采样图像包括多体系统的参考点和采样图像中的参考对象之间的对象向量。可通过参考向量和对象向量之间的长度比较来进行匹配。
18.通过分别计算参考向量和对象向量，并且使用它们进行匹配，提供了一种易于实施的方法。
19.在根据第一方面的第四种实施方式的方法的第五种可能的实施方式中，该方法还可包括估计参考向量和对象向量之间的角度。而且，当确定的参考向量和确定的对象向量之间的估计角度近似为零时，可确定相机从第一位置到第二位置的移动成功；或者，当确定的参考向量和确定的对象向量之间的估计角度除了参考限制之外还不同于零时不成功；或者未经确认，以其它方式。
20.通过分别计算参考向量和对象向量并在主体区段和相机的移动期间计算它们之间的角度，可跟踪移动的进程，并且例如绘制在图表中，由此可对移动进行分析。
21.在根据第一方面的方法的第六种可能的实施方式或其第一、第二或第三实施方式中的任一种中，确定的参考对象的参考值和参考对象的当前对象值包括坐标，从而定义参考对象的位置。
22.通过确定参考值的参考对象坐标并在相机的移动期间将其与当前对象坐标进行比较，提供了用于确定移动是否已成功终止的可靠方法。坐标可为绝对的，也可为相对的，例如相对于相机位置。
23.在根据第一方面的方法的第七种可能的实施方式或其任何实施方式中，可用位于第一位置的相机检测多个参考对象。另外，可在采样图像中捕获多个参考对象。匹配还可包括将参考值与当前对象值映射。
24.在多体系统在动物的挤奶情况下运行的场景中，动物典型地包括四个乳头。动物的自动挤奶典型地通过能够检测到尽可能多的四个乳头来促进，为什么使用乳头作为相机的参考对象是一个优势，因为快速检测乳头将促进挤奶。
25.在根据第一方面的方法的第八种可能的实施方式或其先前实施方式中的至少一些中，该方法还可包括当请求的移动和相机从第一位置开始移动之间的测量时间段超过启动参考时间限制达阈值限制时触发维护措施。
26.通过测量从请求到移动终止的时间消耗，多体系统能力随时间的恶化(由于磨损、缺乏清洁、润滑和/或其它服务措施)可很容易地测量，当达到启动参考时间限制时，可触发维修措施，从而使多体系统具有可靠的功能性。
27.在根据第一方面的方法的第九种可能的实施方式或其任何实施方式中，参考对象可包括动物的可移动身体部位，如动物的乳头。
28.根据本发明的第二方面，该目的通过多体系统实现。多体系统包括经由关节组装的两个主体区段，其中主体区段中的一个包括可在第一位置和第二位置之间移动的相机。多体系统包括控制单元，该控制单元被配置为经由位于第一位置的相机检测参考对象。控制单元还被配置为确定参考对象的参考值。此外，控制单元另外被配置为请求相机从第一位置到第二位置的移动。控制单元被配置为启动相机从第一位置向第二位置的移动，同时迭代地对参考对象的图像进行采样；基于采样图像确定参考对象的当前对象值；将确定的参考值与当前对象值相匹配。另外，控制单元被配置为基于匹配确定相机从第一位置到第二位置的移动的成功性。
29.据此，多体系统的主体区段的功能性受到监控，并且可确定主体区段是否按预期运行或需要维护/人工检查。
30.在根据第二方面的多体系统的第一种可能的实施方式中，控制单元还可被配置为基于确定的相机移动的成功性来确定多体系统的状态。控制单元另外可被配置为输出确定的状态。
31.例如在一些任何实施例中，可向用户输出状态，例如颜色代码(绿色/黄色/红色)、例如1-10之间的等级、快乐/悲伤的化身。因此，用户可立即了解多体系统的状态，并且可采取适当的措施。
32.状态输出还可，或者另选地在已测量移动时间并与参考值进行比较的实施例中，包括到接近维护时刻的估计时间。据此，当检测到随时间的延迟时，可执行维修和维护措施。
33.在根据第二方面的多体系统的第二可能实施方式或其任何实施方式中，控制单元可被配置为测量从第一位置到第二位置的相机移动的时间。另外，控制单元还可被配置为将测量时间与参考时间限制进行比较。而且，控制单元可被配置为当测量时间超过参考时间达阈值限制时触发维护措施。
34.通过测量完成移动到第二位置的时间，并且将其与参考值进行比较，检测到随时间的延迟，并且基于此，可怀疑(轴承和其它类似移动部件/区段的)随时间的磨损，并且可触发维修措施，如在最佳时间进行润滑和/或更换。据此，由于可避免多体系统由于磨损而发生的机械故障，因此增强了安全性。避免或至少减少紧急停车和延误。
35.在根据第二方面的多体系统的第三种可能的实施方式或其任何实施方式中，控制
单元可被配置为基于存储的确定的相机移动的成功性来确定相机移动的成功率。另外，控制单元可被配置为将确定的成功率与参考值进行比较。控制单元还可被配置为当确定的成功率低于参考值时触发维护措施。
36.由于所公开的解决方案，农民/操作员可诊断和识别具有高运行阻力的多体系统的机械区段，从而能够对其进行更换或维修维护措施。
37.在根据第二方面的多体系统的第四种可能实施方式或其任何实施方式中，控制单元可被配置为确定多体系统的参考点与参考对象的位置之间的参考向量，其中相机位于第一位置。另外，控制单元还可被配置为确定多体系统的参考点和采样图像中的参考对象之间的对象向量。附加地，控制单元可被配置为通过参考向量和对象向量之间的长度比较将确定的参考值与当前对象值匹配。
38.通过分别计算参考向量和对象向量，并且使用它们进行匹配，提供了一种易于实施的方法。
39.在根据第二方面的多体系统的第五种可能实施方式或其任何实施方式中，控制单元可被配置为估计参考向量和对象向量之间的角度。另外，控制单元还可被配置为当确定的参考向量和确定的对象向量之间的估计角度近似为零时，确定相机从第一位置到第二位置的移动成功。控制单元还可被配置为当确定的参考向量和确定的对象向量之间的估计角度除了参考限制之外还不同于零时，确定相机从第一位置到第二位置的移动不成功。控制单元还可被配置为确定相机从第一位置到第二位置的移动未经确认，以其它方式。
40.通过分别计算参考向量和对象向量并在主体区段和相机的移动期间计算它们之间的角度，可跟踪移动的进程，并且例如绘制在图表中，由此可对移动进行分析。
41.在根据第二方面的多体系统的第六种可能的实施方式或其至少一些实施方式中，控制单元可被配置为确定坐标形式的参考值，从而定义参考对象的位置。而且，控制单元可被配置为确定呈坐标形式的当前对象值，从而定义参考对象在采样图像中的位置。另外，控制单元可附加地被配置为通过参考对象的坐标之间的比较将确定的参考值与当前对象值匹配。
42.通过确定参考值的参考对象坐标并在相机移动期间将其与当前对象坐标进行比较，提供了用于确定移动是否已成功终止的可靠方法。坐标可为绝对的，也可为相对的，例如相对于相机位置。
43.在根据第二方面的多体系统的第七种可能的实施方式或其任何实施方式中，控制单元可被配置为在相机位于第一位置的情况下检测多个参考对象。另外，控制单元还可被配置为在采样图像中捕获多个参考对象。而且，控制单元可被配置为通过将参考值与当前对象值映射来执行匹配。
44.在多体系统在动物的挤奶情况下运行的场景中，动物典型地包括四个乳头。动物的自动挤奶典型地通过能够检测到尽可能多的四个乳头来促进，为什么使用乳头作为相机的参考对象是一个优势，因为快速检测乳头将促进挤奶。
45.在根据第二方面的多体系统的第八种可能的实施方式或其任何实施方式中，控制单元可被配置为当请求的移动和相机从第一位置开始移动之间的测量时间段超过启动参考时间限制达阈值限制时触发维护措施。
46.通过测量从请求到移动终止的时间消耗，多体系统能力随时间的恶化(由于磨损、
缺乏清洁、润滑和/或其它服务措施)可很容易地测量，当达到启动参考时间限制时，可触发维修措施，从而使多体系统具有可靠的功能性。
47.在根据第二方面的多体系统的第九种可能的实施方式或其任何实施方式中，控制单元还可被配置为确定参考对象的参考值。而且，控制单元可被配置为对参考对象的图像进行采样。控制单元另外可被配置为基于采样图像确定参考对象的当前对象值。当参考对象包括动物的可移动身体部位时，控制单元还可被配置为将确定的参考值与当前对象值匹配。
48.根据本发明的第三方面，该目的通过计算机程序实现。计算机程序包括指令，当计算机程序由根据第二方面或其任何实施方式的多体系统中的控制单元执行时，指令使控制单元执行根据第一方面的方法或其任何实施方式。
49.由于所描述的方面，通过在开始主体区段和相机从第一位置到第二位置的移动之前确定参考对象的参考值，然后对参考对象的图像进行连续采样，并且将当前对象值与参考值匹配，可确定移动的成功性。在当前对象值与确定的参考值相对应时，可得出结论，进入第二位置的移动已成功完成。如果当前对象值从未接近或对应于确定的参考值(至少不在时间限制内)，则得出结论，移动失败且多体系统/主体区段/相机和/或关节功能失调并需要维护。
50.据此，主体区段/相机在第一位置和第二位置之间的预期移动以可靠的方式被监控和监督，并且检测到多体系统出现的问题或功能失调，在主体区段/相机是机器人或车辆的一部分的情况下也是如此，而机器人或车辆也在移动。
51.其它优点和附加的新颖特征将从后续详细描述中变得显而易见。
附图说明
52.现在将参考附图另外详细地描述本发明的实施例，在附图中：
53.图1图示了根据本发明的实施例的多体系统的一部分的示例；
54.图2a图示了根据本发明的实施例的多体系统的示例；
55.图3b图示了根据本发明的实施例的多体系统的示例；
56.图4c图示了根据本发明的实施例的多体系统的示例；
57.图3a-3f图示了根据本发明的实施例的在两个位置之间移动的区段/相机的示例；
58.图4a图示了根据本发明的实施例的图表的示例；
59.图4b图示了根据本发明的实施例的图表的示例；
60.图4c图示了根据本发明的实施例的图表的示例；
61.图5a-5b图示了说明方法的实施例的流程图；
62.图6是描绘根据本发明的实施例的多体系统的图示。
具体实施方式
63.本文所描述的本发明的实施例被定义为一种方法、多体系统和计算机程序，所述方法、多体系统和计算机程序可在下面描述的实施例中付诸实践。然而，这些实施例可按许多不同的形式被例示和实现，并且不限于在本文中阐述的示例；相反，提供实施例的说明性示例使得本公开将是彻底且完整的。
64.根据结合附图考虑的以下详细描述，仍其它目的和特征可变得显而易见。然而，应当理解，附图仅出于说明的目的而设计，而不是作为对本文所公开的实施例的限制的定义，对于所述实施例，将参考所附权利要求。另外，附图不一定按比例绘制，并且除非另有指示，否则附图仅旨在概念性地图示本文所描述的结构和过程。
65.图1图示了多体系统100的至少一部分。多主体系统100包括经由关节107组装的至少两个主体区段103、104。主体区段中的一个104包括相机110，其中主体区段104和相机110可在第一位置p1和第二位置p2之间移动。相机110可为例如三维(3d)相机，如立体相机或测距相机。
66.多体系统100的至少两个主体区段103、104可位于例如挤奶机器人或类似装置的其它可移动区段或结构上。然而，这些移动是已知的，并且可在执行本文所描述的方法时计算对这些移动的补偿。
67.相机110可固定安装在主体区段104上，使得主体区段104和相机110可在第一位置p1和第二位置p2之间共同移动。
68.第一位置p1和第二位置p2之间的移动可通过机械手125来实现，例如气动或液压缸、电动机、蒸汽机或其它对应的能量传递结构，作用于安装相机110的主体区段104上，从而使主体区段104/相机110在第一位置p1和第二位置p2之间移动。主体区段104/相机110的相应第一位置p1和第二位置p2由此对应于机械手125的相应末端位置。
69.在一些实施例中，机械手125可设置在多个固定位置，从而将主体区段104引导至超过两个的对应多个位置p1、p2。
70.在图示的实施例中，主体区段104和所组成的相机110在分别位于第一位置p1和第二位置p2时被图示。
71.多体系统100可包括具有移动区段的农业结构，例如挤奶机器人。相机110可用于捕获动物的一个或多个乳头的图像，从而引导挤奶杯在乳头上的定位，从而使挤奶机器人能够对动物进行自动挤奶。
72.该动物可例如是奶牛或类似的雌性产奶哺乳动物。由于动物是活着的，并且可按不可预知的方式自由移动，因此可能会出现可能影响多体系统100的操作的各种问题。
73.举例来说，动物可能不小心踢、倾斜或踩在主体区段103、104上，从而影响它们的功能性。而且，动物的污垢或毛发可能会粘在主体区段103、104、关节107或机械手125上，从而影响主体区段104和相机110的移动。举例来说，主体区段104和相机110可能根本不能移动，即，即使当机械手125被触发从第一位置p1向第二位置p2移动时。另一个问题是确定移动何时准备就绪，即主体区段104和相机110何时到达第二位置p2。又一个问题可能是在没有人为干预和/或出于这些目的使用特定专用传感器的情况下检测关节107随时间的磨损。
74.当位于第一位置p1时，相机110可能无法检测到当前正经受挤奶器材安装的动物的乳头。原因可能是动物的另一个乳头或其它身体部位可能会阻挡相机110的一部分视野，或者动物可能奇怪地位于挤奶位置内。然后可能需要将主体区段104和相机110移动到第二位置p2，以使相机110能够捕获相关乳头或甚至可能所有乳头的图像。
75.为了能够对相机110看到的乳头的位置进行正确的计算，相机位置必须是已知的。如果主体区段104、关节107或机械手125发生故障，则计算将出错，从而导致自动挤奶期间的故障。
76.提供的方法包括当主体区段104和相机110位于第一位置p1时检测参考对象200a、200b、200c、200d中的一个或多个。参考对象200a、200b、200c、200d可为静态的，并且包括例如马厩或挤奶器材的一部分，或者是动态的，即可移动的，并且包括动物的身体部位，如乳头，如图2a/2b中示意性所示。
77.另外，确定参考对象200a、200b、200c、200d的参考值。然后确定将主体区段104和相机110从第一位置p1移动到第二位置p2。然后启动主体区段104和相机110的移动，以从第一位置p1向第二位置p2移动，同时迭代地对参考对象200a、200b、200c、200d的图像进行采样；基于采样图像确定参考对象200a、200b、200c、200d的当前对象值；以及将确定的参考值与当前对象值匹配。基于匹配，确定主体区段104和相机110从第一位置p1到第二位置p2的移动的成功性。
78.当主体区段104/相机110位于第一位置p1时，即在启动向第二位置p2的移动之前，可确定参考值。参考值可例如包括与参考对象相关的估计值，如当主体区段104/相机110已成功地移动到第二位置p2时由相机110将感知到的。
79.在其它实施例中，参考值可包括如当主体区段104/相机110仍位于第一位置p1时由相机110感知到的参考对象与当主体区段104/相机110位于第二位置p2时由相机110可感知到的参考对象如何的估计值之间的差值。
80.根据所公开的解决方案的一些实施例，在主体区段104/相机110从第一位置p1向第二位置p2移动之前由相机110捕获的乳头位置(一个或多个)被用作实时监控实际变化的参考。这在图3a-3f中另外论述和示意性地图示。
81.机器人/多体系统100正常可在位置变化期间移动，因此可设计算法来处理机器人移动。动物也可能在变化期间移动，也可能存在其它不确定性来源，因此，该算法可设计为给出以下结果：确认从第一位置p1到第二位置p2的移动的成功性，确定移动不成功，以及确定根本无法确认移动的成功性。另外，在一些实施例中可应用统计分析，以另外减少假阳性确认，从而提高所公开方法的可靠性。
82.另外，在一些实施例中，所提供的解决方案可测量从请求的从第一位置p1到第二位置p2的移动直到实际移动开始的时间以及实际移动成功的时间。相机110的帧率在每个样本之间可为例如50毫秒，或者约50毫秒。然而，每个样本之间更密集的帧率(例如10毫秒)可能会导致测量精度的提高，而每个样本之间更稀疏的帧率(例如200毫秒)可能会导致硬件成本降低，因为可使用容量较小的相机。还可在位置变化期间进行测量，以检测例如具有相机110的主体区段104是否卡在位置p1、p2之间的中段。
83.图2a呈现了可应用所呈现的解决方案的环境示例的总体概述，图2b呈现了挤奶机器人101的示例的细节，而图2c公开了挤奶机器人101的示例，其中挤奶器材附接到挤奶机器人101的主体区段。本发明的功能性在图3a-3f中被公开并在说明书的对应部分中被描述。
84.图2a图示了在诸如谷仓、挤奶厅、马厩等的农业环境中的场景。农业环境包括多体系统100。所示实施例中的多体系统100包括具有移动区段的农业结构，如挤奶机器人101。挤奶机器人101包括经由关节组装的至少两个主体区段，这些主体区段可经由关节相对于彼此移动，例如通过操作在主体区段中的一个上的机械手125的操作，从而将主体区段放置在相对于彼此的至少两个定义位置，即第一位置p1和第二位置p2。
85.所公开的解决方案的目的是监控两个主体区段经由关节从第一位置p1到第二位置p2的预期移动的成功性。
86.挤奶机器人101仅被视为农业结构/多体系统100的示例。具有移动区段的农业结构可为例如具有旋转螺旋钻的搅拌车、具有旋转平台的挤奶厅或例如具有闸门的栅栏。在不同的实施例中，农业结构可为固定的或移动的。
87.在所描绘的场景中，挤奶机器人101正在对动物105进行操作。
88.多体系统100还包括控制单元140，用于控制挤奶机器人101的操作。控制单元140可包括在挤奶机器人101内或在其外部但经由有线或无线通信接口连接。在所示实施例中，挤奶机器人101和控制单元140经由相应的收发器120、130无线通信。
89.收发器120、130的发射无线电信号可基于不同实施例中的各种不同技术，如超宽带(uwb)、蓝牙、wifi等。
90.多体系统100还可包括连接到控制单元140或与控制单元140相关联的数据库150。与挤奶机器人101和/或主体区段的移动相关联的各种数据可存储在数据库150中，可能与身份参考和/或时间戳相关联。而且，一个或多个阈值限制可存储在数据库150中，这将在本文后面另外论述。
91.当主体区段的移动不成功时，可向挤奶机器人101的管理员(如农民服务供应商)，或在农业环境工作或临时访问农业环境的类似人员的预定义电子设备160发送警报。
92.电子设备160可包括例如蜂窝移动电话、固定或便携式计算设备、计算机平板、一副智能眼镜、智能隐形眼镜、增强现实设备、智能手表或具有用户接口和无线通信能力的类似设备。
93.警报可作为音频信息、视觉信息和/或触觉信息输出到电子设备160上，从而通知农民关于多体系统100的状态。
94.移动主体区段可为挤奶机器人101的最后一个可移动连杆，有时可将其称为末端执行器。移动主体区段可包括如相机110的传感器，用于例如在挤奶操作期间获得动物105的乳头的清晰视图。举例来说，当移动主体区段104/相机110位于第一位置p1时相机110的视野受到限制时，可指示主体区段104/相机110移动到第二位置p2，以从第二定义位置p2获得乳头的新相机视图。据此，相机110可清楚地看到动物105的后乳头。然而，可能会出现各种问题，导致所论述的主体区段104/相机110卡住而无法到达第二位置p2、关节恶化等。主体区段104可能例如受到动物105的影响，动物例如被踢或以其它方式折断。
95.图2b呈现了挤奶机器人101的非限制性示例，包括经由相应的关节105、106、107组装的三个主体区段102、103、104。最后一个可移动主体区段104包括相机110。
96.这些不同的主体区段102、103、104中的一些或全部可相对于彼此移动。而且，挤奶机器人101作为一个整体可相对于马厩移动。可能不必提及，动物105或其身体部位，如尾巴，可相对于马厩移动。当进行用于确定乳头位置的计算时，可补偿挤奶机器人101和/或其主体区段102、103、104的已知移动。在相机在两个位置p1和p2之间移动期间,动物105的移动是未知的，并且可通过应用适当的(相对较大的)误差幅度来补偿，例如约5-10％的测量值。
97.图2c图示了多体系统100的替代实施例，多体系统包括挤奶机器人101，挤奶机器人具有经由相应的关节107组装的多个主体区段103、104。多体系统100可类似于先前论述
的多体系统100，不同之处在于挤奶器材170安装在挤奶机器人上，例如安装在主体区段104上，同时相对于固定安装在主体区段103上的相机110是可移动的。挤奶器材170的乳头杯在主体区段104上具有已知位置。因此，乳头杯/多个乳头杯可用作参考对象170。
98.需要注意的是，相机的位置是已知的。
99.图3a-3f示意性地图示了在一个实施例中，当主体区段104和其上安装的相机110从第一位置p1成功地移动到第二位置p2时，如由相机110可感知到的参考对象200a、200b、200c、200d的相对视图。
100.当确定开始移动时，主体区段104和相机110可位于第一位置p1，如图3a所示。可捕获参考对象200a的图像。
101.另外，可计算参考对象200a当位于第二位置p2时如由相机110将感知到的未来位置。而且，如图3b所示，主体区段104的参考点300，例如关节107，与参考对象200a的计算的未来位置之间的参考向量310。在一些实施例中，参考向量310可被存储在存储器中并保持为参考，直到主体区段104和相机110移动到第二位置p2被成功地终止。
102.然后可在主体区段104和相机110移动到第二位置p2期间连续地捕获图像。图3c图示了在主体区段104的参考点300和由相机110捕获的参考对象200a之间的对象向量320的计算。而且，在一些实施例中，可将对象向量320与参考向量310进行比较，并且可计算它们之间的差值α。在图3c中，主体区段104和相机110仍然位于第一位置p1，而图3d图示了当相机110位于第二位置p2时，参考物体200a的捕获位置和如由相机110所感知到的参考对象200a的预期位置之间的差值α如何随着相机110接近第二位置p2而有所减少。
103.在图3e中，主体区段104和相机110已接近p2，导致参考对象200a的捕获位置和参考对象200a的预期位置之间的差值α较小。
104.图3f图示了主体区段104和相机110何时成功到达第二位置p2。在这一成功的示例中，参考对象200a的捕获位置和参考对象200a的预期位置之间的差值α不存在，并且可得出结论，移动到第二位置p2已成功且主体区段103、104和关节107正常工作。
105.图4a图示了由在实施例中执行所描述的方法所产生的图表的示例。竖直轴线指示参考对象200a的捕获位置和参考对象200a的预期位置之间的差值α的大小。水平轴线指示自确定要启动从第一位置p1到第二位置p2的位置变化以来经过的时间。
106.在所示示例中，在此测量为参考向量310和对象向量320之间的角度的差值α在主体区段104和相机110处于第一位置p1时，增加到约18度，然后当主体区段104和相机110到达第二位置p2时，近似线性地减小到零。竖直黑线图示何时可得出进入第二位置p2的移动成功完成的结论。
107.图4b以图形方式图示了其中主体区段104和相机110被卡在第一位置p1且没有显著地移动的场景。检测到差值α或预期角度误差，但永远不会返回到约0。原因是主体区段104和相机110没有显著地从第一位置p1移动且从未到达第二位置p2，至少不在预定或可配置的时间限制内，在由约750毫秒后的竖直黑线图示的图4b的图形中。
108.图4c以图形方式图示了其中主体区段104和相机110已开始离开第一位置p1但似乎中途卡住的场景。图形中线的中断是由于由相机110捕获的一张或几张图像无法使用。同样，约750毫秒后的竖直黑线可图示预定的或可配置的时间限制。
109.图5a和5b图示了根据实施例的方法500的示例。图5a和5b中的流程图显示了与多
体系统100相关的方法500。多体系统100包括经由关节105、106、107组装的至少两个主体区段101、102、103、104，其中主体区段中的一个104包括可在第一位置p1和第二位置p2之间移动的相机110。
110.该移动可由机械手125执行，该机械手作用于包括相机110的主体区段104上并从第一末端位置移动到第二末端位置，从而使得相机110在理想情况下在第一位置p1和第二位置p2之间移动，而不妨碍移动。
111.多体系统100可为任何种类的机械结构，包括可相对于彼此移动的主体区段101、102、103、104。在一些实施例中，多体系统100可被特别地布置成在农业环境中操作，并且例如由以下中的任何一个表示：具有移动臂的机器人(如挤奶机器人)、具有旋转螺旋钻的搅拌车、具有旋转平台的挤奶厅、具有闸门的栅栏或类似物。
112.然而，本文提供的农业环境中的多体系统100的示例仅被视为说明性的，而非限制性示例。在其它实施例中，多体系统100可在例如工业环境、建筑环境或采矿环境中操作。
113.为了正确触发事故避免措施，方法500可包括多个步骤501-513。然而，这些步骤501-513中的一些可仅在一些替代实施例中执行，例如步骤503和/或506-513。另外，所描述的步骤501-513可按照与一些实施例中的编号建议的稍微不同的时间顺序执行。方法500可包括以下步骤：
114.步骤501包括当相机110和固定安装相机110的主体区段104位于第一位置p1时，用相机110检测参考对象200a、200b、200c、200d。
115.在一些实施例中，当多个参考对象位于第一位置p1时，可用相机110检测501。
116.在一些实施例中，参考对象可包括动物的可移动身体部位，如动物的一个或若干个乳头。
117.参考对象200a、200b、200c、200d在一些实施例中可为静态对象，如挤奶器材170，或者是自动挤奶站(ams)的一部分。
118.步骤502包括确定参考对象200a、200b、200c、200d的参考值。
119.参考对象200a、200b、200c、200d的确定502的参考值可包括多体系统100的参考点300和参考对象200a、200b、200c、200d的位置之间的参考向量310，在一些实施例中，相机110/主体区段104位于第一位置p1；或者相机110/主体区段104位于第二位置p2。
120.基于采样图像确定的参考对象200a、200b、200c、200d的当前对象值可包括多体系统100的参考点300和采样图像中的参考对象200a、200b、200c、200d之间的对象向量320。
121.在其中参考值包括参考向量310且当前对象值包括对象向量320的一些实施例中，确定参考值的步骤可包括估计参考向量310和对象向量320之间的差值或角度α。
122.参考对象200a、200b、200c、200d的确定502的参考值和参考对象200a、200b、200c、200d的当前对象值可包括相应的坐标，从而定义参考对象200a、200b、200c、200d的位置，例如绝对或相对坐标。在不同的实施例中，参考对象200a、200b、200c、200d的坐标或位置可通过定位算法基于三边测量、多边测量或三角测量来确定。
123.步骤503包括请求相机110和相机110固定安装在其上的主体区段104从第一位置p1到第二位置p2的移动。
124.步骤504包括启动相机110和相机110固定安装在其上的主体区段104从第一位置p1向第二位置p2的移动，同时迭代地对参考对象200a、200b、200c、200d的图像进行采样；基
于采样图像确定参考对象200a、200b、200c、200d的当前对象值；以及将确定502的参考值与当前对象值匹配。
125.主体区段104/相机110的移动可通过机械手125的启动在两个极端位置之间执行。
126.在一些实施例中，可在采样图像中捕获多个参考对象200a、200b、200c、200d，并且匹配可包括将参考值与多个参考对象200a、200b、200c、200d的当前对象值映射。
127.在其中参考值包括参考向量310且当前对象值包括对象向量320的一些实施例中，确定502的参考值与当前对象值的匹配在一些实施例中然后可通过参考向量310和对象向量320之间的长度比较来进行。
128.在其它实施例中，其中参考向量310和对象向量320之间的角度α的估计值已被估计，可通过将角度α与零进行比较来进行匹配，可能除了阈值限制之外，例如5％的差异、10％的差异等。阈值限制可设置为0％，也许特别是在参考对象200a、200b、200c、200d是静态的实施例中。
129.在进行匹配时应用阈值限制的优点在于，当参考对象200a、200b、200c、200d包括动物105的身体部位(如乳头)时，在相机110从第一位置p1到第二位置p2的移动期间，可能发生动物105的同步移动。因此，即使已成功地进行到第二位置p2的移动，匹配也可能稍微偏离。
130.可注意到，主体区段104/相机110从未到达第二位置p2；或者甚至可不离开第一位置p1。
131.步骤505包括基于确定502的参考值与当前对象值的匹配，确定主体区段104/相机110从第一位置p1到第二位置p2的移动的成功性。
132.在其中参考值包括参考向量310且当前对象值包括对象向量320的一些实施例中，当确定502的参考向量310和确定的对象向量320之间的估计角度α近似为零时，可确定505主体区段104/相机110从第一位置p1到第二位置p2的移动成功；或者当确定502的参考向量310和确定的对象向量320之间的估计角度α除了参考限制之外还不同于零时不成功；或者未经确认，以其它方式。
133.在该替代实施例中，当主体区段104/相机110位于第一位置p1时，参考向量310已被确定502为当主体区段104/相机110成功地移动到第二位置p2时如将被感知到的参考对象200a的位置。
134.然而，在其它实施例中，情况可能相反。当确定502的参考向量310和确定的对象向量320之间的估计角度α近似为预定值时，可确定505主体区段104/相机110从第一位置p1到第二位置p2的移动的成功性成功；或者当确定502的参考向量310和确定的对象向量320之间的估计角度α除了参考限制之外还不同于预定值时不成功；或者未经确认，以其它方式。
135.在该替代实施例中，当主体区段104/相机110位于第一位置p1时，参考向量310已被确定502为当主体区段104/相机110在第一位置p1时如感知到的参考对象200a的位置。然后确定502的参考向量310和参考对象200a的未来位置之间的角度α的估计值已被计算，如当主体区段104/相机110已成功地移动到第二位置p2时将感知到的，在此称为预定值，然后将该预定值用于比较。
136.据此，多体系统100的移动区段103、104的功能性由此被监控，并且可确定移动区段或者按预期操作或者需要维护/人工检查。
137.可仅在一些实施例中执行的步骤506包括测量主体区段104/相机110从第一位置p1到第二位置p2的相机移动的时间。
138.可仅在已执行步骤506的一些实施例中执行的步骤507包括将测量的506时间与参考时间限制进行比较。
139.可仅在已执行步骤507的一些实施例中执行的步骤508包括根据进行的比较507，当测量506的时间超过参考时间达阈值限制时触发维护措施。
140.在一些实施例中，当请求503的移动和主体区段104/相机110从第一位置p1开始移动504之间的测量时间段超过启动参考时间限制达阈值限制时，可触发508维护措施。
141.可仅在一些实施例中执行的步骤509包括基于存储的确定505的相机移动的成功性来确定相机移动的成功率。
142.可仅在已执行步骤509的一些实施例中执行的步骤510包括将确定509的成功率与参考值进行比较。
143.可仅在已执行步骤510的一些实施例中执行的步骤511包括根据进行的比较510，当确定509的成功率低于参考值时触发维护措施。
144.可仅在一些实施例中执行的步骤512包括基于确定505的相机移动的成功性来确定多体系统100的状态。
145.状态可被输出和呈现给用户，例如呈例如0-10或1-100的评级形式(非限制性任何示例)，颜色如绿色(状态：ok)、红色(状态：功能失调)和/或黄色(状态：在方法500的执行期间发生了一些异常情况，并且无法确定状态)。其它类型的状态输出可能是输出快乐/悲伤/恐慌的化身，如af等字母。
146.状态输出还可，或者另选地在已测量移动时间并与参考值进行比较的实施例中，包括到接近维护时刻的估计时间。据此，当检测到随时间的延迟时，可执行维修和维护措施。
147.可仅在已执行步骤512的一些实施例中执行的步骤513包括输出确定512的状态。
148.在确定512的状态低于阈值限制的一些实施例中，可向农民的电子设备160发出警报。而且，或者另选地，主体区段104的移动以及由此相机110的移动；或整个挤奶机器人的移动，可能会被停用和/或禁止。据此，可避免严重事故，例如伤害靠近多体系统100的动物105，从而减少动物痛苦并促进农场上的动物快乐。而且，还创建了更安全的工作环境，并且可避免或至少减少事故的后果。
149.图6图示了多体系统100的实施例。多体系统100包括经由关节105、106、107组装的两个主体区段101、102、103、104，其中主体区段中的一个104包括安装在其上的相机110。因此，相机110固定地安装在主体区段104上，使得它们共同移动。主体区段104/相机110可在第一位置p1和第二位置p2之间移动。
150.多体系统100可根据上述和图5a和5b所示的方法500执行先前描述的步骤501-513中的至少一些，以确定主体区段104/相机110从第一位置p1到第二位置p2的移动的成功性。
151.多体系统100包括控制单元140，用于控制包括相机110的主体区段104的移动。控制单元140被配置为当主体区段104/相机110位于第一位置p1时经由相机110检测参考对象200a、200b、200c、200d。另外，控制单元140被配置为确定参考对象200a、200b、200c、200d的参考值。控制单元140还被配置为请求主体区段104/相机110从第一位置p1到第二位置p2的
移动。控制单元140此外还被配置为启动主体区段104/相机110从第一位置p1向第二位置p2的移动，同时迭代地对参考对象200a、200b、200c、200d的图像进行采样；基于采样图像确定参考对象200a、200b、200c、200d的当前对象值；以及将确定的参考值与当前对象值匹配。此外，控制单元140被配置为基于匹配确定主体区段104/相机110从第一位置p1到第二位置p2的移动的成功性。
152.在一些实施例中，控制单元140可被配置为基于确定的相机移动的成功性来确定多体系统100的状态。控制单元140还可被配置为例如经由相关农民的电子设备160输出多体系统100的确定状态。
153.在又一些实施例中，控制单元140可被配置为测量从第一位置p1到第二位置p2的相机移动的时间。而且，控制单元140可被配置为将测量时间与参考时间限制进行比较；当测量时间超过参考时间达阈值限制时触发维护措施。
154.而且，或者附加地，控制单元140可被配置为基于存储的确定的相机移动的成功性来确定相机移动的成功率；将确定的成功率与参考值进行比较；以及在一些实施例中，当确定的成功率低于参考值时触发维护措施。
155.控制单元140另外可被配置为当主体区段104/相机110位于第一位置p1时，确定多体系统100的参考点300和相机110的参考对象200a、200b、200c、200d的位置之间的参考向量310。而且，控制单元140可被配置为确定多体系统100的参考点300和采样图像中的参考对象200a、200b、200c、200d之间的对象向量320。控制单元140还可被配置为通过参考向量310和对象向量320之间的长度比较将确定的参考值与当前对象值匹配。
156.在一些实施例中，控制单元140可被配置为估计参考向量310和对象向量320之间的角度α。而且，控制单元140可被配置为当确定的参考向量310和确定的对象向量320之间的估计角度α近似为零时，确定主体区段104/相机110从第一位置p1到第二位置p2的移动成功。另外，控制单元140可被配置为当确定的参考向量310和确定的对象向量320之间的估计角度α除了参考限制之外还不同于零时确定移动不成功。控制单元140还可被配置为确定该移动未经确认，以其它方式，例如在可能捕获参考对象200a、200b、200c、200d的数据或图像不足的情况下。
157.在一些替代实施例中，控制单元140可被配置为确定呈坐标形式的参考值，从而定义参考对象200a、200b、200c、200d的位置。而且，控制单元140可被配置为确定呈坐标形式的当前对象值，从而定义参考对象200a、200b、200c、200d在采样图像中的位置；以及通过比较参考对象200a、200b、200c、200d的坐标，将确定的参考值与当前对象值匹配。
158.控制单元140还可被配置为在相机110位于第一位置p1的情况下检测多个参考对象200a、200b、200c、200d。而且，控制单元140可被配置为在采样图像中捕获多个参考对象200a、200b、200c、200d。另外，控制单元140可被配置为将参考值与当前对象值映射。
159.在一些实施例中，控制单元140可被配置为当请求的移动和主体区段104/相机110从第一位置p1开始移动之间的测量时间段超过启动参考时间限制达阈值限制时触发维护措施。
160.多体系统100的控制单元140可被配置为确定参考对象200a、200b、200c、200d的参考值。而且，控制单元140可被配置为对参考对象200a、200b、200c、200d的图像进行采样。控制单元140另外可被配置为基于采样图像确定参考对象200a、200b、200c、200d的当前对象
值。此外，当参考对象200a、200b、200c、200d包括动物105的可移动区段时，控制单元140还可被配置为将确定的参考值与当前对象值匹配。
161.控制单元140可包括接收器610，接收器被配置用于经由无线信号接收器和/或收发器从相机110接收信息。
162.控制单元140包括处理电路620，处理电路系统被配置用于执行各种计算和操作，以根据前述步骤501-513中的至少一些来执行方法500，从而确定主体区段104/相机110从第一位置p1到第二位置p2的移动的成功性。
163.这类处理电路系统620可包括处理电路的一个或多个实例，即中央处理单元(cpu)、处理单元、处理电路、处理器、专用集成电路(asic)、微处理器或可解释和执行指令的其它处理逻辑。因此，本文所使用的表述“处理电路系统”可包括多个处理电路，例如上面列举的任何、一些或全部处理电路系统。
164.另外，在一些实施例中，控制单元140可包括存储器625。任选存储器625可包括用于在临时或永久基础上存储数据或程序，即指令序列的物理设备。根据一些实施例，存储器625可包括集成电路，该集成电路包括基于硅的晶体管。存储器625可包括例如存储卡、闪存、usb存储器、硬盘或另一类似的用于存储数据的易失性或非易失性存储单元，如不同实施例中的rom(只读存储器)、prom(可编程只读存储器)、eprom(可擦除prom)、eeprom(电可擦除prom)等。
165.另外，控制单元140可包括信号发射器630。信号发送器630可被配置用于经由有线或无线通信接口向相机110、多体系统100、电子设备160和/或数据库150发送信号。
166.在一些替代实施例中，多体系统100还可包括警报设备，警报设备被配置为在包括相机110的主体区段104被确定为功能失调时输出警报。警报设备可向动物105和农民两者发出警报，阻止他们接近主体区段104，因为它可能导致严重事故，即使在挤奶机器人的紧急停止被触发的情况下也是如此。
167.多体系统100另外可包括数据库150，数据库被配置为存储参考对象200a、200b、200c、200d的参考值；和/或关于将主体区段104/相机110从第一位置p1移动到第二位置p2所花费的时间的测量时间值。
168.然而，在一些替代实施例中，多体系统100还可包括用于执行根据步骤501-513的方法500的附加单元。
169.将在多体系统100中执行的上述步骤501-513可通过控制单元140内的一个或多个处理电路系统620，连同用于执行步骤501-513的功能中的至少一些的计算机程序来实施。因此，计算机程序包括当计算机程序由多体系统100中的控制单元140执行时使控制单元140根据步骤501-513中的至少一些执行方法500的指令。
170.上述计算机程序可例如以计算机可读介质的形式提供，即当被加载到控制单元140的一个或多个处理电路系统620中时，承载用于执行根据一些实施例的步骤501-513中的至少一些的计算机程序代码的数据载体。数据载体可为例如硬盘、cd rom盘、记忆棒、光存储设备、磁存储设备或任何其它合适的介质，如可将机器可读数据以非暂时性方式保存的磁盘或磁带。计算机程序可另外作为计算机程序代码提供在服务器上并远程下载到控制单元140，例如通过互联网或内联网连接。
171.在如附图所示的实施例的描述中使用的术语不旨在限制所描述的方法500；多体
系统100；控制单元140；计算机程序和/或计算机可读介质。在不脱离由所附权利要求定义的本发明的实施例的情况下，可进行各种改变、替换和/或更改。
172.如本文所用，术语“和/或”包括相关联所列项中的一个或多个的任何组合和全部组合。如本文所使用的术语“或”应被解释为数学或，即，解释为包含性析取；而不是解释为数学异或(xor)，除非另外明确地陈述。此外，单数形式“一个(a)”、“一种(an)”和“所述(the)”应被解释为“至少一个”，因此还可能包括相同种类的多个实体，除非另外明确地陈述。应另外理解，术语“包含(includes)”、“包括(comprises)”、“包含(including)”和/或“包括(comprising)”指定所陈述的特征、动作、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、动作、整数、步骤、操作、元件、组件和/或其组的存在或添加。单个单元，例如处理器，可实现权利要求中所叙述的若干项的功能。某些措施或特征在相互不同的从属权利要求中被引用、在不同的附图中被图示或结合不同的实施例被论述的这一单纯事实并不指示不能有利地使用这些措施或特征的组合。计算机程序可存储/分布在合适的介质上，如与其它硬件一起提供或作为其它硬件的一部分提供的光存储介质或固态介质，但也可按其它形式分布，如经由互联网或其它有线或无线通信系统。