用于尺寸标注系统的交错图像捕获的制作方法

用于尺寸标注系统的交错图像捕获


背景技术：

1.用于对运动中的对象进行尺寸标注的系统可包括相机，以捕获对象的一系列图像以便对对象进行尺寸标注。然而，对象的取向以及对象的行进速度可能会降低此类尺寸标注的准确性。
附图说明
2.附图(其中贯穿不同的视图，相同的附图标记表示相同的或功能类似的要素)连同下面的具体实施方式被并入说明书并形成说明书的一部分，并用于进一步说明包括所要求保护的发明的概念的实施例，以及解释那些实施例的各种原理和优势。
3.图1是尺寸标注系统的图。
4.图2是尺寸标注方法的流程图。
5.图3是图2的方法的框220的示例执行的图。
6.图4是图2的方法的框225的示例执行的图。
7.图5是示出了经由重复执行图2的方法的框220和框225所捕获的图像的图。
8.图6是示出了在图2的方法的框235处生成的示例点云的图。
9.本领域技术人员将理解，附图中的要素出于简化和清楚而示出，并且不一定按尺度绘制。例如，附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本发明的实施例的理解。
10.已在附图中通过常规符号在合适位置表示装置和方法构成，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因对得益于本文的描述的本领域普通技术人员而言显而易见的细节而混淆本公开。
具体实施方式
11.本文公开的示例涉及一种尺寸标注系统，包括：发射器组件，发射器组件将平面光束投射到扫描体积中；第一图像传感器，第一图像传感器捕获扫描体积的第一部分；第二图像传感器，第二图像传感器捕获扫描体积的与第一部分重叠的第二部分；以及控制器，该控制器被配置为：响应于对象行进穿过扫描体积，针对由操作频率限定的连续间隔对：在该对的第一间隔处，(i)控制发射器组件投射平面光束以及(ii)控制第一图像传感器捕获对象的顶部和第一侧面的第一图像；在该对的第二间隔处，(i)控制发射器组件投射平面光束以及(ii)控制第二图像传感器捕获对象的顶部和第二侧面的第二图像；以及从第一图像和第二图像生成三维图像。
12.本文公开的附加示例涉及一种尺寸标注方法，包括：响应于对象行进穿过扫描体积，针对由操作频率限定的连续间隔对：在该对的第一间隔处，(i)控制发射器组件投射平面光束以及(ii)控制第一图像传感器捕获对象的顶部和第一侧面的第一图像；在该对的第二间隔处，(i)控制发射器组件投射平面光束以及(ii)控制第二图像传感器捕获对象的顶部和第二侧面的第二图像；以及从第一图像和第二图像生成三维图像。
13.图1示出了用于对运动中的对象进行尺寸标注的尺寸标注系统100。例如，系统100可被用于在诸如包装104之类的对象在方向108上移动穿过由系统100限定的扫描体积106时，对包装104进行尺寸标注。对包装104进行尺寸标注包括确定包装104的高度“h”、宽度“w”和长度“l”。在一些示例中，包装104也可(例如，被叉车或其他机构)放在托盘上。尽管包装104被示出为具有矩形棱柱的形状，但系统100也可用于对各种其他对象(包括具有不规则形状的对象)进行尺寸标注。当要尺寸标注的对象具有非矩形形状时，系统100可被配置为经由生成表示对象的最大高度、宽度和长度的矩形边界框来对对象进行尺寸标注。
14.扫描体积106的底部在图1中示出，但扫描体积106的高度未示出以便于识别。从下面的讨论中，本领域技术人员将清楚地看到，扫描体积可以具有立方体或矩形棱柱形状，扫描体积的尺寸取决于下面讨论的组件。在其他示例中，扫描体积106可具有各种其他形状，这同样取决于系统100的部件的能力和布置。
15.包装104移动穿过扫描体积106可以通过各种机构实现，包括由人类操作员、诸如叉车的车辆、传送带上的运输器等进行搬运。
16.系统100包括发射器组件，发射器组件被配置为将平面光束112投射到扫描体积106中。换句话说，平面光束形成对象104沿方向108行进所穿过的幕。当对象104穿过幕时，一条光线投射到对象104上，并且可以用于捕获与对象104相对应的数据，以便对对象104进行尺寸标注。
17.在本示例中，发射器组件包括第一发射器116-1和第二发射器116-2，诸如激光发射器，每个发射器被配置为在扫描体积106的至少一部分上发射平面光束。如图1所示，由发射器116发射的束在扫描体积106的至少一部分上重叠。另外，发射器116向内(例如朝向扫描体积106的中心)倾斜。
18.系统100还包括第一图像传感器120-1和第二图像传感器120-2。图像传感器120(也可以被称为相机120)可各自被实现为任何合适的相机，以捕获扫描体积的彩色(例如rgb)图像或红外图像。更具体地，每个图像传感器120具有包围扫描体积106的相应部分的视场。也就是说，图像传感器120被布置为提供彼此不同的视场，以提供要尺寸标注的对象的顶部和侧面的完整捕获。相机120的视场在扫描体积106内至少部分重叠，如下文将更详细地讨论的。图像传感器120也从发射器116偏移。
19.如图1所示，系统100还包括控制器124，控制器124可以实现为任何合适的计算设备，诸如被部署在扫描体积106附近的台式计算机)。控制器124包括处理器128，该处理器128与非瞬态计算机可读存储介质(诸如存储器132)互连。存储器132包括易失性存储器(例如，随机存取存储器或ram)和非易失性存储器(例如，只读存储器或rom、电可擦除可编程只读存储器或eeprom、闪存存储器)的组合。处理器128和存储器132各自包括至少一个集成电路。
20.控制器124可包括输入和/或输出设备，诸如键盘、鼠标、扬声器、显示器等(图1中未示出)。此外，控制器124包括通信接口136，使得控制器124能够与发射器116和图像传感器120通信，以便控制这些部件的操作。因此，通信接口136可以包括硬件、固件和软件元件的任何合适的组合。例如，通信接口可以是具有多个端口和相对应的微控制器的通用串行总线(usb)接口。本领域技术人员还将遇到各种其他接口。
21.存储器132存储由处理器128执行的计算机可读指令。具体地，存储器132存储尺寸
标注应用140(也简称为应用140)，当由处理器128执行时，应用140将处理器128配置为执行下文更详细讨论的各种功能，以捕获包装104的图像并处理用于对包装104进行尺寸标注的图像。在其他示例中，应用140还可以被实现为不同应用的套件。本领域技术人员将理解，在其他实施例中，处理器128经由应用140的执行所实现的功能也可以由一个或多个专门设计的硬件和固件组件(诸如fpga、asic等)来实现。
22.通常，控制器124控制发射器116以给定频率将束112投射到扫描体积106上。当包装104穿过扫描体积106时，控制器124还使图像传感器120捕获扫描体积106的图像序列。如将显而易见的，当包装104行进穿过扫描体积106时，束112照射包装104的不同区域。通过在此类图像捕获操作期间(例如，经由包装104上的基准标记或诸如叉车的运输工具)跟踪包装104的位置，控制器124可将从图像中提取的数据与包装104的相应位置相关，从而相对于彼此排列所提取的数据(例如，点云中的点)。
23.可从图像中提取在包装104上以图像序列可见的束112的投射，并用于生成包装104的三维表示(例如，点云或点云的一部分)，然后可以使用该三维表示来对包装104进行尺寸标注。本领域技术人员将采用各种技术来跟踪对象位置、提取束投射和生成复合三维图像。
24.如下文将更详细地讨论的，控制器124附加地被配置为控制发射器116和图像传感器120以使图像的捕获交错(interleave)，使得包装104的至少一部分以比图像传感器同时捕获图像的系统中更高的频率成像。系统100启用的更高成像频率进而使得点在表示对象的点云中分布更紧密，从而改善了在点云中表示对象的细节。
25.转到图2，示出了尺寸标注方法200的流程图。下面将结合系统100对方法200的执行来讨论方法200。具体地，方法200的框通过控制器124经由与发射器116和图像传感器120的通信来执行。
26.在框205处，控制器124被配置为确定对象(诸如包装104)是否已经进入扫描体积106。框205处的确定结果可基于被设置在扫描体积106中或扫描体积106附近的运动传感器，诸如激光雷达传感器、压力板等。框205处的确定结果还可基于由图像传感器120中的一个或两个图像传感器120所捕获的图像。例如，图像传感器120中的至少一个图像传感器120可被配置为捕获连续的图像流，并且控制器124可处理图像以确定对象是否已经进入扫描体积106。
27.当框205处的确定结果为否定时，系统100等待对象的到达。然而，当框205处的确定结果为肯定时，控制器124进行到框210。在框210处，控制器124针对系统100设置操作频率。在方法200的其余部分中，操作频率限定发射器116将束112投射到扫描体积中的频率和图像传感器120将捕获图像的频率两者。
28.可根据各种机制来设置操作频率。例如，在框210处，存储器132可存储预配置的操作频率，并且处理器128可检取该预配置的操作频率。在其他示例中，控制器124可以(例如，从存储器132或通过向图像传感器120请求)来确定图像传感器120的最大捕获频率。在已经确定了图像传感器120的最大捕获频率后，控制器124可将操作频率设置为最大捕获频率的两倍(即，比任何一个图像传感器120能够捕获图像的频率更高)。
29.更一般地，无论操作频率是预配置的并被存储在存储器132中，还是基于图像传感器参数动态确定的，操作频率都可分别大于图像传感器120的捕获速率。然而，操作频率不
大于发射器116的最大照明速率。
30.在框215处，控制器124被配置为以操作频率启动束112的投射。也就是说，控制器124控制发射器116以同时发射平面束，以便在扫描体积106内形成束112。束112针对由操作频率限定的间隔的序列中的每一个间隔投射一次。例如，对于300hz的操作频率，束112针对每秒300个间隔(在本示例中，每个间隔的长度为约3.3毫秒)中的每一个间隔投射到扫描体积106中一次，每个投射的持续时间小于间隔的长度。还构想了各种各样的其他操作频率，其相对应的长度和间隔数量由操作频率限定。
31.框215的执行持续贯穿了方法200的框220、框225和框230的执行，如下所述。通常，对于由操作频率限定的每一个连续间隔对，框220、框225和框230涉及使用图像传感器120-1捕获一个图像并且使用图像传感器120-2捕获另一个图像。发射器116用于所有图像捕获，因此以任意一个图像传感器120的捕获频率两倍的频率(即，以等于图像传感器120的组合捕获频率的频率)操作。
32.因此，在框220处，与连续间隔对的第一间隔相对应，控制器124控制发射器116投射束112(如上文结合框215所讨论的)，并且还控制图像传感器120-1以捕获包装104的图像。转到图3，示出了框220(与框215协同)的示例执行。具体地，发射器116和图像传感器120-1被加阴影以表示激活，而图像传感器120-2处于非激活状态，因此未被加阴影。包装104已经进入扫描体积106后，束112的一部分投射到包装104上。
33.从图像传感器120-1相对于扫描体积106的物理定位显而易见的，由图像传感器120-1捕获的图像描绘了包装104的至少顶部300和第一侧面304。对于本领域技术人员来说显而易见的是，由图像传感器120-1捕获的图像还描绘了扫描体积106的其他部分。虽然图3所示的顶部300和侧面304与包装104的顶部和侧面相对应，但在其他示例中，包装104可能具有与图3所示的不同的形状或取向。在此类示例中，由图像传感器120-1捕获的图像可描绘对象104的多个表面。通常，对象104的被称为侧面304的部分是仅对图像传感器120-1可见的部分，而顶部300是指对两个图像传感器120可见的对象104的部分。
34.图3还示出了由图像传感器120-1捕获的结果图像的部分，该部分包括描绘了包装104的顶部300和在其上可见的束112的投射312的部分308。该图像还包括描绘了包装104的侧面304和在其上可见的束112的投射320的部分316。
35.如将显而易见的，部分308和部分316已重新排布，以看起来好像分别从头顶方向324和侧方向328观看。在框220处所捕获的图像中，基于图像传感器120-1的位置和特性(例如，焦距等)，部分308和部分316以与图3所示不同的取向出现在图像中。
36.返回到图2，在框225处，与上文提及的连续间隔对的第二间隔相对应，控制器124控制发射器116投射束112(如上文结合框215所讨论的)，并且还控制图像传感器120-2以捕获包装104的图像。转到图4，示出了框220(与框215协同)的示例执行。具体地，发射器116和图像传感器120-2被加阴影以表示激活，而图像传感器120-1处于非激活状态，因此未被加阴影。相对于图3，包装104已经进一步行进到扫描体积106中，因此投射到包装104上的束112的部分出现在包装104上的不同位置处。
37.从图像传感器120-2相对于扫描体积106的物理定位显而易见的，由图像传感器120-2捕获的图像描绘了包装104的至少顶部300和第二侧面400。图4还示出了由图像传感器120-2捕获的结果图像的部分，该部分包括描绘了包装104的顶部300的部分404和在其上
可见的束112的投射408。该图像还包括描绘了包装104的侧面400和在其上可见的束112的投射416的部分412。
38.如图3所示，部分404和部分412已重新排布，以看起来好像分别从头顶方向324和侧方向420观看。在框225处所捕获的图像中，基于图像传感器120-2的位置和特性(例如，焦距等)，部分404和部分412以与图4所示不同的取向出现在图像中。
39.再次参考图2，在框230处，控制器124被配置为确定对象(例如，包装104)是否已经离开扫描体积106。当框230处的确定结果是否定时，控制器124返回到框220。换句话说，只要包装104在扫描体积106内，控制器124继续控制发射器116以操作频率投射束112，并且控制图像传感器120以操作频率的一半捕获交错图像。因此，以操作频率(与发射器116的激活同时)捕获包装104的图像，但在每个捕获实例中，图像传感器120中的仅一个图像传感器120处于激活状态。例如，对于300hz的操作频率，每个图像传感器120只需以150hz操作，而图像捕获的总速率为300hz。
40.转到图5，示出了在框220和框225的连续执行下所捕获的图像的附加部分。具体地，图5示出了在框220的第一执行下的上文提及的图像部分308和部分316，然后是在框225的第一执行下的图像部分500和部分504(由图像传感器120-2捕获)。如前所述，框220的后续执行产生图像部分508和部分512(由图像传感器120-1捕获)，框225的进一步执行产生图像部分404和部分412。最后，还示出了与框220的另一附加执行相对应的框220的附加性能。
41.当在框230的确定结果为肯定时，可以中断发射器116和图像传感器120的控制，并且在框235处，控制器124可以提取经由框220和框225捕获的图像中可见的束112的投射。基于所提取的投射，控制器124可生成包装104的三维表示，也可称为点云。控制器124被配置为将每个图像与包装104在扫描体积106内的相应位置相关联。基于(例如，从限定图像传感器120和发射器116的物理位置和操作参数的校准数据获取的)相关性和扫描体积106内每个图像像素的已知位置，控制器124随后可以相对彼此排列捕获的图像以生成点云。
42.转到图6，示出了在框235处从经由框220和框225的连续执行所捕获的多个图像生成的示例点云600。如图6所示，包装104的侧面304和侧面400由比包装104的顶部300更少的样本数量表示，因为框220和框225中的每一者都得到顶部300的成像，而侧面304仅在框220处成像，侧面400仅在框225处成像。图6所示的点云600可以是较大点云的部分，从较大点云中分割出来，以隔离要进行尺寸标注的包装104。点云600也可以称为三维图像。
43.在框240处，控制器124基于在框235处生成的点云确定包装104的至少一个尺寸。例如，控制器124可以通过根据任何合适的尺寸标注机制检测包状104的边界来确定前文提及的高度、宽度和长度h、w和l。在其他示例中，控制器124可被配置为将点云传送到另一计算设备以进行尺寸标注。现在将显而易见的是，如由控制器124实现的所捕获的交错图像所产生的对包装104的顶部300的附加采样可使得长度l的确定比同时触发图像传感器120的实现中更精确。
44.构想了对上述系统和方法的变型。例如，在其他实施例中，系统100可以包括多于两个的图像传感器120，从而进一步降低每个图像传感器120的必要捕获率，同时将包装104的顶部300的采样率保持在操作频率。
45.在进一步的示例中，计算设备124在处理经由方法200的执行所捕获的图像数据期间可执行附加的措施。例如，在框235处生成点云之前，计算设备124可被配置为确定经由框
220-230捕获的图像是否包含异常数据。异常数据的示例包括出现在图像中的至少一些图像的死像素或卡住像素，这些异常数据指示图像传感器的部分故障。在此类示例中，计算设备124可在框235处生成点云之前省略异常数据(例如，删除(多个)死像素或(多个)卡住像素)。
46.在上述说明书中，已经描述了具体实施例。然而，本领域普通技术人员理解，可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是说明性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。
47.这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本技术处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。
48.此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用于区分一个实体或动作与另一实体或动作，而不一定要求或暗示此类实体或动作之间具有任何实际的此类关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，使得包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。
49.将理解，一些实施例可以包括一个或多个专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(fpga)以及唯一存储的程序指令(包括软件和固件两者)，所述唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由不具有存储的程序指令的状态机来实现，或者在一个或多个专用集成电路(asic)中实现，其中，每种功能或所述功能中的某些功能的一些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。
50.此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。此类计算机可读存储介质的示例包括但不限于硬盘、cd-rom、光存储设备、磁存储设备、rom(只读存储器)、prom(可编程只读存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，
但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及ic。
51.本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被并入具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。