用于改进雷达扫描覆盖和效率的系统和方法与流程

用于改进雷达扫描覆盖和效率的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年7月16日提交的美国临时专利申请号为62/874,618的优先权。该美国临时专利申请的内容通过引入整体并入本文。
技术领域
3.本公开总体上涉及数据处理系统。更具体地，本公开涉及实施用于改进雷达扫描覆盖和效率的系统和方法。


背景技术：

4.当今的服装购物者面临的困境是：服装款式、裁剪和尺寸的选择数量庞大，而关于他们的尺寸和他们独特的身体比例将如何适合于当前款式的信息不够丰富。


技术实现要素：

5.本公开涉及用于获得不规则形状物体(例如，个人)的尺寸的实施系统和方法。该方法包括：通过手持式扫描仪系统的显示器显示对象的3d光学图形；显示叠加在所述对象的所述3d光学图形上的栅格，该栅格包括按行和列排列的多个标记；通过所述手持式扫描仪系统的雷达模块，生成程距(range)数据，所述程距数据指出所述雷达模块与所述不规则形状物体的被至少一个物品(例如，这个人所穿的一件衣服)覆盖的第一部分的至少表面之间的感测间距；当所述对象被扫描时，所述手持式扫描仪系统的处理器从所述雷达模块接收所述程距数据；当所述处理器成功地接收到相应的程距数据时，使所述多个标记中的第一标记的至少一个第一视觉特征(例如，颜色、形状或尺寸)改变。
6.该方法还可以包括：通过所述手持式扫描仪系统的光学模块，生成3d点云数据，所述3d点云数据表示覆盖所述不规则形状物体的至少第一部分的至少一个物品的表面，以及所述不规则形状物体表面的暴露的第二部分的表面；当所述对象被扫描时，由所述处理器从所述光学模块接收所述3d点云数据；以及由所述处理器使用所述3d点云数据和所述雷达数据来创建表示所述不规则形状物体的维度的映射。
7.在一些情况下，距离信息也叠加在指出从所述手持式扫描仪系统到所述对象距离的所述3d光学图形上。附加地或可选地，所述处理器使所述多个标记中的第一标记或第二标记的至少一个第二视觉特征改变，以指示所述手持式扫描仪系统相对于被扫描的物体的指向方向。所述第二视觉特征不同于所述至少一个第一视觉特征。当所述手持式扫描仪系统的指向方向改变时，所述处理器还可以使所述第一标记或第二标记的所述至少一个第二视觉特征改变到先前设置。当在针对所述物体的相应区域扫描所述对象期间成功地接收到程距数据时，新的标记可以被额外叠加在所述3d光学图形的顶上。
8.所述实施系统包括：处理器；以及包含编程指令的非暂时性计算机可读存储介质，所述编程指令被配置为使所述处理器实施用于使用手持式扫描仪系统获得不规则形状物体(例如，个人)的尺寸的方法。所述编程指令包含以下指令：显示对象的3d光学图形；显示
叠加在所述对象的3d光学图形上的栅格，该栅格包括按行和列排列的多个标记；使雷达模块生成程距数据，所述程距数据指出所述雷达模块与所述不规则形状物体的被至少一个物品(例如，这个人所穿的一件衣服)覆盖的第一部分的至少表面之间的感测间距；和/或当所述雷达模块成功地生成相应的程距数据时，使所述多个标记中的第一标记的至少一个第一视觉特征(例如，颜色、形状或尺寸)改变。
9.所述编程指令还可以包含以下指令：使光学模块生成3d点云数据，所述3d点云数据表示覆盖所述不规则形状物体的至少第一部分的至少一个物品的表面，以及所述不规则形状物体的暴露的第二部分的表面；和/或使处理器使用所述3d点云数据和所述雷达数据来创建表示所述不规则形状物体的维度的映射。
10.所述编程指令还可以包含以下指令：使距离信息也叠加在所述3d光学图形上，所述距离信息指出从所述手持式扫描仪系统到所述对象的距离；使所述多个标记中的第一标记或第二标记的至少一个第二视觉特征改变，以指示所述手持式扫描仪系统相对于被扫描的物体的指向方向；当所述手持式扫描仪系统的指向方向改变时，使所述第一或第二标记的所述至少一个第二视觉特征改变到先前设置；和/或当在针对所述物体相应区域扫描所述对象期间成功地接收到程距数据时，使新的标记被额外叠加在所述3d光学图形的顶上。所述第二视觉特征可以不同于所述至少一个第一视觉特征。
11.本公开还涉及一种用于获得不规则形状物体(例如，个人)的尺寸的手持式扫描仪系统。该手持式扫描仪系统包括：壳体；光学模块，其包括至少一个3d光学传感器，所述至少一个3d光学传感器被配置为生成3d点云数据，所述3d点云数据表示覆盖所述不规则形状物体的至少第一部分的至少一个物品的表面以及所述不规则形状物体的表面的暴露的第二部分的表面；雷达模块，其包括至少一个雷达传感器，所述至少一个雷达传感器被配置为生成程距数据，所述程距数据指出所述壳体和所述不规则形状物体的被至少一个物品(例如，这个人所穿的一件衣服)覆盖的第一部分的至少表面之间的感测间距；显示器，其被配置为在使用所述光学模块和所述雷达模块扫描所述对象的同时，显示叠加在所述对象的3d光学图形上的栅格，所述栅格包括按行和列排列的多个标记；以及处理器。所述处理器被配置为：当所述对象被扫描时，从所述光学模块接收所述3d点云数据以及从所述雷达模块接收所述程距数据；当在扫描所述对象期间成功地接收到相应的程距数据时，使每个所述标记的至少一个第一视觉特征(例如，颜色、形状或尺寸)改变；以及使用所述3d点云数据和所述雷达数据来创建表示所述不规则形状物体的主体维度的映射。
12.在一些情况下，距离信息也叠加在所述3d光学图形上，所述距离信息指出从所述手持式扫描仪系统到所述对象的距离。附加地或可选地，所述处理器还被配置为：使所述多个标记中的一个标记的至少一个第二视觉特征改变，以指示所述手持式扫描仪系统相对于被扫描的物体的指向方向；当所述手持式扫描仪系统的指向方向改变时，使所述标记的至少一个第二视觉特征改变到先前设置；和/或当针对所述物体的相应区域扫描所述对象期间成功地接收到程距数据时，使新的标记被额外叠加在所述3d光学图形的顶上。所述第二视觉特征可以不同于所述至少一个第一视觉特征。
附图说明
13.将参考附图来描述本解决方案，其中相同的数字在整个附图中表示相同的项目。
14.图1是实施本解决方案的示例性系统的立体图。
15.图2是示例性手持式扫描仪系统的前立体图。
16.图3是手持式扫描仪系统的后立体图，其中透明地示出了壳体。
17.图4是示例性手持式扫描仪系统的框图。
18.图5是示例性波形雷达单元的框图。
19.图6是示例性雷达处理器的系统图。
20.图7是示出相对于使用多个天线孔径同时捕获程距信息时使用的目标的天线几何形状的多点定位处理的示意图。
21.图8是示出丝网人体模型和覆盖映射的立体图。
22.图9是图1所示计算设备的示例性体系结构的图解。
23.图10是用于理解图1所示系统的操作的图解。
24.图11a-图11b(在此统称为“图11”)是使用手持式扫描仪系统产生3d模型的示例性方法的流程图。
25.图12是示例性参数3d模型的图解。
26.图13是示例性对象点云的图解。
27.图14示出使用参数3d模型和设置向量将参考点云变形为被感测对象点云的示例性处理。
28.图15是示例性合成表面模型的图解。
29.图16是用于扫描物体的示例性方法的流程图。
30.图17-图19中每一个提供了示出叠加在对象的光学图像的顶上的栅格的图像。
31.图20提供了图解，该图解示出表示从光学数据创建的信息的第一点云、表示从雷达传感器创建的信息的第二点云、以及表示从光学数据和雷达数据创建的信息的第三点云。
具体实施方式
32.将容易理解，这里一般描述的和附图中示出的实施例的部件可以布置和设计成各种不同的结构。因此下面对如图中所示的各种实施例的更详细的描述并不意欲限制本公开的范围，而仅仅代表各种实施例。虽然实施例的各个方面在附图中示出，但是附图不一定按比例绘制，除非特别指出。
33.在不脱离本发明的精神和基本特征的情况下，本发明的解决方案可以以其它特定的形式实施。所描述的实施例应被认为在所有方面都只是示例性的，而不是限制性的。因此，本解决方案的保护范围由所附权利要求书来限定，而不是由本说明书来限定。在权利要求的等效含义和范围内的所有变化都包括在它们的范围内。
34.在整个说明书中对特征、优点或类似语言的引用，并不意味着可以用本解决方案实现的所有特征和优点应当在本解决方案的任何单个实施例中。相反，涉及特征和优点的语言被理解为，结合实施例描述的特定特征、优点或特性包括在本解决方案的至少一个实施例中。因此，在整个说明书中对特征和优点以及类似语言的讨论，可以但不一定涉及同一实施例。
35.此外，在一个或多个实施例中，可以以任何合适的方式结合本解决方案的所述特
征、优点和特性。根据本文的描述，相关领域的技术人员将认识到，本解决方案可以在没有特定实施例的一个或多个特定特征或优点的情况下实施。在其它情况下，可以在某些实施例中认识到附加特征和优点，但可能不存在于本解决方案的所有实施例中。
36.在本说明书中对“一个实施例”、“实施例”或类似语言的引用，意味着结合所述实施例描述的特定特征、结构或特性被包括在本解决方案的至少一个实施例中。因此，短语“在一个实施例中”，“在实施例中”以及贯穿本说明书的类似语言可以但不一定都涉及同一实施例。
37.在本文件中使用的单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外清楚地指出。除非另有定义，本文所用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同的含义。正如在本文件中使用的，术语“包含”意思是“包括但不限于”。
38.有许多系统可用于从复杂的真实世界物体产生3d表面扫描或点云。未标记的3d表面可用于渲染静态物体，但对于由具有已知功能和意义的特定区域或子物体组成的复杂物体的测量和交互显示则不太有用。本解决方案总体上涉及用于使用具有多个传感器的手持式扫描设备互动式捕获3d数据并提供区域和子物体的语义标记的系统和方法。然后，所得模型可用于导出被扫描物体的改进测量值，显示被扫描物体的功能方面，和/或基于功能方面确定被扫描物体与其它物体的几何契合。
39.在零售应用中，本解决方案的目的是通过使用光学和雷达技术创建穿着衣服的个人的3d点云表示来创建立一组身体测量。该衣服对工作在ghz频率的雷达信号来说是透明的，因此入射的雷达信号从身体反射，并提供到里面表面的程距测量。雷达的这个特征用来确定附加距离信息，以便有可能获得这个人的一组精确测量。如果到身体的距离和到衣服的距离是已知的，则可以通过考虑程距差来获得一批精确测量。
40.示例性系统
41.现参照图1-图4，提供了有助于理解实现本解决方案的系统150的图示。系统150包括手持式扫描仪系统100。本解决方案不限于图2-图3所示的手持式扫描仪系统的形状、尺寸和其它几何特征。在其它情况下，手持式扫描仪系统具有不同的总体设计。
42.在图1中，手持式扫描仪系统100被示出为相对于不规则形状物体102(在所示的应用中是个人)定位。手持式扫描仪系统100包括壳体104，下面描述的各种部件容纳在壳体104中。壳体104可以具有各种构造，并且被构造成舒适地握在操作者的手中。支撑件或支架(未示出)可选地从壳体104延伸，以帮助操作者相对于物体102支撑手持式扫描仪系统100。在操作期间，手持式扫描仪系统100围绕对象102移动，同时紧邻该对象(例如，距该对象12-25英寸)。壳体104可由耐用的塑料材料制成。位于天线元件附近的壳体部分对于雷达工作频率是透明的。
43.图4-图6示出了手持式扫描仪系统100的示例性体系结构。本解决方案不限于该体系结构。其它手持扫描仪体系结构可以在此不受限制地使用。
44.如图4所示，小显示器402被内置于壳体104中或在壳体104的外部，同时在扫描期间对于操作者是可见的。显示器402还可以被配置为执行基本数据输入任务(例如响应于提示，输入客户信息，以及接收关于手持式扫描仪系统100的状态的诊断信息)。另外，手持式扫描仪系统100还可以向操作者提供反馈(触觉、听觉、视觉、知觉等)，例如，这将操作者引导到需要扫描的客户的位置。在一些情况下，反馈(例如，触觉、听觉、视觉和/或知觉)可以
向操作者提示手持式扫描仪系统100距离被扫描对象太近或太远。
45.手持式扫描仪系统100由可充电电池406或其它电源408供电。可充电电池406可包括但不限于高能量密度和/或轻重量电池(例如，锂聚合物电池)。可充电电池406可以是可互换的，以支持长期或连续操作。手持式扫描仪系统100在不使用时可以对接在支架(未示出)中。当对接时，支架对可充电电池406再充电，并提供到外部计算机设备(例如，计算设备106)的有线连接的接口。手持式扫描仪系统100支持有线和无线接口410、412。壳体104包括允许供电、通过网络108(例如，因特网或内联网)进行数据的高速传输、以及设备编程或更新的物理接口410。无线接口412可包括但不限于802.11接口。无线接口412提供通用操作通信链路，以将测量数据(雷达和图像数据)交换到辅助计算机设备106(例如，外部主机设备)，用于将图像渲染到操作员终端的显示器。为了制造和测试的目的，可以包括rf测试端口，用于校准rf电路。
46.手持式扫描仪系统100使用两种测量模式，即光学模块414测量模式和雷达模块416测量模式。来自两个模块414、416的数据流入中央处理单元(“cpu”)418。在cpu418或照相机模块上，光学和雷达数据流被共同处理和同步。共同处理的结果经由网络108传送到移动计算设备或其它辅助计算机设备106(例如，用于显示)。数字信号处理器(“dsp”)420也可以包括在手持式扫描仪系统100中。
47.随后的测量提取可以对3d数据进行操作，并且提取的结果可以被提供给试衣引擎。或者，光学数据被发送到雷达模块416。雷达模块416将光学数据与雷达数据交织，并提供到辅助计算机设备106的单个usb连接。光学数据和雷达数据也可以被写入外部数据存储110以缓冲光学数据帧。
48.电子存储器422临时存储来自先前扫描的程距信息。当雷达模块416和光学模块414围绕对象移动以获得身体的改进的表示并确定身体特征时，来自先前扫描的存储数据可以增加对当前样本的处理。在一些情况下，多普勒信号处理或移动目标指示器(moving target indicator,“mti”)算法被用于获得身体的改进的表示并确定身体特征。多普勒信号处理和mti算法在本领域中是众所周知的，因此在此将不进行描述。这里可以使用任何已知的多普勒信号处理技术和/或mti算法。本发明的解决方案不限于此。手持式扫描仪系统100允许主平台使用光学和雷达系统来确定个人的两个表面(例如，衣服表面和穿着者的身体表面)。雷达模块416还可以分析光学程距数据，并使用该信息来求解程距解并消除重影或程距模糊。
49.光学模块414耦合到一个或多个照相机424和/或传感器450。照相机包括但不限于3d相机、rgb相机和/或跟踪相机。传感器包括但不限于激光器和/或红外系统。所列类型照相机和/或传感器的每一个都是本领域已知的，因此在此将不详细描述。
50.3d相机被配置为使得集成的3d数据结构提供3d点云(衣服和身体)、体积视差区域(由操作者指定)和两个表面的统计表示(例如，服装表面和身体表面)。这样的3d照相机在本领域中是众所周知的，并且可以从许多制造商处广泛获得(例如，intel realsense
tm 3d光学相机扫描仪系统)。
51.光学模块414可以相对于固定坐标参考帧和相对于身体保持惯性状态矢量。所述状态信息(包括所述单元的定向、平移和旋转)与所述天线元件相对于所述单元的重心的已知物理偏移一起使用，为每个虚拟天线和所述光学模块提供校正和更新程距估计。可以使
用来自可选的板上惯性测量单元(“imu”)426的传感器数据，或通过多天线雷达阵列(例如，具有3个或更多个元件)来获得惯性状态向量。imu和多天线雷达阵列在本领域中是众所周知的，因此在此将不进行描述。任何已知的或待知的imu和/或多天线雷达阵列均可在此使用而不作限制。
52.这种系统的能力通常在近距离实现毫米的精度和分辨率，并且在更远的距离提高到厘米分辨率。尽管它们具有极好的分辨率，但获取一个穿着衣服的个人的身体维度受到任何阻碍(例如衣服)的限制。将图案投影到对象上的照相机系统为该应用提供了足够的性能。
53.如图5所示，雷达模块416通常包括：波形生成器502，其能够产生用于程距确定的适当波形；具有至少一个发射元件(发射器)506和至少一个接收元件(接收器)508的至少一个天线组件504；倍频器510；发射选择开关512；和下转换器(扩展处理器)，其是匹配滤波器，被配置为经由正交输出514将接收到的目标波形的瞬时相位与发射信号副本的瞬时相位进行比较来提供拍频。可包括ssb混频器516来执行上转换以赋予恒定频移。该功能块不是强制性的，而是为了克服馈通的问题而进行的设计增强。
54.注意，期望波形是线性频率调制(linear frequency modulated,“lfm”)啁啾脉冲。然而，也可以使用其它波形。为了获得高的程距分辨率，雷达模块416是宽带系统。在这点上，雷达模块416可包括但不限于具有x/ku波段操作的雷达模块。lfm系统包括传输突发的延迟副本，以与返回脉冲进行比较。由于使用手持式扫描仪系统100的操作者不能可靠地保持与对象的固定间隔，激光测距仪、光学系统或其它近距传感器可以帮助跟踪与对象的外衣的间隔。该信息可用于确认使用lfm系统进行的雷达测量，并相应地补偿延迟参数。因为光学3d照相机424或激光器450不能测量被衣服覆盖的身体，所以超宽带(“uwb”)雷达模块416负责进行该测量。
55.对于所示的uwb雷达模块416，波形生成器502发射低功率非电离毫米波(例如，在58-64ghz之间操作)，该毫米波穿过衣服，从身体反射，并将散射响应返回到雷达接收孔径。为了解决该程距，uwb雷达模块416由具有已知空间间隔的两个或更多个天线单元428、430组成。在这种情况下，一个或多个天线对被使用。孔径204与相关的发射元件428一起使用。然而，不同的配置可以同时满足几何和成本目标。在多个发射孔径204的情况下，每个元件轮流作为发射器，而其它元件是接收器。
56.单个孔径204可用于发射和接收。双孔径可用来实现给定信道的发射元件和接收元件之间的高隔离度。另外，天线206可以被设置成以特定的波极化进行发射，以实现附加隔离，或者对由目标确定的给定极化感更加敏感。
57.在身体方向上发射的波形是一个lfm斜坡，该斜坡扫过几g赫兹的带宽。对于所有天线对，波形可以相同，或者可以改变波形以表达反射表面的特征。带宽确定雷达模块416可实现的明确的空间分辨率。其它雷达波形和示例可以使用，但是在这种情况下使用lfm三角波形。
58.现参照图6，dsp 420一般包括：时钟源604，用于提供精确时基，以操作处理器、存储器电路和adc的采样时钟，并将雷达数据与光学帧时间对准；cpu(或其它处理器)418，负责雷达模块416的配置，处理原始雷达数据和计算程距解；外部存储器602，其存储用于处理的原始雷达波形，并且还存储校准信息和波形校正；模数转换器(“adc”)606；抗锯齿滤波器
608，用于过滤模拟信号用于低通(即第一奈奎斯特区)或带通(即中间频率(“if”))取样；数字和模拟多路复用电子设备610，以及复杂可编程逻辑器件(“cpld”)或现场可编程门阵列(“fpga”)612，它们协调事件的定时。还可以消除其中一个正交信道，因此，如果使用hilbert变压器来对所保存的信号链施加相移并获得复杂信号处理所需的正交分量，则简化接收器硬件并消除单个adc转换器链(元件606、608、610和614)。这些处理技术是众所周知的，并且可应用于雷达处理。
59.对于天线对428、430的所有组合，可以通过元件的三边化(对于一对)或多边化(对于一组)过程对对象进行程距确定。参照图7，目标位于手持式扫描仪系统100前面未知距离处的情况下，反射波形与发射波形的副本混合，并产生拍频。该拍频直接映射到斜坡波形的传播延迟。通过对lfm雷达的输出执行傅立叶变换以提取频谱频率内容，来解析总路径长度。可选的分析技术可包括prony方法。prony方法的输出能从均匀采样信号中提取频率、振幅、相位以及阻尼参数。prony方法分析的效用允许在存在噪声的情况下进行参数提取。突出的频谱峰值表示到各种散射表面的往返距离。在本领域中很好地确定了如何执行该处理。也可以使用其它方法。例如，雷达模块还可以使用侧扫描雷达(“ssr”)算法确定到目标的程距信息。ssr算法可单独使用或与三边测量结合使用。
60.如图8所示，当操作者扫描这个人时，更新指示覆盖区域的显示器800。操作者将看到用屏幕指示802对所获取的扫描的实时更新，其中身体的该区域已被扫描，并且身体仍可能需要被扫描。显示信息有助于帮助设备的操作者确保身体的所有表面都已被扫描。这个概念的简单图示是以黑白或灰度显示身体轮廓，以指示已被扫描的身体区域。
61.在示例性应用中，手持式扫描仪系统100将允许大量完全穿衣的顾客被快速扫描。该技术的一个显著优点是手持式扫描仪系统100不会被限制在相对于对象的固定方向上，因此可以对身体区域进行有挑战性的测量，否则难以用固定结构进行。另外，两个协同工作的空间测量系统的组合可以提供个人维度的更高保真度再现。
62.虽然在示例性服装试衣应用中描述了手持式扫描仪系统100，可以认识到，手持式扫描仪系统100可用于确定其它不规则形状物体的尺寸测量，并用于利用不规则形状物体的尺寸测量的其它应用中。
63.现参照图9，提供了计算设备106的示例性体系结构的详细框图。计算设备106包括但不限于个人计算机、台式计算机，笔记本电脑或智能设备(例如，智能电话)。
64.计算设备106可包括比图9所示更多或更少的部件。然而，所示部件足以公开实施本解决方案的实施例。图9的硬件结构代表典型计算设备的一个实施例，该典型计算设备被配置为使用由手持式扫描仪系统100获取的数据来促进3d模型的生成。同样地，图9的计算设备106实施在此描述的与本解决方案相关方法的至少一部分。
65.计算设备106的部分或全部组件可以实现为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或多个电子电路。电子电路可包括但不限于无源部件(例如电阻和电容)和/或有源部件(例如放大器和/或微处理器)。无源和/或有源部件可适于布置和/或编程以执行本文所述的一个或多个方法、过程或功能。
66.如图9所示，计算设备106包括用户接口902、cpu 906、系统总线910、存储器912和硬件实体914，存储器912通过系统总线910连接到计算设备106的其他部分并可被计算设备106的其它部分访问，硬件实体914连接到系统总线910。用户接口可包括输入设备(例如，按
键950)和输出设备(例如，扬声器952、显示器954和/或发光二极管956)，它们促进用于控制计算设备106操作的用户-软件交互。
67.至少一些硬件实体914执行涉及访问和使用存储器912的动作，存储器912可以是随机存储器和/或磁盘驱动器。硬件实体914可包括盘驱动单元916，该盘驱动单元916包括计算机可读存储介质918，在该存储介质918上存储一组或多组指令920(例如，软件代码)，这些指令被配置为实施本文所述的一个或多个方法、过程或功能。在计算设备106执行指令920的过程中，指令920也可以完全或至少部分地驻留在存储器912内和/或cpu 906内。存储器912和cpu 906也可以构成机器可读介质。这里使用的术语“机器可读介质”是指存储一组或多组指令920的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关的高速缓存和服务器)。如这里所使用的术语“机器可读介质”还指能够存储、编码或携带一组指令920以供计算设备106执行，并使计算设备106执行本公开的任何一种或多种方法的任何介质。
68.在一些情况下，硬件实体914包括电子电路(例如，处理器)，该电子电路被编程用于使用由手持式扫描仪系统100获取的数据来促进3d模型的生成。在这点上，应当理解，电子电路可以访问和运行安装在计算设备106上的一个或多个应用程序924。软件应用程序924通常用于：促进参数3d模型建立；存储参数3d模型；从手持式扫描仪系统100得到获取的数据；使用所获取的数据来识别被扫描物体所属的一般物体类别或种类；识别与被扫描物体属于相同类别或种类的物体的3d模型；生成点云；修改点云；比较点云；识别对第二点云最适合的第一点云；获得与第一点云相关联的设置向量；使用所述设置向量设置3d模型；从所设置的3d模型中获得完整的3d表面模型和区域标记；从所述设置向量获得被扫描的物体的某些特征的度量；改进度量；和/或向用户呈现信息。在图10中提供了计算设备的这些操作的图解。图10还示出了手持式扫描仪系统和计算设备之间的操作关系。随着讨论的进行，软件应用程序924的其它功能将变得显而易见。
69.用于生成改进的3d模型的示例性方法
70.现参照图11，提供了使用由手持式扫描仪系统(例如图1的手持式扫描仪系统100)获取的数据来产生改进的3d模型的示例性方法1100的流程图。3d模型具有多个有意义的子区域。所述物体(例如，图1的不规则形状物体102)每个有意义的子区域用关键值和关联值(语义标记)来标识。
71.方法1100包括在方框1102-1144中示出的多个操作。这些操作可以与图11所示相同或不同的顺序执行。例如，1116-1118的操作可以在1109-1114之前执行，而不是如图11a所示在1109-1114之后执行。本解决方案不限于此。
72.如图11a所示，方法1100从1102开始，接下来是1104，在1104中建立多个合成3d模型。合成3d模型可使用手持式扫描仪系统外部和/或远离手持式扫描仪系统的计算设备(例如，图1和9的计算设备106)来构建。该计算设备包括但不限于个人计算机、台式计算机、笔记本电脑、智能设备和/或服务器。每一个所列计算设备在本领域中是众所周知的，在此将不进行描述。
73.合成3d模型表示使用手持式扫描仪系统感测的不同物体(例如，生命体(例如，人(男性和/或女性)或动物)，衣服、车等)。用于构建合成3d模型的方法在本领域中众所周知。用于建立合成3d模型的任何已知或待知方法可在此使用而不受限制。例如，在一些情况下，
本解决方案采用计算机辅助设计(“cad”)软件程序。cad软件程序在本领域中众所周知。另外或可选地，本解决方案使用3d建模技术，该3d建模技术在blanz等人(“blanz”)撰写的题为“a morphable model for the synthesis of 3d faces”的文件中描述。图12示出了根据该3d建模技术生成的人类1200的示例性合成3d模型。本发明的解决方案不限于本实施例的细节。在接下来的1106中，将多个合成3d模型存储在数据存储(例如，图4的存储器422和/或图6的外部存储602)中以备以后使用。
74.每个合成3d模型具有多个可变特征。这些可变特征包括但不限于外观、形状、方向和/或尺寸。可通过设置或调整参数值(例如，高度参数值、重量参数值、胸围参数值、腰围参数值等)来改变这些特征，这些参数值对于给定的一般对象类别或种类(例如，人类类别或种类)中的所有对象是共同的。在一些情况下，每个参数值可以被调整到-1.0到1.0的任何值。用于合成3d模型的离散参数值设置的集合在这里被称作“设置向量”。所述合成3d模型被设计为使得对于给定的一般对象类别或种类的每个感知上不同的形状和外观，存在最佳描述所述形状和外观的设置向量。用于合成3d模型的设置向量的集合描述了可能的形状和外观的分布，该分布代表可能在真实世界中发现的那些外观和形状的分布。该设置向量集合在这里被称作“设置空间”。
75.合成3d模型还可以包括多个子物体或区域(例如，额头、耳朵、眼睛、嘴、鼻、下巴、手臂、腿、胸部、手、脚、颈部、头部、腰部等)。每个有意义的子物体或区域用关键值对标记。关键值对是一组两个关联的数据项：关键(它是某些数据项的唯一标识符)；以及值(该值是被识别的数据，或者是数据存储中该数据的存储位置的指针)。该关键可包括但不限于数字序列、字母序列、字母数字序列或数字、字母和/或其它符号序列。
76.再次参照图11a，在1107继续方法1100，其中每个合成3d模型与实际3d扫描点云的数据集组合，生成参数3d模型。在一个实例中，实际(真实)物体的3d扫描点云的(一些)数据集可由手持式扫描仪系统100获得。
77.接下来在1108中，手持式扫描仪系统的操作者以连续运动方式扫描物体(例如，人)。在扫描之前，附加的物理特征可被添加到对象的真实表面，以便于随后使用扫描数据更好和更快创建对象点云。例如，对象可以佩戴其上形成有给定可见图案的带。所述带被设计成围绕所述物体外接或延伸。所述带具有的宽度允许(a)位于所述带上方的所述物体的一部分可见和(b)位于所述带下方的所述物体的一部分可见。带(例如，皮带)的可见图案有助于在点云数据、形状配准和3d姿态估计中更快和更准确的物体识别。因此，附加的物理特征改善了实施设备的功能。
78.作为该扫描的结果，手持式扫描仪系统执行操作以获取被扫描物体(例如，人)的雷达深度数据(例如，经由图4的雷达模块416)、光学照相机深度数据(例如，经由图4的照相机424)、颜色数据(例如，经由图4的照相机424)和/或频谱数据(例如，经由图4的照相机424)。所获取的数据被存储在手持式扫描仪系统本地或远离手持式扫描仪系统的数据存储中(例如，图1的数据存储110)。在这点上，1108还可以涉及通过网络(例如，图1的网络108)将所获取的数据传送到远程计算设备(例如，图1和图9的计算设备106)以存储在远程数据存储中。
79.在1109中使用所获取的数据来构建对象的3d点云。这里使用的术语“点云”指的是在某坐标系中的一组数据点。在3d坐标系中，这些点可以由x、y和z坐标定义。更具体地说，
从光学数据中提取光学关键点。在一种情况下，可以但不限于使用orb特征来提取这些关键点。关键点被索引并用于将所有扫描数据级联到对象的3d点云中。这些关键点还用于(连续地)跟踪手持式扫描仪系统100相对于固定坐标框架的位置(旋转和平移)。由于关键点的数量和质量取决于扫描环境，因此可能发生手持式扫描仪系统100不能收集足够的关键点并且不能构建3d点云的情况。为了解决这个问题，可以将附加层应用于对象的实际表面，以保证关键点的数量和类型。该层可以是由对象佩戴或投影在对象身上的(皮带上的)一些图案。
80.在1110中，所获取的数据被用于识别被扫描物体所属的一般物体类别或种类(例如，人)。例如，使用图像处理来识别图像中的物体，并从图像中提取所识别物体的特征信息(例如，所识别物体的全部或一部分的形状和/或所识别物体的颜色)。物体识别和特征提取技术在本领域中众所周知。任何已知或将知的物体识别和特征提取技术都可以在此使用而不受限制。然后，将提取的特征信息与存储的特征信息进行比较，存储的特征信息定义了多个一般物体类别或种类(例如，人、动物、辆车等)。当存在匹配(例如，一定程度上)时，在1110中识别相应的一般物体类别或种类。本发明的解决方案不限于本实施例的细节。1110的操作可以由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
81.接下来在1112中，从表示被扫描物体属于相同的一般物体类别或种类(例如人)的物体的多个参数3d模型中识别初始3d模型。基于各种类型的查询从多个3d模型中识别3d模型的方法在本领域中众所周知，在此将不进行描述。用于识别3d模型的任何已知或待知的方法可在此使用而不受限制。在funkhouser等人(“funkhouser”)撰写的标题为“asearch engine for 3d models”的文件中描述了一种这样的方法。1112的操作可以由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
82.在1114中使用初始3d模型和多个不同的设置向量来生成多个参考点云。用于生成点云的方法在本领域中众所周知。用于生成点云的任何已知或将知的方法都可以在此使用而不受限制。图12示出了示例性参考点云1200。1114的操作可以由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
83.此后在1116中，使用所获取的光学照相机深度数据，来构造被扫描物体的部分或全部点云(“物体点云”)。图14示出了示例性的对象点云。
84.可使用1118所示的雷达深度数据、1120所示的颜色数据和/或1120所示的频谱数据可选地修改对象点云。使用各种类型的基于相机的数据来修改点云的方法在本领域中是众所周知的，因此在此将不进行描述。任何已知或将知的使用基于相机的数据来修改点云的方法都可以在此使用而不受限制。1116-1120的操作可由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
85.1118是一个重要的操作，因为它提高了对象点云的精确度。如上所述，由于ghz频率反射了皮肤中的水分，雷达可以“透视”衣服。将雷达深度测量值与光学照相机数据进行配准，以识别被扫描对象上的点或区域，测量从该设备到该点或区域的雷达距离。结果，最终扫描点云除光学点云外，还包括这样的识别雷达点。雷达点云可用于重建物体的主体的3d雷达表示。然后，这些雷达点还可以用于修改用东西(例如，衣服)覆盖物体的至少一部分而获得的光学点云和/或修改参考点云(例如，人体模型)，以最佳地匹配对象的真实形状。
由于与光学云(穿着衣服)相比，修改后的云更好地表示对象的真实形状(例如，未穿衣服的人体)，因此它改善了识别和变形参考点云的过程，以获得如1122-1132所示的更好改进3d模型，从而更好地匹配对象的真实形状。如1134所示，可以进一步利用标记区域中的光学距离和雷达距离间的差别，来获得被扫描物体的特定特征(例如胸围和/或腰围)的更精确的度量。
86.在1122中，将对象点云与多个参考点云进行比较。基于这些比较的结果，在1124中识别参考点云。所识别的参考点云(例如，图12的参考点云1200)是最匹配对象点云的参考点云。点云的最佳匹配方法在本领域中众所周知。任何已知或将知的点云的最佳匹配方法均可在此使用而不受限制。示例性的最佳匹配方法记载在由bardinet等人撰写的标题为“computer vision and image understanding”的文件和由cootes撰写的标题为“use of active shape models for locating structures in medical images”的文件中。1122-1124的操作可以由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。另外，1122-1124的操作可选在1118中对象点云的雷达修改之前执行。
87.一旦识别出最佳匹配参考点云，方法1100继续图11b的1126。如图11b所示，1126包括获得与最佳匹配参考点云相关联的设置向量。然后在1128将初始3d模型转换为改进的3d模型。改进的3d模型是参数化3d模型的实例，其更匹配对象点云。该转换通过将初始3d模型的可变参数值设置为设置向量中指定的参数值来实现。设定的初始3d模型描述该设定向量的外观和形状变化。所设置的初始3d模型还包括用于有意义的子物体或区域的标记。1126-1128的操作可以由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
88.在1130中，从改进的3d模型获得完整3d表面模型和区域标记。表面建模技术在本领域中众所周知，在此将不进行描述。任何已知或将知的表面建模技术均可在此使用而不受限制。在一些情况下，在1130中使用具有表面建模功能的cad软件程序。图15示出了示例性的表面模型。1130的操作可由手持式扫描仪系统100和/或远程计算设备(例如，图1和图9的计算设备106)执行。
89.在1132中合成被扫描物体的外观。通过将3d表面模块拟合并映射到来自对象点云(光学和/或雷达云，3d雷达重构云)的光学数据和可选雷达数据来实现该合成。在此使用的短语“拟合和映射”的意思是：发现3d表面模型中的点与对象点云中的点之间的对应关系，并且可选地修改3d表面模块以最佳拟合对象点云。在1134中，从改进的3d模型的设置向量获得被扫描物体的某些特征(例如，高度、重量、胸围和/或腰围)的度量。如1136所示，可选地(a)使用与改进额3d模型的标记区域相关联的雷达数据，和/或(b)基于在改进的3d模型中标记的区域的几何形状改进该度量。如1138所示，将被扫描物体的合成外观呈现给手持式扫描仪系统的操作者和/或另一计算设备(例如，图1和图9的计算设备106)的用户。在一些情况下，被扫描物体的合成外观与图15所示的表面模型相同。
90.合成的扫描物体的外观和/或度量(未改进的和/或改进的)可任选地用于940中，以确定被扫描物体与至少一个其它物体(例如，衬衣或裤子)的几何契合或用于识别至少一个适合于被扫描物体的其它物体。在可选的1142中，进一步的信息被呈现给手持式扫描仪系统的操作者和/或另一计算设备(例如，图1和图9的计算设备106)的用户。所述进一步的信息指出所确定的被扫描物体与所述至少一个其它物体的几何契合和/或包括所述至少一
个其它物体的识别信息。例如，从手持式扫描仪系统和/或另一计算设备(例如，个人计算机、智能电话和/或远程服务器)输出对被扫描的个人的衣服建议。随后，执行1144，其中方法1100结束或执行其它处理(例如，返回1104)。
91.本解决方案不限于图11的细节。例如，在一些情况下，识别参考点云的邻域。从相关联的相邻参考向量的贡献中累加内插参考向量。使用内插参考向量来设置初始3d模型。所设置的初始3d模型描述了内插参考向量的外观和形状变化。区域标记仍然指的是变换后的子区域。然后从所设置的初始3d模型获得完整的3d表面模型和区域标记。
92.上述方法1100的以下操作被认为是新颖的：使用物体类别从多个3d参数模型中选择3d参数模型；使用与由空间散列找到的参考点云相关联的设置向量，找到将3d参数模型拟合到所感测的非结构化数据的设置向量；使用所找到的设置向量的邻域来进一步改进3d参数模型的形状和外观；和/或返回外观模型以及3d参数模型中标记区域的语义信息。
93.用于提高扫描覆盖和效率的示例性方法
94.如上所述，手持式扫描仪系统100利用光学和雷达技术来扫描穿衣服对象102。光学照相机(例如，图4的光学照相机424)用于确定穿衣服对象102的基本形状。然后，形状信息用于优化服装后面的雷达传感器形状的算法，使得可以更准确地确定测量。
95.当操作者扫描对象时，可以在屏幕上看到光学信息。操作者使用光学信息在对象上移动扫描仪，从而可以渲染对象的3d图像。然而，尽管操作员可以查看显示器中的光学信息，但是操作员没有关于雷达传感器数据质量的信息。在没有视觉帮助的情况下，很难确定操作者是否已经在整个对象上捕获了足够量的雷达数据。因此，本解决方案使用增强现实来向光学显示器添加信息，以通过提高雷达数据质量来帮助操作者。
96.现参照图16，提供了一种用于扫描物体或对象的改进方法1600。方法1600可在图11的1108中执行。方法1600可包括图16所示的部分或全部操作。这些操作可以以与图16所示的顺序相同或不同的顺序执行。在方法1600中，通常由手持式扫描仪系统(例如，图1的手持式扫描仪系统100)执行操作以获取被扫描物体的雷达深度数据、光学照相机深度数据、颜色数据和/或频谱数据。
97.如图16所示，方法1600以1602开始，并以1604继续，其中物理特征可选地被添加到物体或对象的真实表面上。可以添加物理特征来促进随后使用扫描数据更好和更快地创建对象点云。例如，对象可以佩戴其上形成有给定可见图案的带。所述带被设计成围绕所述物体外接或延伸。所述带具有的宽度允许(a)位于所述带上方的所述物体的一部分可见和(b)位于所述带下方的所述物体的一部分可见。带(例如，皮带)的可见图案有助于在点云数据、形状配准和3d姿态估计中更快和更准确的物体识别。因此，附加的物理特征改善了实施设备的功能性。
98.在1606中，启动手持式扫描仪系统的扫描操作(例如，通过物理或虚拟按钮启动)。如1608所示，手持式扫描仪系统显示待扫描物体的光学图形。在1610中，栅格叠加在所显示的光学图形的顶上。光学图形可以是3d光学图形(例如，表示人的3d光学图形)。
99.在图17中提供叠加在显示的光学图形1720的顶上的示例性栅格1700的图像。栅格1700包括限定栅格区域1710的多个行1702和多个列1704。以透明格式示出定义行和列中单元的栅格线。在栅格1700的每个行、列和/或栅格区域中提供多个标记1712。尽管标记1712显示为有色点，但是本解决方案并不限于此。标记1712可以具有任何形状和/或颜色。当成
功地获取了对象的相应区域的雷达数据时，可以选择性地改变标记1712的形状和/或颜色。例如，当还未获取对象上的相应位置的雷达信息时，以暗色(例如，黑色)显示标记。当成功地获取了对象上的相应位置的雷达信息时，以中色或浅色(例如，绿色或白色)显示标记。本发明的解决方案不限于本实施例的细节。
100.任选地，可以基于被扫描对象的基本信息(例如，用于人体扫描的的高度和重量)从多个参考点云中识别一个参考点云；然后将累积的光学云与参考点云对准，以提供反馈和信息，从而帮助指导操作者，包括但不限于关于感兴趣的区域(需要雷达扫描的区域)的信息，用于扫描方向和设备取向的指南等。将3d(光学)点云与参考点云对准的方法在本领域中众所周知。一种此类方法是迭代最近点(iterative closest point,“icp”)算法。
101.再次参照图16，信息也可选地叠加在1612中光学图形的顶上，用于指示手持式扫描仪系统和物体之间的距离。在图17中提供了叠加在光学图形1720的顶上的示例性距离信息1708的图像。手持式扫描仪系统100的操作者使用所显示的光学图形1720、栅格1700和/或距离信息1708以协助扫描过程。
102.接下来在1614中，由手持式扫描仪系统执行操作，以确定手持式扫描仪系统为扫描目的在物体上指向的位置。在1604中添加的物理特征可以促进该确定。如1616所示，一旦做出了该确定，栅格的第一标记被识别为与手持式扫描仪系统当前所指向的物体上的位置相对应。在1618中修改第一标记的至少一个视觉特征(例如，尺寸和/或颜色)。
103.图17提供了示出标记1706的图像，该标记1706已经被修改以显示手持式扫描仪系统相对于物体的指向方向。如图17所示，标记1706被放大并以相对较浅的颜色(例如，绿色或白色)显示，使得它在视觉上与栅格1700的其它标记可区分。本发明的解决方案不限于本实施例的细节。可选择地或附加地修改标记1706，以便具有与其它标记不同的颜色和/或形状。
104.再次参照图16，方法1600接下来是1620，其中当物体被扫描时，手持式扫描仪系统获取物体的雷达深度数据、光学照相机深度数据、颜色数据和/或频谱数据。在1622中分析雷达数据，以识别与在1620中成功获取其雷达深度数据的物体上位置相对应的栅格的第二标记。在1624中修改第二标记的至少一个视觉特征(例如颜色)。图17提供了修改的第二标记1714的图像。如图17所示，第二标记1714的颜色已经从深色(例如，黑色)改变为浅色(例如，灰色或绿色)。额外的标记1716也被添加到栅格中，以示出对于物体给定区域的雷达深度数据的成功获取。本解决方案不限于图17的细节。
105.接下来，在图16的1626中判定是否已获得足够量的雷达深度数据。如果是[1626:是]，执行1630，方法1600结束或执行其它处理。
[0106]
如果不是[1626:否]，则执行1628，其中第一标记的视觉特征被修改为其先前设置。例如，第一标记的尺寸被减小和/或将第一标记的颜色改变回较暗的颜色，使得第一标记不再能与其它标记区分开来。当手持式扫描仪系统改变其指向方向时以及当第一标记的视觉特征在1628中被修改时，可能存在时间延迟。这对于向操作者显示手持式扫描仪系统在给定时间段内的移动是有用的。随后，方法1600返回到1614，以便可从物体的另一区域重复扫描过程。
[0107]
现参考图18-图19，提供了示出栅格1700的示图，该栅格1700具有增加数量的被修改标记，以显示针对对象上相应位置成功获得的雷达数据。
[0108]
一旦对象被完全扫描，光学数据被用于创建关于图11所讨论的穿衣者的3d图像。这种光学3d重建不依赖于栅格信息。然后，雷达信息被用于在衣服的轮廓内(后面)创建新的3d图像。栅格辅助扫描生成更密集和更一致的雷达图案。所述雷达图案用于生成更精确的身体图像，所述更精确的身体图像显著提高了测量精度。
[0109]
图20示出了3d点云。第一点云2000表示从光学数据创建的信息。第二点云2002表示从雷达传感器创建的信息。第三点云2004表示从光学数据和雷达数据创建的信息。第一点云和第三点云之间的间隔清楚地显示出衣服线和皮肤线。
[0110]
虽然已经针对一个或多个实施例示出和描述了本解决方案，但是本领域的其它技术人员在阅读和理解了本说明书和附图后，将想到等效的改变和修改。此外，虽然本解决方案的一个特定特征可以仅针对几种实施方式中的一种而被公开，但是这种特征可以与其它实施方式的一个或多个其它特征相结合，这对于任何给定的或特定的应用来说都是可取的和有利的。因此，本解决方案的广度和范围不应当受到任何上述实施例的限制。相反，本解决方案的范围应当根据所附权利要求及其等同物来定义。