用于测量的装置及用以判定环境中两点间的距离的方法与流程

1.本技术主要关于传感器系统。更详而言之，本技术涉及可侦测光学信号、估算物体距离、并精化估算距离以判定准确距离测量值的系统。所述系统可基于准确距离测量值而发起一或多项操作。


背景技术：

2.传感器广泛用于诸如智能型手机、机器人学及自动驾驶车辆等应用，以判定环境中物体的特性(例如物体辨识、物体分类、深度信息、边缘侦测、动作信息等)。但其判定结果可能具有不确定性，也即包含估算误差。例如，rgb摄像头虽可用于侦测物体边缘，但若此物体与另一物体部分重叠，则利用rgb影像侦测物体边缘的软件(例如机器学习模型)可能产生具有不确定性的输出。
3.在另一范例中，三维影像传感器，或称深度传感器，可利用例如立体、直接飞时测距(d-tof)、及间接飞时测距(i-tof)技术等原理。但i-tof传感器可能出现不明误差的问题。例如，在i-tof系统中，高调制频率(例如300mhz)虽有助于提升深度分辨率及准确度，但可辨距离(unambiguous range)有限(例如50公分)。因此，i-tof传感器可能无法区分10公分的距离与60公分的距离，导致出现不明误差(ambiguous errors)，或称混迭(aliasing)。
4.关于i-tof系统不明误差问题的一种解决方案，是在时域中利用额外的低调制频率(例如75mhz)以延伸可视范围。然而，若此方案所用的多个调制频率在时间上呈分离状态，则会降低系统帧率，导致动作假影及其他硬件副作用。或者，若在添加多个调制频率时系统帧率维持不变的情况下，会使得每一频率的积分时间缩短，导致深度分辨率及准确度降低。此外，多频调制频率感测仍可能发生去混迭误差(de-aliasing error)，特别是当系统信噪比(snr)降低时，例如是在较远距离时。
5.为克服传感器不确定性或误差问题，可配合使用多种类型的传感器以获得更准确的结果。例如，为解决不明误差及/或去混迭误差，同时维持系统帧率及深度分辨率，可将由距离估算系统(例如连接机器学习模型的rgb摄像头)所产生的低深度分辨率深度图，与由i-tof传感器所产生的高深度分辨率深度图结合，藉以获得高深度分辨率/准确度且可视范围广的最终深度图。


技术实现要素：

6.通过以下说明或经由实施本技术实施例将可得知并理解本技术实施例的各种态样及优点。
7.本技术的一种范例态样是一用于测量的装置，其包含一具有传感器系统的距离估算系统。距离估算系统配置为接收一第一光学信号；并基于第一光学信号，判定一环境中两点间的一第一距离。装置包含一距离精化系统，其具有一或多个间接飞时测距传感器。距离精化系统配置为接收一第二光学信号；并基于第二光学信号，判定环境中两点间的一第二距离。装置包含一处理系统，其具有一或多个运算组件。处理系统配置为接收代表第一距离
及第二距离的信息；并基于第一距离及第二距离，判定环境中两点间的一第三距离。(i)环境中两点间的一真实距离与(ii)第一距离间的一差异，大于(i)环境中两点间的真实距离与(ii)第三距离间的一差异。
8.在某些实施样态中，传感器系统包含：一传感器阵列，配置为接收第一光学信号，并产生一或多个第一电信号；以及一或多个储存媒体，配置为储存一或多个机器学习模型，一或多个机器学习模型经训练而可：接收一或多个第一电信号的一表征作为输入；并提供一代表第一距离的输出。
9.在某些实施样态中，传感器阵列属于一rgb摄像头的一传感器阵列，且一或多个第一电信号的表征包含由rgb摄像头所输出的一光学影像的至少一部分。
10.在某些实施样态中，一或多个机器学习模型包含一卷积神经网络模型。
11.在某些实施样态中，传感器系统包含一具有多个镜头的立体摄像头，且第一光学信号包含由立体摄像头所输出的一三维影像的至少一部分。
12.在某些实施样态中，传感器系统包含一结构光侦测系统。
13.在某些实施样态中，传感器系统包含一或多个直接飞时测距传感器，且判定第一距离包含：基于环境中两点间的一光线往返时间，判定第一距离。
14.在某些实施样态中，一或多个间接飞时测距传感器配置为在一第一频率操作，传感器系统包含一或多个在一第二频率操作的第二间接飞时测距传感器，且第二频率小于第一频率。
15.在某些实施样态中，传感器系统包含一影像式传感器系统及一飞时测距式传感器系统，且判定第一距离包含：取得影像式传感器系统的一输出；取得飞时测距式传感器系统的一输出；以及基于影像式传感器系统的输出及飞时测距式传感器系统的输出，以判定第一距离。
16.在某些实施样态中，判定环境中两点间的第三距离包含：基于第一距离，判定与一或多个间接飞时测距传感器相关的一可辨距离的一乘数；以及将第二距离加上可辨距离与乘数的一乘积，以判定第三距离。
17.在某些实施样态中，环境中两点间的一第一点代表装置的一所在位置，且环境中两点间的一第二点代表一物体在环境中的一所在位置。
18.在某些实施样态中，装置是一移动装置，传感器系统包含一或多个嵌设于移动装置中的摄像头，且一或多个间接飞时测距传感器包含一嵌设于移动装置中的三维传感器阵列。
19.在某些实施样态中，一或多个摄像头及三维传感器阵列嵌设于移动装置的一后侧，即位于移动装置的一屏幕的一反侧。
20.在某些实施样态中，一或多个摄像头及三维传感器阵列嵌设于移动装置的一前侧，即位于移动装置的一屏幕的一同侧。
21.在某些实施样态中，一或多个运算组件包含一或多个处理器、一或多个硬线电路系统、一或多个现场可程序化门阵列、或其组合。
22.在某些实施样态中，(i)环境中两点间的真实距离与(ii)第一距离间的差异代表一第一误差，第一误差小于一可辨距离，可辨距离关联于一或多个间接飞时测距传感器；第二距离的值在可辨距离内；且(i)环境中两点间的真实距离与(ii)第三距离间的差异代表
一第二误差，第二误差小于第一误差。
23.本技术的另一范例态样是用以判定一环境中两点间的一距离的方法。方法包含由一传感器系统接收一第一光学信号。方法包含由传感器系统基于第一光学信号，判定一环境中两点间的一第一距离。方法包含由一或多个与传感器系统分离的间接飞时测距传感器接收一第二光学信号。方法包含由一或多个间接飞时测距传感器基于第二光学信号，判定环境中两点间的一第二距离。方法包含由一或多个运算组件接收代表第一距离及第二距离的信息。方法包含由一或多个运算组件基于第一距离及第二距离，判定环境中两点间的一第三距离。(i)环境中两点间的一真实距离与(ii)第一距离间的一差异，大于(i)环境中两点间的真实距离与(ii)第三距离间的一差异。
24.在某些实施样态中，一自动驾驶车辆或一用户装置包含传感器系统、一或多个间接飞时测距传感器、及一或多个运算组件。
25.本技术的又一范例态样是一用于测量的装置。装置包含一距离估算系统，其具有一传感器系统。距离估算系统配置为接收一第一光学信号；并基于第一光学信号产生一第一电信号，以判定一环境中两点间的一第一距离。装置包含一距离精化系统，其具有一或多个间接飞时测距传感器。距离精化系统配置为接收一第二光学信号；并基于第二光学信号产生一第二电信号，以判定环境中两点间的一第二距离。装置包含一处理系统，其具有一或多个运算组件。处理系统配置为接收第一电信号及第二电信号；将代表第一电信号及第二电信号的输入信息提供至一机器学习模型；接收代表环境中两点间的一第三距离的输出信息；并判定环境中两点间的第三距离。第二距离的一最大值小于一与一或多个间接飞时测距传感器关联的可辨距离。第三距离的一最大值大于一与一或多个间接飞时测距传感器关联的可辨距离。
26.本技术的再一范例态样是一用于测量的装置。装置包含一估算系统，其具有一传感器系统。估算系统配置为接收一第一信号；并基于第一信号，判定与一环境中的一目标物体关联的一特性的一第一值。装置包含一精化系统，其具有一或多个间接飞时测距传感器。精化系统配置为接收一第二信号；并基于第二信号，判定与环境中的目标物体关联的特性的一第二值。装置包含一处理系统，其具有一或多个运算组件。处理系统配置为接收代表第一值及第二值的信息；并基于第一值及第二值，判定与环境中的目标物体关联的特性的一第三值。(i)与环境中的目标物体关联的特性的一真实值与(ii)第一值间的一差异，大于(i)特性的真实值与(ii)第三值间的一差异。
27.本技术的其他范例态样包含关于技术的系统、方法、装置、传感器、运算组件、有形非瞬时计算机可读媒体、及内存组件。
28.以下将参照权利要求说明各种实施例的上述及其他特征、态样与优点。各附图构成本说明书的一部分，其目的在于阐明本技术的实施例，并配合描述解说相关原理。
附图说明
29.以下实施方式连同附图将使本领域技术人员更轻易领会并理解以上态样及本技术的诸多优点，于附图中：
30.图1为根据本技术范例态样描绘一范例深度感测系统的方块图。
31.图2为根据本技术范例态样描绘一范例距离估算系统的方块图。
32.图3为根据本技术范例态样描绘一范例传感器系统的方块图。
33.图4为根据本技术范例态样描绘一范例系统。
34.图5为根据本技术范例态样描绘一深度感测系统的范例操作。
35.图6为根据本技术范例态样描绘一范例程序的流程图。
36.图7为根据本技术范例态样描绘一范例深度感测系统的方块图。
37.图8为根据本技术范例态样描绘一范例程序的流程图。
38.图9为根据本技术范例态样描绘一范例系统。
39.图10为根据本技术范例态样描绘一范例系统。
40.图11为描绘根据本技术范例态样的范例光侦测器中范例部分的截面图。
41.图12为描绘根据本技术范例态样的范例运算系统组件及组件。
42.图中符号说明
43.100：深度感测系统
ꢀꢀꢀꢀꢀꢀ
102：组件
44.110：距离估算系统
ꢀꢀꢀꢀꢀꢀ
112：传感器系统
45.114：深度绘制系统
ꢀꢀꢀꢀ
120：距离精化系统
46.122：i-tof系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
124：深度绘制系统
47.130：处理系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
140：物体
48.200：距离估算系统
ꢀꢀꢀꢀꢀꢀꢀ
202：rgb摄像头
49.204：机器学习模型
ꢀꢀꢀꢀꢀꢀꢀ
212：立体摄像头
50.222：结构光系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
232：d-tof传感器
51.242：i-tof传感器
ꢀꢀꢀꢀꢀꢀꢀꢀ
252：动作估计器
52.254：机器学习模型
ꢀꢀꢀꢀꢀꢀꢀ
302：发送器单元
53.304：接收器单元
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
306：控制器
54.400：系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
602，604，606，608，610：步骤
55.700：深度感测系统
ꢀꢀꢀꢀꢀꢀꢀ
702：组件
56.710：距离估算系统
ꢀꢀꢀꢀꢀꢀꢀ
712：传感器系统
57.720：距离精化系统
ꢀꢀꢀꢀꢀꢀꢀ
730：处理系统
58.734：机器学习模型
ꢀꢀꢀꢀꢀꢀꢀ
736：深度绘制系统
59.802，804，806，808，810：步骤
ꢀꢀꢀꢀꢀꢀ
900：系统
60.910：估算系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
914：处理系统
61.920：精化系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
924：处理系统
62.930：处理系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
940：物体
63.1000：系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1010：估算系统
64.1020：精化系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1030：处理系统
65.1040：物体
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1100：硅上锗平台
66.1101：第一晶圆
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1102：第二晶圆
67.1103：晶圆接合界面
ꢀꢀꢀꢀꢀꢀ
1104：差动解调时钟
68.1105：第一节点
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1106：第二节点
69.1200：系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1202：运算系统
70.1204：运算组件
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1206：处理器
71.1208：内存
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1210：数据
72.1212：指令
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1214：通信接口
73.1216：机器学习模型
ꢀꢀꢀꢀꢀꢀ
1232：机器学习运算系统
74.1234：处理器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1236：内存
75.1238：数据
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1240：指令
76.1242：机器学习模型
ꢀꢀꢀꢀꢀ
1244：模型训练器
77.1246：训练数据
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1248：通信接口
78.1250：网络
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
d1：第一距离
79.d2：第二距离
具体实施方式
80.本技术主张2020年8月13日所提美国临时专利申请案第63/065,482号的优先权，该案的整体内容经参照并入本文。
81.本技术的范例态样为用以判定一环境中两点间的距离的改良系统及方法。例如，一深度感测系统可利用来自第一类型传感器(例如rgb摄像头)的距离估算值及来自第二类型传感器(例如间接飞时测距传感器)的精化距离估算值，而针对组件(例如用户装置、自动化平台等)与其所在环境中一物体间的距离判定更准确的估算值。在一些实施方式中，所述深度感测系统可利用一或多个经训练的机器学习模型。例如，机器学习模型可接收距离估算值作为其输入，并因应于此而输出组件与物体间距离的更准确估算值，如下文将详述的。
82.本技术的系统及方法提供多种技术效益。例如，本技术的技术提供改良的深度及距离估算，协助运用此等技术的系统改善功能，包含改善自动化平台的预测及动作控制、用户装置的应用程序操作等。此外，本技术的系统及方法可通过比较来自不同类型传感器的不同距离估算值，而对去混迭误差进行侦测及修正。据此，本技术的技术可改善三维传感器准确度，并因此协助采用此种技术的系统改善机能。
83.以下将参照各附图详细说明本技术的范例实施例。应知参照一图所描述的实施例、特征、硬件、软件、及/或其他组件也可用于另一图所示的系统及程序中。
84.图1显示一深度感测系统100，其用以判定一环境中一组件102与一物体140间的一距离。组件102可为一移动装置(例如智能型手机、平板计算机、穿戴装置、车辆、无人机等)或一固定装置(例如监视系统、机械手臂等)。组件102包含一距离估算系统110、一距离精化系统120、及一处理系统130。
85.距离估算系统110可配置为接收一第一光学信号，并基于第一光学信号而判定一环境中两点间的一第一距离。例如，距离估算系统110配置为接收一光学信号，并基于光学信号而判定组件102与物体140间的一距离。距离估算系统110可包含一传感器系统112及一深度绘制系统114。一般而言，传感器系统112接收来自物体140的一光学信号(例如反射光)，并产生一或多个电信号。传感器系统112可包含一传感器阵列，其配置为接收第一光学信号并产生一或多个第一电信号。传感器阵列可为rgb摄像头的传感器阵列。在一些实施方式中，传感器系统112可包含一具有多个镜头的立体摄像头、一结构光侦测系统、及/或一或多个直接飞时测距(d-tof)传感器。
86.例如，参照图2的距离估算系统200的范例，传感器系统112的实施可采用连接有一
机器学习模型204的一rgb摄像头202(或ir摄像头)，或一立体摄像头212，或一结构光系统222，或一d-tof传感器232，或一i-tof传感器242，或连接有一机器学习模型254的一动作估计器252(例如，基于由一或多个影像传感器随时间撷取的多重影像所判定的动作估算值，而进行深度估算)，或声纳传感器，或雷达传感器，或位置传感器(例如加速度计、陀螺仪、nfc、gps等)，或上述任何传感器的组合。深度绘制系统114接收来自传感器系统112的一或多个电信号，并判定组件102与物体140间的距离。例如，当使用一或多个直接飞时测距传感器时，可基于环境中两点间(例如组件102与物体140间的距离)的光往返时间而判定一第一距离。深度绘制系统114的实施可采用硬件电路系统(例如asic、fpga)、查找表(lut)、一或多个具有软件的处理器(例如mcu、cpu、gpu、tpu)、或任何其他适合方式。
87.再参照图1，距离精化系统120可配置为接收一第二光学信号，并基于第二光学信号而判定环境中两点间的一第二距离。例如，在图1中，距离精化系统120配置为接收一光学信号，并基于此光学信号而判定组件102与物体140间的一距离。距离精化系统120可包含一或多个i-tof系统122及一深度绘制系统124。深度绘制系统124的实施也可采用硬件电路系统(例如asic、fpga)、查找表(lut)、一或多个具有软件的处理器(例如mcu、cpu、gpu、tpu)、或任何其他适合方式。
88.参照图3的范例，一或多个i-tof系统122可包含一发送器单元302、一接收器单元304、及一控制器306。于操作时，发送器单元302可向一目标物体(例如物体140)发出一发射光。接收器单元304可接收反射自目标物体的反射光。控制器306可驱动至少发送器单元302及接收器单元304。在一些实施例中，一或多个i-tof系统122可配置为在一第一频率操作。传感器系统112可包含一或多个在一第二频率操作的第二间接飞时测距传感器，所述第二频率与第一频率不同。
89.发送器单元302可包含一或多个光源，其发光的峰值波长在高于800nm的不可见光波长范围内，例如850nm、940nm、1050nm、1064nm、1310nm、1350nm、或1550nm。
90.接收器单元304可包含一或多个i-tof传感器，例如一像素阵列。i-tof传感器的材质可为iii-v族的半导体材料(例如gaas/alas、inp/ingaas/inalas、gasb/inas、或insb)、含iv族元素(例如ge、si、或sn)的半导体材料、或例如为sixgeysn1-x-y(其中，0≦x≦1，0≦y≦1，x y≦1)、ge1-asna(其中，0≦a≦1)、或ge1-xsix(其中，0≦x≦1)的化合物。
91.举例而言，一像素阵列可实施于一硅上锗(ge-on-si)平台。图11显示一硅上锗平台1100上的范例像素阵列截面(及适合用于像素阵列的时钟信号)。图11的范例像素阵列采用硅上锗架构，其可吸收近红外线(nir，例如波长范围自780nm至1400nm，或由特定应用所定义的任何类似波长范围)及短波红外线(swir，例如波长范围自1400nm至3000nm，或由特定应用所定义的任何类似波长范围)光谱中的波长。如此能够在不超出最大允许暴露限制(mpe)的情况下实现较佳信噪比(snr)。
92.硅上锗平台1100可与i-tof影像传感器相关联。例如，i-tof影像传感器可采用背照(back-side illumination，bsi)配置，其中，锗区域形成于一第一晶圆1101(例如顶部晶圆)上，且一或多个电路位于一第二晶圆1102(例如底部晶圆)。第一晶圆1101与第二晶圆1102可经由一晶圆接合界面1103相互接合。在一些实施例中，像素可按照双开关锁定像素架构。第一晶圆1101上并可分散设置一或多个差动解调时钟1104(例如clkp、clkn)，以例如在锗表面(例如较接近通孔via的一侧)上于每一像素中第一节点1105(例如demod1、
demod2)之间创造一连续切换横向电场。光电荷可经由第二节点1106(例如fd1、fd2)收集。在一些实施例中，由于多数光电荷是产生于锗层内，且锗层较薄，因此锗表面上的横向电场可将光电荷有效扫至第二节点1106。此外，同样因为锗层不厚，光电荷漂移至一或多个第二节点1106(例如fd1及/或fd2)的过渡时间不长，因此能够大幅改善解调速度。在一些实施例中，为避免耦接至任何敏感性高阻抗节点，并放宽设计规则要求，可使第二节点1106(例如fd1及/或fd2)与部分覆盖像素区域的晶圆接合接口相互作用。一或多个差动解调时钟1104(例如clkp及/或clkn)可路由至像素区域外部的第二晶圆1102时钟驱动器。像素解调驱动器可采用锥形反相传输链(tapered inverter chain)实现，且通过调整反相传输链的供应可发挥最大性能。在一些实施例中，像素电路的实施可采用差动式四晶体管架构。图11的底部也显示简化时序图。每次曝光前，可经由受控于信号rst的msh1/msh2及mrt1/mrt2重设所有像素。经曝光、整合、及解调后，收集而得的光电荷可储存于受信号sh所控制的c1及c2上。最后，经由源极随耦器msf1/msf2及受控于信号bs的列选择开关mbt1/mbt2，可读出至adc。在一些实施例中，可利用四相步测量重获深度信息，而无需顾虑模拟非理想性问题。
93.再参见图3，在一些实施例中，控制器306包含一时序产生器及一处理单元。时序产生器接收一参考时钟信号，并将时序信号提供至发送器单元302，用以调制发射的光线。此时序信号也传送至接收器单元304，用以控制光载子的收集。处理单元处理由接收器单元304产生并收集的光载子，而后判定目标物体的原始数据。处理单元可包含控制电路系统、一或多个用于处理接收器单元304所输出信息的信号处理器、及/或可储存用于判定或储存目标物体的原始数据的指令的计算机储存媒体。一般而言，控制器306利用发送器单元302所发出光线与接收器单元304所接收光线间的相位差异，而判定两点间的一距离。
94.在一些案例中，接收器单元304与控制器306实施于同一半导体芯片，例如系统单芯片(soc)。在一些案例中，发送器单元302由两块不同半导体芯片实施，例如iii-v基板上的雷射发光器芯片及硅基板上的硅雷射驱动器芯片。
95.图4显示一范例系统400，其中，传感器系统112包含一rgb摄像头202及一机器学习模型204。rgb摄像头202可为任何可光学撷取环境的影像并将的转换为电信号的适用摄像头(例如cmos数字摄像头)。一或多个储存媒体，其可配置为储存一或多个机器学习模型。一或多个机器学习模型，其可经训练而接收所述一或多个第一电信号的一表征作为其输入，并提供一代表第一距离的输出。举例而言，一或多个第一电信号的表征可包含由rgb摄像头202所输出的一光学影像的至少一部分。机器学习模型204可例如为，经训练而可接收由rgb摄像头202所撷取的影像的一部分(例如包含有环境中物体140的影像的一部分)作为其输入，并产生一代表组件102与物体140之间距离的输出。与此同时，或以为替代，传感器系统112可包含一立体摄像头。所述一或多个第一电信号可包含由立体摄像头所输出的一三维影像的至少一部分。在一些实施例中，与此同时，或以为替代，机器学习模型204经训练而接收由立体摄像头所输出的一三维影像的至少一部分作为其输入，并产生一代表组件102与物体140之间距离的输出。在一些实施方式中，机器学习模型204可为卷积神经网络模型、深度神经网络模型、或任何其他适合的机器学习模型。一般而言，利用距离估算系统110所判定的距离，或深度，可提供良好的估算值，但由于机器学习模型204的训练基于经验数据(例如具有距离信息的训练影像集)，且未必准确切合所有可能的操作情境，因此容易出现误差较高及/或深度分辨率较低的问题。
96.反之，i-tof传感器的深度分辨率取决于i-tof传感器的解调频率。解调频率高(例如300mhz)时，i-tof传感器通常可产生深度分辨率高且误差低的结果。但i-tof传感器却受其可辨距离所限制，可辨距离(unambiguous range)的定义为：
97.其中，c为光速，fdemod为解调频率。例如，解调频率为300mhz时，i-tof传感器的可辨距离为50公分。因此，当以300mhz操作时，i-tof传感器可能无法分辨10公分距离与60公分距离，从而可能发生不明误差。
98.由于距离估算系统110可就组件102与物体140间的距离提供误差较大但距离范围较广的估算值，而距离精化系统120在可辨距离内能够提供误差较低的距离估算值，因此处理系统130可结合来自距离估算系统110与距离精化系统120两者的距离数据，针对组件102与物体140间的距离提供准确度高且范围较广的估算值。处理系统130的实施可采用硬件电路系统(例如asic、fpga)、查找表、一或多个具有软件的处理器(例如mcu、cpu、gpu、tpu)、或任何其他适合方式。
99.图5绘示一深度感测系统的范例操作。在此，距离估算系统110(例如以连接有机器学习模型的rgb摄像头实施)判定组件102与物体140间的一距离为d1。此外，距离精化系统120判定组件102与物体140间的一距离为d2。处理系统130可包含一或多个运算组件(例如一或多个处理器、一或多个硬线电路系统、一或多个现场可程序化门阵列、其他组件、或其组合)。处理系统130可配置为接收代表第一距离d1及第二距离d2的信息，并基于第一距离d1及第二距离d2而判定环境中两点间的一第三距离。环境中两点间的一第一点可代表，例如，一装置(例如组件102)的一所在位置。环境中两点间的一第二点可代表物体140在环境中的一所在位置。基于第一距离d1，可判定与一或多个间接飞时测距传感器关联的一可辨距离的一乘数。例如，将第二距离加上可辨距离与乘数的一乘积，可得一第三距离。(i)环境中两点间的一真实距离(例如实际距离)与(ii)第一距离间的一差异(例如一绝对差异)，可大于(例如统计上大于)(i)环境中两点间的真实距离与(ii)第三距离间的一差异。此外，在一些实施方式中，(i)环境中两点间的真实距离与(ii)第一距离d1间的差异可代表一第一误差，第一误差小于与一或多个间接飞时测距传感器关联的一可辨距离。第二距离d2的值在可辨距离内。(i)环境中两点间的真实距离与(ii)第三距离间的差异可代表一第二误差，第二误差小于(例如统计上小于)第一误差。
100.举例而言，基于d1及距离精化系统120的已知可辨距离(基于公式(1)所示i-tof传感器的操作频率)，处理系统130可判定组件102与物体140间的一远程及高深度分辨率距离dout：
101.其中，n为组件102与物体140间可辨距离的最接近倍数，且floor()为取整函数，其计算小于或等于d1与可辨距离间除法商数的最大整数。只要来自距离估算系统110的距离误差小于与距离精化系统120关联的可辨距离，距离dout便可视为准确。
102.在一些实施方式中，i-tof传感器的混迭问题，可通过在时间上交替使用二或更多种不同频率(例如75mhz及50mhz)操作i-tof传感器的方式加以解决。然而，即便采用多频操作，仍可能发生去混迭误差，尤其是当系统snr降低时。例如，假设在75mhz及50mhz，可辨距离分别为2公尺及3公尺。在此二频率操作i-tof传感器的对应去混迭可辨距离是6公尺。若snr高，则在75mhz与50mhz所测得距离的差异较小，例如，若第一次测量的基准真相为1公尺，i-tof系统122在75mhz及50mhz测得的距离可能分别为0.9公尺及1.2公尺，由深度绘制
系统124运算出的距离可为0.9公尺或1.2公尺(取决于所选频率数据)。然而，若snr低，则在75mhz与50mhz所测得距离的差异可能较大，例如，若为1公尺的基准真相在嘈杂环境中完成的第二次测量，由i-tof系统122在75mhz及50mhz所测得的距离可能分别为0.7公尺及1.4公尺，由深度绘制系统124运算出的距离在此情况下可能为4.7公尺或4.4公尺(取决于所选频率数据)，产生去混迭误差。
103.为解决去混迭误差，处理系统130可使用由距离估算系统110所判定的距离作为一参考距离。利用上述范例，处理系统130可自距离估算系统110接收1公尺的距离测量值(例如d1)。若处理系统130之后自距离精化系统120接收4.7公尺及/或4.4公尺的距离测量值(例如d2)，处理系统130可经由与d1比较而判定去混迭误差已经发生。若处理系统130判定去混迭误差已经发生，处理系统130可利用对应可辨距离的一整数倍数(例如2x2公尺或1x3公尺，取决于所选者为75mhz或50mhz)，调整来自距离精化系统120的距离测量值。据此，深度感测系统可侦测并修正去混迭误差。
104.图6显示利用一深度感测系统(例如深度感测系统100)判定一远程及高深度分辨率距离的一范例程序。
105.深度感测系统接收一第一光学信号(步骤602)。具体而言是由一传感器系统(例如深度感测系统的)接收第一光学信号。例如，距离估算系统110的rgb摄像头202可撷取在一环境中一物体的一影像。深度感测系统判定环境中两点间的一第一距离(步骤604)。具体而言是由传感器系统基于第一光学信号，判定环境中两点间的第一距离。例如，距离估算系统110的机器学习模型204可利用rgb摄像头202所撷取影像的一部分，而产生代表组件102与物体140间的距离的一输出。深度绘制系统114可利用机器学习模型204的输出而判定组件102与物体140间的距离，其判定的距离范围较远但误差较大。
106.深度感测系统接收一第二光学信号(步骤606)。具体而言是由与传感器系统分离的一或多个间接飞时测距传感器接收第二光学信号。例如，距离精化系统120的一或多个i-tof传感器可侦测一环境中自一物体反射的光线。深度感测系统判定环境中两点间的一第二距离(步骤608)。具体而言是由一或多个间接飞时测距传感器基于第二光学信号，判定环境中两点间的第二距离。例如，距离精化系统120的深度绘制系统124可利用一发射光与一反射光间的相位差异，来判定一可辨距离内的一距离。
107.深度感测系统判定两点间的一第三距离(步骤610)。具体而言是由深度感测系统的一或多个运算组件接收代表第一距离及第二距离的信息，再由一或多个运算组件，基于第一距离及第二距离，而判定环境中两点间的第三距离。(i)环境中两点间的一真实距离与(ii)第一距离间的一差异(例如一绝对差异)，可大于(例如统计上大于)(i)环境中两点间的真实距离与(ii)第三距离间的一差异。例如，处理系统130可利用由距离估算系统110所判定的第一距离、与i-tof传感器的操作频率关联的可辨距离、以及由距离精化系统120所判定的第二距离，来判定组件102与物体140间的一远程及高深度分辨率距离(例如参考图5所描述的dout)。
108.图7显示一深度感测系统700，其利用以传感器融合训练的机器学习模型，来判定一环境中一组件702与一物体140间的一距离。组件702可为移动装置(例如智能型手机、平板计算机、穿戴装置、车辆、无人机等)或固定装置(例如监视系统、机械手臂等)。组件702包含一距离估算系统710、一距离精化系统720、及一处理系统730。
109.距离估算系统710配置为接收一光学信号，并基于光学信号提供一电信号(例如数字影像)，可用于估算组件702与物体140间的一距离。距离估算系统710可包含一传感器系统712。传感器系统712的实施可采用一rgb摄像头202。传感器系统712的实施也可采用一立体摄像头212，或一结构光系统222，或一d-tof传感器232，或一i-tof传感器242，或一动作估计器252，或上述任何传感器的组合。此时距离估算系统710可配置为接收一第一光学信号，并基于第一光学信号而产生一第一电信号，用以判定一环境中两点间的一第一距离。
110.距离精化系统720配置为接收一光学信号，并基于光学信号提供一电信号(例如正交振幅)，可用于判定组件702与物体140间的一距离。距离精化系统720可包含一或多个i-tof系统122，此时距离精化系统720可配置为接收一第二光学信号，并基于第二光学信号而产生一第二电信号，用以判定环境中两点间的一第二距离。
111.处理系统730可将来自距离估算系统710及距离精化系统720两者的电信号结合，而判定组件702与物体140间的一距离，其判定的距离范围较广且准确度高。处理系统730可包含一机器学习模型734及一深度绘制系统736。处理系统730的实施可采用硬件电路系统(例如asic、fpga)、查找表、一或多个具有软件的处理器(例如mcu、cpu、gpu、tpu)、或任何其他适合方式。
112.处理系统730(例如包含一或多个运算组件)可配置为接收第一电信号及第二电信号，将代表第一电信号及第二电信号的输入信息提供至一机器学习模型，接收代表环境中两点间的一第三距离的输出信息，并判定环境中两点间的第三距离。第二距离的一最大值可小于一与一或多个间接飞时测距传感器关联的可辨距离，且第三距离的一最大值可大于与一或多个间接飞时测距传感器关联的可辨距离。
113.例如，机器学习模型734经训练而可接收来自距离估算系统710的一信号(例如由rgb摄像头202所撷取的包含环境中物体140的数字影像的一部分)及来自距离精化系统720的一信号(例如由i-tof系统122所撷取的包含环境中物体140的正交振幅的一部分)作为一结合输入，并产生代表组件702与物体140间的一距离的一输出。在一些实施方式中，机器学习模型734可为卷积神经网络模型、深度神经网络模型、或任何其他适合的机器学习模型。例如，机器学习模型734可经训练而利用物体的rgb影像数据及i-tof传感器在特定操作频率(例如300mhz)下产生的对应相位数据，而输出距离数据。由于距离估算系统710的传感器(例如rgb摄像头)可就组件702与物体140间的距离提供误差较高但范围较大的估算值，且距离精化系统720的传感器(例如i-tof传感器)可在可辨距离内提供误差较低的距离估算值，因此机器学习模型734可经训练而将来自距离估算系统710及距离精化系统720两者的信息结合，以判定组件702与物体140间的一距离，其准确度高且判定范围广。
114.深度绘制系统736接收机器学习模型734的输出，并判定组件702与物体140间的距离。深度绘制系统736的实施可采用硬件电路系统(例如asic、fpga)、查找表、一或多个具有软件的处理器(例如mcu、cpu、gpu、tpu)、或任何其他适合方式。在一些实施方式中，可将深度绘制系统736纳入机器学习模型734中(例如为机器学习模型734的一或多个输出层)。
115.图8显示利用一深度感测系统(例如深度感测系统700)判定一远程及高深度分辨率距离的一范例程序。
116.深度感测系统接收一第一光学信号(步骤802)。例如，距离估算系统710的一rgb摄像头可撷取一物体在一环境中的一影像。深度感测系统提供代表环境的一第一电信号(步
骤804)。例如，距离估算系统710可向处理系统730提供代表影像及/或任何关联元数据的至少一部分的信息。
117.深度感测系统接收一第二光学信号(步骤806)。例如，距离精化系统720的一或多个i-tof传感器可侦测一环境中自一物体反射的光线。深度感测系统提供代表环境的一第二电信号(步骤808)。例如，距离精化系统720的i-tof系统122可向处理系统730输出信息，此信息代表组件702的一发射光与物体140的一反射光间的一相位差异。
118.深度感测系统判定两点间的一距离(步骤810)。例如，处理系统730可接收(i)来自距离估算系统710且代表影像及/或任何关联元数据的至少一部分的信息，以及(ii)来自距离精化系统720且代表组件702的发射光与物体140的反射光间的相位差异的信息。处理系统730可将接收的信息融合而产生供给机器学习模型734的一输入(例如一或多个多维向量)。机器学习模型734可利用此输入而产生代表组件702与物体140间的距离的一输出。深度绘制系统736可利用来自机器学习模型734的输出而判定组件702与物体140间的距离(例如参考图5所描述的dout)。
119.图9显示一系统900，用于判定一环境中一物体140的一或多种特性。总括言之，系统900包含一估算系统910、一精化系统920、及一处理系统930。估算系统910配置为利用传感器系统112以判定一输出，此输出代表一环境中一物体140的一或多种特性的估算值且由处理系统914判定。精化系统920配置为利用i-tof系统122以判定一输出，此输出代表物体140的一或多种特性的精化结果且由处理系统924判定。处理系统930配置为接收来自估算值系统910及精化系统920的输出，以判定一或多种特性的更准确数值(例如确定性较高的值、误差界线较低的值等)。与物体140关联的范例特性可包含物体140与组件102间的距离、物体140的边缘、物体140的辨识、物体140的分类、物体140的动作、及任何其他应用特性。
120.例如，图1的深度感测系统100可为系统900的一种范例，其中，距离估算系统110可为估算系统910的一种范例，距离精化系统120可为精化系统920的一种范例，且处理系统130可为处理系统930的一种范例。
121.在另一范例中，可使用系统900区分物体140以及与其部分重叠的另一物体940。在此估算系统910可利用连接一机器学习模型的一rgb摄像头，判定代表物体140的边缘的一输出。由于物体940在rgb影像中是与物体140部分重叠，估算系统910可对邻近物体140的一群像素中的每一像素赋予一不确定值，其中不确定值可代表对应像素属于物体140的可能性。精化系统920可利用i-tof系统122判定物体140与物体940间相对的一深度差异。处理系统930可利用估算系统910及精化系统920两者的输出，判定相邻像素是否为物体140的一部分。
122.图10显示另一种系统1000，用以判定一环境中一物体140的一或多种特性。一般而言，系统1000包含一估算系统1010、一精化系统1020、及一处理系统1030。估算系统1010配置为利用传感器系统112以提供一输出，此输出可用于判定一环境中一物体140的一或多种特性的估算值。精化系统1020配置为利用i-tof系统122以提供一输出，此输出可用于判定物体140的一或多种特性的精化结果。处理系统1030配置为接收来自估算系统1010及精化系统1020两者的输出，以判定一或多种特性的值。例如，图7的深度感测系统700可为系统1000的一种范例，其中，距离估算系统710可为估算系统1010的一种范例，距离精化系统720可为精化系统1020的一种范例，而处理系统730可为处理系统1030的一种范例。于一些实施
例中，物体140与其另一物体1040部分重叠。
123.以此方式，图9及图10的系统900及/或1000可包含一估算系统910、1010(例如包含一传感器系统112)，其配置为接收一第一信号，并基于第一信号，判定与一环境中的一目标物体关联的一特性的一第一值。系统910、1010可包含一精化系统920、1020(例如包含一或多个间接飞时测距传感器)，其配置为接收一第二信号，并基于第二信号，判定与环境中的目标物体关联的特性的一第二值。系统910、1010可包含一处理系统930、1030(例如包含一或多个运算组件)，其配置为接收代表第一值及第二值的信息，并基于第一值及第二值，判定与环境中的目标物体关联的特性的一第三值。(i)与环境中的目标物体关联的特性的一真实值与(ii)第一值间的一差异(例如一绝对差异)，可大于(例如统计上大于)(i)特性的真实值与(ii)第三值间的一差异。
124.以下提供本技术的系统及方法的范例实施方式。此等实施方式仅属说明目的，不具限制性。
125.在一些实施方式中，自动化平台可利用本技术的系统及方法改善其功能及操作。所述自动化平台可包含任何系统或执行任何在此所述且示于图中的方法/程序。
126.在一些实施例中，自动化平台可包含一自动驾驶车辆。自动驾驶车辆可包含一车载运算系统，其作用为自主感知车辆所在环境并控制车辆在环境中的动作。自动驾驶车辆可包含一在此所述的深度感测系统，深度感测系统帮助于改善自动驾驶车辆的感知功能。例如，所述深度感测系统可帮助自动驾驶车辆通过例如车辆运算系统，更准确分类物体并预测其行为。此功能可用于区分自动驾驶车辆的周遭环境内的一第一物体(例如第一车辆)以及与第一物体部分重叠的一第二物体(例如第二车辆)。深度感测系统的一估算系统可利用一第一传感器(例如在一些实施方式中，连接一机器学习模型的一rgb摄像头)，判定代表第一物体的边缘的一输出。由于第二物体是至少部分重叠于第一物体(例如在rgb影像中)，估算系统可对邻近物体的一群像素中的每一像素赋予一不确定值(例如对应像素属于第一物体的可能性)。一精化系统可利用一第二传感器系统(例如i-tof系统)以判定第一物体与第二物体间的一相对深度差异。一处理系统可利用来自估算系统及精化系统两者的输出而判定相邻像素是否属于第一物体。如此可帮助自动驾驶车辆判定第一物体及/或第二物体的分界线。
127.自动驾驶车辆可基于深度差异、第一物体的判定距离、及/或像素属于第一物体的判定，对第一物体进行分类(例如分类为车辆等)。例如，此功能可辅助自动驾驶车辆更加明了物体的形状，并因此于语义上将物体标示为特定类型。此外，通过判定物体的识别及/或类型，自动驾驶车辆更能够正确预测物体的动作。例如，自动驾驶车辆可基于物体的类型，而提升对于第一物体动作轨迹的预测正确性。在一些实施方式中，自动驾驶车辆可判定物体为可能在周遭环境中移动的一动态物体(例如车辆)，及/或为可能在周遭环境中保持不动的一静态物体(例如灯柱)。在一些实施方式中，自动驾驶车辆可基于物体的类型而判定物体的特定移动方式。例如，汽车较自行车更可能在道路的车道分界线内行进。
128.自动化平台(例如自动驾驶车辆)可例如基于如图6及图8所述的程序，而判定更准确的特性(例如物体与自动驾驶车辆间的距离)。所判定的距离可用于更加确定自动化平台在其周遭环境中的位置。例如，自动驾驶车辆可基于估算系统所判定的一第一距离及精化系统所判定的一第二距离，而判定两点间的一第三距离。所述两点可包含自动化平台及可
用于确认位置的一物体。例如，一自动驾驶车辆可基于一地标而至少部分确定其本身在环境中的位置。自动驾驶车辆可判定其本身与地标(例如建筑物、雕像、交叉路口等)间的一更准确距离。如此可辅助自动驾驶车辆(或远程系统)更准确判定自动驾驶车辆的地点/所在位置，并规划其在环境中的动作。
129.在一些实施方式中，自动化平台可包含空中自动化平台，例如无人机。所述无人机可包含如在此所述且如图所示的一深度感测系统。深度感测系统可改善无人机的操作及功能，包含例如无人机降落在降落区域或识别成像区域时的精密度及准确度。举例而言，无人机可经由一距离估算系统而接收一第一光学信号，并基于第一光学信号，判定一环境中无人机与一降落/成像区域间的一第一距离。无人机可经由一距离精化系统而接收一第二光学信号，并基于第二光学信号而判定无人机与降落/成像区域间的一第二距离。无人机可经由一处理系统，基于第一距离及第二距离而判定无人机与降落/成像区域间的一第三距离。第三距离比第一距离更准确地判定无人机与降落/成像区域间的距离如此可使得无人机更准确降落，及/或将其成像传感器(例如机载摄像头)聚焦于待成像的区域。
130.在另一范例中，自动化平台可关乎制造应用及/或医疗应用。举例而言，自动化平台可包含一机械手臂。所述机械手臂可为机电式手臂，配置为辅助组装制造项目(例如包含有多个电子组件的硬件运算架构)的至少一部分。机械手臂可包含如在此所述且如图所示的一深度感测系统。利用深度感测系统，机械手臂可更准确定位待安装于一项目(例如电路板)中的一组件(例如微处理器)。例如，机械手臂(例如关联运算系统)可经由一距离估算系统接收一第一光学信号，并基于第一光学信号而判定机械手臂(或其一部分)与一放置地点间的一第一距离。机械手臂可经由一距离精化系统接收一第二光学信号，并基于第二光学信号而判定机械手臂(或其一部分)与一放置地点间的一第二距离。机械手臂可经由一处理系统，基于第一距离及第二距离而判定机械手臂与放置地点间的第三距离。与第一距离相较，第三距离比第一距离更准确地判定机械手臂与放置地点间的距离。如此可使得机械手臂能够以更佳的效率及准确度组装制造项目。
131.在一些实施方式中，一用户装置可利用本技术的系统及方法改善其功能及操作。所述用户装置可为，例如，移动装置、平板计算机、穿戴式耳机等。用户装置可包含一深度感测系统，并执行在此所述且如图所示的方法/程序。
132.举例而言，用户装置(例如移动装置)可包含一或多个传感器系统。传感器系统可包含一第一传感器(例如rgb摄像头)及/或一第二传感器(例如i-tof传感器)。例如，传感器系统可包含一或多个嵌设于移动装置中的摄像头。与此同时，或以为替代，传感器系统可包含一或多个间接飞时测距传感器，所述间接飞时测距传感器包含嵌设于移动装置中的一三维传感器阵列。在一些实施方式中，一或多个摄像头及三维传感器阵列可嵌设于移动装置的后侧，即与移动装置的屏幕相反的一侧。与此同时，或以为替代，一或多个摄像头及三维传感器阵列可嵌设于移动装置的前侧，即与移动装置的屏幕同侧。
133.深度感测系统可利用传感器系统改善用户装置的操作及功能，包含物体的成像、软件应用程序的启动/操作、用户装置的存取等。例如，用户装置可经由一距离估算系统而接收一第一光学信号，并基于第一光学信号而判定用户装置与一物体间的一第一距离。用户装置可经由一距离精化系统而接收一第二光学信号，并基于第二光学信号而判定用户装置与一物体间的一第二距离。用户可经由一处理系统，基于第一距离及第二距离而判定用
户装置与物体间的一第三距离，如在此所述。用户装置可基于第三距离而执行一或多项功能或操作。例如，用户装置可基于授权用户脸部的距离或由授权用户所为的手势，而执行一存取功能(例如解锁移动电话)。在另一范例中，用户装置可基于用户装置与/或一待成像物体(例如用户等)间的一判定距离，而令用户装置的摄像头进行对焦。与此同时，或以为替代，用户装置可基于判定距离而启动一应用程序及/或发起一特定功能的操作。例如，用户可做出与启动用户装置上成像应用程序关联的一手势，使得用户装置因应于此而启动成像应用程序。用户装置可基于判定距离而发起一过滤功能。凭借用户装置所判定的距离，可将所述过滤功能以更准确的方式运用于待成像物体。
134.在一些实施方式中，用户装置可具有扩增实境(ar)及虚拟现实(vr)功能。例如，本技术的技术可提供沉浸度更高的扩增实境(ar)及虚拟现实(vr)体验。例如，用户装置可利用本技术的深度感测系统及程序，更准确判定用户装置(及其用户)与扩增实境内一物体的距离。用户装置可至少部分基于用户装置与物体间的判定距离而执行一或多个移动。例如，用户装置可基于判定距离，而绘制扩增实境中围绕物体的组件及/或绘制虚拟环境。
135.在一些实施方式中，本技术的系统及方法可用于一监视系统中。例如，一监视系统可配置为基于一物体的一距离及/或物体的一侦测，而执行一或多项操作。监视系统可经由一距离估算系统接收一第一光学信号，并基于第一光学信号而判定监视系统与一物体(例如人员)间的一第一距离。监视系统可经由一距离精化系统而接收一第二光学信号，并基于第二光学信号而判定监视系统与一物体间的一第二距离。监视系统可经由一处理系统，基于第一距离及第二距离而判定监视系统与物体间的一第三距离，如在此所述。监视系统可基于第三距离而执行一或多项功能或操作。例如，监视系统可基于物体(例如入侵者)的距离及/或其动作，而执行进出功能(例如拒绝进出)。
136.图12根据本技术的范例实施例描绘一范例运算系统1200的方块图。范例系统1200包含一运算系统1202及一机器学习运算系统1232，两者在一网络1250上通信耦接。
137.在一些实施方式中，运算系统1202可执行在此所述各种运算组件的操作及功能。例如，运算系统1202可代表一深度感测系统、估算系统、精化系统、处理系统、及/或在此所述的其他系统，并执行此等系统的功能。运算系统1202可包含一或多个彼此区别的实体运算组件。
138.运算系统1202可包含一或多个运算组件1204。一或多个运算组件1204可包含一或多个处理器1206及一内存1208。一或多个处理器1206可为任何适合的处理组件(例如处理器核心、微处理器、asic、fpga、控制器、微控制器等)，且可为单处理器或多个操作相连的处理器。内存1208可包含一或多个非瞬时计算机可读储存媒体，例如ram、rom、eeprom、eprom、一或多个内存组件、闪存组件等、及其组合。
139.内存1208可储存由一或多个处理器1206存取的信息。例如，内存1208(例如一或多个非瞬时计算机可读储存媒体、内存组件)可储存被取得、接收、存取、写入、调处、建立、及/或储存的数据1210。数据1210可包含，例如，表示距离、物体、信号、误差、范围、模型输入、模型输出、及/或如在此所述任何其他数据及/或信息中一或多者的数据。在一些实施方式中，运算系统1202可自远离系统1202的一或多个内存组件取得数据。
140.内存1208也可储存由一或多个处理器1206执行的计算机可读指令1212。指令1212可为以任何适合的编程语言撰写的软件，或可实施于硬件中。与此同时，或以为替代，指令
1212可执行于处理器1206上逻辑分离及/或虚拟分离的线程。
141.例如，当由一或多个处理器1206执行内存1208储存的指令1212时，可致使一或多个处理器1206执行在此所述的任何操作及/或功能，包含，例如，在此所述任何系统的操作或功能、在此所述方法/程序的一或多个部分、及/或任何其他功能或操作。
142.根据本技术的一种态样，运算系统1202可储存或包含一或多个机器学习模型1216。例如，机器学习模型1216可为或可以其他方式包含各种机器学习模型，例如神经网络(例如深度神经网络)、支持向量机、判定树、集成模型、k近邻演算模型、贝氏网络、或其他类型的模型(包含线性模型及/或非线性模型)。范例神经网络包含前馈神经网络、递归神经网络(例如长短期记忆递归神经网络等)、卷积神经网络、及/或其他形式的神经网络。
143.在一些实施方式中，运算系统1202可经由网络1250接收来自机器学习运算系统1232的一或多个机器学习模型1216，且可将所述一或多个机器学习模型1216储存于内存1208。运算系统1202而后可使用或以其他方式运用一或多个机器学习模型1216(例如经由处理器1206)。详言之，运算系统1202可利用机器学习模型1216输出距离数据。所述距离数据可表示一深度估算。例如，机器学习模型1216可判定一深度估算，如由一或多个影像传感器随时间所撷取的多个影像所决定者。机器学习模型1216可接收包含一环境中一物体的影像的至少一部分，并输出一深度估算。
144.在一些实施方式中，机器学习模型1216可接收融合输入。例如，所述融合输入可基于来自距离估算系统的一信号(例如由rgb摄像头所撷取环境中一物体的数字影像的一部分)以及来自距离精化系统的一信号(例如由i-tof系统所撷取环境中物体的正交振幅的一部分)。机器学习模型1216可配置为接收融合输入，并产生代表运算系统1202与物体间的距离的一输出。
145.机器学习运算系统1232包含一或多个处理器1234及一内存1236。一或多个处理器1234可为任何适合的处理组件(例如处理器核心、微处理器、asic、fpga、控制器、微控制器等)，且可为单处理器或多个操作相连的处理器。内存1236可包含一或多个非瞬时计算机可读储存媒体，例如ram、rom、eeprom、eprom、一或多个内存组件、闪存组件等、及其组合。
146.内存1236可储存由一或多个处理器1234存取的信息。例如，内存1236(例如一或多个非瞬时计算机可读储存媒体、内存组件)可储存可被取得、接收、存取、写入、调处、建立、及/或储存的数据1238。数据1238可包含，例如，任何在此所述的数据及/或信息。在一些实施方式中，机器学习运算系统1232可自远离机器学习运算系统1232的一或多个内存组件取得数据。
147.内存1236也可储存由一或多个处理器1234所执行的计算机可读指令1240。指令1240可为以任何适合的编程语言撰写的软件，或可实施于硬件中。与此同时，或以为替代，指令1240可执行于处理器1234上逻辑分离及/或虚拟分离的线程。
148.例如，当由一或多个处理器1234执行内存1236储存的指令1240时，可致使一或多个处理器1234执行在此所述的任何操作及/或功能，包含，例如，在此所述任何系统的操作或功能、在此所述方法/程序的一或多个部分、及/或任何其他功能或程序。
149.在一些实施方式中，机器学习运算系统1232包含一或多个服务器运算组件。若机器学习运算系统1232包含多个服务器运算组件，此等服务器运算组件可根据各种运算架构操作，运算架构包含，例如，顺序运算架构、平行运算架构、或其一些组合。
150.与运算系统1202的机器学习模型1216同时，或以为替代，机器学习运算系统1232可包含一或多个机器学习模型1242。例如，机器学习模型1242可为或可以其他方式包含各种机器学习模型，例如神经网络(例如深度神经网络)、支持向量机、判定树、集成模型、k近邻演算模型、贝氏网络、或其他类型的模型(包含线性模型及/或非线性模型)。范例神经网络包含前馈神经网络、递归神经网络(例如长短期记忆递归神经网络等)、卷积神经网络、及/或其他形式的神经网络。
151.在一范例中，机器学习运算系统1232可根据一客户端/服务器架构而与运算系统1202通信。例如，机器学习运算系统1232可利用机器学习模型1242而对运算系统1202提供一网络服务。例如，所述网络服务可提供深度感测系统及/或其他在此所述系统的功能及操作(例如判定两点间的距离、组件/系统与物体间的距离等)。
152.因此，机器学习模型1216可位于并用于运算系统1202，及/或机器学习模型1242可位于并用于机器学习运算系统1232。
153.在一些实施方式中，机器学习运算系统1232及/或运算系统1202可利用一模型训练器1244训练机器学习模型1216及/或1242。模型训练器1244可利用一或多种训练或学习算法训练机器学习模型1216及/或1242。一种范例训练技术为误差反向传播(backwards propagation of error)。在一些实施方式中，模型训练器1244可利用一组标记训练数据而执行受监管的训练技术。于其他实施方式中，模型训练器1244可利用一组无标记训练数据而执行不受监管的训练技术。模型训练器1244可执行数种泛化(generalization)技术以提升所训练模型的泛化能力。泛化技术包含权重衰减、丢弃法、或其他技术。
154.详言之，模型训练器1244可基于一组训练数据1246而训练机器学习模型1216及/或1242。所述训练数据1246可包含，例如，标记输入数据(例如来自rgb及/或i-tof传感器者)及/或表示距离信息的融合传感器数据。模型训练器1244可实施为用以控制一或多个处理器的硬件、韧体、及/或软件。
155.运算系统1202也可包含一通信接口1214，用于与一或多个系统或组件通信，包含远离运算系统1202的系统或组件。通信接口1214可包含任何电路、组件、软件等，用于经由一或多个网络1250进行通信。在一些实施方式中，通信接口1214可包含，例如，通信控制器、接收器、收发器、传送器、端口、传导器、用于传递数据的软件及/或硬件中的一或多者。机器学习运算系统1232同样可包含一通信接口1248。
156.网络1250可为任何类型的网络或网络组合，其可实现组件间的通信。在一些实施例中，网络可包含局域网络、广域网、因特网、安全网络、移动通信网络、网状网络、对等式通信链接、及/或其一些组合中的一或多者，且可包含任何数量的有线或无线连结。在网络1250上的通信可通过例如使用任何类型的协议、防护方案、编码、格式、封装等的网络接口而实现。
157.图12绘示可用于实施本技术的一种范例运算系统1200，但也可使用其他运算系统。例如，在一些实施方式中，运算系统1202可包含模型训练器1244及训练数据1246。于此种实施方式中，机器学习模型1216可在运算系统1202本地进行训练及使用。在另一范例中，根据一些实施方式，运算系统1202并不连接于其他运算系统。
158.再者，在文中及/或图中显示为包含于运算系统1202或1232中其一的组件，可改为包含于运算系统1202或1232中的另一者。此等配置的实施也属本技术的范畴。利用计算机
式系统可实现组件间的多种可能配置、组合、及任务与机能划分。由计算机实施的操作可执行于单一组件上或跨多个组件执行。由计算机实施的任务及/或操作可先后或同时执行。所述数据及指令可储存于单一内存组件中，或跨多个内存组件储存。
159.各种装置可配置为执行在此所述的方法、操作、及程序。例如，任何系统(例如估算系统、精化系统、处理系统、深度感测系统)可包含用以执行其在此所述操作及功能的单元及/或其他装置。在一些实施方式中，上述单元中的一或多者可分离实施。在一些实施方式中，一或多个单元可为一或多个其他单元的一部分或包含于其中。此等装置可包含处理器、微处理器、图形处理单元、逻辑电路、专属电路、应用特定集成电路、可编程阵列逻辑、现场可编程门阵列(field-programmable gate array)、控制器、微控制器、及/或其他适合的硬件。所述装置也可，或改为，包含例如以处理器或逻辑电路系统而实现的软件控制装置。所述装置可包含内存，或能够以其他方式存取内存，例如，为一或多个非瞬时计算机可读储存媒体，例如随机存取内存、只读存储器、电子抹除式可编程只读存储器、抹除式可编程只读存储器、快闪/其他内存组件、数据缓存器、数据库、及/或其他适合的硬件。
160.虽然以上通过范例说明本技术的较佳实施例，但应知本技术并不以此为限。反之，其意在涵盖各种修改及类似安排与程序，且因此权利要求的范围应采最广义解释，以将所有此等修改及类似安排与程序包含于其中。