用于处理与深度相关的图像的系统和方法与流程

1.本公开大体上涉及一种图像处理技术，具体地说，涉及用于处理与深度相关的图像的系统和方法。


背景技术：

2.深度信息可用于对象检测、三维物件生成或其它实施方案中。在常规方法中，特定处理器(例如数字信号处理器(digital signal processor，dsp)或中央处理单元(central processing unit，cpu))可通过使用软件计算来基于图像执行深度计算，以生成深度信息。然而，对于紧凑装置(例如智能手机、平板计算机、头戴式显示器等)，其可能不具有比其它计算装置(例如台式计算机、膝上型计算机或服务器)更好的性能，使得紧凑装置的软件计算可能无法为深度计算提供足够效率。


技术实现要素：

3.软件上的深度计算可能没有效率。因此，本公开涉及用于处理与深度相关的图像的系统和方法，以提供用以利用硬件计算来处理深度相关计算的特定电路。
4.在示范性实施例中的一个中，一种用于处理与深度相关的图像的系统包含(但不限于)第一图像传感器、第二图像传感器、第一图像处理电路以及第二图像处理电路。第一图像传感器用于生成第一图像。第二图像传感器用于生成第二图像。第一图像处理电路耦接第一图像传感器和第二图像传感器。第一图像处理电路配置成生成对应于第一图像和第二图像中所识别的一个或多个对象的深度数据且生成包含第一图像、第二图像以及深度数据中的两个的第一数据包。第二图像处理电路耦接第一图像处理电路。第二图像处理电路配置成接收第一数据包且对第一图像和第二图像执行立体匹配。
5.在示范性实施例中的一个中，一种用于处理与深度相关的图像的方法包含(但不限于)以下步骤。第一图像传感器生成第一图像。第二图像传感器生成第二图像。第一图像处理电路生成对应于第一图像和第二图像中所识别的一个或多个对象的深度数据。第一图像处理电路生成包含第一图像、第二图像以及深度数据中的两个的第一数据包。第二图像处理电路接收第一数据包。第二图像处理电路对第一图像和第二图像执行立体匹配。
6.基于上述，根据用于处理与深度相关的图像的系统和方法，第一图像处理电路可处理深度计算以产生深度数据。此外，针对接口限制，在同一时间，第一图像、第二图像及深度数据当中只有两笔数据传送至第二图像处理电路。藉此，可改善深度相关计算的效率。
7.然而，应理解，这一发明内容可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的发明由且将由所属领域的技术人员理解为涵盖对其所作的明显改进和修改。
附图说明
8.包含附图以便进一步理解本公开，且附图并入本说明书中并构成本说明书的一部
分。附图说明本公开的实施例，且与描述一起用于解释本公开的原理。
9.图1为示出根据本公开的示范性实施例中的一个的用于处理与深度相关的图像的系统的方块图；
10.图2为示出根据本公开的示范性实施例中的一个的第一图像处理电路的方块图；
11.图3为示出根据本公开的示范性实施例中的一个的用于处理与深度相关的图像的方法的流程图；
12.图4a为示出根据本公开的示范性实施例中的一个的图像处理的方块图；
13.图4b为示出根据本公开的示范性实施例中的一个的图像处理的方块图；
14.图4c为示出根据本公开的示范性实施例中的一个的图像处理的方块图；
15.图4d为示出根据本公开的示范性实施例中的一个的图像处理的方块图；
16.图5为示出根据本公开的示范性实施例中的一个的数据传输的方块图。
17.附图标号说明
18.100：系统；
19.111：第一图像传感器；
20.111-1、113-1、115-1：rgb传感器；
21.111-2、113-2：ir传感器；
22.111-3、113-3：rgbir传感器；
23.113：第二图像传感器；
24.115：第三图像传感器；
25.120：第一图像处理电路；
26.121：图像提取电路；
27.122：深度计算电路；
28.123：图像分析电路；
29.124：对象提取电路；
30.125：对象深度计算电路；
31.126：重叠对象深度计算电路；
32.127：复用器；
33.130：第二图像处理电路；
34.140：第三图像处理电路；
35.150：第四图像处理电路；
36.160：中央处理单元；
37.c1、c2、c3：色彩图像；
38.c4、c5：色彩部分；
39.cir1、cir2：色彩红外图像；
40.d：深度数据；
41.d1：第一深度数据；
42.d2：第二深度数据；
43.dy：虚拟数据；
44.ir1、ir2：红外图像；
45.ir3、ir4：红外部分；
46.m1、m2：图像；
47.pch：物理信道；
48.rgbd1、rgbd2、rgbd3、rgbd4、rgbd5、rgbd6：色彩匹配图像；
49.s310、s320、s330、s340、s350、s360：步骤；
50.ti1：第一传输接口；
51.ti2：第二传输接口；
52.vch1、vch2：虚拟信道。
具体实施方式
53.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要可能，相同元件符号在附图和说明书描述中用来表示相同或相似部分。
54.图1为示出根据本公开的示范性实施例中的一个的用于处理与深度相关的图像的系统100的方块图。参考图1，系统100包含(但不限于)第一图像传感器111、第二图像传感器113、第一图像处理电路120、第二图像处理电路130、第三处理电路140、第四处理电路150以及中央处理单元(cpu)160。
55.第一图像传感器111和第二图像传感器113可以是红外线(infrared ray，ir)传感器、色彩图像传感器、红绿蓝(red-green-blue，rgb)传感器、rgbir传感器或深度相机。在一个实施例中，第一图像传感器111和第二图像传感器113分别对应于左眼和右眼。
56.在一个实施例中，系统100进一步包含第三图像传感器115。第三图像传感器115可以是ir传感器、色彩图像传感器、rgb传感器、rgbir传感器或深度相机。
57.应注意，对于ir传感器和rgbir传感器，系统100可进一步包含红外光源(未示出)，使得ir相关的传感器可检测红外光。
58.第一图像处理电路120可以是图像信号处理器(image signal processor，isp)、图像芯片或其它图像相关的处理器。第一图像处理电路120耦接第一图像传感器111、第二图像传感器113以及第三图像传感器115。
59.图2为示出根据本公开的示范性实施例中的一个的第一图像处理电路120的方块图。参考图2，第一图像处理电路120包含(但不限于)图像提取电路121和深度计算电路122。在一个实施例中，图像提取电路121配置成提取对应于由第一图像传感器111和第二图像传感器113生成的图像m1和图像m2的红色像素、绿色像素以及蓝色像素的色彩部分。此外，图像提取电路121配置成提取对应于由第一图像传感器111、第二图像传感器113和/或第三图像传感器115生成的图像m1、m2的ir像素的红外部分。假定第一图像传感器111、第二图像传感器113和/或第三图像传感器115为rgbir传感器。然而，在一些实施例中，对于ir传感器、色彩图像传感器、rgb传感器或深度相机，可省略图像提取电路121。
60.深度计算电路122包含(但不限于)图像分析电路123、对象提取电路124、对象深度计算电路125、重叠对象深度计算电路126以及复用器127。
61.在一个实施例中，图像分析电路123配置成确定是否调整由第一图像传感器111和第二图像传感器113生成的图像m1和图像m2的像素值以增强图片质量。举例来说，当原始图像太深时，图像分析电路123可增大原始图像的曝光值，以改进图片质量供用于随后的对象
提取操作。在一些实施例中，像素值可与色度、对比度或其它图像相关的参数相关。
62.对象提取电路124耦接图像分析电路123。在一个实施例中，对象提取电路124配置成根据由第一图像传感器111和第二图像传感器113生成的原始图像识别现实世界中的一个或多个对象。举例来说，对象提取电路124从原始图像中提取特征且比较所述特征与预定义对象的特征。
63.对象深度计算电路125耦接对象提取电路124。在一个实施例中，对象深度计算电路125配置成通过使用三角测量方法根据第一图像传感器111与第二图像传感器113之间的距离以及一个或多个对象在第一图像传感器111和第二图像传感器113的两个原始图像中所处的位置之间的像素距离来计算一个或多个对象的第一深度。
64.重叠对象深度计算电路126耦接对象深度计算电路125。在一个实施例中，重叠对象深度计算电路126配置成计算一个或多个对象中的两个重叠对象的第二深度且输出包含第一深度和第二深度的深度数据d。
65.在一些实施例中，深度计算由硬件计算执行，使得可将第一图像处理电路120视为深度硬件引擎。
66.复用器127耦接重叠对象深度计算电路126。在一个实施例中，复用器127配置成根据控制信号输出由第一图像传感器111和第二图像传感器113生成的原始图像m1和原始图像m2中的一个以及深度数据d。控制信号可基于第二图像处理电路130或其它电路的要求生成，且实施例不限于此。
67.第二图像处理电路130可以是视觉处理单元(vision processing unit，vpu)、用于视觉任务的人工智能(artificial intelligence，ai)加速器或其它图像相关的处理器。第二图像处理电路130耦接第一图像处理电路120。在一个实施例中，第二图像处理电路130配置成对图像执行立体匹配。立体匹配过程用于从数字图像中提取深度信息或三维信息。举例来说，第二图像处理电路130可比较来自第一图像传感器111和第二图像传感器113的两个图像m1和图像m2，且可基于视差获得深度信息或三维信息。在另一实例中，第二图像处理电路130配置成根据来自第一图像传感器111和第二图像传感器113的图像m1和图像m2来确定具有特定图或图案(例如手势)的一个或多个提取对象。
68.第三图像处理电路140可以是isp、图像芯片或其它图像相关的处理器。第三图像处理电路140耦接第二图像处理电路130。在一个实施例中，第三图像处理电路140配置成对从第二图像处理电路130输出的图像执行自动白平衡和曝光值校准，以改进图片质量供用于对象辨识和深度计算。在一些实施例中，第三图像处理电路140可校准色度、对比度或其它图像相关的参数。在又一些实施例中，第一图像处理电路120、第二图像处理电路130以及第三图像处理电路140中的两个或大于两个可整合到单芯片或数字电路中。
69.第四图像处理电路150可以是数字信号处理器(dsp)、图像芯片或其它图像相关的处理器。第四图像处理电路150耦接第三图像处理电路140。在一个实施例中，第四图像处理电路150配置成根据由第一图像处理电路120生成的深度数据对从第二图像处理电路130或第三图像处理电路140输出的图像进行立体图片(stereography)转换，以生成立体图片。举例来说，立体图片包含投影到二维表面上的三维对象。在一些实施例中，可省略第四图像处理电路150。
70.cpu 160可以是微处理器、微控制器、图形处理单元(graphics processing unit，
gpu)、专用集成电路(application-specific integrated circuit，asic)或现场可编程门阵列(field-programmable gate array，fpga)。cpu 160的功能也可由独立电子装置或集成电路(integrated circuit，ic)实施，且cpu 160的操作也可由软件实施。cpu 160耦接第三图像处理电路140或第四图像处理电路150。在一个实施例中，cpu 160配置成基于从第一图像处理电路120、第二图像处理电路130、第三图像处理电路140和/或第四图像处理电路150输出的图像和/或对应的深度数据来生成计算结果，所述计算结果是关于用于手部运动检测和追踪、间距扫描、对象扫描、扩增实境(augmented reality，ar)透视、6自由度(degrees of freedom，dof)以及同步定位与地图构建(simultaneous localization and mapping，slam)的应用程序。
71.系统100可包含用以存储从第一图像处理电路120、第二图像处理电路130、第三图像处理电路140或第四图像处理电路150或cpu 160输出或在其中使用的数据的一个或多个存储器(未示出)。
72.为了更好地了解在本公开的一个或多个实施例中提供的操作过程，在下文将举例说明若干实施例以详细解释系统100的操作过程。系统100中的装置和模块应用于以下实施例中以解释本文中提供的用于处理与深度相关的图像的方法。方法的每一步骤可根据实际实施情况来调整，且不应限于本文中描述的内容。
73.图3为示出根据本公开的示范性实施例中的一个的用于处理与深度相关的图像的方法的流程图。参考图3，第一图像传感器111可生成第一图像(步骤s310)。关于第一图像传感器111的类型，第一图像可以是ir图像、色彩图像或色彩红外图像。此外，第二图像传感器113可生成第二图像(步骤s320)。关于第二图像传感器113的类型，第二图像也可以是ir图像、色彩图像或色彩红外图像。在一个实施例中，第一图像传感器111和第二图像传感器113水平地移位以在基于人体双眼视觉的场景上获得两个不同视图。
74.在一个实施例中，第三图像传感器115可生成第三图像。在一些实施例中，第一图像为红外图像，第二图像为另一红外图像，第三图像为色彩图像。在又一些实施例中，第一图像为色彩图像，第二图像为另一色彩图像，第三图像为红外图像。
75.第一图像处理电路120可生成对应于第一图像和第二图像中所识别的一个或多个对象的深度数据(步骤s330)。如深度计算电路122的操作中所提及，生成第一图像和第二图像中所识别的一个或多个非重叠对象的第一深度和/或一个或多个重叠对象的第二深度以形成深度数据。在一些实施例中，深度计算电路122可生成对应于第一图像、第二图像以及第三图像中所识别的一个或多个对象的深度数据。
76.第一图像处理电路120可生成包含第一图像、第二图像以及深度数据中的两个的第一数据包(步骤s340)。在一个实施例中，组合第一图像、第二图像以及深度数据之中的两个数据以生成第一数据包。基于图像处理电路120的传输接口定义数据包的格式。在另一实施例中，组合第一图像、第二图像、深度数据以及虚拟数据之中的两个数据以生成第一数据包。虚拟数据可包含特定值或随机值。
77.在再一实施例中，第一图像处理电路120可生成包含第一图像、第二图像、深度数据以及虚拟数据中的不同于第一数据包的另外两个的第二数据包。
78.举例来说，图4a为示出根据本公开的示范性实施例中的一个的图像处理的方块图。参考图4a，第一图像传感器111为rgb传感器111-1，且第二图像传感器113为rgb传感器
113-1。rgb传感器111-1生成色彩图像c1，且rgb传感器113-1在相同时间点生成另一色彩图像c2。随后，第一图像处理电路120基于两个色彩图像c1和色彩图像c2中的对象生成深度数据d。此外，第一图像处理电路120将色彩图像c1和色彩图像c2组合到第一数据包中，且将深度数据d和虚拟数据dy组合到第二数据包中。数据结构可为：
79.表(1)
80.第一数据包c1c2第二数据包ddy
81.图4b为示出根据本公开的示范性实施例中的一个的图像处理的方块图。参考图4b，第一图像传感器111为ir传感器111-2，第二图像传感器113为ir传感器113-2，且第三图像传感器115为rgb传感器115-1。ir传感器111-2生成红外图像ir1，ir传感器113-2生成另一红外图像ir2，且rgb传感器115-1在相同时间点生成色彩图像c3。随后，第一图像处理电路120基于红外图像ir1和红外图像ir2以及色彩图像c3中的全部中所识别的对象来生成深度数据d。此外，第一图像处理电路120将红外图像ir1和红外图像ir2组合到第一数据包中，且将深度数据d和色彩图像c3组合到第二数据包中。数据结构可为：
82.表(2)
83.第一数据包ir1ir2第二数据包c3dy
84.图4c为示出根据本公开的示范性实施例中的一个的图像处理的方块图。参考图4c，第一图像传感器111为rgbir传感器111-3，且第二图像传感器113为rgbir传感器113-3。rgbir传感器111-3生成色彩红外图像cir1，且rgbir传感器113-3在相同时间点生成另一色彩红外图像cir2。随后，第一图像处理电路120基于两个色彩红外图像cir1和色彩红外图像cir2中的对象生成深度数据d。此外，第一图像处理电路120将色彩红外图像cir1和色彩红外图像cir2组合到第一数据包中，且将深度数据d和虚拟数据dy组合到第二数据包中。数据结构可为：
85.表(3)
86.第一数据包cir1cir2第二数据包ddy
87.在一个实施例中，第一图像传感器111的第一图像为第一色彩红外图像，第二图像传感器113的第二图像为第二色彩红外图像。举例来说，图4d为示出根据本公开的示范性实施例中的一个的图像处理的方块图。参考图4d，第一图像传感器111为rgbir传感器111-3，且第二图像传感器113为rgbir传感器113-3。图像提取电路121提取对应于由第一图像传感器111和第二图像传感器113生成的第一色彩红外图像cir1和第二色彩红外图像cir2的红色像素、绿色像素以及蓝色像素的色彩部分c4和色彩部分c5，且提取对应于由第一图像传感器111和第二图像传感器113生成的第一色彩红外图像cir1和第二色彩红外图像cir2的ir像素的红外部分ir3和红外部分ir4，其中根据灰度值定义红外部分的图像像素。深度计算电路122可生成对应于第一色彩红外图像cir1和第二色彩红外图像cir2的色彩部分c4和色彩部分c5中所识别的一个或多个对象的第一深度数据d1，且生成对应于第一色彩红外图像cir1和第二色彩红外图像cir2的红外部分ir3和红外部分ir4中所识别的一个或多个对
象的第二深度数据d2，其中深度数据d包含第一深度数据d1和第二深度数据d2。
88.此外，第一图像处理电路120可生成第一数据包，所述第一数据包包含第一色彩红外图像cir1和第二色彩红外图像cir2的色彩部分c4和色彩部分c5、第一色彩红外图像cir1和第二色彩红外图像cir2的红外部分ir3和红外部分ir4、第一深度数据d1以及第二深度数据d2中的两个；生成第三数据包，所述第三数据包包含色彩部分c4和色彩部分c5、红外部分ir3和红外部分ir4、第一深度数据d1以及第二深度数据d2中的不同于第一数据包的另外两个；且生成第四数据包，所述第四数据包包含色彩部分c4和色彩部分c5、红外部分ir3和红外部分ir4、第一深度数据d1以及第二深度数据d2中的不同于第一数据包和第三数据包的另外两个。
89.举例来说，第一图像处理电路120将第一色彩红外图像cir1和第二色彩红外图像cir2的色彩部分c4和色彩部分c5组合在第一数据包中，将第一色彩红外图像cir1和第二色彩红外图像cir2的红外部分ir3和红外部分ir4组合到第三数据包中，且将第一深度数据d1和第二深度数据d2组合到第四数据包中。数据结构可为：
90.表(4)
91.第一数据包c4c5第三数据包ir3ir4第四数据包d1d2
92.第二图像处理电路130可从第一图像处理电路120接收第一数据包(步骤s350)。具体来说，第一图像处理电路120提供第一传输接口，且第二图像处理电路130提供与第一传输接口连接的第二传输接口。第一传输接口和第二传输接口可以是相机串行接口(camera serial interface，csi)-3、csi-2、另一移动产业处理器接口(mobile industry processor interface，mipi)或其它传输接口。第一传输接口和第二传输接口提供用以传输数据的多个数据线。
93.在一个实施例中，第一传输接口经由第一信道将第一数据包传输到第二传输接口，且第一数据包进一步包含仅对应于第一信道的第一信道标识符。第一信道为逻辑信道，其由第一传输接口和第二传输接口的固件或软件识别。然而，第一数据包仍然经由物理数据线传输。
94.在另一实施例中，第一传输接口经由不同于第一信道的第二信道将第二数据包传输到第二传输接口，且第二数据包进一步包括仅对应于第二信道的第二信道标识符。第一信道和第二信道对应于第二传输接口中的不同存储器区块。第二传输接口可识别信道标识符，以知晓数据包属于哪一信道。举例来说，第一信道标识符为
‘
00’，且第二信道标识符为
‘
01’。随后第二图像处理电路130可将数据包存储到对应存储器区块。
95.在一些实施例中，第一信道为物理信道/路径，且第二信道为虚拟信道/路径。假定传输接口经由两个传输接口之间的数据线提供多个逻辑信道。如果存在两种或大于两种类型的数据包，那么第一传输接口可将不同数据包安排到不同逻辑信道。可能存在仅一个称为物理信道的逻辑信道，且其它逻辑信道将称为虚拟信道。图5为示出根据本公开的示范性实施例中的一个的数据传输的方块图。参考图5，第一传输接口ti1与第二传输接口ti2之间存在多个信道，例如物理信道pch以及虚拟信道vch1和虚拟信道vch2。
96.以图4a为例，包含色彩图像c1和色彩图像c2的第一数据包经由物理信道pch传输，
且包含虚拟数据dy和深度数据d的第二数据包经由虚拟信道vch1传输。
97.在另一实施例中，存在三个不同数据包，其为如之前所提及的第一数据包、第三数据包以及第四数据包。第一传输接口可经由第三信道将第一数据包传输到第二传输接口，经由第四信道将第三数据包传输到第二传输接口，且经由第五信道将第四数据包传输到第二传输接口。第一数据包进一步包含仅对应于第三信道的第三信道标识符，第三数据包进一步包含仅对应于第四信道的第四信道标识符，且第四数据包进一步包含仅对应于第五信道的第五信道标识符。举例来说，第三信道标识符为
‘
01’，第四信道标识符为
‘
10’，且第五信道标识符为
‘
11’。类似地，第三信道、第四信道以及第五信道对应于第二传输接口中的不同存储器区块。随后，第二图像处理电路130可从对应存储器区块中撷取所需数据。
98.在一些实施例中，第三信道为物理信道，第四信道为虚拟信道，且第五信道为另一虚拟信道。以图4d和图5为例，包含色彩部分c4和色彩部分c5的第一数据包经由物理信道pch传输，包含红外部分ir3和红外部分ir4的第三数据包经由虚拟信道vch1传输，且包含第一深度数据d1和第二深度数据d2的第四数据包经由另一虚拟信道vch2传输。
99.应注意，相同数据包中的数据可提供到特定应用程序。以图4d为例，包含色彩部分c4和色彩部分c5的第一数据包已知为待应用于ar透视应用程序的并排的rgb，且包含红外部分ir3和红外部分ir4的第三数据包已知为待应用于slam、手部运动检测和追踪以及6dof应用程序的并排的ir。因此，可提高处理数据的效率。
100.第二图像处理电路130可对第一图像和第二图像执行立体匹配(步骤s360)。具体来说，第二图像处理电路130可基于立体匹配演算法组合第一图像、第二图像以及深度数据，以生成与深度数据相关的匹配图像。以图4a为例，第二图像处理电路130对色彩图像c1和色彩图像c2执行立体匹配以生成色彩匹配图像rgbd1，其中色彩匹配图像rgbd1的图像像素由红色像素、绿色像素以及蓝色像素定义。
101.以图4b为例，第二图像处理电路130对红外图像ir1和红外图像ir2执行立体匹配以生成灰度匹配图像且对灰度匹配图像和色彩图像c3执行色彩匹配以生成色彩匹配图像rgbd2，其中色彩匹配图像rgbd2的图像像素由红色像素、绿色像素、蓝色像素以及ir/灰度像素定义。
102.以图4c为例，第二图像处理电路130分别基于第一图像传感器111和第二图像传感器113的视角对色彩红外图像cir1和色彩红外图像cir2执行立体匹配，以生成色彩匹配图像rgbd3和色彩匹配图像rgbd4。
103.以图4d为例，第二图像处理电路130对红外图像ir3和红外图像ir4执行立体匹配以生成灰度匹配图像，且对灰度匹配图像以及色彩图像c3和色彩图像c4执行色彩匹配以生成色彩匹配图像rgbd5和色彩匹配图像rgbd6。
104.在一个实施例中，第四图像处理电路150可根据深度数据将色彩匹配图像转换为立体图片。
105.在另一实施例中，cpu 160可基于立体图片和对应的深度数据生成计算结果，所述计算结果是关于用于手部运动检测和追踪、间距扫描、对象扫描、ar透视、6dof以及slam的应用程序。
106.根据系统100的架构，本公开首先使用第一图像处理电路120(即，深度硬件引擎)来计算对应于图像m1和图像m2的深度数据，以便取代现有技术中的数字信号处理器的软件
计算。之后，利用第二图像处理电路130和第三图像处理电路140的操作，可获得具有更佳图片质量的图像m1和图像m2以及具有更高准确度的对应深度数据。因此，可改进用于处理应用程序(例如手部运动检测和追踪、间距扫描、对象扫描、ar透视以及slam)的cpu160的准确度和效率。
107.综上所述，在本发明实施例的用于处理与深度相关的图像的系统和方法中，先利用图像处理电路计算对应于图像传感器的原始图像的深度数据，以替换现有技术所用数字讯号处理的软件计算。此外，可取得更佳图像质量的图像及更高准确度的对应深度数据。藉此，可改进用于处理一个或更多个应用的cpu的准确度及效率，并据以达到较佳的使用者体验。
108.所属领域的技术人员将显而易见，可以在不脱离本公开的范围或精神的情况下对本公开的结构作出各种修改和变化。鉴于以上内容，希望本公开涵盖本公开内容的修改和变化，只要所述修改和变化落入以下权利要求和其等效物的范围内。