相机位姿估计技术的制作方法

相机位姿估计技术
1.相关申请的交叉引用
2.本技术要求于2020年4月9日提交的题为“camera pose estimation techniques”的美国临时专利申请no.63/007,895的优先权，其公开内容通过引用并入本文。
技术领域
3.本文涉及用于估计位于车辆上或车辆中的相机的位姿的技术。


背景技术：

4.车辆可以包括出于多种目的而附接到车辆的相机。例如，出于安全目的，用于驾驶辅助或用于促进自主驾驶，可以将相机附接到车辆的车顶。安装在车辆上的相机可以获取车辆周围一个或多个区域的图像。可以对这些图像进行处理，以获得关于道路或关于车辆周围的对象的信息。例如，可以分析由相机获得的图像以确定自主车辆周围的对象的距离，使得可以安全地操纵自主车辆绕开对象。


技术实现要素：

5.本专利文件描述了用于估计位于车辆上或车辆中的相机的位姿的示例性技术。一种估计相机位姿的方法，包括：从位于车辆上的相机获得图像，所述图像包括车辆行驶的道路上的车道标记；以及估计相机的位姿，使得相机的位姿提供根据从所述图像确定的所述车道标记的第一位置和从存储的所述道路的地图确定的所述车道标记的第二位置之间的准则的最佳匹配。
6.在一些实施例中，所述第一位置对应于与所述车道标记的角部相关联的像素位置，以及其中，所述第二位置对应于所述车道标记的角部的三维(3d)世界坐标。在一些实施例中，第一位置对应于与车道标记相关联的像素位置，以及其中，第二位置对应于车道标记的三维(3d)世界坐标。在一些实施例中，根据所述准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从所述车道标记的角部的3d世界坐标到与所述车道标记的角部相关联的像素位置的距离。在一些实施例中，通过最小化与所述车道标记的角部相关联的像素位置与所述车道标记的角部的3d世界坐标之间的平方距离的和来最小化所述距离。
7.在一些实施例中，根据所述准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的组合的函数来确定的，约束项的代价表示限制参数搜索空间的约束，以及约束项的代价是通过最小化所述像素位置与来自车辆行驶时获得的先前图像的所述车道标记的角部的第三位置之间的差值来确定的。
8.在一些实施例中，所述方法还包括：根据从相机获得的图像来生成二进制图像；以及从二进制图像生成灰度图像。所述灰度图像包括具有相应值的像素。每个像素的值是所述灰度图像中的像素位置与所述灰度图像中车道标记的角部的第一位置之间的距离的函数。
9.在一些实施例中，所述车道标记的第二位置是基于所述车辆的位置、所述车辆行驶的方向以及所述相机的预定视场(fov)来确定的。在一些实施例中，所述车道标记的第二位置是通过以下方式确定的：从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组一个或多个车道标记；基于所述车辆行驶的方向，从第一组一个或多个车道标记中获得第二组一个或多个车道标记；基于所述相机的预定fov，从第二组一个或多个车道标记中获得第三组一个或多个车道标记；以及从第三组一个或多个车道标记中获得所述车道标记的第二位置。在一些实施例中，第三组一个或多个车道标记不包括被确定为被一个或多个对象遮挡的一个或多个车道标记。
10.在另一示例性方面，上述方法以处理器可执行代码的形式体现并存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储器包括代码，所述代码在由处理器执行时使处理器实现本专利文件中所描述的方法。
11.在又一示例性实施例中，公开了一种被配置为或可操作为执行上述方法的设备。
12.在附图、说明书和权利要求书中更详细地描述了上述和其他方面及其实现。
附图说明
13.图1示出了用于估计位于车辆上或车辆中的相机的位姿的框图。
14.图2示出了包括道路上的车辆的示例性系统。
15.图3示出了执行用于获得静态车道标记的操作的流程图。
16.图4示出了执行用于获得观察车道标记和估计相机位姿的操作的流程图。
17.图5示出了用于估计相机位姿的操作的示例性流程图。
18.图6示出了位于车辆中的用于估计相机位姿的计算机的示例性框图。
具体实施方式
19.自主车辆包括相机，用于获得自主车辆周围的一个或多个区域的图像。这些图像可以由自主车辆上的计算机分析，以获得与道路或与自主车辆周围的对象有关的距离或其他信息。但是，需要确定相机的位姿，以便自主车辆上的计算机能够精确或准确地检测对象并确定其距离。
20.图1示出了用于估计位于车辆上或车辆中的相机的位姿的框图。可以在自主车辆被操纵或行驶在道路上时实时估计相机的位姿。在自主车辆中，可以将多个相机耦接至驾驶室的车顶，以捕捉自主车辆正朝其行驶的区域的图像。由于相机可以通过其耦接到自主车辆的机械结构的非刚性，因此当发动机开启和/或当自主车辆在道路上行驶时，或者由于风的作用，相机可能经历随机振动。图1示出了能够用于估计六自由度(dof)的相机位姿(朝向和位置)的框图。六个dof参数包括三个用于相机朝向(例如，翻滚角、俯仰角、偏航角)的变量和三个用于相机平移(x、y、z)的变量。精确而强大的实时相机位姿对自主驾驶相关的应用(例如，对自主车辆周围对象的跟踪、深度估计和速度估计)产生重大影响。
21.在图1的顶部，在操作102，示例性相机位姿估计技术包括可以存储与道路上的车道标记(在图2中显示为210a、210b)有关的信息的高清(hd)地图。hd地图可以存储诸如每个车道标记的四个角部(在图2中示为212a
‑
212b)的三维(3d)世界坐标之类的信息。hd地图可以被存储在位于自主车辆中的计算机中，其中该计算机执行本专利文件中描述的相机位姿
估计技术。
22.在操作104处，定位可以包括位于自主车辆中的全球定位系统(gps)收发器，该gps收发器可以提供自主车辆在3d世界坐标中的位置或地点。位于自主车辆中的计算机可以接收自主车辆的位置，并且可以查询(在操作106中示出)hd地图(在操作102中示出)以获得位于自主车辆的预定距离(例如100米)内的车道标记的角部的3d位置。基于查询(操作106)，计算机可以获得关于车道标记的角部的位置信息。在操作108，可以将每个车道标记的角部的位置信息视为静态车道标记信息。
23.在图1的底部，在操作110，示例性相机位姿估计技术包括从位于自主车辆上或自主车辆中的相机获得的图像。位于自主车辆中的计算机可以从相机获得图像(操作110)，并且可以在操作112处执行深度学习车道检测技术，以识别图像中的车道标记和车道标记的角部的二维位置(操作110)。深度学习车道检测技术(操作112)还可以识别位于图像中的每个车道标记的角部的二维(2d)像素位置。在操作114，可以将每个识别出的车道标记和图像中每个车道标记的角部的像素位置(操作110)视为观察车道标记。在示例性实施例中，深度学习车道检测可以包括使用卷积神经网络(cnn)，cnn可以基于基本框架进行操作。
24.在一些实施例中，位于自主车辆中的计算机可以每5毫秒执行数据和图像处理以获得静态车道标记(操作108)和观察车道标记(操作114)。位于自主车辆中的计算机可以执行匹配操作(操作116)，以最小化从hd地图获得的车道标记的至少一个角部的3d世界坐标与图像中的对应车道标记的至少一个角部的2d像素位置之间的距离。匹配操作(操作116)可以提供从图像获得的车道标记与从hd地图获得的对应车道标记之间的最佳匹配或最佳拟合。通过最小化来自hd地图的车道标记与来自图像的对应车道标记之间的距离，计算机可以在操作118处获得估计的相机位姿。估计的相机位姿可以包括描述相机位姿的六个dof变量的值。
25.图2示出了示例性系统200，其包括道路208上的车辆202，其中车辆202包括多个相机。为了便于描述，在图2中示出了单个相机204。然而，多个相机可以位于车辆202上或定位在车辆202上，以在车辆202行驶时获得包括车道标记210a、210b的道路208的图像。这里针对相机204所描述的相机位姿估计技术可以应用于估计位于车辆202上的其他相机的位姿。车辆202可以是自主车辆。
26.道路208包括可附于道路208两侧的车道标记210a、201b。车道标记包括位于道路208的第一侧的第一组车道标记210a和位于道路208的与第一侧相对的第二侧上的第二组车道标记210b。每个车道标记可以包括多个角部212a
‑
212b(例如，矩形车道标记的四个角部)。如图1所示，计算机可以位于车辆202中，其中计算机可以包括hd地图，该hd地图包括每个车道标记的角部的3d世界坐标。在每组车道标记中，一个车道标记可以与另一车道标记分开预定距离，以在道路上形成一组虚线。车道标记210a、210b可以具有矩形形状并且可以具有白色，或者车道标记210a、210b可以具有另一形状(例如正方形、多边形等)并且可以具有颜色(例如黑色、白色、红色等)。如图2所示，第一和第二组车道标记210a、210b可以彼此平行。
27.图3示出了执行用于获得图1中描述的静态车道标记的操作的流程图。如图1所示，位于自主车辆中的计算机可以从hd地图获得关于第一组一个或多个车道标记的角部的位置信息，其中第一组一个或多个车道标记可以至少基于从gps收发器获得的自主车辆的位
置来获得。在图1中描述的定位还可以包括位于车辆上的惯性测量单元(imu)传感器，该imu传感器可以提供自主车辆的前进方向。在操作302处，基于前进方向，位于自主车辆中的计算机可以通过从第一组一个或多个车道标记中过滤掉或移除位于自主车辆侧面或后面的那些车道标记来按前进方向进行过滤，以便计算机可以获得位于自主车辆前面的第二组一个或多个车道标记。接下来，在操作304，计算机可以通过相机的预定视场(fov)来执行过滤，以将第二组一个或多个车道标记进一步缩小到被估计为位于其位姿正在被估计的相机的预定fov内(例如，预定的视角范围内)的那些车道标记。在过滤操作(操作304)，计算机可以过滤从静态hd图获取、并通过前进方向过滤的车道标记，以投影到相机的视场上，从而获得第三组一个或多个车道标记。然后，在操作306，计算机可选地执行光线追踪过滤或其他过滤方法，以移除被地形几何遮挡的车道标记。例如，计算机可以执行光线追踪过滤以移除可预见的上坡后方的车道标记或被树木或墙壁遮挡的车道标记。更具体地说，光线追踪过滤或其他过滤方法可以移除3d世界坐标中存在但无法从2d图像中看到的车道标记。
28.接下来，在操作308，计算机可以通过图像尺寸过滤第三组一个或多个车道标记，以滤除图像中不容易感知的一个或多个车道标记。例如，计算机可以滤除或移除位于距自主车辆的位置超过预定距离(例如，超过50米)的一个或多个车道标记。过滤操作(操作308)可以产生位于自主车辆的位置的预定距离(例如50米)内的第四组一个或多个车道标记。最终，在操作310中，计算机可选地通过动态对象遮挡执行过滤，以从第四组车道标记中滤除计算机确定为被道路上的一个或多个对象(例如，地形、其他车辆等)遮挡或阻挡的一个或多个车道标记，以获得计算机可以用以执行图5中所述的匹配操作的第五组一个或多个车道标记。如本专利文件中进一步描述的，在匹配操作中，计算机可以确定并且最小化从hd地图获得的车道标记的角部的3d位置与从图像获得、且由相机查看到的车道标记的角部的像素位置之间的差值，其中从hd地图获得的车道标记对应于从图像获得的车道标记。
29.图4示出了执行用于如图1所述的获得观察车道标记和估计相机位姿的操作的流程图。在分割后处理操作(操作402)，位于自主车辆中的计算机中的观察车道标记模块(在图6中示为观察车道标记模块625)可以处理从相机获得的图像，以提取图像中的车道标记的表示。如图1所示，分割后处理操作(操作402)可以涉及使用深度学习车道检测技术的观察车道标记模块，以从捕捉的图像中提取车道标记并识别车道标记的角部的像素位置。在分割后处理操作(操作402)，观察车道标记模块还可以根据获得的图像生成二进制图像。
30.观察车道标记模块可以执行距离变换操作(操作404)以平滑二值图像，从而获得灰度图像。每个像素都有一个与其关联的值，该值越小，则越靠近车道标记或车道标记的像素(例如，车道标记的角部的像素位置)，以及该值越大，则距离车道标记或车道标记的像素(例如，车道标记的角部的像素位置)越远。
31.位于自主车辆中的计算机中的相机位姿模块(在图6中示为相机位姿模块630)可以基于其位置与预定参考点(例如车道标记的角部)相关联的一组像素来估计相机位姿(在操作406处)。预定参考点的位置可以从hd地图(在图6中显示为hd地图615)获得。计算机可以通过最小化从高清地图获取的车道标记到相机所捕捉的与该车道标记相关联的车道标记的最接近车道分割像素的平方距离的和来估计6个dof参数。在一些实施例中，相机位姿模块可以在操作406处通过对像素位置的位置的预定距离之内的车道标记执行以下所示的公式(1)来估计相机位姿：
[0032][0033]
其中e
cost
是针对未对准的代价项，而e
con
是针对约束的代价项。针对未对准的代价项e
cost
在下面的公式(2)至(4)中描述，而针对约束的代价项e
con
在下面的公式(5)中描述：
[0034][0035]
e
i，j
＝ρ(dt(x
i，j
))
ꢀꢀ
公式(3)
[0036][0037]
其中e(i，j)表示从地图获取的第i个车道标记的第j个角部点的未对准误差，函数ρ(dt(xi，j))表示鲁棒损失函数，而dt表示距离变换函数。x(i，j)是表示齐次坐标系中一个点的向量。k表示3x3相机内参数矩阵，i_(3x3)表示3x3单位矩阵。函数/pi用于归一化齐次坐标。
[0038]
在一些实施例中，计算机可以通过最小化在自主车辆的位置的预定范围内的从hd地图获得的车道标记的一个或多个角部的3d世界坐标与来自所获得的图像的对应车道标记(例如，车道标记的角部)的像素位置之间的距离，来确定描述相机位姿的6个dof变量。
[0039]
在一些实施例中，计算机可以通过添加正则化项来估计相机位姿(例如，在操作406处)，以使用如下所示的公式(5)至(10)来实现平滑：
[0040][0041]
其中公式(5)中的θ()是用于根据公式(7)至(10)进一步描述的se(3)获得翻滚角、俯仰角、偏航角的函数。se(3)是特殊欧几里德变换，表示3d空间中的刚性变换，它是4x4矩阵。se(3)的李氏代数是se(3)，它具有与se(3)的指数映射，并且是1x6的向量。函数φ()旨在从se(3)获取平移向量。函数ξ(cor)是校正后的相机位姿的se(3)表示，而ξ(prev)是先前帧相机位姿的se(3)表示。ω1至ω4项是对角矩阵，其中ω表示该项的权重。我们还为每个自由度设置边界，并且将函数η(ξ(cor)，ξ(prev))定义为：
[0042][0043]
公式(6)的正则化项可以看作是约束参数搜索空间的空间的一种约束类型。添加正则化项是技术上有益的特征，至少是因为这样做可以最大程度地减少一次估计的所有6个dof参数的变化。如公式(5)所示，相机的位姿可以基于增加限制参数搜索空间的约束的函数。公式(5)中所示的约束项的代价是通过最小化当前时间帧处的估计的(校正的)相机位姿与从先前时间帧所估计的位姿之间的差值来确定的。
[0044]
θ(ξ
cor
)＝(r
x
，r
y
，r
z
)
t
ꢀꢀ
公式(7)
[0045]
其中θ(ξ
cor
)是根据李氏代数中的se(3)获得旋转的函数，而r
x
、r
y
和r
z
分别是在获得相机图像的像平面上相对于沿x、y和z轴的相机坐标的旋转值。
[0046]
φ(ξ
cor
)＝(t
x
，t
y
，t
z
)
t
ꢀꢀ
公式(8)
[0047]
其中φ(ξ
cor
)是获得平移的函数，t
x
、t
y
和t
z
分别是在像平面上相对于x、y和z轴的相机坐标的平移值。
[0048]
θ(ξ
cor
)
‑
θ(ξ
prev
)＝(δ
rx
，δ
ry
，δ
rz
)
t
ꢀꢀ
公式(9)
[0049]
其中θ(ξ
cor
)
‑
θ(ξ
prev
)是旋转的当前值与从先前图像帧计算出的先前旋转之间的差。
[0050]
φ(ξ
cor
)
‑
φ(ξ
prev
)＝(δt
x
，δt
y
，δt
z
)
t
ꢀꢀ
公式(10)
[0051]
其中φ(ξ
cor
)
‑
φ(ξ
prev
)是平移的当前值与先前图像帧的先前平移之间的差。
[0052]
图5示出了执行用于估计相机位姿的操作的示例性流程图。在获得操作502处，观察车道标记模块(在图6中示为观察车道标记模块625)可以从位于车辆上的相机获得图像，其中图像包括车辆在其上行驶的道路上的车道标记。在估计操作504处，相机位姿模块(在图6中示为相机位姿模块630)可以估计相机的位姿，使得相机的位姿提供从该图像确定的车道标记的第一位置与从存储的道路的地图确定的车道标记的第二位置之间的准则的最佳匹配。
[0053]
在一些实施例中，第一位置对应于与车道标记的角部相关联的像素位置，以及第二位置对应于车道标记的角部的三维(3d)世界坐标。在一些实施例中，根据准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从车道标记的角部的3d世界坐标到与车道标记的角部相关联的像素位置的距离。在一些实施例中，通过最小化与车道标记的角部相关联的像素位置与车道标记的角部的3d世界坐标之间的平方距离的和来最小化该距离。
[0054]
在一些实施例中，根据该准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的组合的函数来确定的，其中约束项的代价表示限制参数搜索空间的约束，以及其中约束项的代价是通过最小化所述像素位置与来自车辆行驶时获得的先前图像的车道标记的角部的第三位置之间的差值来确定的。
[0055]
在一些实施例中，图5的方法还包括：根据从相机获得的图像来生成二进制图像；以及从二进制图像生成灰度图像，其中该灰度图像包括具有相应值的像素。每个像素的值是该灰度图像中的像素位置与该灰度图像中车道标记的角部的第一位置之间的距离的函数。在一些实施例中，图5的方法还包括：根据该图像来生成灰度图像，其中该灰度图像包括具有相应值的像素。每个像素的值是该灰度图像中的像素位置与该灰度图像中车道标记的角部的第一位置之间的距离的函数。
[0056]
在一些实施例中，车道标记的第二位置是由静态车道标记模块(在图6中示为静态车道标记模块620)基于车辆的位置、车辆行驶的方向、以及相机的预定视场(fov)来确定的。在一些实施例中，车道标记的第二位置是由静态车道标记模块通过以下方式确定的：从存储的地图并基于所述车辆的位置获得位于距所述车辆预定距离之内的第一组一个或多个车道标记；基于车辆行驶的方向，从第一组一个或多个车道标记中获得第二组一个或多个车道标记；基于相机的预定fov，从第二组一个或多个车道标记中获得第三组一个或多个车道标记；以及从第三组一个或多个车道标记中获得车道标记的第二位置。在一些实施例中，第三组一个或多个车道标记不包括被确定为被一个或多个对象遮挡的一个或多个车道标记。
[0057]
在一些实施例中，第一位置对应于与车道标记相关联的至少一个位置，并且其中第二位置对应于车道标记的至少一个位置的三维(3d)世界坐标。在一些实施例中，根据该准则的最佳匹配是通过以下方式最小化未对准项的代价的函数来确定的：最小化从车道标
记的至少一个位置的3d世界坐标到该车道标记的至少一个位置的距离。在一些实施例中，根据该准则的最佳匹配是通过最小化未对准项的代价和约束项的代价的函数来确定的。在一些实施例中，约束项的代价表示限制搜索空间的约束。在一些实施例中，约束项的代价是通过最小化至少一个位置与来自车辆行驶时获得的先前图像的车道标记的角部的第三位置之间的差值来确定的。
[0058]
在一些实施例中，至少基于车辆的位置来确定车道标记的第二位置。在一些实施例中，车道标记的第二位置是通过以下方式确定的：从存储的地图并基于车辆的位置获得位于距车辆预定距离之内的第一组车道标记；基于车辆行驶的方向，从第一组车道标记中获得第二组车道标记；基于相机的预定fov，从第二组车道标记中获得第三组车道标记；以及从第三组车道标记中获得车道标记的第二位置。
[0059]
在一些实现中，在本专利文件的各个实施例中描述的方法被体现在存储在非暂时性计算机可读介质上的计算机可读程序中。该计算机可读程序包括代码，所述代码在由处理器执行时使处理器执行本专利文件中所描述的方法，包括图5中所描述的方法。
[0060]
在一些实施例中，一种系统包括处理器和存储器。存储器存储与静态车道标记模块、观察车道标记模块和/或相机位姿估计模块相关联的指令，该指令可由处理器执行，以执行用于估计相机位姿的操作。例如，该系统可以包括诸如计算机之类的装置，其中该装置包括上述存储器和上述处理器。
[0061]
图6示出了如本专利文件中所述的位于自主车辆中用于估计相机位姿的计算机的示例性框图。计算机600包括至少一个处理器610和其上存储有指令的存储器605。指令在由处理器610执行时将计算机600配置为执行图1至5中所示的操作和/或在本专利文件的各个实施例中描述的操作。静态车道标记模块620可以执行在图1和图3以及本专利文件的各种实施例中描述的用于获得与静态车道标记相关的信息的操作。观察车道标记模块625可以执行在图1、图4和图5以及本专利文件的各种实施例中描述的用于获得与观察车道标记相关的信息的操作。相机位姿模块630可以执行在图1、图4和图5以及本专利文件的各种实施例中描述的用于估计相机位姿的操作。
[0062]
在本文中，术语“示例性”用于表示
“……
的示例”，并且除非另有说明，否则并不意味着理想的或优选的实施例。
[0063]
本文描述的一些实施例是在方法或过程的一般上下文中描述的，方法或过程可以在一个实施例中由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括诸如程序代码之类的由网络环境中的计算机执行计算机可执行指令。计算机可读介质可以包括可移除和不可移除的存储设备，包括但不限于只读存储器(rom)、随机存取存储器(ram)、光盘(cd)、数字通用光盘(dvd)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机或处理器可执行指令、相关联的数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联数据结构的特定序列表示用于实现在这样的步骤或过程中描述的功能的相应动作的示例。
[0064]
所公开的实施例中的一些可以使用硬件电路、软件或其组合来实现为设备或模块。例如，硬件电路实现可以包括例如作为印刷电路板的一部分被集成的离散的模拟和/或数字组件。替代地或附加地，所公开的组件或模块可以被实现为专用集成电路(asic)和/或
被实现为现场可编程门阵列(fpga)设备。一些实施方式可以附加地或替代地包括数字信号处理器(dsp)，其是专用微处理器，具有针对与本技术的公开功能相关联的数字信号处理的操作需求而优化的架构。类似地，每个模块内的各种组件或子组件可以以软件、硬件或固件来实现。可以使用本领域中已知的任何一种连接方法和介质来提供模块之间和/或模块内的组件之间的连接，包括但不限于使用通过互联网、有线或无线网络，使用适当的协议的通信。
[0065]
虽然本专利文件包含许多细节，但是这些不应该被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在分开的实施例的上下文中描述的特定特征也可以以组合的形式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实现或以任何合适的子组合的方式实现。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以示出的特定顺序或以顺序次序执行，或者需要执行所有示出的操作来实现期望的结果。
[0066]
仅描述了几个实施方式和示例，并且可以基于本公开中描述和示出的内容来产生其他实施方式、增强和变化。