绝缘子污秽检测方法、装置、设备及介质与流程

1.本发明实施例涉及电力设备绝缘子污秽检测技术领域，尤其涉及一种绝缘子污秽检测方法、装置、设备及介质。


背景技术：

2.输电线路是电力系统中重要的生命线路，绝缘子在输电线路中具备电气绝缘和机械固定等功能，是输电线路中不可或缺的元件，因此，对绝缘子进行污秽检测至关重要。
3.现有技术中，通常采用红外成像技术对绝缘子进行污秽检测，存在检测精度较低的情况。


技术实现要素：

4.本发明提供一种绝缘子污秽检测方法、装置、设备及介质，以提高绝缘子污秽检测的精度。
5.根据本发明的一方面，提供了一种绝缘子污秽检测方法，包括：获取待检测绝缘子的红外图像以及采集所述红外图像时对应采集环境的环境数据；分别提取所述红外图像的红外特征数据，以及所述环境数据的环境特征数据；将所述红外特征数据与所述环境特征数据进行特征融合，得到目标融合特征数据；根据所述目标融合特征数据，确定所述待检测绝缘子的目标污秽等级。
6.根据本发明的另一方面，提供了一种绝缘子污秽检测装置，包括：数据获取模块，用于获取待检测绝缘子的红外图像以及采集所述红外图像时对应采集环境的环境数据；数据提取模块，用于分别提取所述红外图像的红外特征数据，以及所述环境数据的环境特征数据；特征融合模块，用于将所述红外特征数据与所述环境特征数据进行特征融合，得到目标融合特征数据；污秽等级确定模块，用于根据所述目标融合特征数据，确定所述待检测绝缘子的目标污秽等级。
7.根据本发明的另一方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器能够执行本发明实施例所提供的任意一种绝缘子污秽检测方法。
8.根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明实施例所提供的任意一种
绝缘子污秽检测方法。
9.本发明实施例提供了一种绝缘子污秽检测方案，通过获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据；分别提取红外图像的红外特征数据，以及环境数据的环境特征数据；将红外特征数据与环境特征数据进行特征融合，得到目标融合特征数据；根据目标融合特征数据，确定待检测绝缘子的目标污秽等级。上述方案，通过将环境数据作为确定待检测绝缘子的目标污秽等级的一部分，实现了在考虑环境因素的基础上，进行绝缘子的污秽检测，避免了红外成像污秽检测受环境因素干扰，导致检测精度较低的情况，提高了确定的目标污秽等级的准确度，即提高了绝缘子污秽检测的精准度。
10.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1a是本发明实施例一提供的一种绝缘子污秽检测方法的流程图；图1b是本发明实施例一提供的一种红外特征提取网络的示意图；图1c是本发明实施例一提供的一种环境特征提取网络的示意图；图1d是本发明实施例一提供的一种特征融合网络的示意图；图2是本发明实施例二提供的一种绝缘子污秽检测方法的流程图；图3是本发明实施例三提供的一种绝缘子污秽检测装置的结构示意图；图4是本发明实施例四提供的一种实现绝缘子污秽检测方法的电子设备的结构示意图。
具体实施方式
13.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
14.实施例一图1a是本发明实施例一提供的一种绝缘子污秽检测方法的流程图，本实施例可适用于对绝缘子进行污秽检测的情况，该方法可以由绝缘子污秽检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置于承载绝缘子污秽检测功能的电子设备中。
15.参见图1a所示的绝缘子污秽检测方法，包括：s110、获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据。
16.其中，待检测绝缘子是指需要进行污秽检测的绝缘子。红外图像是指包含待检测绝缘子的红外光图像。环境数据是指待检测绝缘子所处环境的数据。本发明实施例对采集红外图像和环境数据的方式不作任何限定，可以是技术人员根据经验进行选取。示例性的，
可以通过红外相机采集红外图像和环境数据。
17.具体的，获取待检测绝缘子的红外图像，并同时获取待检测绝缘子的环境数据。
18.s120、分别提取红外图像的红外特征数据，以及环境数据的环境特征数据。
19.其中，红外特征数据是指包含红外图像特征的数据。环境特征数据是指包含环境特征的数据。
20.在一个可选实施例中，环境数据为至少两种；相应的，从环境数据中提取环境特征数据，包括：将不同环境数据进行融合，得到融合环境数据；从融合环境数据中，提取环境特征数据。
21.本发明实施例对环境数据的数量不作具体限定，举例说明，环境数据可以包括温度数据和湿度数据。其中，融合环境数据是指将环境数据中的至少两种数据进行融合，得到的数据。
22.需要说明的是，在进行环境数据融合之前，需要对不同环境数据进行归一化处理，以统一不同环境数据的量纲，避免不同环境数据的尺度不同造成的影响。本发明实施例对实现归一化处理的方式不作任何限定，可以是技术人员根据经验进行设置。示例性的，可以采用normalization（标准化）算法。
23.具体的，将不同环境数据进行融合，得到融合环境数据，包括：将各环境数据中的较小数据作为目标环境数据；确定不同环境数据之间的环境差异数据；将目标环境数据与环境差异数据之间的比值，作为融合环境数据。
24.其中，目标环境数据是指环境数据中的较小数据。环境差异数据是指环境数据中的非目标环境数据与目标环境数据之间的差值数据。
25.举例说明，环境数据中包括温度数据和湿度数据；比较温度数据和湿度数据的大小，若温度数据大于湿度数据，则将湿度数据作为目标环境数据；将温度数据与湿度数据的差值，作为环境差异数据；通过以下公式，确定融合环境数据：；其中，为融合环境数据；为目标环境数据；为环境差异数据；为环境数据中除目标环境数据外的环境数据。
26.可以理解的是，通过引入目标环境数据和环境差异数据，确定融合环境数据，提高了确定融合环境数据的准确度。
27.可以理解的是，通过引入融合环境数据，从融合环境数据中提取环境特征数据，提高了环境特征数据的提取效率。
28.具体的，从红外图像中提取出红外特征数据，从环境数据中提取出环境特征数据。
29.s130、将红外特征数据与环境特征数据进行特征融合，得到目标融合特征数据。
30.其中，目标融合特征数据是指包含红外图像特征和环境数据特征的数据。
31.具体的，对红外特征数据和环境特征数据进行特征融合，得到目标融合特征数据。
32.s140、根据目标融合特征数据，确定待检测绝缘子的目标污秽等级。
33.其中，目标污秽等级可以量化待检测绝缘子的污秽程度。示例性的，目标污秽等级可以是一级、二级、三级、四级和五级，其中，待检测绝缘子的污秽程度随着等级的升高而严
重。
34.具体的，根据目标融合特征数据，确定待检测绝缘子所处的目标污秽等级，进而确定待检测绝缘子的污秽程度。
35.本发明实施例提供了一种绝缘子污秽检测方案，通过获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据；分别提取红外图像的红外特征数据，以及环境数据的环境特征数据；将红外特征数据与环境特征数据进行特征融合，得到目标融合特征数据；根据目标融合特征数据，确定待检测绝缘子的目标污秽等级。上述方案，通过将环境数据作为确定待检测绝缘子的目标污秽等级的一部分，实现了在考虑环境因素的基础上，进行绝缘子的污秽检测，避免了红外成像污秽检测受环境因素干扰，导致检测精度较低的情况，提高了确定的目标污秽等级的准确度，即提高了绝缘子污秽检测的精准度。
36.在上述实施例的基础上，本发明实施例对红外特征数据、环境特征数据和目标融合特征数据的获取不作任何限定，可以是技术人员根据经验进行设置。
37.在一个可选实施例中，可以通过红外特征提取网络，对红外图像进行特征提取，得到红外特征数据；以及，通过环境特征提取网络，对环境数据进行特征提取，得到环境特征数据；通过特征融合网络，对红外特征数据和环境特征数据进行特征融合，得到目标融合特征数据。
38.其中，本发明实施例对红外特征提取网络的结构不作具体限定，可以是技术人员根据经验进行设置。示例性的，参见图1b所示的红外特征提取网络的示意图，红外特征提取网络可以包括卷积（conv）层、最大池化（maxpooling）层、连通（fc）层和激活（relu）层。其中，卷积层包括conv(64
×3×
3)
×
2、conv(128
×3×
3)
×
2、conv(256
×3×
3)
×
3、2个conv(512
×3×
3)
×
3。最大池化层包括5个maxpooling(2
×
2)。连通层包括fc(1
×
4096)和fc(1
×
5)。具体的，在进行红外特征数据提取的过程中，红外图像每次经过最大池化层时，红外图像宽度和高度均减少到初始时刻红外图像的一半；每次经过卷积层时，通道大小均翻倍；当红外图像经过最后的最大池化层时，可以得到一个7
×7×
512大小的红外特征数据；将7
×7×
512大小的红外特征数据输入到由激活层激活的两个连接层中，进一步进行特征提取，最后输出一个1
×
5大小的红外特征数据。
39.其中，conv(64
×3×
3)
×
2表示相同的2个卷积层，每个卷积层均有64个大小为3
×
3的滤波器。conv(128
×3×
3)
×
2表示相同的2个卷积层，每个卷积层均有128个大小为3
×
3的滤波器。conv(256
×3×
3)
×
3表示相同的3个卷积层，每个卷积层均有256个大小为3
×
3的滤波器。conv(512
×3×
3)
×
3表示相同的3个卷积层，每个卷积层均有512个大小为3
×
3的滤波器。maxpooling(2
×
2)表示大小为2
×
2的最大池化层。fc(1
×
4096)表示大小为1
×
4096的连通层。fc(1
×
5)表示大小为1
×
5的连通层。
40.需要说明的是，在进行红外特征数据提取前，需要对各红外图像进行归一化处理，统一各红外图像的大小。如归一化后的红外图像的大小可以为224
×
224
×
3。设置2个conv(512
×3×
3)
×
3的好处是，可以进一步提高提取的红外特征数据的准确度。
41.其中，本发明实施例对环境特征提取网络的结构不作具体限定，可以是技术人员根据经验进行设置。示例性的，参见图1c所示的环境特征提取网络的示意图，环境特征提取网络可以包括连通（fc）层和激活（relu）层。其中，连通（fc）层包括2个fc(1
×
10)和fc(1
×
5)。fc(1
×
10)表示大小为1
×
10的连通层。fc(1
×
5)表示大小为1
×
5的连通层。
42.需要说明的是，设置2个fc(1
×
10)的好处是，可以进一步提高提取的环境特征数据的准确度。
43.需要说明的是，通过将红外特征数据和环境特征数据的大小统一为1
×
5，便于后续特征融合。
44.其中，本发明实施例对特征融合网络的结构不作具体限定，可以是技术人员根据经验进行设置。示例性的，参见图1d所示的特征融合网络的示意图，特征融合网络可以包括连通（fc）层和激活（relu）层。其中，连通（fc）层包括2个fc(1
×
10)和fc(1
×
5)。fc(1
×
10)表示大小为1
×
10的连通层。fc(1
×
5)表示大小为1
×
5的连通层。需要说明的是，为了避免特征融合网络的过拟合，可以将连通层和级联层的dropout（随机失活）比分别设为0.5。
45.可以理解的是，通过引入红外特征提取网络、环境特征提取网络和特征融合网络，可以提高获取的红外特征数据、环境特征数据和目标融合特征数据的准确度，数据获取的效率高。
46.实施例二图2是本发明实施例二提供的一种绝缘子污秽检测方法的流程图，本实施例在上述各实施例的基础上，进一步的，将“根据目标融合特征数据，确定待检测绝缘子的目标污秽等级”操作，细化为“确定目标融合特征数据在不同候选污秽等级下的候选污秽等级概率；根据各候选污秽等级概率，从各候选污秽等级中选取待检测绝缘子的目标污秽等级”，以完善目标污秽等级的确定机制。需要说明的是，在本发明实施例未详述的部分，可参见其他实施例的表述。
47.参见图2所示的绝缘子污秽检测方法，包括：s210、获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据。
48.s220、分别提取红外图像的红外特征数据，以及环境数据的环境特征数据。
49.s230、将红外特征数据与环境特征数据进行特征融合，得到目标融合特征数据。
50.s240、确定目标融合特征数据在不同候选污秽等级下的候选污秽等级概率。
51.其中，候选污秽等级可以是预先将绝缘子的污秽程度进行划分后的区间。本发明实施例对候选污秽等级的划分不作任何限定，可以是技术人员根据经验进行设置。如，候选污秽等级可以包括一级、二级、三级、四级和五级。
52.其中，候选污秽等级概率可以是针对任一待检测绝缘子，该待检测绝缘子处于任一候选污秽等级的概率。
53.示例性的，当候选污秽等级的划分为5个等级时，可以通过以下公式，确定候选污秽等级概率：；
其中，x为目标融合特征数据；为候选污秽等级概率；y为具体的候选污秽等级；m为候选污秽等级的类别（如5）；j为第j类候选污秽等级；为第j类候选污秽等级概率。
54.具体的，确定目标融合特征数据在各候选污秽等级下的候选污秽等级概率。
55.s250、根据各候选污秽等级概率，从各候选污秽等级中选取待检测绝缘子的目标污秽等级。
56.在一个可选实施例中，根据各候选污秽等级概率，从各候选污秽等级中选取待检测绝缘子的目标污秽等级，包括：根据各候选污秽等级概率，确定该目标融合特征数据的目标污秽等级概率；根据目标污秽等级概率，从各候选污秽等级中选取目标污秽等级。
57.其中，目标污秽等级概率可以是各候选污秽等级概率中的较大值。优选地，目标污秽等级概率可以是各候选污秽等级概率中的最大值。
58.具体的，从各候选污秽等级概率中，确定较大的候选污秽等级概率，作为目标融合特征数据的目标污秽等级概率；选取与目标污秽等级概率较近的候选污秽等级，作为目标污秽等级。
59.本发明实施例中，根据目标污秽等级概率，确定目标污秽等级概率所对应的候选污秽等级，将该候选污秽等级确定为待检测绝缘子的目标污秽等级。
60.可以理解的是，通过引入目标污秽等级概率，确定目标污秽等级，提高了确定目标污秽等级的准确度，避免候选污秽等级概率较多时，出现无法准确确定目标污秽等级的情况，为目标污秽等级的确定提供了判断依据。
61.本发明实施例提供的一种绝缘子污秽检测方案，通过确定目标融合特征数据在不同候选污秽等级下的候选污秽等级概率；根据各候选污秽等级概率，从各候选污秽等级中选取待检测绝缘子的目标污秽等级，完善了目标污秽等级的确定机制。上述方案，通过引入候选污秽等级概率，确定目标污秽等级，为确定目标污秽等级提供了数据支撑；并且，通过引入候选污秽等级概率，实现了在考虑到待检测绝缘子可能属于各个候选污秽等级的基础上，进行目标污秽等级的确定，进一步提高了目标污秽等级的准确度，使得目标污秽等级的确定过程更加全面。
62.实施例三图3是本发明实施例三提供的一种绝缘子污秽检测装置的结构示意图，本实施例可适用于对绝缘子进行污秽检测的情况，该方法可以由绝缘子污秽检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置于承载绝缘子污秽检测功能的电子设备中。
63.如图3所示，该装置包括：数据获取模块310、数据提取模块320、特征融合模块330和污秽等级确定模块340。其中，数据获取模块310，用于获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据；数据提取模块320，用于分别提取红外图像的红外特征数据，以及环境数据的环境特征数据；特征融合模块330，用于将红外特征数据与环境特征数据进行特征融合，得到目标
融合特征数据；污秽等级确定模块340，用于根据目标融合特征数据，确定待检测绝缘子的目标污秽等级。
64.本发明实施例提供了一种绝缘子污秽检测方案，通过数据获取模块获取待检测绝缘子的红外图像以及采集红外图像时对应采集环境的环境数据；通过数据提取模块分别提取红外图像的红外特征数据，以及环境数据的环境特征数据；通过特征融合模块将红外特征数据与环境特征数据进行特征融合，得到目标融合特征数据；通过污秽等级确定模块根据目标融合特征数据，确定待检测绝缘子的目标污秽等级。上述方案，通过将环境数据作为确定待检测绝缘子的目标污秽等级的一部分，实现了在考虑环境因素的基础上，进行绝缘子的污秽检测，避免了红外成像污秽检测受环境因素干扰，导致检测精度较低的情况，提高了确定的目标污秽等级的准确度，即提高了绝缘子污秽检测的精准度。
65.可选的，污秽等级确定模块340，包括：候选污秽等级概率确定单元，用于确定目标融合特征数据在不同候选污秽等级下的候选污秽等级概率；目标污秽等级确定单元，用于根据各候选污秽等级概率，从各候选污秽等级中选取待检测绝缘子的目标污秽等级。
66.可选的，目标污秽等级确定单元，包括：目标污秽等级概率确定子单元，用于根据各候选污秽等级概率，确定该目标融合特征数据的目标污秽等级概率；目标污秽等级选取子单元，用于根据目标污秽等级概率，从各候选污秽等级中选取目标污秽等级。
67.可选的，目标污秽等级选取子单元，具体用于：选取与目标污秽等级概率较近的候选污秽等级，作为目标污秽等级。
68.可选的，该装置中环境数据为至少两种；相应的，数据提取模块320，包括：环境数据融合单元，用于将不同环境数据进行融合，得到融合环境数据；特征数据提取单元，用于从融合环境数据中，提取环境特征数据。
69.可选的，环境数据融合单元，具体用于：将各环境数据中的较小数据作为目标环境数据；确定不同环境数据之间的环境差异数据；将目标环境数据与环境差异数据之间的比值，作为融合环境数据。
70.可选的，数据提取模块320，包括：红外特征数据提取单元，用于通过红外特征提取网络，对红外图像进行特征提取，得到红外特征数据；以及，环境特征数据提取单元，用于通过环境特征提取网络，对环境数据进行特征提取，得到环境特征数据；相应的，特征融合模块330，包括：目标融合特征数据获取单元，用于通过特征融合网络，对红外特征数据和环境特征数据进行特征融合，得到目标融合特征数据。
71.本发明实施例所提供的绝缘子污秽检测装置，可执行本发明任意实施例所提供的绝缘子污秽检测方法，具备执行各绝缘子污秽检测方法相应的功能模块和有益效果。
72.本发明的技术方案中，所涉及的红外图像、环境数据等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
73.实施例四图4是本发明实施例四提供的一种实现绝缘子污秽检测方法的电子设备的结构示意图，电子设备410旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
74.如图4所示，电子设备410包括至少一个处理器411，以及与至少一个处理器411通信连接的存储器，如只读存储器（rom）412、随机访问存储器（ram）413等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器411可以根据存储在只读存储器（rom）412中的计算机程序或者从存储单元418加载到随机访问存储器（ram）413中的计算机程序，来执行各种适当的动作和处理。在ram 413中，还可存储电子设备410操作所需的各种程序和数据。处理器411、rom 412以及ram 413通过总线414彼此相连。输入/输出（i/o）接口415也连接至总线414。
75.电子设备410中的多个部件连接至i/o接口415，包括：输入单元416，例如键盘、鼠标等；输出单元417，例如各种类型的显示器、扬声器等；存储单元418，例如磁盘、光盘等；以及通信单元419，例如网卡、调制解调器、无线通信收发机等。通信单元419允许电子设备410通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
76.处理器411可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器411的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器411执行上文所描述的各个方法和处理，例如绝缘子污秽检测方法。
77.在一些实施例中，绝缘子污秽检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元418。在一些实施例中，计算机程序的部分或者全部可以经由rom 412和/或通信单元419而被载入和/或安装到电子设备410上。当计算机程序加载到ram 413并由处理器411执行时，可以执行上文描述的绝缘子污秽检测方法的一个或多个步骤。备选地，在其他实施例中，处理器411可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行绝缘子污秽检测方法。
78.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
79.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
80.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
81.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
82.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
83.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
84.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
85.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。