模型训练方法、模拟轨迹生成方法、装置、设备及介质与流程

本申请涉及用户模拟，特别是涉及一种模型训练方法、模拟轨迹生成方法、装置、设备及介质。

背景技术：

1、在目前的自动化领域中，模拟鼠标轨迹主要依赖绝对坐标或基于窗口比例的相对坐标。然而，在不同的显示分辨率、浏览器缩放比例以及ui（user interface，用户界面）元素的动态加载的情况下，会导致预设坐标失效，从而造成自动化脚本无法准确命中目标元素，引发操作失败、流程中断或产生误点击等问题。

技术实现思路

1、本申请实施例所要解决的技术问题是提供一种模型训练方法、模拟轨迹生成方法、装置、设备及介质，以解决现有技术中模拟鼠标轨迹的方法可能造成自动化脚本无法准确命中目标元素，引发操作失败、流程中断或产生误点击等问题。

2、第一方面，本申请实施例提供了一种模型训练方法，包括：

3、识别页面内目标ui元素作为语义锚点，以所述语义锚点的物理中心点为原点并结合所述语义锚点的边界框信息和语义特征信息，确定语义锚点元数据；

4、基于所述语义锚点的物理中心点坐标和锚点尺寸信息，对所述目标ui元素的历史点击轨迹数据进行处理，得到所述历史点击轨迹数据对应的语义坐标信息；所述语义坐标信息为以所述语义锚点为原点的坐标系下的坐标信息；

5、将所述语义坐标信息与所述语义锚点元数据进行融合，得到语义行为数据集；

6、采用所述语义行为数据集训练得到包含生成器和判别器的轨迹生成模型。

7、第二方面，本申请实施例提供了一种模拟轨迹生成方法，包括：

8、获取目标页面内待操作ui元素的语义锚点元数据，以及鼠标光标的位置信息；

9、将所述语义锚点元数据和所述位置信息输入轨迹生成模型；其中，所述轨迹生成模型通过上述第一方面所述的方法训练得到；

10、通过生成器对所述语义锚点元数据和所述位置信息进行处理，得到模拟轨迹向量；

11、通过判别器对所述模拟轨迹向量进行拟人度评估，得到拟人度评分；

12、在所述拟人度评分大于评分阈值时，将所述模拟轨迹向量确定为目标语义轨迹；

13、根据所述待操作ui元素的物理中心点坐标和物理尺寸，对所述目标语义轨迹进行坐标还原处理，生成所述鼠标光标的模拟轨迹。

14、第三方面，本申请实施例提供了一种模型训练装置，包括：

15、元数据构建模块，用于识别页面内目标ui元素作为语义锚点，以所述语义锚点的物理中心点为原点并结合所述语义锚点的边界框信息和语义特征信息，确定语义锚点元数据；

16、语义坐标获取模块，用于基于所述语义锚点的物理中心点坐标和锚点尺寸信息，对所述目标ui元素的历史点击轨迹数据进行处理，得到所述历史点击轨迹数据对应的语义坐标信息；所述语义坐标信息为以所述语义锚点为原点的坐标系下的坐标信息；

17、数据集获取模块，用于将所述语义坐标信息与所述语义锚点元数据进行融合，得到语义行为数据集；

18、模型训练模块，用于采用所述语义行为数据集训练得到包含生成器和判别器的轨迹生成模型。

19、第四方面，本申请实施例提供了一种模拟轨迹生成装置，包括：

20、获取模块，用于获取目标页面内待操作ui元素的语义锚点元数据，以及鼠标光标的位置信息；

21、输入模块，用于将所述语义锚点元数据和所述位置信息输入轨迹生成模型；其中，所述轨迹生成模型通过上述第一方面所述的方法训练得到；

22、向量获取模块，用于通过生成器对所述语义锚点元数据和所述位置信息进行处理，得到模拟轨迹向量；

23、评分获取模块，用于通过判别器对所述模拟轨迹向量进行拟人度评估，得到拟人度评分；

24、轨迹获取模块，用于在所述拟人度评分大于评分阈值时，将所述模拟轨迹向量确定为目标语义轨迹；

25、轨迹生成模块，用于根据所述待操作ui元素的物理中心点坐标和物理尺寸，对所述目标语义轨迹进行坐标还原处理，生成所述鼠标光标的模拟轨迹。

26、第五方面，本申请实施例提供了一种电子设备，包括：

27、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面所述的模型训练方法，或上述第二方面所述的模拟轨迹生成方法。

28、第六方面，本申请实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面所述的模型训练方法，或上述第二方面所述的模拟轨迹生成方法。

29、与现有技术相比，本申请实施例包括以下优点：

30、本申请实施例中，通过引入语义锚点机制，即为页面内的关键ui元素赋予涵义，且将历史点击轨迹数据转换至以语义锚点为原点的坐标系下的轨迹点坐标，将鼠标轨迹从依赖全局绝对坐标转化为以语义锚点为基准的归一化语义坐标。由于语义坐标仅与锚点自身的物理尺寸和中心相关，摆脱了对全局分辨率、缩放比例及动态排版的依赖。因此，无论页面环境如何变化，只要识别到语义锚点，即可通过坐标还原自适应地模拟出精准的物理轨迹，从而可以消除环境差异导致的坐标偏移，确保自动化脚本准确命中目标元素，有效避免误点击与操作失败。

31、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述以所述语义锚点的物理中心点为原点并结合所述语义锚点的边界框信息和语义特征信息，确定语义锚点元数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述语义锚点的物理中心点坐标和锚点尺寸信息，对所述目标ui元素的历史点击轨迹数据进行处理，得到所述历史点击轨迹数据对应的语义坐标信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述采用所述语义行为数据集训练得到包含生成器和判别器的轨迹生成模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述通过生成器对所述语义行为数据集进行处理，得到模拟轨迹向量，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过所述生成器基于所述语义行为数据集计算鼠标光标与所述语义锚点的相对状态信息和障碍物约束信息，得到对应的状态向量和障碍物约束向量，包括：

7.一种模拟轨迹生成方法，其特征在于，包括：

8.一种模型训练装置，其特征在于，包括：

9.一种模拟轨迹生成装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至7中任一项所述的方法。