一种自然语言驱动的网页操作方法及系统与流程

本技术涉及网页自动化与人际交互，尤其是涉及一种自然语言驱动的网页操作方法及系统。

背景技术：

1、目前，基于自然语言驱动的网页操作方法主要是通过人工智能模型实现的。用户输入自然语言操作指令后，系统调用人工智能模型对目标网页的结构化文档数据进行实时解析，生成与该自然语言指令对应的操作指令序列并执行。该类方案使得非技术用户能够通过自然语言交互方式完成网页操作，无需具备编程能力或手动编写操作脚本。

2、然而，上述现有技术中，系统每次执行操作时均需调用人工智能模型对网页结构化文档数据进行实时解析，生成操作指令后方可执行。具体而言，即使用户需要在同一网页上反复执行同一操作，而每次操作均需消耗人工智能模型的计算资源和调用成本，对于高频重复操作场景，资源消耗呈线性累积，造成严重的资源浪费；故有待改善。

技术实现思路

1、为了提高网页操作效率，降低资源耗费，本技术提供一种自然语言驱动的网页操作方法及系统。

2、第一方面，本技术提供了一种自然语言驱动的网页操作方法，包括：

3、接收用户输入的自然语言操作指令；

4、响应于所述自然语言操作指令，调用语义理解模型对目标网页的结构化文档数据进行解析，生成对所述目标网页进行操作的操作指令序列，并执行所述操作指令序列；

5、在执行所述操作指令序列的过程中，记录所述操作指令序列中各操作步骤对应的操作信息；

6、响应于用户触发的固化指令，将所记录的操作信息封装为固化操作指令集，并将所述固化操作指令集与所述目标网页的网址信息关联存储；

7、响应于用户对已存储的固化操作指令集的调用指令，根据所述调用指令匹配对应的固化操作指令集，执行所述固化操作指令集内记录的操作指令序列。

8、通过采用上述技术方案，用户无需具备编程能力，仅通过自然语言即可驱动网页操作；首次执行时由语义理解模型自动解析并生成操作指令序列，执行过程中记录操作信息并封装为固化操作指令集；后续在同一网页上调用固化操作指令集时，直接执行已存储的操作指令序列，无需再次调用语义理解模型进行解析，从而减少语义理解模型的调用次数，降低单次操作执行时间，使重复操作的执行速度提升至毫秒级。

9、可选的，所述方法还包括：

10、在执行所述固化操作指令集内记录的操作指令序列时，若所述固化操作指令集内记录的操作信息无法在当前网页的结构化文档数据中定位到对应的操作目标，则提取所述固化操作指令集对应的原始自然语言操作意图，基于所述原始自然语言操作意图，调用所述语义理解模型对当前网页的结构化文档数据进行重新解析，生成新的操作指令序列，并将所述固化操作指令集内记录的操作信息替换为所述新的操作指令序列。

11、通过采用上述技术方案，当目标网页的结构化文档数据发生变化导致固化操作指令集中的操作信息无法定位到对应的操作目标时，系统提取该固化操作指令集对应的原始自然语言操作意图，调用语义理解模型对变化后的网页进行重新解析，生成新的操作指令序列并替换原有操作信息。该方案使得固化操作指令集在网页结构变化后仍可继续使用，无需用户重新执行首次操作流程，从而降低固化操作指令集的维护成本，延长其有效使用周期。

12、可选的，所述方法还包括：

13、在执行所述操作指令序列的过程中，识别所述操作指令序列中的动态数据，并获取所述动态数据的来源路径，其中，所述来源路径用于指示在所述固化操作指令集被执行时获取所述动态数据的当前值的途径；

14、响应于用户触发的固化指令，将所述来源路径与所述动态数据对应的操作步骤关联存储于所述固化操作指令集内；

15、在执行所述固化操作指令集时，根据所述来源路径实时获取所述动态数据的当前值，并执行对应的操作步骤。

16、通过采用上述技术方案，在执行操作指令序列的过程中识别动态数据并获取其来源路径，在固化时将来源路径而非具体数值存入固化操作指令集。后续执行时，系统根据来源路径实时获取动态数据的当前值，而非使用固化时的固定数值。该方案使得固化操作指令集能够适应数据变化（如价格、汇率、日期等随时间变化的数据），确保每次执行时填入的均为最新有效数据，避免因使用过期数据导致的操作错误。

17、可选的，所述获取所述动态数据的来源路径，包括：

18、当所述动态数据对应多个来源路径时，获取所述固化操作指令集对应的原始自然语言操作意图，分别计算所述原始自然语言操作意图与每一所述来源路径所关联的数据语义标签之间的语义匹配度，将语义匹配度最高的来源路径作为所述动态数据的来源路径。

19、通过采用上述技术方案，当同一动态数据对应多个候选来源路径时，系统获取固化操作指令集对应的原始自然语言操作意图，分别计算该意图与每个来源路径所关联的数据语义标签之间的语义匹配度，选择匹配度最高的来源路径作为该动态数据的来源路径。该方案无需用户手动指定或干预，即可从多个候选数据源中自动选择与当前操作意图语义最匹配的数据源，提高动态数据获取的准确性。

20、可选的，所述固化操作指令集还关联存储有所述操作指令序列被执行时的参考执行上下文信息；

21、所述执行所述固化操作指令集内记录的操作指令序列，包括：

22、获取当前执行上下文信息，以及所述固化操作指令集对应的参考执行上下文信息；验证所述当前执行上下文信息是否匹配所述参考执行上下文信息；

23、若匹配，则执行所述固化操作指令集内记录的操作指令序列；

24、若不匹配，则获取所述固化操作指令集对应的原始自然语言操作意图，基于所述原始自然语言操作意图和所述当前执行上下文信息，对当前网页的结构化文档数据进行重新解析，生成适配于所述当前执行上下文信息的新的操作指令序列，以所述新的操作指令序列替换所述固化操作指令集内对应的操作指令序列后执行。

25、通过采用上述技术方案，固化操作指令集关联存储有该指令集被执行时的参考执行上下文信息。执行前，系统获取当前执行上下文信息并与参考执行上下文信息进行比对验证；若匹配则直接执行，若不匹配则基于原始自然语言操作意图和当前执行上下文信息重新生成适配的新的操作指令序列。该方案使得固化操作指令集能够在执行上下文条件发生变化时自动适配，避免因上下文不匹配导致的执行失败。

26、可选的，所述基于所述原始自然语言操作意图和所述当前执行上下文信息，对当前网页的结构化文档数据进行重新解析，生成适配于所述当前执行上下文信息的新的操作指令序列，包括重新匹配步骤：

27、将所述当前执行上下文信息与所述参考执行上下文信息进行比对，提取条件偏差信息；

28、获取所述固化操作指令集中与所述条件偏差信息相关联的操作指令信息，所述操作指令信息包括以下至少一种：动态数据的来源路径、操作目标的定位信息、操作类型；其中，所述动态数据的取值还随执行上下文信息的变化而变化；

29、将所述原始自然语言操作意图、所述条件偏差信息与当前网页的结构化文档数据共同输入语义理解模型，由所述语义理解模型基于所述原始自然语言操作意图和所述条件偏差信息，在当前网页的结构化文档数据中重新匹配与所述操作指令信息对应的新操作指令信息；

30、以所述新操作指令信息替换所述固化操作指令集中原有的操作指令信息，以更新所述固化操作指令集。

31、通过采用上述技术方案，在重新匹配步骤中，系统将当前执行上下文信息与参考执行上下文信息进行比对，提取两者之间的条件偏差信息，获取固化操作指令集中与该条件偏差信息相关联的操作指令信息（包括动态数据的来源路径、操作目标的定位信息、操作类型中的至少一种），将原始自然语言操作意图、条件偏差信息与当前网页的结构化文档数据共同输入语义理解模型，由语义理解模型基于原始自然语言操作意图和条件偏差信息重新匹配新的操作指令信息并替换原有信息。该方案使得重新匹配过程具有针对性。仅调整与条件偏差相关的操作指令信息，而非对全部操作指令进行重新解析，从而提高重新匹配的效率并减少语义理解模型的计算量。

32、可选的，所述方法还包括：

33、在执行所述操作指令序列的过程中，获取所述操作指令信息对应的执行上下文信息，并建立所述操作指令信息在不同执行上下文信息下所对应的不同操作指令信息之间的映射关系；将所述映射关系存储于所述固化操作指令集内；

34、所述基于所述原始自然语言操作意图和所述当前执行上下文信息，对当前网页的结构化文档数据进行重新解析，生成适配于所述当前执行上下文信息的新的操作指令序列还包括：

35、优先根据当前执行上下文信息查询所述映射关系，若所述映射关系中存在与所述当前执行上下文信息匹配的映射记录，则直接根据所述映射记录对应的操作指令信息更新所述固化操作指令集；若所述映射关系中不存在与所述当前执行上下文信息匹配的映射记录，则执行所述重新匹配的步骤，并将本次重新匹配步骤所生成的执行上下文信息与操作指令信息之间的对应关系作为新的映射记录添加至所述映射关系中。

36、通过采用上述技术方案，在执行操作指令序列的过程中，系统获取操作指令信息对应的执行上下文信息，建立操作指令信息在不同执行上下文信息下所对应的不同操作指令信息之间的映射关系，并将该映射关系存储于固化操作指令集内。在重新解析之前，系统优先根据当前执行上下文信息查询该映射关系；若存在匹配的映射记录则直接根据该记录更新固化操作指令集，无需调用语义理解模型进行重新解析；若不存在匹配记录则执行重新匹配步骤并将本次生成的对应关系作为新映射记录添加至映射关系中。该方案通过历史映射记录的积累和复用，使后续在相同执行上下文条件下触发适配时无需再次调用语义理解模型，从而减少语义理解模型的调用次数，缩短上下文适配的时间。

37、第二方面，本技术提供了一种自然语言驱动的网页操作系统，包括，

38、自然语言接收模块，用于接收用户输入的自然语言操作指令；

39、指令解析执行模块，用于响应于所述自然语言操作指令，调用语义理解模型对目标网页的结构化文档数据进行解析，生成对所述目标网页进行操作的操作指令序列，并执行所述操作指令序列；

40、操作记录模块，用于在执行所述操作指令序列的过程中，记录所述操作指令序列中各操作步骤对应的操作信息；

41、操作固化模块，用于响应于用户触发的固化指令，将所记录的操作信息封装为固化操作指令集，并将所述固化操作指令集与所述目标网页的网址信息关联存储；

42、操作调用模块，用于响应于用户对已存储的固化操作指令集的调用指令，根据所述调用指令匹配对应的固化操作指令集，执行所述固化操作指令集内记录的操作指令序列。

43、第三方面，本技术提供了一种自然语言驱动的网页操作装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面任一种所述的方法的计算机程序。

44、第四方面，本技术提供了一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面任一种所述的方法的计算机程序。

45、综上所述，本技术包括以下至少一种有益技术效果：

46、在本技术中，用户无需具备编程能力，仅通过自然语言即可驱动网页操作；首次执行时由语义理解模型自动解析并生成操作指令序列，执行过程中记录操作信息并封装为固化操作指令集；后续在同一网页上调用固化操作指令集时，直接执行已存储的操作指令序列，无需再次调用语义理解模型进行解析，从而减少语义理解模型的调用次数，降低单次操作执行时间，使重复操作的执行速度提升至毫秒级；

47、进一步的，当目标网页的结构化文档数据发生变化导致固化操作指令集中的操作信息无法定位到对应的操作目标时，系统提取该固化操作指令集对应的原始自然语言操作意图，调用语义理解模型对变化后的网页进行重新解析，生成新的操作指令序列并替换原有操作信息。该方案使得固化操作指令集在网页结构变化后仍可继续使用，无需用户重新执行首次操作流程，从而降低固化操作指令集的维护成本，延长其有效使用周期。