页面内容的处理方法、系统、电子设备及存储介质与流程

本公开涉及数据处理，特别涉及一种页面内容的处理方法、系统、电子设备及存储介质。

背景技术：

1、随着网络信息的爆炸式增长，用户在阅读长文档（如技术手册、论文）、操作复杂业务系统（如软件运营服务saas后台、数据看板等）或学习在线课程时，常面临信息过载与操作迷茫的痛点。

2、传统的辅助方式通常依赖用户自行检索关键词、查阅独立的使用手册或请求人工客服，不仅效率低下，且获取的指导信息往往与当前页面状态割裂。

3、基于此，现有技术中出现一些页面内容处理方案，其中当前在线学习与培训广泛采用以预录制视频为主要载体的方案，而该类方案通常需要较高的课程制作与维护成本（录制、剪辑、更新等），且以单向播放为主；另外，基于llm（大语言模型）的内容助手大多仅停留在文本摘要或通用问答层面，尚未深入解决客户端侧的交互闭环问题，存在常产生幻觉，例如建议点击不存在的按钮，或引用页面上未显示的文本；以及追问效果差、长内容阅读节奏失控、教学交互弱、成本高、工程化落地难等问题。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中的页面内容处理方案存在常产生幻觉、追问效果差、长内容阅读节奏失控、教学交互弱、成本高、工程化落地难等问题，以及在可视化指引与长流程自动化伴读等方面存在显著问题，根本无法满足实际使用需求等缺陷，目的在于提供一种页面内容的处理方法、系统、电子设备及存储介质。

2、本公开是通过下述技术方案来解决上述技术问题：

3、本公开第一方面，提供一种页面内容的处理方法，所述处理方法包括：

4、响应于接收到页面处理指令，获取目标页面的目标页面关联信息；

5、其中，所述目标关联信息包括所述目标页面的页面语义信息、所述目标页面中的执行操作描述信息以及对应的初始讲解内容；

6、采用多级验证策略结合所述页面语义信息和所述执行操作描述信息，筛选得到所述目标页面中满足预设验证条件的内容节点以作为目标节点；

7、其中，所述多级验证策略基于至少两种预设验证机制确定，所述预设验证条件为表征执行操作有效的条件；

8、采用所述执行操作描述信息，对所述初始讲解内容中位于所述目标节点处的内容执行渲染操作，以得到目标讲解内容。

9、可选地，所述多级验证策略包括依次执行的语义匹配验证机制、结构位置验证机制和交互状态验证机制；

10、其中，所述语义匹配验证机制用于验证待执行操作对应的内容是否真实存在；

11、所述结构位置验证机制用于验证待执行操作对应的内容是否在视觉区域范围内；

12、所述交互状态验证机制用于验证待执行操作对应的内容是否为可交互状态；

13、和/或，

14、获取所述目标页面的所述页面语义信息的步骤，包括：

15、基于所述目标页面对应的结构树和布局信息，得到所述目标页面的所述页面语义信息。

16、可选地，所述采用多级验证策略结合所述页面语义信息和所述执行操作描述信息，筛选得到所述目标页面中满足预设验证条件的内容节点以作为目标节点的步骤，包括：

17、基于所述页面语义信息和所述执行操作描述信息，获取所述目标页面中对应的初始候选节点集合；

18、采用所述语义匹配验证机制，从所述初始候选节点集合中筛选得到与所述执行操作描述信息的语义相似度高于第一预设值的内容节点，以形成第一候选节点集合；

19、采用所述结构位置验证机制，验证所述第一候选节点集合中的内容节点是否满足预设结构位置条件；其中，所述预设结构位置条件包括在所述视觉区域范围内、未被遮挡、与dom（文档对象模型）树中的序号匹配中的至少一种；

20、响应于所述第一候选节点集合中内容节点满足所述预设结构位置条件，基于所述执行操作描述信息确定待执行操作的操作类型，并采用所述交互状态验证机制和所述操作类型对所述第一候选节点集合中内容节点进行验证；

21、响应于所述第一候选节点集合中内容节点处的待执行操作属于可交互状态，将对应的内容节点作为所述目标节点。

22、可选地，所述处理方法还包括：

23、响应于所述第一候选节点集合中的内容节点通过一级或两级的验证机制，选取与所述执行操作描述信息的语义相似度最高的内容节点作为所述目标节点；和/或，选取与所述执行操作描述信息的语义相似度最高的内容节点作为所述目标节点，并对所述目标节点增加表征置信度中等的标签信息；

24、响应于所述第一候选节点集合中的内容节点未通过任意一级的验证机制，采用本地默认的启发式搜索方式执行相应的页面处理操作；或生成交互提示，以基于外部交互操作执行相应的页面处理操作。

25、可选地，所述处理方法基于预设模型实现；

26、所述处理方法还包括：

27、响应于所述第一候选节点集合中的内容节点未通过任意一级的验证机制，生成反馈信息；

28、执行回退操作；或，基于所述反馈信息对所述预设模型进行调整，并采用调整后的所述预设模型执行相应的处理操作；

29、和/或，

30、所述预设模型包括不同规模的模型，所述处理方法还包括：

31、分析得到所述页面处理指令对应的处理任务的复杂度；

32、基于所述复杂度调用匹配的目标模型；其中，所述复杂度与所述目标模型的规模呈正相关；

33、和/或，

34、所述处理方法还包括：

35、响应于存在所述预设模型的输出不满足预设条件，调用预设备用模型或本地启发式策略，以执行相应的页面处理操作。

36、可选地，所述处理方法还包括：

37、采用预设步长控制当前页面进行滚动展示；

38、获取当前滚动展示的内容，触发生成对应的分段讲解内容。

39、可选地，所述获取当前滚动展示的内容，触发生成对应的分段讲解内容的步骤之后，还包括：

40、获取第一交互操作，在所述当前页面中执行相应操作；

41、其中，所述第一交互操作包括点击所述当前页面，执行相应操作包括停止滚动；

42、所述第一交互操作包括滚动所述当前页面，执行相应操作包括基于滚动后的新的位置，更新得到当前位置的上下文的内容；

43、和/或，

44、所述处理方法还包括：

45、获取所述目标讲解内容的播报内容的字符播报速率；

46、基于所述字符播报速率，控制所述当前页面中阅读游标的滚动速率，以同步播报速度与页面滚动速度；

47、和/或，

48、所述处理方法还包括：

49、响应于对所述目标讲解内容进行播报，接收到外部语音交互操作；

50、识别得到所述外部语音交互操作对应的文本内容；

51、将所述文本内容插入播报队列，以在讲解对应位置处的页面内容时进行播报；

52、和/或，

53、所述处理方法还包括：

54、响应于对所述目标讲解内容进行播报，接收到第二交互操作，停止播报并进入下一轮交互状态。

55、可选地，所述处理方法还包括：

56、监听所述当前页面和相邻页面，采用多层哈希策略对所述当前页面和所述相邻页面中的内容进行分析，以进行dom增量指纹更新。

57、可选地，所述多层哈希策略包括内容哈希、结构哈希和交互哈希；

58、所述采用多层哈希策略对所述当前页面和所述相邻页面中内容进行分析，以进行dom增量指纹更新的步骤，包括：

59、响应于内容哈希发生变化且结构哈希不变，触发增量更新；其中，所述增量更新表征对内容发生变化的内容节点执行差分指纹计算的局部更新；

60、响应于结构哈希变化大于第二预设值，触发全量重建。

61、本公开第二方面，提供一种页面内容的处理系统，所述处理系统包括：

62、目标关联信息获取模块，用于响应于接收到页面处理指令，获取目标页面的目标页面关联信息；

63、其中，所述目标关联信息包括所述目标页面的页面语义信息、所述目标页面中的执行操作描述信息以及对应的初始讲解内容；

64、验证处理模块，用于采用多级验证策略结合所述页面语义信息和所述执行操作描述信息，筛选得到所述目标页面中满足预设验证条件的内容节点以作为目标节点；

65、其中，所述多级验证策略基于至少两种预设验证机制确定，所述预设验证条件为表征执行操作有效的条件；

66、页面处理模块，用于采用所述执行操作描述信息，对所述初始讲解内容中位于所述目标节点处的内容执行渲染操作，以得到目标讲解内容。

67、可选地，所述多级验证策略包括依次执行的语义匹配验证机制、结构位置验证机制和交互状态验证机制；

68、其中，所述语义匹配验证机制用于验证待执行操作对应的内容是否真实存在；

69、所述结构位置验证机制用于验证待执行操作对应的内容是否在视觉区域范围内；

70、所述交互状态验证机制用于验证待执行操作对应的内容是否为可交互状态；

71、和/或，

72、所述目标关联信息获取模块还用于基于所述目标页面对应的结构树和布局信息，得到所述目标页面的所述页面语义信息。

73、可选地，所述验证处理模块包括：

74、初始节点集合获取单元，用于基于所述页面语义信息和所述执行操作描述信息，获取所述目标页面中对应的初始候选节点集合；

75、第一节点集合获取单元，用于采用所述语义匹配验证机制，从所述初始候选节点集合中筛选得到与所述执行操作描述信息的语义相似度高于第一预设值的内容节点，以形成第一候选节点集合；

76、验证处理单元，用于采用所述结构位置验证机制，验证所述第一候选节点集合中的内容节点是否满足预设结构位置条件；其中，所述预设结构位置条件包括在所述视觉区域范围内、未被遮挡、与dom树中的序号匹配中的至少一种；

77、响应于所述第一候选节点集合中内容节点满足所述预设结构位置条件，基于所述执行操作描述信息确定待执行操作的操作类型，并采用所述交互状态验证机制和所述操作类型对所述第一候选节点集合中内容节点进行验证；

78、响应于所述第一候选节点集合中内容节点处的待执行操作属于可交互状态，将对应的内容节点作为所述目标节点。

79、可选地，所述处理系统还包括：

80、第一辅助处理模块，用于响应于所述第一候选节点集合中的内容节点通过一级或两级的验证机制，选取与所述执行操作描述信息的语义相似度最高的内容节点作为所述目标节点；和/或，选取与所述执行操作描述信息的语义相似度最高的内容节点作为所述目标节点，并对所述目标节点增加表征置信度中等的标签信息；

81、响应于所述第一候选节点集合中的内容节点未通过任意一级的验证机制，采用本地默认的启发式搜索方式执行相应的页面处理操作；或生成交互提示，以基于外部交互操作执行相应的页面处理操作。

82、可选地，所述处理系统基于预设模型实现；

83、所述处理系统还包括：

84、反馈信息生成模块，用于响应于所述第一候选节点集合中的内容节点未通过任意一级的验证机制，生成反馈信息；

85、第二辅助处理模块，用于执行回退操作；或，基于所述反馈信息对所述预设模型进行调整，并采用调整后的所述预设模型执行相应的处理操作；

86、和/或，

87、所述预设模型包括不同规模的模型，所述处理系统还包括：

88、复杂度分析模块，用于分析得到所述页面处理指令对应的处理任务的复杂度；

89、模型匹配模块，用于基于所述复杂度调用匹配的目标模型；其中，所述复杂度与所述目标模型的规模呈正相关；

90、和/或，

91、所述处理系统包括：

92、备用方案调用模块，用于响应于存在所述预设模型的输出不满足预设条件，调用预设备用模型或本地启发式策略，以执行相应的页面处理操作。

93、可选地，所述处理系统还包括：

94、展示控制模块，用于采用预设步长控制当前页面进行滚动展示；

95、内容触发模块，用于获取当前滚动展示的内容，触发生成对应的分段讲解内容。

96、可选地，所述处理系统包括：

97、第一交互操作响应模块，用于获取第一交互操作，在所述当前页面中执行相应操作；

98、其中，所述第一交互操作包括点击所述当前页面，执行相应操作包括停止滚动；

99、所述第一交互操作包括滚动所述当前页面，执行相应操作包括基于滚动后的新的位置，更新得到当前位置的上下文的内容；

100、和/或，

101、所述处理系统还包括：

102、字符播报速率获取模块，用于获取所述目标讲解内容的播报内容的字符播报速率；

103、页面同步控制模块，用于基于所述字符播报速率，控制所述当前页面中阅读游标的滚动速率，以同步播报速度与页面滚动速度；

104、和/或，

105、所述处理系统还包括：

106、语音交互操作获取模块，用于响应于对所述目标讲解内容进行播报，接收到外部语音交互操作；

107、文本内容识别模块，用于识别得到所述外部语音交互操作对应的文本内容；

108、内容播报处理模块，用于将所述文本内容插入播报队列，以在讲解对应位置处的页面内容时进行播报；

109、和/或，

110、所述处理系统还包括：

111、第二交互操作响应模块，用于响应于对所述目标讲解内容进行播报，接收到第二交互操作，停止播报并进入下一轮交互状态。

112、可选地，所述处理系统还包括：

113、内容分析模块，用于监听所述当前页面和相邻页面，采用多层哈希策略对所述当前页面和所述相邻页面中的内容进行分析，以进行dom增量指纹更新。

114、可选地，所述多层哈希策略包括内容哈希、结构哈希和交互哈希；

115、所述内容分析模块还用于响应于内容哈希发生变化且结构哈希不变，触发增量更新；其中，所述增量更新表征对内容发生变化的内容节点执行差分指纹计算的局部更新；

116、所述内容分析模块还用于响应于结构哈希变化大于第二预设值，触发全量重建。

117、本公开第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面提供的页面内容的处理方法。

118、本公开第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的页面内容的处理方法。

119、本公开第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面提供的页面内容的处理方法。

120、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

121、本公开的积极进步效果在于：

122、本公开中，通过引入多级验证策略，对目标页面的相关内容进行有效验证，实现页面元素的准确且可靠定位，以避免发生不可执行的情况，确保生成的每一个标注、点击建议等都是界面上真实存在且可见的，能够显著地降低元素定位误差与不可执行指令比例，有效地提升了指引准确性，以及能够提供个性化、针对性的讲解与指引，从而提升交互性与学习效率。

123、另外，相比现有的以预录制视频为主的方案，本实施例中能够基于既有文本/页面/教材等内容，实时生成讲解与互动问答，无需进行大规模录制、剪辑与反复更新，将内容生产从预置资源模式转变为按需生成模式，从而大幅地降低制作与维护成本。

124、以及，相比视频的单向像素流传播，本实施例中能够基于结构化指令与客户端的模型实现双向闭环，可以支持学习者随时插话提问、追问与纠错，并结合当前视区/阅读游标输出动态、个性化、针对性的讲解与指引，提升交互性与学习效率。