基于多模态页面识别和语义标签库的web弱口令扫描方法与流程

本发明涉及网络安全，具体涉及基于多模态页面识别和语义标签库的web弱口令扫描方法。

背景技术：

1、随着web系统承载设备管理、业务协同和数据服务功能，登录认证页面成为系统识别访问主体并建立会话的入口。弱口令是影响账户认证安全的重要因素，对已获授权的目标web系统开展弱口令安全检测，有助于确认账户认证配置状态。不同系统的页面结构和控件样式存在差异，结合页面结构数据与页面图像数据识别认证元素具有应用价值。

2、现有的基于多模态页面识别和语义标签库的web弱口令扫描方法在提交候选口令后，响应页面发生页面跳转、局部刷新或者dom重建时，认证元素的dom节点标识、视觉区域或两模态认证语义角色相应发生变化。提交前后的认证元素缺少连续对应关系时，跨模态冲突难以定位至具体元素，局部识别结果难以定向更新认证元素关联记录和认证操作链，使认证结果判定与候选口令遍历过程难以稳定衔接，为此需要提供基于多模态页面识别和语义标签库的web弱口令扫描方法来解决上述提出的问题。

技术实现思路

1、为解决上述技术问题，提供基于多模态页面识别和语义标签库的web弱口令扫描方法，本技术方案解决了上述背景技术中提出的现有的方法在响应页面跳转、局部刷新或dom重建后，认证元素缺少连续对应关系，致使冲突元素难以定位、认证元素关联记录及认证操作链难以更新，认证判定与候选口令遍历难以衔接的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、基于多模态页面识别和语义标签库的web弱口令扫描方法，包括：

4、获取语义标签库、测试账户、候选口令集合和目标页面数据，所述目标页面数据包括dom数据和页面图像数据；

5、依据语义标签库从目标页面数据识别认证元素，获取dom节点标识、视觉区域和两模态认证语义角色，关联同一认证元素的dom节点标识、视觉区域和两模态认证语义角色，形成元素数据及跨模态关联关系；

6、按两模态认证语义角色确定认证操作次序并依次生成认证元素连续标识，以认证元素连续标识和元素数据建立认证元素关联记录及认证操作链；

7、遍历候选口令集合，按认证操作链提交测试账户和候选口令，获取响应页面dom数据和响应页面图像数据，形成响应页面数据；

8、依据语义标签库从响应页面数据识别认证元素和元素数据，按认证元素关联记录为元素数据匹配认证元素连续标识并校验跨模态空间一致性和语义一致性；

9、将未通过校验的认证元素作为冲突元素，结合语义标签库局部识别响应页面图像数据中冲突元素视觉区域内的图像，将识别结果映射至响应页面dom数据，重建冲突元素的元素数据和跨模态关联关系；

10、重新校验跨模态空间一致性和语义一致性，未通过则输出识别异常并终止扫描，通过则保持认证元素连续标识，以校验通过的元素数据更新认证元素关联记录及认证操作链，并基于响应页面数据和语义标签库判定认证结果；

11、认证成功则确定候选口令为弱口令并结束遍历；认证失败则继续遍历候选口令集合，遍历后输出扫描结果。

12、在可选的实施例中，语义标签库包括认证语义角色标签、与认证语义角色标签关联的dom语义特征和视觉语义特征；

13、将从dom数据提取的dom语义特征与认证语义角色标签匹配，得到dom模态认证语义角色，将从页面图像数据提取的视觉语义特征与认证语义角色标签匹配，得到视觉模态认证语义角色，dom模态认证语义角色和视觉模态认证语义角色构成两模态认证语义角色。

14、在可选的实施例中，形成所述跨模态关联关系的步骤具体包括：

15、获取dom节点标识所指向dom节点的渲染区域，将渲染区域转换至页面图像数据的图像坐标系；

16、筛选与视觉区域存在空间交叠的渲染区域，并筛选dom模态认证语义角色和视觉模态认证语义角色共同匹配的认证语义角色标签；

17、将筛选出的渲染区域对应的dom节点标识、视觉区域、dom模态认证语义角色和视觉模态认证语义角色关联至同一认证元素。

18、在可选的实施例中，认证元素连续标识包括认证语义角色标识和次序标识；

19、依据两模态认证语义角色生成认证语义角色标识，按照认证操作次序向认证元素分配次序标识，将认证语义角色标识和次序标识组合为认证元素连续标识。

20、在可选的实施例中，两模态认证语义角色的角色类型包括账户输入角色、口令输入角色和提交角色；

21、认证元素关联记录以认证元素连续标识为索引存储元素数据；

22、认证操作链按照认证操作次序排列认证元素连续标识，将测试账户和候选口令分别作为账户输入角色和口令输入角色对应的输入值，并对提交角色对应的认证元素连续标识关联触发操作。

23、在可选的实施例中，两模态认证语义角色包括dom模态认证语义角色和视觉模态认证语义角色；

24、利用dom模态认证语义角色从认证元素关联记录取得dom候选认证元素连续标识集合，利用视觉模态认证语义角色从认证元素关联记录取得视觉候选认证元素连续标识集合，取dom候选认证元素连续标识集合与视觉候选认证元素连续标识集合的交集作为匹配候选认证元素连续标识集合；

25、匹配候选认证元素连续标识集合包含一个认证元素连续标识时，将认证元素连续标识与元素数据匹配；

26、匹配候选认证元素连续标识集合包含多个认证元素连续标识时，按照认证操作次序匹配排列位置相同的认证元素连续标识和元素数据；

27、匹配候选认证元素连续标识集合为空时，判定语义一致性校验未通过；

28、匹配完成后dom节点标识或视觉区域发生改变时，保持匹配的认证元素连续标识不变。

29、在可选的实施例中，所述校验跨模态空间一致性和语义一致性，具体包括：

30、从响应页面dom数据取得dom节点标识所指向dom节点的渲染区域，将渲染区域转换至响应页面图像数据的图像坐标系；

31、计算渲染区域与视觉区域的交集面积与并集面积的比值，得到空间交叠率，空间交叠率不小于预设交叠阈值时通过跨模态空间一致性校验；

32、匹配候选认证元素连续标识集合非空时通过语义一致性校验；

33、任一校验未通过时，将认证元素确定为冲突元素。

34、在可选的实施例中，局部识别响应页面图像数据中冲突元素视觉区域内的图像，具体包括：

35、将冲突元素的视觉区域确定为局部识别区域，从响应页面图像数据截取局部识别区域内的图像进行识别；

36、分别计算识别所得视觉区域与响应页面dom数据中各渲染区域的空间交叠率，将识别所得视觉区域映射至空间交叠率最大且不小于预设交叠阈值的渲染区域所对应的dom节点标识；

37、不存在空间交叠率不小于预设交叠阈值的渲染区域时，输出识别异常并终止扫描。

38、在可选的实施例中，语义标签库还包括认证成功标签和认证失败标签；

39、响应页面数据中识别到认证成功标签时判定认证成功；

40、未识别到认证成功标签而识别到认证失败标签时判定认证失败；

41、未识别到认证成功标签和认证失败标签，且认证元素关联记录中的认证元素连续标识均与响应页面数据中dom节点处于显示状态并具有视觉区域的认证元素完成匹配时，判定认证失败。

42、与现有技术相比，本发明的有益效果是：

43、1.本方案提出的基于多模态页面识别和语义标签库的web弱口令扫描方法，依据语义标签库对目标页面的dom数据和页面图像数据进行认证元素识别，并关联同一认证元素的dom节点标识、视觉区域和两模态认证语义角色，形成元素数据及跨模态关联关系，实现了同一认证元素的dom节点标识、视觉区域与两模态认证语义角色之间的统一对应，使认证操作次序的确定、认证元素连续标识的生成以及后续一致性校验具有共同的数据基础；

44、2.本方案提出的基于多模态页面识别和语义标签库的web弱口令扫描方法，通过生成认证元素连续标识，依据认证元素关联记录为响应页面中的元素数据匹配认证元素连续标识，校验跨模态空间一致性和语义一致性，并对冲突元素视觉区域内的图像进行局部识别，将识别结果映射至响应页面dom数据，重建冲突元素的元素数据和跨模态关联关系，实现了目标页面与响应页面之间同一认证元素的连续对应以及冲突元素的定向重建，使页面结构或视觉呈现发生变化后，后续认证处理能够使用经重新校验的元素数据；

45、3.本方案提出的基于多模态页面识别和语义标签库的web弱口令扫描方法，通过在重新校验通过后保持认证元素连续标识，以校验通过的元素数据更新认证元素关联记录及认证操作链，并依据响应页面数据和语义标签库判定认证结果，根据认证成功、认证失败或识别异常控制候选口令集合的遍历和扫描终止，实现了页面识别、认证操作链更新、认证结果判定与扫描路径控制之间的闭环衔接，使后续候选口令按照更新后的认证操作链提交，并使输出的扫描结果对应于经一致性校验的响应页面状态。