页面防爬取方法、装置及相关设备与流程

本发明实施例涉及计算机，尤其涉及一种页面防爬取方法、装置及相关设备。

背景技术：

1、随着人工智能技术尤其是大语言模型的快速发展，各类通用ai自动化工具逐渐具备了解析网页前端源码、识别页面dom结构的能力。b/s架构网页和saas云端平台等线上应用在各行业领域广泛应用，用户对页面数据安全性和业务流程防护能力的要求越来越高。目前业界常见的相关技术方案包括：其一，基于dom选择器（如xpath、css selector）的传统网页自动化框架，通过固定的元素标识定位页面控件；其二，基于图像识别与ocr技术的视觉自动化工具，通过页面截图识别可交互区域。

2、现有技术中，线上应用页面在开发阶段，页面dom元素、交互控件的id、class、name等标识通常保持固定不变，使得ai工具与爬虫程序可轻易建立元素与页面功能的映射关系，从而基于dom结构/元素标识/接口参数进行程序化解析与自动化操控的攻击。

技术实现思路

1、本发明实施例提供了页面防爬取方法、装置及相关设备，旨在解决现有的反爬取技术难以防止ai智能工具基于页面dom结构进行程序化解析与自动化操作的技术问题。

2、第一方面，本发明实施例提供了一种页面防爬取方法，其包括：

3、扫描页面中的可识别要素，生成待加密元素清单，所述可识别要素包括dom标签、控件属性、接口调用参数和事件绑定逻辑中的至少一种；

4、根据预设策略，生成动态加密规则，所述动态加密规则支持的变化粒度包含随机生成型、周期更换型和会话生成型；

5、根据所述动态加密规则，对所述待加密元素清单中的可识别要素进行加密，得到加密页面元素，并将所述加密页面元素输入前端渲染引擎进行页面渲染，存储所述可识别要素与动态加密规则之间的映射关系，所述映射关系包括加密粒度、生效范围和生效时间；

6、当接收到自动化工具的访问请求时，对所述自动化工具进行身份认证，认证通过后下发所述动态加密规则对应的解密密钥；

7、所述自动化工具基于所述解密密钥查询所述映射关系，将所述加密页面元素还原为对应的原始要素，并根据所述原始要素执行自动化操作。

8、第二方面，本发明实施例提供了一种页面防爬取装置，其包括：

9、扫描模块，用于扫描页面中的可识别要素，生成待加密元素清单，所述可识别要素包括dom标签、控件属性、接口调用参数和事件绑定逻辑中的至少一种；

10、规则生成模块，用于根据预设策略，生成动态加密规则，所述动态加密规则支持的变化粒度包含随机生成型、周期更换型和会话生成型；

11、加密模块，用于根据所述动态加密规则，对所述待加密元素清单中的可识别要素进行加密，得到加密页面元素，并将所述加密页面元素输入前端渲染引擎进行页面渲染，存储所述可识别要素与动态加密规则之间的映射关系，所述映射关系包括加密粒度、生效范围和生效时间；

12、认证模块，用于当接收到自动化工具的访问请求时，对所述自动化工具进行身份认证，认证通过后下发所述动态加密规则对应的解密密钥；

13、执行模块，用于所述自动化工具基于所述解密密钥查询所述映射关系，将所述加密页面元素还原为对应的原始要素，并根据所述原始要素执行自动化操作。

14、第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的页面防爬取方法。

15、第四方面，本发明实施例又提供了一种可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的页面防爬取方法。

16、本发明实施例提供了一种页面防爬取方法、装置及相关设备。该方法扫描页面中的可识别要素，生成待加密元素清单；根据预设策略，生成动态加密规则；根据动态加密规则，对待加密元素清单中的可识别要素进行加密，得到加密页面元素，并将加密页面元素输入前端渲染引擎进行页面渲染，存储可识别要素与动态加密规则之间的映射关系；当接收到自动化工具的访问请求时，对自动化工具进行身份认证，认证通过后下发所述动态加密规则对应的解密密钥；自动化工具基于解密密钥查询所述映射关系，将所述加密页面元素还原为对应的原始要素，并根据所述原始要素执行自动化操作。该方法通过采用动态加密规则对页面的可识别要素进行加密替换，加密规则不固定且不可预测，有效阻断基于结构化 dom 标识、接口参数进行恶意操控行为。

1.一种页面防爬取方法，其特征在于，包括：

2.如权利要求1所述的页面防爬取方法，其特征在于，所述可识别要素还包括属性值语义内容，所述扫描页面中的可识别要素，包括：

3.如权利要求1所述的页面防爬取方法，其特征在于，所述动态加密规则支持的变化粒度包含随机生成型、周期更换型和会话生成型，具体如下：

4.如权利要求1所述的页面防爬取方法，其特征在于，所述身份认证的方式为设备指纹与开发者签名双重认证。

5.如权利要求4所述的页面防爬取方法，其特征在于，所述设备指纹与开发者签名双重认证，包括：

6.一种页面防爬取装置，其特征在于，包括：

7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的页面防爬取方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至5任一项所述的页面防爬取方法。