基于视觉识别的数据信息采集方法及相关设备与流程

本申请涉及大数据，应用于对页面显示内容进行采集场景中，涉及基于视觉识别的数据信息采集方法及相关设备。

背景技术：

1、目前，随着人工智能的发展，机器学习技术在医学领域成功落地的应用场景越来越多，比如，远程医疗、病例智能生成、机器人问诊等。

2、在数字医疗领域，病例智能生成是比较常见的一种业务场景，例如：申请号为cn202411267641.3的专利申请文件公开了一种基于多模态大模型的视觉信息提取方法，其主要对多模态大模型进行领域微调后，由用户上传目标图片并输入文字提示，多模态大模型产生初步提取结果，再结合光学识别结果生成最终提取信息。该方法仅仅是在多模态提取和光学提取的基础上进行数据信息采集处理，还远远达不到更高的数据信息提取效率要求。因此，如何提高页面显示内容的提取效率成为了亟需解决的问题。

技术实现思路

1、本申请实施例的目的在于提出基于视觉识别的数据信息采集方法及相关设备，以提高页面显示内容提取效率。

2、第一方面，本申请实施例提供基于视觉识别的数据信息采集方法，采用了如下所述的技术方案：

3、基于视觉识别的数据信息采集方法，包括下述步骤：

4、接收目标只读截屏指令，其中，所述目标只读截屏指令中提供了待截屏信息页面的页面地址信息和页面渲染状态信息；

5、响应于所述目标只读截屏指令，对所述待截屏信息页面进行只读截屏处理，获得截屏后的只读图片；

6、将所有只读图片输入到预训练完成的目标识别区域提取模型中，标定所有只读图片中包含的所有目标识别区域；

7、采用所述目标识别区域标定模型中的多模态数据采集组件，提取所有被标定的目标识别区域中的数据信息，完成数据信息采集。

8、第二方面，本申请实施例还提供基于视觉识别的数据信息采集装置，采用了如下所述的技术方案：

9、基于视觉识别的数据信息采集装置，包括：

10、截屏指令接收模块，用于接收目标只读截屏指令，其中，所述目标只读截屏指令中提供了待截屏信息页面的页面地址信息和页面渲染状态信息；

11、只读截屏处理模块，用于响应于所述目标只读截屏指令，对所述待截屏信息页面进行只读截屏处理，获得截屏后的只读图片；

12、识别区域标定模块，用于将所有只读图片输入到预训练完成的目标识别区域提取模型中，标定所有只读图片中包含的所有目标识别区域；

13、多模态数据采集模块，用于采用所述目标识别区域标定模型中的多模态数据采集组件，提取所有被标定的目标识别区域中的数据信息，完成数据信息采集。

14、第三方面，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

15、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的基于视觉识别的数据信息采集方法的步骤。

16、第四方面，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

17、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的基于视觉识别的数据信息采集方法的步骤。

18、与现有技术相比，本申请实施例主要有以下有益效果：

19、本申请所述的基于视觉识别的数据信息采集方法，通过接收目标只读截屏指令；响应于所述目标只读截屏指令，对所述待截屏信息页面进行只读截屏处理，获得截屏后的只读图片；将所有只读图片输入到预训练完成的目标识别区域提取模型中，标定所有只读图片中包含的所有目标识别区域；采用所述目标识别区域标定模型中的多模态数据采集组件，提取所有被标定的目标识别区域中的数据信息，完成数据信息采集。将所述方法应用到医疗机构或者医院数字服务过程中，例如：智能数字化病例生成场景中，能够替代人工自动化进行检测报告只读截屏处理，对于所获得的只读截屏检测报告图片中文本数据和图片数据，自动化的利用人工智能模型处理方式进行数据信息采集，快速进行页面显示内容提取，再结合后续自动化的填充到病例生成模板中，生成最终发往医生进行审核的病例，在医生进行审核之后，再智能化的转发给患者手机端，既能够有效避免人工打码生成病例时出现错别字的情况发生，也能够在患者较多、病例处理量较大的大数据规模场景中提高向患者进行病例报告外发的效率。

1.基于视觉识别的数据信息采集方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的基于视觉识别的数据信息采集方法，其特征在于，在执行所述响应于所述目标只读截屏指令，对所述待截屏信息页面进行只读截屏处理，获得截屏后的只读图片的步骤之前，所述方法还包括：

3.根据权利要求2所述的基于视觉识别的数据信息采集方法，其特征在于，所述通过所述只读图片集反向优化不同待截屏信息页面分别所对应的多级截屏初始策略，获得不同待截屏信息页面最终分别所对应的多级截屏优化策略作为只读截屏知识反馈给目标只读截屏处理端的步骤，包括：

4.根据权利要求3所述的基于视觉识别的数据信息采集方法，其特征在于，在执行所述通过所述目标识别区域提取模型中的区域标定组件，标定每张只读图片中的文本数据区域和图像数据区域的步骤之前，所述方法还包括：

5.根据权利要求3所述的基于视觉识别的数据信息采集方法，其特征在于，所述预构建完成的目标识别区域提取模型中还包括多模态数据采集组件，在执行所述将不同页面地址信息分别所对应的多级截屏优化策略作为只读截屏知识反馈给所述预设的只读截屏处理端的步骤之后，所述方法还包括：

6.根据权利要求1所述的基于视觉识别的数据信息采集方法，其特征在于，所述响应于所述目标只读截屏指令，对所述待截屏信息页面进行只读截屏处理，获得截屏后的只读图片的步骤，包括：

7.根据权利要求6所述的基于视觉识别的数据信息采集方法，其特征在于，所述多级截屏优化策略包括了整页面化截屏策略、多窗口非嵌套化截屏策略和多层窗口嵌套化截屏策略，所述结合所述多级截屏优化策略对所述待截屏信息页面进行截屏处理，获得截屏后的只读图片的步骤，包括：

8.基于视觉识别的数据信息采集装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于视觉识别的数据信息采集方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于视觉识别的数据信息采集方法的步骤。