一种移动用户界面检测方法及系统

本发明属于人机交互界面分析与视觉检测，涉及一种移动用户界面检测方法及系统，特别适用于移动应用界面中的控件识别、界面语义理解和交互元素定位任务场景。

背景技术：

1、随着移动互联网应用的快速发展，移动用户界面已广泛应用于电商、社交、办公、出行和生活服务等应用场景。移动用户界面检测作为界面自动测试、无障碍访问、界面自动生成、智能代理执行和移动应用质量分析的基础环节，其核心目标在于从界面截图、界面文本和界面布局信息中自动识别出按钮、输入框、图标、列表项、弹窗、导航栏等关键界面元素，并进一步获得界面元素的位置和语义功能。

2、现有移动用户界面检测方法通常采用单一视觉模型或目标检测网络，仅依赖界面截图中的像素信息完成控件定位和分类。该类方法在规则化界面场景下能够取得一定效果，但在面对小尺寸图标、密集列表、弱文本控件、复合控件、弹窗遮挡和跨应用风格迁移时，容易出现候选区域定位不准、相似图标混淆和语义识别不充分的问题。

3、移动用户界面具有典型的多模态特征，其界面元素不仅包含局部图形外观，还包含ocr文本、页面方位、邻近控件、布局结构和上下文语义。传统图文模型虽然能够建立图像和文本之间的相似性，但其空间布局建模能力通常不足，难以显式利用移动界面中“顶部返回、底部导航、右上角关闭、列表项入口”等强空间先验。

4、近年来，大语言模型被用于生成更丰富的文本描述，以增强多模态模型的语义输入。然而，若仅将候选区域的位置和ocr文本输入大语言模型并生成单一提示词，仍然存在提示词不可验证、容易受ocr误识别影响、对图标功能语义推断不稳定等问题。特别是在移动用户界面中，部分图标控件本身不包含可直接识别的文本信息，或者其功能语义需要结合邻近文字标签、页面位置及上下文信息进行判断；若仅依据单一提示词进行语义推断，可能产生语义偏差，进而影响后续检测结果。

5、此外，现有轻量化微调方法通常仅在视觉语言模型的视觉分支或文本分支中插入适配器，主要用于实现通用领域到目标领域的参数适配，尚未针对移动用户界面的图形外观、文本语义和空间布局三类特征进行分别建模，也未充分构造和利用外观相似但功能不同、文本相同但空间位置不同、图标相同但页面上下文不同以及ocr文本相似但控件类型不同的易混淆界面元素硬负样本，以增强模型对相似界面元素的区分能力。

6、因此，如何在保留训练成本优势的同时提升移动用户界面检测中的定位精度、语义可靠性和跨页面泛化能力，成为亟待解决的技术问题。

7、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，并不必然构成在先技术。

技术实现思路

1、针对现有技术中存在的上述问题，本发明提出了一种移动用户界面检测方法，以提升移动用户界面中图标、文本控件的检测精度、语义识别能力和泛化能力。

2、本发明为了实现上述目的，采用如下技术方案：

3、一种移动用户界面检测方法，包括如下步骤：

4、步骤1. 采集移动用户界面截图数据，对其进行文本检测和识别，得到一个或多个ocr文本区域；同时对其执行初始候选区域生成，得到一个或多个初步候选区域；

5、计算各初步候选区域的定位不确定度，对大于预设定位不确定度阈值的初步候选区域进行局部放大裁剪和二次候选区域重采样，并将二次候选区域坐标映射回原始界面截图；

6、将二次候选区域及未触发二次候选区域重采样的初始候选区域，组成最终候选区域集合；

7、针对最终候选区域集合中确定的各最终候选区域，根据其与ocr文本区域之间的空间关系，确定该最终候选区域对应的区域内ocr文本和邻近ocr文本；

8、步骤2. 基于最终候选区域的区域位置、区域尺寸、长宽比、区域内ocr文本、邻近ocr文本、文本识别置信度、页面方位和页面上下文信息构造结构化提示词生成输入；

9、利用大语言模型生成各最终候选区域的候选提示词，并通过自校验生成标准化提示词；

10、步骤3. 将最终候选区域的区域图像输入视觉语言模型的视觉编码分支得到图形视觉特征，将标准化提示词和ocr文本输入文本编码分支得到文本语义特征；

11、利用空间布局编码分支进行空间布局通道编码获取最终候选区域的空间布局特征；

12、对图形视觉特征、文本语义特征和空间布局特征加权融合，得到gui感知融合特征；

13、步骤4. 将 gui 感知融合特征输入多通道融合检测模型，模型输出各最终候选区域对应的界面元素类别、位置坐标、功能语义和检测置信度。

14、此外，在上述移动用户界面检测方法的基础上，本发明还提出了一种与之对应的移动用户界面检测系统，该移动用户界面检测系统采用如下技术方案：

15、一种移动用户界面检测系统，包括如下模块：

16、候选区域生成模块，用于采集移动用户界面截图数据，对其进行文本检测和识别，得到一个或多个ocr文本区域；同时对其执行初始候选区域生成，得到一个或多个初步候选区域；

17、计算各初步候选区域的定位不确定度，对大于预设定位不确定度阈值的初步候选区域进行局部放大裁剪和二次候选区域重采样，并将二次候选区域坐标映射回原始界面截图；

18、将二次候选区域及未触发二次候选区域重采样的初始候选区域，组成最终候选区域集合；

19、针对最终候选区域集合中确定的各最终候选区域，根据其与ocr文本区域之间的空间关系，确定该最终候选区域对应的区域内ocr文本和邻近ocr文本；

20、标准化提示词生成模块，用于基于最终候选区域的属性信息构造结构化提示词生成输入；

21、其中，最终候选区域的属性信息包括区域位置、区域尺寸、长宽比、区域内ocr文本、邻近ocr文本、文本识别置信度、页面方位和页面上下文信息；

22、利用大语言模型生成各最终候选区域的候选提示词，并通过自校验生成标准化提示词；

23、融合特征生成模块，用于将最终候选区域的区域图像输入视觉语言模型的视觉编码分支得到图形视觉特征，将标准化提示词和ocr文本输入文本编码分支得到文本语义特征；

24、利用空间布局编码分支进行空间布局通道编码获取最终候选区域的空间布局特征；

25、对图形视觉特征、文本语义特征和空间布局特征加权融合，得到gui感知融合特征；

26、以及移动用户界面检测模块，用于将 gui 感知融合特征输入多通道融合检测模型，模型输出各最终候选区域对应的界面元素类别、位置坐标、功能语义和检测置信度。

27、本发明具有如下优点：

28、针对现有移动用户界面检测方法存在的候选区域定位粗糙、提示词生成不可验证、空间布局建模不足和相似控件区分能力弱等问题，本发明提出一种基于大语言模型自校验提示增强和多通道融合的移动用户界面检测方法，该方法在原有移动用户界面截图和ocr文本输入基础上，引入定位不确定度驱动的粗到细候选区域重采样机制，以改善小尺寸控件和密集区域的候选框质量；同时引入多候选提示词生成与一致性自校验机制，以提高大语言模型生成语义描述的可靠性；此外还引入图形视觉、文本语义和空间布局三通道gui感知机制，并通过动态门控融合不同模态特征；最后通过多分支适配器微调和硬负样本对比训练提升模型对移动用户界面领域的适配能力，最终利于提高移动用户界面元素定位结果的稳定性和准确性。