一种基于多模态大模型的中文软件界面智能理解与交互方法

摘要: 本发明涉及人工智能、计算机视觉与自然语言交叉处理,具体涉及一种基于多模态大模型的中文软件界面智能理解与交互方法。背景技术:1、目前软件生态呈现蓬勃发展的趋势,软...
一种基于多模态大模型的中文软件界面智能理解与交互方法

本发明涉及人工智能、计算机视觉与自然语言交叉处理,具体涉及一种基于多模态大模型的中文软件界面智能理解与交互方法。

背景技术:

1、目前软件生态呈现蓬勃发展的趋势,软件界面,尤其是中文软件(如wps、钉钉、飞书等)界面在视觉呈现和交互逻辑上具有鲜明的本土化特征,例如经常包含密集文字、横排竖排混合布局、特殊符号及图标文字组合等,又如红包、二维码、中式导航栏等元素,又如普遍存在中英文混合文本,或者又如采用四字成语或特定业务术语(如“发起审批”、“一键归档”)等。

2、现有的语言识别模型,如clip(contrastive language-image pre-training,对比语言-图像预训练模型)模型或omniparser模型(一种多模态系统),存在严重的语义漂移问题,导致元素误识别、功能误判,无法满足中文企业级软件应用的精度要求。

技术实现思路

1、为了解决现有技术在中文软件界面理解方面存在的核心瓶颈,导致出现元素误识别和功能误判,无法满足软件应用要求的缺陷,本发明提供一种基于多模态大模型的中文软件界面智能理解与交互方法,包括:

2、利用中文视觉语言模型对中文软件界面图像进行视觉特征编码,得到中文语义空间下的视觉模态;

3、利用所述中文视觉语言模型,引导目标检测模型对所述中文软件界面图像进行区域检测,得到表征可交互区域的空间模态;

4、基于所述中文软件界面图像,利用文本识别模型提取检测文本;利用所述中文视觉语言模型对所述检测文本进行校验纠错,得到文本模态;

5、将所述视觉模态、所述空间模态和所述文本模态,进行多模态结构化组装,得到多模态融合结果;

6、利用vlm多模态大模型对所述多模态融合结果进行深度语义推理,得到所述中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表。

7、可选的,所述利用所述中文视觉语言模型,引导目标检测模型对所述中文软件界面图像进行区域检测,得到表征可交互区域的空间模态,包括:

8、利用所述目标检测模型的骨干网络对所述中文软件界面图像提取特征图;

9、利用所述中文视觉语言模型结合所述特征图,引导所述目标检测模型的头部网络生成候选区域的检测结果,进行注意力加权;

10、利用所述中文视觉语言模型的类别先验,引导对所述候选区域的检测结果,得到表征可交互区域的空间模态。

11、可选的,所述利用所述中文视觉语言模型结合所述特征图,引导所述目标检测模型的头部网络生成候选区域的检测结果,包括:

12、对所述视觉模态对应的中文视觉特征图进行上采样,得到上采样后的中文视觉特征图;

13、将上采样后的中文视觉特征图和所述特征图进行通道拼接,得到融合特征图;

14、利用中文视觉特征图中的语义激活值进行注意力加权引导,引导所述目标检测模型优化检测框尺寸;利用优化后的所述目标检测模型的头部网络对所述融合特征图进行处理,生成候选区域的检测结果。

15、可选的,所述利用所述中文视觉语言模型语义类别先验信息,引导对所述候选区域的检测结果更聚焦于语义区域,得到表征可交互区域的空间模态,包括:

16、对所述中文视觉特征图进行特征对齐处理,得到区域视觉特征;

17、利用所述区域视觉特征与中文提示词计算相似度结果,作为区域类别的先验权重;

18、基于所述先验权重,对所述候选区域更聚焦于语义区域,以减少误检,得到可交互区域的最终检测结果,得到表征可交互区域的空间模态。

19、可选的,所述利用所述中文视觉语言模型对所述文本识别模型提取的检测文本进行校验纠错,得到文本模态,包括:

20、基于所述视觉模态和所述检测文本,确定是否触发纠错机制;

21、若是,则利用所述中文视觉语言模型的文本编码器对所述检测文本进行语义对齐校验,得到校验结果;基于所述校验结果,对所述检测文本中的错误形近字或模糊文字覆盖。

22、可选的,所述基于所述视觉模态和所述检测文本,确定是否触发纠错机制,包括:

23、计算所述视觉模态与所述检测文本的视觉文本相似度差异;若所述视觉文本相似度差异超过预设差异阈值,则确定触发纠错机制;

24、和/或,判断所述检测文本的置信度是否小于预设置信度阈值;若是,则确定触发纠错机制。

25、可选的,所述将所述视觉模态、所述空间模态和所述文本模态,进行多模态结构化组装,得到多模态融合结果,包括:

26、利用cross-attention机制,将所述视觉模态、所述空间模态和所述文本模态,进行多模态结构化组装,得到多模态融合结果。

27、可选的,所述对所述多模态融合结果进行深度语义推理,得到所述中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表,包括:

28、利用vlm多模态大模型对所述多模态融合结果进行深度语义推理,得到所述中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表。

29、可选的,所述中文视觉语言模型为采用vit-b/16或vit-l/14架构的cn-clip模型;

30、所述目标检测模型为yolov8模型;

31、所述文本识别模型为paddleocr模型。

32、另一方面,本发明还提供一种基于多模态大模型的中文软件界面智能理解与交互系统,包括:

33、视觉模态识别模块,用于利用中文视觉语言模型对中文软件界面图像进行视觉特征编码,得到中文语义空间下的视觉模态;

34、空间模态识别模块,用于利用所述中文视觉语言模型,引导目标检测模型对所述中文软件界面图像进行区域检测,得到表征可交互区域的空间模态;

35、文本模态识别模块,用于基于所述中文软件界面图像,利用文本识别模型提取检测文本;利用所述中文视觉语言模型对所述检测文本进行校验纠错,得到文本模态;

36、多模态推理模块,用于将所述视觉模态、所述空间模态和所述文本模态,进行多模态结构化组装,得到多模态融合结果;对所述多模态融合结果进行深度语义推理,得到所述中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表。

37、可选的,所述空间模态识别模块,具体用于:

38、利用所述目标检测模型的骨干网络对所述中文软件界面图像提取特征图;

39、利用所述中文视觉语言模型结合所述特征图,引导所述目标检测模型的头部网络生成候选区域的检测结果,进行注意力加权;

40、利用所述中文视觉语言模型的类别先验,引导对所述候选区域的检测结果,得到表征可交互区域的空间模态。

41、可选的,所述空间模态识别模块,具体用于:

42、对所述视觉模态对应的中文视觉语言模型提取的特征图进行上采样,得到上采样后的中文视觉特征图;

43、将上采样后的中文视觉特征图和所述特征图进行通道拼接,得到融合特征图;

44、利用中文视觉特征图中的语义激活值进行注意力加权引导,引导所述目标检测模型优化检测框尺寸;利用优化后的所述目标检测模型的头部网络对所述融合特征图进行处理,生成候选区域的检测结果。

45、可选的,所述空间模态识别模块,具体用于:

46、对所述中文视觉特征图进行特征对齐处理,得到区域视觉特征;

47、利用所述区域视觉特征与中文提示词计算相似度结果,作为区域类别的先验权重;

48、基于所述先验权重,对所述候选区域更聚焦于语义区域,以减少误检,得到可交互区域的最终检测结果,得到表征可交互区域的空间模态。

49、可选的,所述文本模态识别模块,具体用于:

50、基于所述视觉模态和所述检测文本,确定是否触发纠错机制;

51、若是,则基于所示视觉模态,利用所述中文视觉语言模型的文本编码器对所述检测文本进行语义对齐校验,得到校验结果;基于所述校验结果,对所述检测文本中的错误形近字或模糊文字覆盖。

52、可选的,所述文本模态识别模块,具体用于:

53、计算所述视觉模态与所述检测文本的视觉文本相似度差异;若所述视觉文本相似度差异超过预设差异阈值,则确定触发纠错机制;

54、和/或,判断所述检测文本的置信度是否小于预设置信度阈值;若是,则确定触发纠错机制。

55、可选的,所述多模态推理模块,具体用于:

56、利用cross-attention机制,将所述视觉模态、所述空间模态和所述文本模态,进行多模态结构化组装,得到多模态融合结果。

57、可选的,所述多模态推理模块,具体用于:

58、利用vlm多模态大模型对所述多模态融合结果进行深度语义推理,得到所述中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表。

59、可选的,所述中文视觉语言模型为采用vit-b/16或vit-l/14架构的cn-clip模型;

60、所述目标检测模型为yolov8模型;

61、所述文本识别模型为paddleocr模型。

62、另一方面,本发明还提供一种计算机设备,其特征在于,包括:一个或多个处理器;

63、所述处理器,用于存储一个或多个程序;

64、当所述一个或多个程序被所述一个或多个处理器执行时,实现上述中任意一项所述的基于多模态大模型的中文软件界面智能理解与交互方法。

65、另一方面,本发明还提供一种计算机可读存储介质,其特征在于,其上存有计算机程序,所述计算机程序被执行时,实现上述中任意一项所述的基于多模态大模型的中文软件界面智能理解与交互方法。

66、与现有技术相比,本发明的有益效果为:

67、本发明提供一种基于多模态大模型的中文软件界面智能理解与交互方法,该方法中利用中文视觉语言模型对中文软件界面图像进行视觉特征编码,得到中文语义空间下的视觉模态;利用中文视觉语言模型,引导目标检测模型对中文软件界面图像进行区域检测,得到表征可交互区域的空间模态;基于中文软件界面图像,利用文本识别模型提取检测文本;利用中文视觉语言模型对检测文本进行校验纠错,得到文本模态;将视觉模态、空间模态和文本模态,进行多模态结构化组装,得到多模态融合结果;利用vlm多模态大模型对多模态融合结果进行深度语义推理,得到中文软件界面图像的带中文语义标注的增强图像和结构化功能描述语义列表。本发明中利用中文视觉语言模型在中文图文上的中文语义理解能力,可以准确理解中文软件界面中的视觉语义,从而结合目标检测模型和文本识别模型进行协同检测实现元素功能级理解,从而更好满足中文软件自动化操作应用要求,可广泛应用于中文环境下的自动化测试、rpa(robotic process automation,机器人流程自动化)及智能辅助操作等领域。