一种基于颜色检测的即时通讯消息多级定位方法与流程

摘要: 本申请涉及计算机视觉,特别涉及一种基于颜色检测的即时通讯消息多级定位方法。背景技术:1、在即时通讯软件的自动化处理流程中,精确识别聊天界面内消息元素的空间位置与...
一种基于颜色检测的即时通讯消息多级定位方法与流程

本申请涉及计算机视觉,特别涉及一种基于颜色检测的即时通讯消息多级定位方法。

背景技术:

1、在即时通讯软件的自动化处理流程中,精确识别聊天界面内消息元素的空间位置与内容类型是实现消息复制、区域截图及内容结构化解析等操作的基础环节。当前技术方案主要依赖预设单一颜色阈值进行气泡区域检测,或采用固定屏幕坐标百分比实施位置定位。预设单一颜色阈值方法仅能适配特定界面主题下的标准气泡颜色,当面对不同发送方侧采用差异化背景色方案时(例如一方使用浅蓝背景而另一方使用浅灰背景),该方法无法同步覆盖多色系分布特征。尤其对于无统一背景色的图片消息,此类方案完全丧失检测能力,导致关键内容遗漏。固定坐标百分比策略则受限于设备分辨率差异、窗口尺寸动态调整及界面布局变化,在跨平台应用场景中产生显著定位偏移,无法实现自适应校准。更为突出的是,现有技术缺乏对初步检测结果的验证与修正机制,当界面显示因主题切换、环境光照变化或设备色偏导致颜色特征偏离预设阈值时,系统无法识别误检与漏检现象。同时,这些方法不能有效区分消息类型与发送方身份,难以生成包含完整上下文信息的结构化输出序列,严重制约企业级机器人流程自动化在即时通讯场景中的可靠性与适用性。

2、针对上述问题,现有技术亟需改进。

技术实现思路

1、本申请实施例提供了一种基于颜色检测的即时通讯消息多级定位方法,技术方案如下:

2、一方面,提供了一种基于颜色检测的即时通讯消息多级定位方法,所述方法包括:

3、对聊天区域截图执行统一布局标定扫描,基于气泡区域的高度分布和颜色分布得到自适应间隙阈值、各颜色类别实测色相中心、发送方侧标签和标定文本气泡候选集合;

4、基于所述自适应间隙阈值和所述发送方侧标签,在所述标定文本气泡候选集合中同侧相邻气泡之间检测垂直间隙得到图片候选,并对所述聊天区域截图以所述各颜色类别实测色相中心为基准进行颜色检测得到文本气泡候选;

5、对所述图片候选和所述文本气泡候选执行类型化诊断校验,当候选与基于所述各颜色类别实测色相中心确定的预期视觉特征不符时,基于失败特征分类结果和所述各颜色类别实测色相中心执行色偏校正或区域修正,得到通过校验的候选;

6、将所述通过校验的候选按纵坐标排序,并基于所述发送方侧标签对所述图片候选施加同侧文本气泡夹峙一致性约束,输出包含图片消息和文本消息的结构化消息序列。

7、由上可知,本申请提供的一种基于颜色检测的即时通讯消息多级定位方法,对聊天区域截图执行统一布局标定扫描,基于气泡区域的高度分布和颜色分布得到自适应间隙阈值、各颜色类别实测色相中心、发送方侧标签和标定文本气泡候选集合;基于该自适应间隙阈值和该发送方侧标签,在该标定文本气泡候选集合中同侧相邻气泡之间检测垂直间隙得到图片候选,并对该聊天区域截图以该各颜色类别实测色相中心为基准进行颜色检测得到文本气泡候选;对该图片候选和该文本气泡候选执行类型化诊断校验,当候选与基于该各颜色类别实测色相中心确定的预期视觉特征不符时,基于失败特征分类结果和该各颜色类别实测色相中心执行色偏校正或区域修正,得到通过校验的候选;将该通过校验的候选按纵坐标排序,并基于该发送方侧标签对该图片候选施加同侧文本气泡夹峙一致性约束,输出包含图片消息和文本消息的结构化消息序列。通过上述手段的综合运用,本申请能够自适应不同发送方侧颜色分布、动态调整间隙阈值以适应布局变化,并通过类型化诊断校验机制减少误检漏检,从而提高消息定位准确性和系统鲁棒性。

1.一种基于颜色检测的即时通讯消息多级定位方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其中,所述对聊天区域截图执行统一布局标定扫描,基于气泡区域的高度分布和颜色分布得到自适应间隙阈值、各颜色类别实测色相中心、发送方侧标签和标定文本气泡候选集合,包括:

3.根据权利要求1所述的方法,其中,所述基于所述自适应间隙阈值和所述发送方侧标签,在所述标定文本气泡候选集合中同侧相邻气泡之间检测垂直间隙得到图片候选,包括:

4.根据权利要求2所述的方法,其中,所述对所述图片候选和所述文本气泡候选执行类型化诊断校验,当候选与基于所述各颜色类别实测色相中心确定的预期视觉特征不符时,基于失败特征分类结果和所述各颜色类别实测色相中心执行色偏校正或区域修正,得到通过校验的候选,包括:

5.根据权利要求4所述的方法,其中,所述对所述图片候选和所述文本气泡候选中的每个候选执行二次校验,截取以所述候选的坐标为中心的局部区域,按候选类型对应的预期视觉特征对所述局部区域进行验证,包括:

6.根据权利要求4所述的方法,其中,所述在候选与所述预期视觉特征不符的情况下,对候选的失败特征进行分类,得到所述失败特征分类结果,包括:

7.根据权利要求4所述的方法,其中,所述在所述失败特征分类结果指示色偏的情况下,以所述各颜色类别实测色相中心为基准执行色相偏移并扩宽颜色范围后重新执行颜色检测;在所述失败特征分类结果指示区域失配的情况下,依据所述文本气泡宽高比范围重新裁剪候选区域后重新执行颜色检测;在所述失败特征分类结果指示伪间隙的情况下,将对应图片候选移出候选集合并检测对应区域内的文本气泡,包括:

8.根据权利要求1所述的方法,其中,所述将所述通过校验的候选按纵坐标排序,并基于所述发送方侧标签对所述图片候选施加同侧文本气泡夹峙一致性约束,输出包含图片消息和文本消息的结构化消息序列,包括:

9.根据权利要求8所述的方法,其中,所述在图片候选位于消息序列中部且上方相邻候选与下方相邻候选均为同侧文本气泡的情况下,判定所述图片候选通过所述夹峙一致性约束;在图片候选位于所述消息序列顶部或底部的情况下,按边界豁免规则判定;在图片候选不满足所述夹峙一致性约束且不属于边界豁免情形的情况下,判定所述图片候选不可靠并回退所述图片候选所在区域重新检测,包括:

10.根据权利要求8所述的方法,其中,所述将通过所述夹峙一致性约束的候选组织为包含图片消息和文本消息的所述结构化消息序列,每条消息包含消息类型、坐标与置信度,包括: