应用多模态大语言模型跳转前预检测防伪溯源方法及系统与流程

摘要: 本发明属于防伪溯源,具体涉及一种应用于开放扫码平台(如微信、支付宝和其它平台)扫码入口的、基于多模态大语言模型(multilargelanguagemodel,...
应用多模态大语言模型跳转前预检测防伪溯源方法及系统与流程

本发明属于防伪溯源,具体涉及一种应用于开放扫码平台(如微信、支付宝和其它平台)扫码入口的、基于多模态大语言模型(multi large language model,mllm)的跳转前智能预检防伪溯源方法及系统,用于在用户跳转至目标页面前实时识别假冒商品链接并触发阻断拦截,同时识别仿冒的品牌并生成可解释的伪造证据。

背景技术:

1、二维码形式的防伪溯源系统已广泛应用于商品真伪验证领域。然而,现有技术存在诸多缺陷:

2、(一)无法在扫码入口拦截假冒网站:消费者使用微信、支付宝等开放平台扫描防伪码后,平台会直接跳转至二维码中的url,无法进行任何安全性预判。当该url指向假冒网站时,消费者在毫无预警的情况下进入假页面。现有技术普遍缺失在“扫码后、跳转前”这一关键节点进行智能预检和拦截的能力。

3、(二)url黑名单/白名单方法的局限性:造假者可轻易注册新域名,或使用与官方域名高度相似的域名(如使用weizhen-fake.com冒充weizhen.com),导致基于静态列表的黑名单/白名单方法难以有效应对动态变化的伪造手段。

4、(三)现有mllm伪造检测技术的局限:例如,专利cn121236571a公开了一种基于mllm的图像伪造检测方法,但其执行于“已获取图像后的分析阶段”,不涉及“扫码后、跳转前”的执行时机,无法实现跳转前拦截。此外,该技术方案的处理链路为简单的“图像→mllm→结果”,缺乏品牌匹配优先、重定向跟随检测、两级架构、平台差异化执行等关键特征;其输出仅为“真/伪”分类标签,无法生成可解释的证据描述,亦不能识别仿冒的具体品牌或输出可驱动平台执行拦截的指令。同样,基于区块链的防伪方法(如cn117350752a)侧重于数据存证,无法对动态网页内容进行实时视觉和语义分析以识别克隆页面。

5、因此,亟需一种能够在扫码入口进行智能预检、能够精准识别仿冒品牌、并能跨平台部署的防伪鉴别方法及系统。

技术实现思路

1、本发明的主要目的在于提供一种应用多模态大语言模型跳转前预检测防伪溯源方法及系统,通过在开放扫码平台的跳转前环节引入智能引擎进行“品牌匹配”与“两级协同风控”机制,并结合多模态大语言模型进行深度分析,从而实现在源头阻断假冒网站访问、精准识别仿冒品牌并生成可解释证据的技术效果。

2、本发明的目的是通过以下技术方案来实现的:

3、应用多模态大语言模型跳转前预检测防伪溯源方法,包括以下步骤:

4、步骤s1:开放扫码平台响应于用户的扫一扫操作,解析二维码内容以提取目标url及扫码元数据,并在跳转至所述目标url之前暂不执行跳转,将流程转入防伪系统的ai智能引擎;

5、步骤s2:所述ai智能引擎的码段识别模块识别所述二维码的码段特征和所述目标url,所述码段特征包括前缀字符串、编码格式、加密标识中的至少一种;

6、步骤s3:将所述码段特征和所述目标url与防伪系统中的品牌库进行匹配判定:若匹配成功,则直接进入防伪系统并展示正品信息,结束流程;若匹配失败,则触发并调用mllm智能鉴别引擎,进入步骤s4;

7、步骤s4:所述mllm智能鉴别引擎首先通过重定向跟随模块递归跟随http重定向至最终落地页,然后对所述最终落地页进行多模态联合分析,所述多模态联合分析包括:对所述最终落地页的视觉内容进行分析;对所述最终落地页的文本内容进行分析;以及识别所述最终落地页仿冒的是防伪系统中的哪一个品牌;

8、步骤s5:所述mllm智能鉴别引擎根据多模态分析结果输出鉴别结论:若未发现与防伪系统中任何品牌匹配,则放行,将用户引导至所述目标url;若发现与防伪系统中某一品牌匹配,则触发假冒告警,并输出所述品牌信息、可解释的证据描述及对应的执行指令。

9、作为优选方式,所述步骤s3中的匹配判定具体包括:将提取的码段特征与防伪系统中预存的品牌码段库进行比对;将提取的目标url的域名与防伪系统中预存的品牌官方域名库进行比对;当码段特征匹配且域名匹配时,判定为匹配成功。

10、作为优选方式,所述步骤s4中的识别所述最终落地页仿冒的是防伪系统中的哪一个品牌,具体包括:将提取的视觉特征与防伪系统中各品牌的正品模板库逐一比对;计算与每个品牌的相似度得分;选择相似度得分最高的品牌作为识别结果;若最高相似度得分超过预设阈值≥0.85,则判定该页面仿冒该品牌。

11、作为优选方式,在调用所述mllm智能鉴别引擎之前,还包括两级协同风控步骤:第一级,采用轻量级cnn模型对页面截图进行快速预筛查,输出初步风险概率;第二级,当所述初步风险概率处于预设阈值范围内,时,调用所述多模态大语言模型进行精细判别;当初步风险概率小于时直接判定为安全,大于时直接判定为假冒。

12、作为优选方式,所述步骤s5中触发假冒告警时,输出的证据描述包括以下至少一项:页面视觉元素与正品模板的差异描述;目标url域名与品牌官方域名的差异描述;页面dom结构与正品模板的差异描述;以及重定向链中的异常跳转记录。

13、应用多模态大语言模型跳转前预检测防伪溯源系统,应用于上述的方法,包括:

14、扫码接入模块,配置于开放扫码平台中,用于响应用户扫码操作,解析二维码内容以提取目标url,并在跳转至所述目标url之前暂不执行跳转;

15、码段识别与品牌匹配模块,用于识别二维码的码段特征和目标url,并与防伪系统中的品牌库进行匹配判定:若匹配成功,则直接输出正品结果;若匹配失败,则触发mllm智能鉴别引擎;

16、重定向跟随模块,用于递归跟随http重定向至最终落地页,并记录重定向链;

17、mllm智能鉴别引擎,用于对所述最终落地页执行多模态联合分析,包括视觉内容分析单元、文本内容分析单元、品牌归属识别单元和真伪判定单元;

18、两级协同风控单元,包括第一级cnn快速预筛查模块和第二级mllm精细判别模块;

19、差异化执行模块,用于根据mllm鉴别结果执行相应操作:若未发现匹配品牌,则放行并跳转至目标url;若发现匹配品牌,则触发假冒告警,并展示证据描述和仿冒品牌信息。

20、作为优选方式,所述两级协同风控单元被配置为:所述第一级cnn快速预筛查模块对页面截图进行快速分类,输出初步风险概率;当所述初步风险概率处于预设阈值范围,内时,激活所述第二级mllm精细判别模块;当初步风险概率小于时,由所述差异化执行模块直接执行放行操作;当初步风险概率大于时,由所述差异化执行模块直接执行假冒告警操作。

21、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法。

22、本发明至少具有以下有益效果:

23、实现源头阻断式安全防护:通过在开放扫码平台解析出目标url后、执行跳转动作之前暂挂流程并转入ai智能引擎,能够在用户访问假冒网站前完成鉴别与拦截,从网络访问的源头有效阻断安全风险。

24、提升正品验证效率并节约算力:通过引入“码段特征和目标url与品牌库匹配”的前置判定步骤,对于匹配成功的正品码可直接放行,无需调用计算开销较大的mllm智能鉴别引擎,从而实现了毫秒级的高效验证,并显著降低了系统的整体计算资源消耗。

25、提供精准化的仿冒告警信息:通过mllm智能鉴别引擎对最终落地页进行多模态联合分析,并特别包含“识别所述最终落地页仿冒的是防伪系统中的哪一个品牌”的功能,使得系统不仅能判断页面真伪,还能精准指出其仿冒的具体品牌,极大提升了告警信息的实用价值。

26、有效防御高仿真视觉克隆攻击:通过结合对最终落地页的视觉内容和文本内容的多模态联合分析,能够穿透域名伪装,精准识别出在视觉和语义上高度模仿正品的“一模一样”克隆页面,解决了传统基于域名或url规则的防伪方法无法应对视觉克隆的根本性缺陷。

27、支持跨平台统一部署:整个方法流程设计为与具体开放平台解耦,通过标准化的接口和执行指令,能够适配微信、支付宝等多种开放扫码平台,实现“一套核心逻辑,服务多个平台”的高效部署模式。