基于协同维度缩减的大语言模型跨境合规审查方法及介质与流程
本发明涉及跨境电商合规管理,尤其涉及一种基于协同维度缩减的大语言模型跨境合规审查方法及介质。
背景技术:
1、现有基于大语言模型的跨境渠道合规性审查方法,虽已初步实现多语言法规文本解析与语义比对功能,但在实际部署中仍采用静态、全量的维度建模机制,即预先定义并固定所有潜在审查维度,并在每次审查任务中对全部维度执行独立的语义映射与逻辑校验。未考虑不同语义维度在法规演进过程中的动态关联性,导致大量维度间存在内容重叠、变化同步或判定逻辑高度耦合的情形,但系统仍将其作为完全独立的审查项分别调用大语言模型进行重复推理,导致审查效率较低。
技术实现思路
1、基于此,有必要针对现有的审查效率较低问题,提出了一种基于协同维度缩减的大语言模型跨境合规审查方法及介质。
2、一种基于协同维度缩减的大语言模型跨境合规审查方法,所述方法包括:
3、当接收到新的目标法规文本时,将所述目标法规文本和当前使用的原始法规文本映射至预设的语义空间中,分别得到第一语义向量和第二语义向量;
4、将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度,构成第一待审核维度集合;
5、基于滑动时间窗口从历史数据库中采样过去预设时间段内的法规变更记录,构建各语义维度的历史变化序列矩阵;
6、计算所述历史变化序列矩阵中维度间的趋势相似度,并根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合;
7、根据各个维度的预设权重,在每个协同维度集合中选择权重最高的维度作为代表项保留,并将其余从属维度屏蔽,得到第二待审核维度集合;
8、基于第二待审核维度集合获取各个跨境业务的业务数据集,并将所述业务数据集和所述目标法规文本输入预设的大语言模型中,得到合规审查结果。
9、进一步地,所述将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度的步骤,包括:
10、对所述第一语义向量和所述第二语义向量执行细粒度字段级比对,逐项计算各对应条目的嵌入向量间的余弦相似度;
11、判断各个余弦相似度是否小于预设相似度;
12、将余弦相似度小于预设相似度的条目判定为实质性变更条目,并将所述实质性变更条目所属的语义维度提取为变更语义维度。
13、进一步地,所述将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度的步骤之后,还包括:
14、获取当前待审商品所属的商品类目信息,构建产品-维度关联图谱;
15、根据所述产品-维度关联图谱判断各变更语义维度的变更是否适用于所述商品类目;
16、将不适用于所述商品类目的变更语义维度从所述第一待审核维度集合中剔除。
17、进一步地,所述计算所述历史变化序列矩阵中维度间的趋势相似度,并根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合的步骤,包括:
18、采用动态时间规整算法计算所述历史变化序列矩阵中各维度两两之间的序列距离;
19、根据所述序列距离确定维度间的趋势相似度;
20、判断所述趋势相似度是否大于或等于相似度阈值,
21、将趋势相似度大于或等于所述相似度阈值的维度判定为具有协同变化特征;
22、将具有协同变化特征的维度进行聚合,得到对应的协同维度集合。
23、进一步地,所述根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合的步骤之后,还包括:
24、对各协同维度集合内的维度构建贝叶斯网络结构,学习维度间的因果依赖关系;
25、根据所述因果依赖关系区分同步变化关系和主从驱动关系,将识别为主从驱动关系中的从属维度从所述协同维度集合中移除。
26、进一步地,所述根据各个维度的预设权重,在每个协同维度集合中选择权重最高的维度作为代表项保留的步骤之前,还包括:
27、根据各维度所对应的地理区域的风险等级确定所述预设权重,其中,对应高风险市场监管要求的维度配置第一权重值,对应中等风险市场监管要求的维度配置第二权重值,对应低风险市场监管要求的维度配置第三权重值,所述第一权重值大于所述第二权重值,所述第二权重值大于所述第三权重值。
28、进一步地,所述将所述业务数据集和所述目标法规文本输入预设的大语言模型中,得到合规审查结果的步骤之后,还包括:
29、从所述大语言模型的输出中反向计算各输入维度对模型输出的梯度敏感度;
30、根据所述梯度敏感度生成各维度的违规影响得分;
31、将违规影响得分低于预设得分阈值的维度从所述第二待审核维度集合中剔除。
32、一种基于协同维度缩减的大语言模型跨境合规审查装置,所述装置包括:
33、映射模块,用于当接收到新的目标法规文本时,将所述目标法规文本和当前使用的原始法规文本映射至预设的语义空间中,分别得到第一语义向量和第二语义向量;
34、比对模块,用于将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度,构成第一待审核维度集合;
35、采样模块,用于基于滑动时间窗口从历史数据库中采样过去预设时间段内的法规变更记录,构建各语义维度的历史变化序列矩阵;
36、计算模块,用于计算所述历史变化序列矩阵中维度间的趋势相似度,并根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合;
37、选择模块,用于根据各个维度的预设权重,在每个协同维度集合中选择权重最高的维度作为代表项保留,并将其余从属维度屏蔽,得到第二待审核维度集合;
38、输入模块,用于基于第二待审核维度集合获取各个跨境业务的业务数据集,并将所述业务数据集和所述目标法规文本输入预设的大语言模型中,得到合规审查结果。
39、一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
40、当接收到新的目标法规文本时,将所述目标法规文本和当前使用的原始法规文本映射至预设的语义空间中,分别得到第一语义向量和第二语义向量;
41、将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度,构成第一待审核维度集合;
42、基于滑动时间窗口从历史数据库中采样过去预设时间段内的法规变更记录,构建各语义维度的历史变化序列矩阵;
43、计算所述历史变化序列矩阵中维度间的趋势相似度,并根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合;
44、根据各个维度的预设权重,在每个协同维度集合中选择权重最高的维度作为代表项保留,并将其余从属维度屏蔽,得到第二待审核维度集合;
45、基于第二待审核维度集合获取各个跨境业务的业务数据集,并将所述业务数据集和所述目标法规文本输入预设的大语言模型中,得到合规审查结果。
46、一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
47、当接收到新的目标法规文本时,将所述目标法规文本和当前使用的原始法规文本映射至预设的语义空间中,分别得到第一语义向量和第二语义向量;
48、将所述第一语义向量和所述第二语义向量进行比对,得到多个变更语义维度,构成第一待审核维度集合;
49、基于滑动时间窗口从历史数据库中采样过去预设时间段内的法规变更记录,构建各语义维度的历史变化序列矩阵;
50、计算所述历史变化序列矩阵中维度间的趋势相似度,并根据所述趋势相似度将具有协同变化特征的维度进行聚合,得到对应的协同维度集合;
51、根据各个维度的预设权重,在每个协同维度集合中选择权重最高的维度作为代表项保留,并将其余从属维度屏蔽,得到第二待审核维度集合;
52、基于第二待审核维度集合获取各个跨境业务的业务数据集,并将所述业务数据集和所述目标法规文本输入预设的大语言模型中,得到合规审查结果。
53、本发明的有益效果:通过将新旧法规文本映射至统一语义空间并比对提取变更语义维度,基于滑动时间窗口构建历史变化序列矩阵以计算维度间趋势相似度,语义空间映射与细粒度比对,基于历史演化规律计算趋势相似度并聚合协同维度,从而识别出长期呈现强一致性的维度组,减少了独立审查项的数量,然后借助地理区域优先级权重机制选择代表项并屏蔽从属维度,对关键维度执行多语言语义映射与违规识别,从而避免了计算资源浪费和响应滞后情况,提升了系统在实时合规更新需求下的响应速度与处理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com