一种面向数据中台的智能驱动多模态数据融合方法与流程

本发明属于数据中台、多模态数据处理、人工智能资源调度与语义融合，具体涉及一种面向数据中台的智能驱动多模态数据融合方法。

背景技术：

1、企业数据中台普遍接入多模态数据，存在存储结构异构、同步策略僵化、算力资源浪费、时序混乱、关联错误、缺失补全失真、语义无法对齐等技术问题。传统方案依赖固定频率同步、规则匹配、默认填充、浅层特征拼接，难以实现跨模态统一计算，资源利用率低、人工干预量大，难以支撑大规模实时业务。

2、针对上述问题，现有公开专利及行业方案分别从不同角度提出了解决方法，但其在本发明所聚焦的智能同步调度、联合缺失补全、解耦语义融合、闭环因果反馈等方面仍存在不足。具体如下：

3、

专利cn120781307a（微创软件）

动态异构编码器+跨模态对抗对齐+本体网络概念映射

未涉及数据同步调度问题；融合方法未区分共享与独有特征；未提供闭环反馈机制

专利cn120688537a（苏州拉普拉斯）

基于强化学习的智能体角色分配+数据流速度控制（单层rl）

采用单层rl，在突发流量下易产生策略震荡；未引入预测性状态，属于反应式调度；未解决同步策略的多时间尺度优化问题

专利cn120724376a（电子科技大学）

检索增强+扩散生成实现缺失模态补全

未定义“联合缺失”场景；各模态独立生成，可能导致跨模态语义矛盾；缺少跨模态一致性约束

专利cn121462608a（中冶华天）

drl模型实现边缘-云端任务级资源调度

调度粒度为任务级而非数据同步级；采用单层drl；未涉及解耦融合与因果反馈

专利cn121542982a（青岛雪山网络）

dqn+注意力结合的双阶段融合算法，基于lstm的紧急度预测预留资源

资源调度为任务级（非数据同步级）；融合方法未解耦共享与独有特征；未处理联合缺失补全问题

专利cn121509246a（之江实验室）

元强化学习实现多模态网络带宽自适应分配

应用场景为网络带宽分配，其技术方案不直接适用于数据中台的多模态数据同步调度；未涉及数据同步策略、解耦表征融合及联合缺失补全

专利cn121350435a（众数信息）

特征分布椭圆校正与全局上下文检索的缺失数据补全

未区分联合缺失场景；补全方式以检索式为主，缺乏生成式一致性约束

专利cn121524948a（河南大学）

随机缺失模态的数据增强方法，生成提示+逆向提示+最优传输（ot）引导提示

未定义联合缺失场景；未提供跨模态一致性判别机制

专利cn121350651a（贵州大学）

基于细粒度语义解耦的跨模态语义对齐方法

解耦针对细粒度语义，而非模态共享与独有特征的分离；未与层次化调度和因果反馈协同

行业通用方案（基于hadoop生态的典型数据处理方案）

浅层特征拼接+固定频率同步

无法跨越语义鸿沟；算力浪费严重；无自优化能力

4、综合来看，上述现有技术及行业方案在本发明所关注的核心问题上存在以下共同不足：

5、1. 同步调度方面：同步策略要么固定不变（无法适应流量变化），要么采用单层rl进行反应式调整（易产生策略震荡，且缺乏前瞻性预测），难以应对突发流量并保持稳定。

6、2. 缺失补全方面：未区分“联合缺失”这一特殊场景，各模态独立生成或仅进行单模态补全，导致补全后的跨模态数据之间存在语义矛盾。

7、3. 语义融合方面：未将模态共享特征与独有特征进行显式解耦，融合结果可解释性差，共享语义学习易受独有信息干扰。

8、4. 闭环反馈方面：缺少闭环反馈机制，或仅进行简单的重试、全局参数微调，无法精准定位融合质量问题的根因，导致优化效率低下。

9、需要指出的是，即使将上述现有技术进行组合（例如将cn120688537a的单层rl调度、cn120781307a的对抗对齐融合、cn120724376a的生成式补全、cn121542982a的参数采集优化拼凑在一起），仍然无法解决本发明的核心问题。原因在于：①单层rl与lstm预测的组合无法处理同步调度的多时间尺度冲突（毫秒级突发与分钟级规划无法兼顾）；②独立生成式补全与对抗对齐融合之间缺乏一致性约束，补全结果与融合过程相互割裂；③参数采集优化仅能进行全局调参，无法区分同步延迟、关联错误、补全失败各自对融合质量的因果贡献。

10、针对上述四个缺陷，本发明分别提出以下针对性改进：①层次强化学习预测性调度（解决同步策略震荡）；②联合缺失识别与跨模态一致性补全（解决语义矛盾）；③解耦表征学习融合（解决共享/独有特征未分离）；④因果推断闭环反馈（解决根因定位缺失）。本发明通过层次化决策结构、联合隐空间生成、因果根因定位的三层协同，实现了从数据同步到语义融合的全链路智能自优化，这种协同效应无法通过现有技术的简单叠加实现。

技术实现思路

1、（一）要解决的技术问题

2、本发明要解决的技术问题是如何提供一种面向数据中台的智能驱动多模态数据融合方法，以解决高频突发场景下，多模态数据同步存在的资源浪费与时序不一致问题，以及联合缺失场景下的跨模态语义补全失真难题。

3、（二）技术方案

4、为了解决上述技术问题，本发明提出一种面向数据中台的智能驱动多模态数据融合方法，该方法包括如下步骤：

5、步骤s1、多模态数据标准化预处理

6、对多模态数据进行格式统一、去噪、基础特征提取，并为步骤s2的hrl高层策略提供预测性状态输入；

7、步骤s2、基于层次强化学习hrl的智能同步调度

8、采用两层决策架构：高层策略定模式，低层策略出参数，引入预测性状态与模式切换惩罚，动态适配同步策略，避免策略震荡，保证时序一致，降低cpu与带宽占用；其中，高层dqn每10秒决策宏观模式，包括：平稳、突发和追数，状态包含步骤s1提供的未来1分钟体量预测值，奖励包含模式切换惩罚；低层ppo每1秒输出同步方式、同步间隔、资源权重，并以高层输出的模式为条件；两者通过option-critic架构协同训练，输出同步对齐后的多模态数据流；

9、步骤s3、智能关联匹配

10、步骤s2输出的同步对齐后的多模态数据流，通过显式id匹配与隐式语义匹配相结合的方式，实现多模态数据关联；

11、步骤s4、联合缺失识别与跨模态一致性补全

12、定义“联合缺失”场景，并通过联合隐空间生成与一致性判别器实现补全，保证跨模态语义一致性，支持生成式与检索式两种补全策略；

13、步骤s5、解耦表征学习驱动的统一语义空间双层融合

14、构建统一语义空间，显式分离模态共享特征与独有特征，仅融合共享部分，提升融合精度与可解释性；各模态经独立编码器提取512维特征，经解耦模块分解为共享语义向量与模态独有向量，通过互信息最小化分离共享与独有，通过跨模态对比学习对齐共享语义；

15、步骤s6、校验输出与基于因果推断的全链路反馈优化

16、通过因果图精准定位融合质量问题的根因，实现同步-关联-补全-融合全链路的协同提升；当融合置信度低于阈值时，利用双重机器学习估计各前序节点的平均因果效应ace，选择ace最大的节点作为根因，针对性调整参数并写回对应模块，形成闭环。

17、本发明还提供一种面向数据中台的智能驱动多模态数据融合系统，该系统包括：8个层级，各层之间通过消息队列和rpc调用进行数据流与控制流交互；

18、层1：数据源层；存储多模态原始数据，通过kafka向预处理层推送数据，并接收处理确认信号；

19、层2：预处理与预测特征提取层；执行格式统一、去噪、缺失标记；部署lstm预测模块，输出未来1分钟数据体量预测值；标准化后的数据及预测值分别传递给后续层级；

20、层3：智能同步调度层；基于层次强化学习hrl动态调整同步间隔、资源分配权重；接收来自层2的预测值作为高层状态输入，输出同步后的数据流至关联层，并将同步状态上报至反馈优化层；

21、层4：关联匹配层；执行显式id匹配和隐式语义匹配；输出关联结果及各模态的512维语义特征向量至缺失补全层；

22、层5：缺失补全层；识别联合缺失，采用c-vae+一致性判别器进行生成式补全或回退检索式补全；输出补全后的完整数据及可选隐空间向量至语义融合层；

23、层6：语义融合层；执行解耦表征学习，将各模态特征分解为共享语义向量与独有向量，通过双层融合输出统一语义向量；接收补全后的数据，输出融合结果至层；

24、层7：校验输出与反馈优化层；实时计算融合置信度、关联错误率、补全失败率；当融合置信度低于阈值时，触发因果推断模块：利用最近1000个样本估计各前序节点的平均因果效应ace，定位根因并生成针对性调整信号；调整信号写回层3～6；合格融合结果输出至服务接口与存储；不合格结果可触发重试；

25、层8：监控运维层；实时采集各层资源占用、异常日志、融合效果历史；提供数据给层7用于因果图更新；发出严重告警并支持链路切换。

26、（三）有益效果

27、本发明提出一种面向数据中台的智能驱动多模态数据融合方法，本发明针对数据中台多模态融合中同步资源浪费、联合缺失失真等难题，构建“预测调度-解耦融合-一致性补全-因果反馈”闭环。其中，hrl自适应同步以避免策略震荡，解耦表征提取共享语义，联合缺失补全保证跨模态一致性，因果推断定位根因并实现精准调优，实现全链路智能协同。