一种基于数据编织与物理约束图推演的证券数据治理动态推演方法与流程

摘要: 本发明属于大数据治理与智能决策支持,具体涉及一种基于数据编织与物理约束图推演的证券数据治理动态推演方法。背景技术:1、证券金融机构的数据体系具有业务系统多、数据...
一种基于数据编织与物理约束图推演的证券数据治理动态推演方法与流程

本发明属于大数据治理与智能决策支持,具体涉及一种基于数据编织与物理约束图推演的证券数据治理动态推演方法。

背景技术:

1、证券金融机构的数据体系具有业务系统多、数据血缘链路长、监管合规要求严、数据口径频繁变更等特点。传统的数据治理手段通常依赖事后人工排查与静态规则校验,缺乏对数据风险在复杂异构系统间传播路径的实时量化推演能力。

2、此外,现有治理方案在评估治理动作的效果时,难以兼顾治理成本、实施周期、风险降低程度及质量提升等多目标平衡,且缺乏基于实际治理反馈对推演模型与规则参数进行自适应修正的闭环机制,导致治理决策精准度不足、资源浪费及风险二次复发等问题。

技术实现思路

1、本发明的目的在于提供一种基于数据编织与物理约束图推演的证券数据治理动态推演方法,以解决现有技术无法对复杂证券数据网络中的风险进行精准传播推演及治理效果自适应预测的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、一种基于数据编织与物理约束图推演的证券数据治理动态推演方法,包括以下步骤:

4、批量采集业务系统、数据平台及治理系统中的存量数据治理信息,以及日志与调度系统中历史存量的主动元数据信息;对采集的信息进行实体识别与关系抽取,构建包含证券业务对象、数据资产、指标口径、质量规则、监管规则及治理动作节点的多维异构数据编织图网络;

5、在所述多维异构数据编织图网络构建完成后,从所述日志与调度系统中持续实时监听并采集系统运行过程中产生的增量主动元数据信息;计算数据资产节点或指标口径节点间的语义向量相似度,在对应的节点之间建立语义映射边,并基于所述增量主动元数据信息动态更新所述语义映射边的置信度,形成补全后的图网络;

6、响应于数据异常或口径变更,结合数据依赖强度、下游使用频率、监管敏感性及所述语义映射边的置信度计算复合风险传播权重,沿着所述补全后的图网络推演风险传播路径与影响范围,输出受风险影响的节点及其对应的风险数值;

7、根据受风险影响的节点确定候选治理动作集合;提取所述受风险影响的节点的风险数值、质量评分及监管敏感性特征,构建当前的数据治理状态特征向量;构建以所述数据治理状态特征向量为状态量、候选治理动作为控制输入量、所述增量主动元数据信息为观测量状态的状态空间推演模型,利用所述状态空间推演模型执行预测过程,求解各候选治理动作对应的预测治理效果;

8、构建包含所述预测治理效果的多目标效益评估函数;在预设成本与周期约束条件下,求解使所述多目标效益评估函数得分最大化的治理动作组合,生成分阶段治理路径;

9、部署执行所述分阶段治理路径,采集执行后的实际治理结果并计算与所述预测治理效果之间的预测偏差损失,基于所述预测偏差损失反向修正所述复合风险传播权重、所述语义映射边的置信度以及所述状态空间推演模型的参数。

10、优选地,所述批量采集存量数据治理信息与历史存量的主动元数据信息的过程包括:从证券业务系统中采集证券业务对象信息;从数据平台中采集数据资产信息与数据血缘信息;从数据治理平台中采集数据质量检查规则与指标口径定义;从监管报送系统中采集监管报送规则;从日志与调度系统中采集所述历史存量的主动元数据信息。

11、优选地,所述证券业务系统包括集中交易系统、客户关系管理系统、账户系统、适当性管理系统、清算系统及财富管理系统中的至少一种;所述数据平台包括数据仓库、数据集市及数据平台中的至少一种。

12、优选地,所述证券业务对象信息包括客户、账户、交易、资金、持仓及投资者适当性中的至少一种;所述数据资产信息包括数据库表、数据字段及数据接口中的至少一种。

13、优选地,所述计算数据资产节点或指标口径节点间的语义向量相似度,包括:获取待比对的数据资产节点或指标口径节点的文本特征,经文本向量化编码器转换为语义向量,计算语义向量间的余弦相似度;当所述余弦相似度超过预设相似度阈值且满足业务规则校验时,建立对应的所述语义映射边。

14、优选地,所述沿着所述补全后的图网络推演风险传播路径的过程包括:将目标节点在下一时刻的风险数值计算为邻居节点风险数值与对应复合风险传播权重的乘积累加值、目标节点当前的质量异常比例特征以及监管敏感性特征的线性加权组合。

15、优选地,所述候选治理动作集合包括源系统字段校验、指标口径统一、数仓加工逻辑修正、历史数据补录及监管前置拦截中的至少一种。

16、优选地,所述预测治理效果包括预测质量提升值、预测风险降低值、治理成本、治理周期和复发概率。

17、优选地,所述利用所述状态空间推演模型执行预测过程,包括:将当前时刻的数据治理状态特征向量与第一状态转换矩阵相乘,将候选治理动作向量与控制输入矩阵相乘,将所述增量主动元数据信息对应的向量与观测量矩阵相乘,并叠加状态噪声向量,联合求解得到下一时刻的预测数据治理状态特征向量。

18、优选地,所述基于所述预测偏差损失反向修正所述复合风险传播权重、所述语义映射边的置信度以及所述状态空间推演模型的参数,包括:当所述预测偏差损失超过预设偏差阈值时,按预设衰减比例削减导致预测偏差的候选治理动作在所述状态空间推演模型中对应的控制输入矩阵系数,并按所述预测偏差损失对应的比例削减导致风险推演偏差的语义映射边的置信度。

19、与现有技术相比,本发明具有以下有益效果:本发明通过将存量初始化构建与增量实时流监听相结合,基于主动元数据动态更新语义映射边及其置信度,实现了多维异构数据编织图网络的动态补全,解决了传统静态图网络无法反映系统运行时真实变更与隐式关联的问题;引入物理扩散-衰减约束,结合节点依赖强度、下游使用频率及监管敏感性计算复合风险传播权重,能够精准推演风险在复杂证券数据网络中的扩散路径与定量影响范围;引入控制论中的状态空间推演模型与多目标效益评估,将状态向量、控制输入及观测量深度融合,兼顾质量提升、成本周期及复发概率,实现了分阶段治理路径的最佳决策;本发明构建了基于实际治理反馈的偏差损失自适应反向修正机制,摒弃了相对化模糊调节,采用预设衰减比例精准削减矩阵系数与置信度,实现了治理模型的持续自我迭代优化。

1.一种基于数据编织与物理约束图推演的证券数据治理动态推演方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于:

3.根据权利要求2所述的方法,其特征在于:所述证券业务系统包括集中交易系统、客户关系管理系统、账户系统、适当性管理系统、清算系统及财富管理系统中的至少一种;所述数据平台包括数据仓库、数据集市及数据平台中的至少一种。

4.根据权利要求2所述的方法,其特征在于:所述证券业务对象信息包括客户、账户、交易、资金、持仓及投资者适当性中的至少一种;所述数据资产信息包括数据库表、数据字段及数据接口中的至少一种。

5.根据权利要求1所述的方法,其特征在于:所述计算数据资产节点或指标口径节点间的语义向量相似度,包括:

6.根据权利要求1所述的方法,其特征在于:所述沿着所述补全后的图网络推演风险传播路径的过程包括:将目标节点在下一时刻的风险数值计算为邻居节点风险数值与对应复合风险传播权重的乘积累加值、目标节点当前的质量异常比例特征以及监管敏感性特征的线性加权组合。

7.根据权利要求1所述的方法,其特征在于:所述候选治理动作集合包括源系统字段校验、指标口径统一、数仓加工逻辑修正、历史数据补录及监管前置拦截中的至少一种。

8.根据权利要求1所述的方法,其特征在于:所述预测治理效果包括预测质量提升值、预测风险降低值、治理成本、治理周期和复发概率。

9.根据权利要求1所述的方法,其特征在于:所述利用所述状态空间推演模型执行预测过程,包括:将当前时刻的数据治理状态特征向量与第一状态转换矩阵相乘,将候选治理动作向量与控制输入矩阵相乘,将所述增量主动元数据信息对应的向量与观测量矩阵相乘,并叠加状态噪声向量,联合求解得到下一时刻的预测数据治理状态特征向量。

10.根据权利要求1所述的方法,其特征在于:所述基于所述预测偏差损失反向修正所述复合风险传播权重、所述语义映射边的置信度以及所述状态空间推演模型的参数,包括:当所述预测偏差损失超过预设偏差阈值时,按预设衰减比例削减导致预测偏差的候选治理动作在所述状态空间推演模型中对应的控制输入矩阵系数,并按所述预测偏差损失对应的比例削减导致风险推演偏差的语义映射边的置信度。