基于大数据的股权量化数据管理方法及系统与流程

摘要: 本申请涉及大数据分析,具体涉及基于大数据的股权量化数据管理方法及系统。背景技术:1、随着企业股权结构日益复杂,股权量化数据呈现爆发式增长。在传统的股权量化数据管...
基于大数据的股权量化数据管理方法及系统与流程

本申请涉及大数据分析,具体涉及基于大数据的股权量化数据管理方法及系统。

背景技术:

1、随着企业股权结构日益复杂,股权量化数据呈现爆发式增长。在传统的股权量化数据管理过程中,缺乏对数据可信度与完整性的系统性评估机制,导致大量低质量数据混入管理流程,影响后续股权分析与决策的准确性。同时,现有技术对股权量化数据的冗余性识别能力不足,无法有效剔除重复或关联性过高的特征数据,造成数据存储资源的浪费和数据处理效率的低下。

技术实现思路

1、本申请实施例通过提供基于大数据的股权量化数据管理方法及系统,解决了现有股权量化数据管理缺乏系统性数据质量评估与动态阈值调整机制,导致低质量数据混入、冗余数据处理效率低下及存储资源分配不合理的技术问题。

2、本申请解决上述技术问题的技术方案如下:

3、第一方面,本申请提供了基于大数据的股权量化数据管理方法,所述方法包括:

4、获取股权量化数据的数据可信度参数及数据完整性参数,计算获取初筛评估阈值进行数据初筛,获取第一数据集;

5、对所述第一数据集中的股权量化数据进行冗余度评估,获取特征冗余性参数;

6、基于所述特征冗余性参数,对所述第一数据集进行数据复筛,获取第二数据集,并将未通过筛选的数据整合为第三数据集;

7、基于所述第一数据集、第二数据集及第三数据集的数据量分布,对所述初筛评估阈值及复筛评估阈值进行动态更新,获取更新初筛阈值及更新复筛阈值,进行数据筛选,获取第一更新数据集、第二更新数据集及第三更新数据集;

8、结合当前存储条件,为所述第一更新数据集、所述第二更新数据集及所述第三更新数据集进行存储分配,进行股权量化数据管理。

9、第二方面,本申请提供了基于大数据的股权量化数据管理系统,包括:

10、数据评估模块,用于对所述第一数据集中的股权量化数据进行冗余度评估,获取特征冗余性参数;

11、数据处理模块,用于基于所述特征冗余性参数,对所述第一数据集进行数据复筛,获取第二数据集,并将未通过筛选的数据整合为第三数据集;

12、阈值更新模块,用于基于所述第一数据集、第二数据集及第三数据集的数据量分布,对所述初筛评估阈值及复筛评估阈值进行动态更新,获取更新初筛阈值及更新复筛阈值,进行数据筛选,获取第一更新数据集、第二更新数据集及第三更新数据集;

13、存储分配模块,用于结合当前存储条件,为所述第一更新数据集、所述第二更新数据集及所述第三更新数据集进行存储分配,进行股权量化数据管理。

14、本申请提供了一个或多个技术方案,至少具有如下技术效果或优点:

15、本申请实施例通过提供基于大数据的股权量化数据管理方法及系统,首先,通过获取股权量化数据的数据可信度参数及数据完整性参数,计算初筛评估阈值进行数据初筛以获取第一数据集,从数据来源可靠性与信息完备性两个核心维度对原始数据进行初步把控。其次,对第一数据集中的股权量化数据进行冗余度评估,通过提取多维特征并采用聚类算法进行分析,获取特征冗余性参数,识别数据中重复或关联性过高的冗余特征,避免冗余数据占用过多处理资源,提升数据处理效率。随后,基于特征冗余性参数对第一数据集进行数据复筛,获取第二数据集,并将未通过初筛和复筛的数据整合为第三数据集,进一步优化数据质量,同时将不同质量等级的数据进行分类。最后,结合当前存储条件,为三个更新数据集进行存储分配,根据数据的重要性和使用频率等因素,优先保障高质量数据的存储资源,实现存储资源的合理配置。

16、通过上述技术方案,本申请基于系统性的数据质量评估与动态阈值调整机制,形成完整的股权量化数据管理流程,有效解决了现有技术中低质量数据混入、冗余数据处理效率低下及存储资源分配不合理的问题,提升了股权量化数据管理的整体水平,为股权分析与决策提供了高质量的数据支持。

1.基于大数据的股权量化数据管理方法,其特征在于,包括:

2.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,获取股权量化数据的数据可信度参数及数据完整性参数,计算获取初筛评估阈值进行数据初筛,获取第一数据集,包括:

3.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,对所述第一数据集中的股权量化数据进行冗余度评估,获取特征冗余性参数,包括:

4.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,基于所述特征冗余性参数,对所述第一数据集进行数据复筛,获取第二数据集,并将未通过筛选的数据整合为第三数据集,包括:

5.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,将未通过筛选的数据整合为第三数据集,还包括:

6.根据权利要求5所述的基于大数据的股权量化数据管理方法,其特征在于,获取特征协同性参数,包括:

7.根据权利要求6所述的基于大数据的股权量化数据管理方法,其特征在于,构建协同性评估模型,包括:

8.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,基于所述第一数据集、第二数据集及第三数据集的数据量分布,对所述初筛评估阈值及复筛评估阈值进行动态更新,获取更新初筛阈值及更新复筛阈值,进行数据筛选,获取第一更新数据集、第二更新数据集及第三更新数据集,包括:

9.根据权利要求1所述的基于大数据的股权量化数据管理方法,其特征在于,结合当前存储条件,为所述第一更新数据集、所述第二更新数据集及所述第三更新数据集进行存储分配,进行股权量化数据管理,包括:

10.基于大数据的股权量化数据管理系统,其特征在于,用于执行权利要求1-9任一项所述的基于大数据的股权量化数据管理方法,包括: