基于深度学习的多源数据智能管理方法与流程

本发明涉及深度学习及数据管理，具体为基于深度学习的多源数据智能管理方法。

背景技术：

1、多源数据智能管理面对来自不同传感器、业务系统、日志平台的海量异构数据流，需要兼顾高效存储、精细化访问控制和数据安全。现有技术通常以固定时间窗口或预设数据量阈值对数据流进行切分，切分后的分片直接标记简单的时间戳或序列号，并采用静态配置的防护等级和集中式访问控制列表实施安全管理。存储节点的选择多依赖轮询或基于负载的调度算法，未与数据本身的特征和安全需求联动。

2、此种处理方式存在明显缺陷。固定切分规则忽略数据内容之间的语义关联，语义相近或逻辑上连贯的数据块被割裂到不同分片中，导致上层分析任务需要跨分片重组上下文，增加了处理开销，也削弱了安全管控的上下文一致性。静态防护策略由人工依据笼统的数据来源预设，无法根据数据块的内部构成、信息熵、来源混合程度等动态属性进行自适应调整，在面对多源异构数据时容易出现过度保护或保护不足。元数据标签仅记录简单的来源和序号，不能反映分片内部的数据分布特征，从而难以支撑细粒度的差异化存储和访问决策。

3、在多源数据环境下，如何使数据分片的形成与数据本身的语义分布对齐，避免信息割裂；如何根据数据分片的来源标识和内部统计分布自适应地生成防护等级、访问控制列表和存储节点映射，是亟待解决的难题。

技术实现思路

1、提供一种基于深度学习的多源数据智能管理方法，以解决现有分片方式语义缺失和安全策略静态固化的问题，实现语义驱动的自适应数据分片以及动态安全映射与管控。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于深度学习的多源数据智能管理方法，包括：

3、获取多源数据流，按时间窗口切分为数据块，并利用第一深度神经网络提取数据块的语义特征向量；

4、根据语义特征向量的局部密度峰值，将所述数据块分为多个数据分片，并为数据分片生成含来源标识和分片序号的元数据标签；

5、利用第二深度神经网络融合所述元数据标签和对应数据分片的数据分布，输出数据分片的防护等级、访问控制列表和存储节点映射；

6、按存储节点映射将数据分片发送至存储节点，在存储节点上按防护等级加密数据分片，并将访问控制列表写入存储节点的访问控制管理器；

7、接收目标用户对数据分片的访问请求，访问控制管理器按访问控制列表对目标用户鉴权，鉴权通过后向目标用户提供解密后的数据分片。

8、作为本发明的一个优选技术方案，利用第一深度神经网络提取数据块的语义特征向量的过程包括：将所述数据块中的数值型字段、文本字段和时序字段分别编码为第一子向量、第二子向量和第三子向量，并将第一子向量、第二子向量和第三子向量按照字段顺序拼接为原始输入向量；将所述原始输入向量输入到由三层门控残差网络级联组成的第一深度神经网络，每一层门控残差网络先对当前输入进行线性变换得到门控值，再将门控值与当前输入逐元素相乘后与当前输入相加，得到该层输出；将最后一层门控残差网络的输出进行向量归一化处理，得到所述语义特征向量。通过多字段差异化编码与门控残差结构的结合，有效融合异构字段信息并增强语义表达能力，使提取出的语义特征向量更能反映数据块内在语义，为后续密度聚类提供可靠基础。

9、作为本发明的一个优选技术方案，根据语义特征向量的局部密度峰值将所述数据块分为多个数据分片的过程包括：对所述语义特征向量进行主成分分析，保留前若干个主成分得到降维后的特征点；以每个特征点为中心，统计该特征点在预设半径范围内的邻居数量作为局部密度，并计算该特征点与局部密度高于该特征点的局部密度的特征点之间的最小距离；将局部密度高于预设密度阈值且最小距离大于预设距离阈值的特征点标记为密度峰值；以每个密度峰值作为起始点，将距离该密度峰值最近且未分配的数据块划分到同一个临时簇；按照所述数据块的来源时间戳顺序对所述临时簇内的数据块进行排序，将排序后的临时簇标记为所述数据分片。采用密度峰值驱动的分片方式能够无监督地发现多源数据中的自然聚类结构，使得分片边界与数据本身的分布特性相吻合，既降低了人工划分的成本，又保持了数据块之间的时序连贯性。

10、作为本发明的一个优选技术方案，为数据分片生成含来源标识和分片序号的元数据标签的过程包括：提取每个数据分片内所有数据块的来源数据源编号，将出现频次最高的来源数据源编号作为所述来源标识；统计每个数据分片在所有数据分片中的排序位置，将所述排序位置作为所述分片序号；将所述来源标识和所述分片序号拼接为字符串，并利用哈希函数对所述字符串和所述数据分片的首个数据块的时间戳进行运算，得到校验码；将所述来源标识、所述分片序号、所述校验码和所述时间戳共同写入所述元数据标签。由此生成的元数据标签不仅标定了分片的来源归属与顺序位置，还通过校验码实现防篡改保护，便于在后续存储和访问过程中快速检索和完整性验证。

11、作为本发明的一个优选技术方案，利用第二深度神经网络融合所述元数据标签和对应数据分片的数据分布的过程包括：将所述元数据标签中的所述来源标识和所述分片序号分别进行one-hot编码，并将所述对应数据分片内各数据块的长度、类型和熵值组成统计向量；将经过one-hot编码的来源标识、经过one-hot编码的分片序号与所述统计向量在特征维度上进行拼接，得到融合输入；将所述融合输入到由双向长短期记忆网络和注意力层组成的第二深度神经网络，所述双向长短期记忆网络输出双向隐状态序列；所述注意力层根据所述双向隐状态序列中每个位置的注意力权重，对所述双向隐状态序列进行加权求和，得到融合特征向量。该技术方案将元数据标签的离散属性与分片内数据分布的统计特征深度融合，并通过双向长短期记忆网络捕获数据块间的顺序依赖关系，再通过注意力机制自适应地突出关键信息，使融合特征向量能够精细刻画分片的安全需求和访问模式，为智能决策提供高质量特征表达。

12、作为本发明的一个优选技术方案，输出数据分片的防护等级、访问控制列表和存储节点映射的过程包括：将所述融合特征向量分别输入第一分类头、第二分类头和第三分类头；所述第一分类头使用softmax函数对所述融合特征向量进行映射，将映射结果中概率最大值对应的防护等级作为所述防护等级；所述第二分类头计算所述融合特征向量与预配置的权限候选模板之间的余弦相似度，选取余弦相似度最高的三个权限候选模板，并将选取的三个权限候选模板合并为所述访问控制列表，所述访问控制列表包含用户标识、操作类型和有效时间段；所述第三分类头对所述融合特征向量进行线性映射，得到每个候选存储节点的评分，将评分最高的候选存储节点作为所述存储节点映射中的目标存储节点，并在所述元数据标签中记录所述目标存储节点的节点编号。通过多任务分类头并行处理，能够同时输出分片所需的防护强度、具体访问控制规则以及最优存储位置，实现安全策略与资源调度的协同优化，缩短决策链路并提升响应效率。

13、作为本发明的一个优选技术方案，按存储节点映射将数据分片发送至存储节点的过程包括：根据所述存储节点映射中的目标存储节点的节点编号，查询全局服务目录获取所述目标存储节点的网络地址；将所述数据分片封装为传输消息，所述传输消息的头部携带所述元数据标签，所述传输消息的载荷携带所述数据分片；采用传输层安全协议将所述传输消息发送至所述网络地址；实时记录每个数据分片的发送时间、目的节点和消息长度，并生成发送日志；当所述目标存储节点返回接收确认后，将所述发送日志更新为已确认状态。该过程通过元数据标签携带与加密传输，保障了分片在传输链路上的完整性和机密性，同时发送日志的实时记录与确认机制增强了传输过程的可审计性和可靠交付能力。

14、作为本发明的一个优选技术方案，在存储节点上按防护等级加密数据分片的过程包括：当所述防护等级为第一等级时，在所述目标存储节点上使用对称加密算法对所述数据分片进行加密；当所述防护等级为第二等级时，在所述目标存储节点上使用属性基加密算法对所述数据分片进行加密，并将属性基加密算法生成的属性密钥绑定到所述访问控制列表中的用户标识；当所述防护等级为第三等级时，在所述目标存储节点上使用同态加密算法对所述数据分片进行加密，并将同态加密算法生成的同态公钥存储到所述目标存储节点的公钥证书中；将加密后的数据分片切分为多个冗余块，按照纠删码策略将所述多个冗余块分发至所述目标存储节点内的不同磁盘分区，并记录各冗余块与磁盘分区的对应关系。根据防护等级动态选择对称加密、属性基加密或同态加密，能够在安全强度与计算开销之间取得平衡；结合冗余分块和纠删码策略，即使部分磁盘分区出现故障，也能通过剩余冗余块恢复数据分片，显著提升数据持久性和可用性。

15、作为本发明的一个优选技术方案，将访问控制列表写入存储节点的访问控制管理器的过程包括：将所述访问控制列表序列化为json结构，并在所述json结构中添加所述数据分片的所述防护等级和所述元数据标签；计算所述json结构的哈希值，将所述哈希值作为所述访问控制列表的版本标识；将所述访问控制列表与所述版本标识以键值对形式写入所述目标存储节点的访问控制管理器；所述访问控制管理器将所述版本标识同步至与所述目标存储节点连接的备份节点，所述备份节点根据所述版本标识更新本地缓存中的访问控制列表副本。通过附加防护等级和元数据标签并计算版本标识，既保证了访问控制列表与具体数据分片的绑定关系，又借助版本同步机制在存储节点和备份节点之间维持访问控制策略的一致性，防止配置不同步导致的越权访问。

16、作为本发明的一个优选技术方案，访问控制管理器按访问控制列表对目标用户鉴权的过程包括：所述访问控制管理器接收所述目标用户发送的访问令牌，所述访问令牌包含所述目标用户的用户标识和请求操作类型；在所述访问控制列表中查找与所述用户标识匹配的第一权限条目；判断所述第一权限条目中的操作类型集合是否包含所述请求操作类型；若所述操作类型集合包含所述请求操作类型，则进一步检查当前时间是否在所述访问控制列表中的有效时间段内，并检查所述目标用户的信任值是否大于预设信任阈值；若所述当前时间在所述有效时间段内且所述信任值大于所述预设信任阈值，则向所述目标用户输出所述数据分片的解密密钥，并将所述目标用户的本次访问行为写入审计日志。通过用户标识、操作类型、有效时间段和信任值的多条件联合校验，形成了细粒度的动态鉴权机制，只有同时满足身份合法、操作授权、时间有效且行为可信的用户才能获得解密密钥，兼顾了数据安全与合规审计要求。

17、在上述技术方案中，本发明提供的技术效果和优点：

18、通过第一深度神经网络提取数据块的语义特征向量，并根据语义特征向量的局部密度峰值将数据块划分为数据分片。具体将数据块内数值型字段、文本字段和时序字段分别编码为子向量并拼接，输入三层门控残差网络，输出归一化的语义特征向量；对语义特征向量进行主成分分析降维，计算每个特征点的局部密度及与更高密度点之间的最小距离，标记密度峰值点并以密度峰值为起始形成临时簇，再按来源时间戳排序生成数据分片。该方案使分片边界与数据内在的语义聚类结构保持一致，语义相似、关联紧密的数据块聚合在同一分片内，消除了常规固定窗口切分造成的信息割裂，提升了分片内数据的上下文完整性。在后续加密存储和访问控制时，同一分片内数据的同质特性使得防护操作更具针对性，减少了跨分片关联查询的开销。

19、引入第二深度神经网络融合元数据标签与数据分片的数据分布，输出防护等级、访问控制列表和存储节点映射。将元数据标签中的来源标识、分片序号采用one-hot编码，与分片内数据块的长度、类型和熵值组成的统计向量拼接，得到融合输入；利用双向长短期记忆网络和注意力层对融合输入进行序列化编码和加权，生成融合特征向量。融合特征向量分别进入第一分类头、第二分类头和第三分类头，第一分类头通过softmax映射输出防护等级，第二分类头计算与预配置权限候选模板的余弦相似度并合并前三项生成访问控制列表，第三分类头对候选存储节点评分确定目标存储节点。该方式将数据分片的来源构成、内部统计特性与安全需求直接关联，实现从数据特征到安全策略和存储位置的端到端自主决策。防护等级随分片数据的异构程度和敏感特征动态变化，访问控制列表自动生成细粒度的用户标识、操作类型和有效时间段，存储节点映射同时兼顾数据防护要求与存储资源状态，替代了人工预设的固定策略。由此得到的动态安全边界能够适应多源数据流的持续变化，在无人工干预情况下保持对数据分片的精细化保护和合理存储分布。