一种基于区块链哈希算法技术的数据存储与数据检索方法与流程

摘要: 本发明涉及机器学习,尤其涉及一种基于区块链哈希算法技术的数据存储与数据检索方法。背景技术:1、机器学习是让计算机通过数据训练,自动发现规律并做出预测决策的技术,...
一种基于区块链哈希算法技术的数据存储与数据检索方法与流程

本发明涉及机器学习,尤其涉及一种基于区块链哈希算法技术的数据存储与数据检索方法。

背景技术:

1、机器学习是让计算机通过数据训练,自动发现规律并做出预测决策的技术,现有技术一般对数据统一分块后,用固定哈希算法计算哈希值并构建默克尔树,根哈希上链、原始数据存链下;用精确关键词遍历链上映射表匹配,命中后重算哈希与链上比对验证,并进行检索串行执行。

2、现有技术无法准确理解语义意图,导致遗漏关键隐患,并且有效结果偏低需要二次筛选,一旦验证失败需重新检索,响应时间从秒级拉长至分钟级,严重压缩黄金救援时间,在实际中,火情突发且指挥员需频繁快速检索的特殊场景下,现有方法存在语义理解严重偏离的技术问题,要么遗漏相邻楼层的烟雾浓度变化趋势、温度上升速率等相关信息,导致态势研判不完整;要么由于检索的数据量庞大,黄金救援时间被严重压缩,尤其在检索请求具有高频次、多轮次、时间紧迫的特殊情况下,语义的偏离会累积放大,导致关键的关联数据持续遗漏,或检索延迟持续叠加,最终严重影响火情救援。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于区块链哈希算法技术的数据存储与数据检索方法,解决了现有技术无法准确理解语义意图,导致海量无关记录或遗漏关键隐患,并且有效结果偏低需要二次筛选,一旦验证失败需重新检索,响应时间从秒级拉长至分钟级,严重压缩黄金救援时间的技术问题。

2、为解决上述技术问题,本发明提供了如下技术方案:

3、一种基于区块链哈希算法技术的数据存储与数据检索方法的步骤为:采集目标数据的原始数据集,根据原始数据集通过统计阈值降噪双流特征融合处理,得到多维特征向量集;

4、基于多维特征向量集进行多分类策略映射与动态加盐超平面转移编码处理,得到特征哈希值集和内容哈希值集,对内容哈希值集与特征哈希值集进行键值对交叉索引驱动参数修正处理,得到动态锚定索引包;

5、对动态锚定索引包和多维特征向量集进行文件寻址哈希锚定处理,得到链上映射记录表和模型存证扩展表;

6、获取用户原始查询串,根据用户原始查询串、链上映射记录表和模型存证扩展表通过动态编码与最近邻动态调整,生成初始相似候选集,基于初始相似候选集进行多重哈希验证与反馈生成处理,得到语义验证候选集与相关性排序结果;

7、对语义验证候选集和相关性排序结果进行可信验证与增量学习反馈处理,得到可信检索反馈日志。

8、优选的,根据原始数据集通过统计阈值降噪双流特征融合处理,包括:基于原始数据集进行统计阈值噪声抑制处理,生成清洗后标准化数据集;

9、根据清洗后标准化数据集通过内容长度动态切分处理,得到标准化数据块与元数据标签;

10、对标准化数据块与元数据标签进行并联双流特征融合处理,得到多维特征向量集。

11、优选的,基于多维特征向量集进行多分类策略映射与动态加盐超平面转移编码处理,包括:基于多维特征向量集进行多分类策略映射处理,生成哈希策略标签集;

12、对多维特征向量集和哈希策略标签集进行轮数动态加盐哈希处理,得到内容哈希值集;

13、根据多维特征向量集通过随机超平面转移编码处理,得到特征哈希值集。

14、优选的,对内容哈希值集与特征哈希值集进行键值对交叉索引驱动参数修正处理,包括:基于内容哈希值集与特征哈希值集进行键值对交叉索引处理,生成双轨关联映射元组集;

15、对特征哈希值集与双轨关联映射元组集进行深度强化学习自适应阈值聚类处理,得到特征相似度聚类分组集;

16、根据特征相似度聚类分组集与内容哈希值集通过哈希聚合二次反馈修正处理,得到动态锚定索引包。

17、优选的,根据特征相似度聚类分组集与内容哈希值集通过哈希聚合二次反馈修正处理,包括:根据特征相似度聚类分组集与内容哈希值集通过深度可调节哈希聚合处理,得到分层哈希树结构;

18、基于分层哈希树结构进行轻量级默克尔根压缩处理,生成压缩根哈希;

19、对分层哈希树结构、压缩根哈希和特征相似度聚类分组集进行二次反馈奖励驱动参数修正处理,得到动态锚定索引包。

20、优选的,对动态锚定索引包和多维特征向量集进行文件寻址哈希锚定处理,包括:根据动态锚定索引包和多维特征向量集通过文件系统内容寻址处理,得到链下存储内容标识符集;

21、基于链下存储内容标识符集与动态锚定索引包进行多键值哈希索引映射处理,生成链上映射记录表;

22、对链上映射记录表进行模型快照哈希锚定处理,得到模型存证扩展表。

23、优选的,根据用户原始查询串、链上映射记录表和模型存证扩展表通过动态编码与最近邻动态调整,包括:对用户原始查询串进行动态掩码语义编码处理,得到查询语义特征向量;

24、基于查询语义特征向量、模型存证扩展表和链上映射记录表进行乘积量化近似最近邻搜索与动态阈值调整处理,生成初始相似候选集。

25、优选的,基于初始相似候选集进行多重哈希验证与反馈生成处理,包括:根据初始相似候选集通过布隆过滤器多重哈希验证处理,得到区块内布隆校验通过集;

26、对区块内布隆校验通过集进行实时期权哈希重算处理,得到重算内容哈希集与重算特征哈希集;

27、基于重算内容哈希集、重算特征哈希集和链上映射记录表进行双轨哈希反馈生成处理,生成语义验证候选集与相关性排序结果。

28、优选的,基于重算内容哈希集、重算特征哈希集和链上映射记录表进行双轨哈希反馈生成处理,包括:基于重算内容哈希集、重算特征哈希集和链上映射记录表进行双轨哈希异或比对处理,生成哈希一致性验证结果集;

29、根据哈希一致性验证结果集和链上映射记录表通过稀疏默克尔树多路径验证与模型版本比对处理,得到路径完整可信候选集;

30、对路径完整可信候选集、查询语义特征向量和哈希一致性验证结果集进行双因子排序阈值截断反馈处理,生成语义验证候选集与相关性排序结果。

31、优选的,对路径完整可信候选集、查询语义特征向量和哈希一致性验证结果集进行双因子排序阈值截断反馈处理,包括:对路径完整可信候选集、查询语义特征向量和哈希一致性验证结果集进行双因子感知排序处理,得到综合评分特征向量集;

32、基于综合评分特征向量集进行稳定排序与阈值截断及反馈生成处理,生成语义验证候选集与相关性排序结果。

33、借由上述技术方案,本发明提供了一种基于区块链哈希算法技术的数据存储与数据检索方法,至少具备以下有益效果:

34、本发明通过机器学习分类器识别不同消防数据类型,并动态选择哈希算法参数,大体积视频和热像数据获得更高压缩率处理,轻量数值数据采用快速哈希节省算力;同时强化学习模型根据实时碰撞率,与存储开销反馈动态调整聚类阈值与树深度,使树结构在碰撞率可控前提下,保持最扁平状态,这样既提升了存储效率,又减少了哈希计算量并缩短验证路径;火情突发数据激增时,既避免了处理器占用率飙升导致的数据丢失,又确保了各区域感知数据完整上链存证。

35、并且基于语义编码器,将自然语言查询转化为语义特征向量,实现以意搜数的语义检索能力,能召回语义相关但关键词不匹配的数据;同时将哈希验证产生的信任标志,作为排序模型的核心输入,验证通过的样本获得排序优势、失败的样本被自动降权,这样既解决了关键词检索无法理解语义意图、遗漏关键隐患的问题,又使得检索结果不仅语义相关又数据可信,避免了搜得到但不可信,或可信但搜不到的两难。

36、同时,将布隆过滤器校验、双轨哈希比对、默克尔路径验证嵌入检索流程中间环节,使验证与检索并行推进;再通过初次召回与二次精排的双层筛选以及平均评分回传动态调整检索阈值,实现宽进严出的渐进式检索,既保证有效结果比例较高,又将响应时间大幅缩短,具体火情中,全数据综合检索从数十分钟缩短至数分钟,使得消防救援效率显著提升。