基于分布式存储的餐饮商户业务数据数字化管理方法与流程

本发明涉及云计算及分布式数据存储管理，具体为基于分布式存储的餐饮商户业务数据数字化管理方法。

背景技术：

1、分布式存储系统通常由多个存储节点组成集群，通过数据分片与多副本复制实现数据的高可用存储，其中分布式数据库用于承载结构化数据，基于日志结构合并树实现数据的顺序写入与后台合并压缩，分布式对象存储用于承载非结构化的音视频数据，通用的冷热数据分层技术一般基于最近最少使用或最不经常使用算法，统计数据块在时间窗口内的访问次数与访问时间，将访问频率低的数据块迁移至低成本存储介质，访问频率高的数据块保留在高速存储介质中。

2、与本发明最接近的现有技术方案为基于通用分布式存储系统构建的餐饮门店数据管理系统，该方案中门店边缘端设备分别采集结构化订单数据与非结构化音视频数据并分别写入不同的存储通道，结构化数据上传至云端分布式数据库集群，非结构化数据上传至云端分布式对象存储集群，云端存储管理模块基于访问频率统计周期性扫描各数据分片的历史访问记录以判定数据冷热等级，当需要检索某笔订单关联的监控视频时，需人工根据订单时间与门店编号在对象存储系统中进行检索与比对定位。

3、上述现有方案中，冷热分层仅依赖通用访问频率统计指标，未考虑餐饮行业特有的业务语义，导致低频但高业务价值的数据被错误归档，结构化数据与非结构化数据分别存储且缺乏底层关联索引，跨模态检索依赖人工比对，效率低下，此外，午晚高峰期极端并发易导致存储集群热点倾斜与节点抖动，影响前端业务实时性。

技术实现思路

1、本发明要解决的技术问题是：现有分布式存储技术在应用于连锁餐饮商户多模态业务数据的数字化管理时，冷热数据分层仅依赖访问频率等通用统计指标，无法感知餐饮行业特有的业务语义，导致低频但高业务价值的数据被错误归档、调取缓慢，餐饮行业午晚高峰期极端时空并发导致分布式集群产生热点数据倾斜与节点抖动，影响门店前端业务的实时性，结构化交易数据与非结构化媒体数据分别存储、缺乏统一底层关联索引，导致跨模态数据检索效率低下。

2、现有分布式存储通用冷热分层技术（如lru、lfu算法）普遍将访问频率作为判定数据存储价值的唯一或主要依据，此为本领域长期存在的技术偏见，据此思路，业务价值高但访问频率低的数据必然被归档至低速存储介质，本申请突破该技术偏见，引入业务标签熔断阈值强制覆写机制，使食品安全风险、退款投诉、供应链异常等高业务价值标签评分超过阈值的数据不因访问频率低而被错误归档为冷数据，从而取得该领域通用方案未能实现的数据分层准确性提升效果。

3、为解决上述技术问题，本发明提供基于分布式存储的餐饮商户业务数据数字化管理方法，运行于包括门店边缘采集层与云端分布式结构化存储集群、非结构化存储集群的边云协同分布式存储系统，所述方法包括如下内容：

4、其一，门店边缘采集层采集结构化订单交易数据与非结构化视频数据，并为每一条订单事务生成事务标识、物理空间坐标及时间戳，同时提取该订单事务关联的业务标签，所述业务标签包括食品安全风险标签、退款投诉标签及供应链异常标签。

5、其二，将所述事务标识、物理空间坐标及时间戳按照预设字段顺序拼接后进行哈希运算，生成锚点索引键，并以所述锚点索引键为叶子节点构建跨模态混合索引树，每个叶子节点同时挂载指向结构化存储集群中对应订单记录的存储地址指针以及指向非结构化存储集群中对应视频帧切片的偏移量指针，实现单次哈希查找即可双向穿透定位关联的结构化数据与非结构化数据。

6、其三，根据数据块的历史访问次数及每次访问的时间戳计算访问频率时间衰减评分，根据所述业务标签计算动态业务权重因子，将两者按预设融合系数加权求和得到综合温度评分，当业务标签中任一项评分超过预设熔断阈值时，将对应数据块强制判定为热数据，该强制判定优先于依据综合温度评分进行的冷热等级判定，否则依据综合温度评分与预设高温阈值、低温阈值的比较结果确定数据块的冷热等级。

7、其四，根据历史访问日志构建历史潮汐图谱，结合当前时刻的实时访问热度预测未来时刻的数据访问热度，当预测访问热度超过预设分片阈值时，在预测的高峰时段到来之前对相应数据分片执行预分裂操作，根据前述冷热等级对数据块进行分层迁移，且迁移的调度时机避开所述潮汐预测所识别的高峰时段，在实际高峰时段检测到存储节点写入并发量超过预设并发阈值时，将写入请求先写入内存缓冲区并以顺序追加日志方式记录，待缓冲区达到预设合并触发条件后异步合并写入主存储结构，且该合并过程不对存储节点加锁、不触发物理重分布。

8、其五，当接收到针对指定事务标识的异常回溯请求时，根据所述跨模态混合索引树定位对应叶子节点，并依据该叶子节点内的两个指针同时读取对应的结构化订单记录与非结构化视频帧切片，完成跨模态一致性追溯。

9、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

10、一是通过业务标签与访问频率时间衰减评分融合计算数据温度，并对超过熔断阈值的高业务价值数据强制标记为热数据，使得低频但高业务价值的数据能够被准确识别并保留在高速存储层，避免关键数据被错误归档；

11、二是通过以事务标识、物理空间坐标与时间戳构建的跨模态混合索引树，使结构化交易数据与非结构化媒体数据在底层建立统一关联索引，实现单次哈希查找即可双向穿透定位，提升跨模态数据的检索效率；

12、三是通过融合历史潮汐图谱与实时访问热度进行前置预测性分片，并结合无锁合并写入机制处理高并发写入请求，降低门店业务高峰期因热点倾斜与节点重分布导致的前端设备响应卡顿概率；

13、四是使分层迁移动作的调度时机主动规避潮汐预测识别的高峰时段，将分层判定结果与跨模态索引树结合服务于异常回溯场景，实现结构化数据与非结构化数据的协同高效管理。

1.基于分布式存储的餐饮商户业务数据数字化管理方法，其特征在于，运行于包括门店边缘采集层、云端分布式结构化存储集群与云端非结构化存储集群的边云协同分布式存储系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述访问频率时间衰减评分通过对数据块在统计窗口内每一次访问对应的时间衰减值求和得到，其中每一次访问对应的时间衰减值随着该次访问发生时刻与当前时刻之间的时间间隔增大而减小。

3.根据权利要求1所述的方法，其特征在于，所述动态业务权重因子根据所述食品安全风险标签、所述退款投诉标签及所述供应链异常标签各自对应的评分，按照预设权重系数加权求和得到，所述预设权重系数之和为1。

4.根据权利要求1所述的方法，其特征在于，所述跨模态混合索引树包括根哈希节点、中间层节点和叶子节点层，所述中间层节点按照门店编号与日期分区进行划分并存储该分区下所有事务的哈希聚合值，所述根哈希节点存储全部中间层节点哈希值的聚合摘要，新增所述叶子节点时，按照所属门店编号与日期分区将该叶子节点挂载至对应的中间层节点，并自下而上重新计算并更新对应中间层节点及所述根哈希节点的聚合值。

5.根据权利要求1所述的方法，其特征在于，所述预分裂操作包括将预测为热点的数据分片打散为多个子分片，并将所述多个子分片分布至不同的存储节点。

6.根据权利要求1所述的方法，其特征在于，还包括：在实际高峰时段，实时监测各存储节点的写入并发量，当检测到写入并发量超过预设并发阈值时，将写入请求先写入内存中的缓冲区并以顺序追加日志的方式记录，待所述缓冲区达到预设的合并触发条件后，将所述缓冲区中记录的写入内容异步合并写入对应存储集群的主存储结构，且所述异步合并过程不对存储节点执行加锁操作，也不触发存储节点的物理重分布。

7.根据权利要求1所述的方法，其特征在于，所述分层迁移步骤中，根据数据块的冷热等级将该数据块从当前所处的存储介质层级迁移至与该冷热等级对应的存储介质层级，所述迁移的调度时机为门店业务访问量低于预设低谷阈值的时段。

8.基于分布式存储的餐饮商户业务数据数字化管理系统，其特征在于，包括：

9.根据权利要求8所述的系统，其特征在于，所述潮汐预测弹性调度层还用于在检测到存储节点的写入并发量超过预设并发阈值时，触发无锁削峰模式，将写入请求转换为顺序追加日志写入内存缓冲区，并在所述缓冲区达到预设合并触发条件后异步合并写入所述云端分布式存储层，所述异步合并过程不触发存储节点的物理重分布。