一种数据动态过滤与分发的方法、系统及存储介质与流程

本技术主要涉及计算机领域，尤其涉及一种数据动态过滤与分发的方法、系统及存储介质。

背景技术：

1、在计算机数据处理与网络资源动态调度系统中，对海量数据的筛选以及资源配额等系统资源分配，通常依赖静态规则公式或人工设定的固定阈值完成。系统运行前，相关计算规则和阈值被预先写入代码或配置文件；运行过程中，系统按照固定规则对数据进行筛选，并依据公式计算结果分配资源，规则与阈值不会根据实时数据反馈自动调整。

2、然而，该现有技术仍存在以下不足：固定公式和静态阈值依赖预先设定的历史经验，难以随数据特征分布和竞争环境的变化而自适应调整，模型泛化能力较弱。同时，单维静态过滤主要依据流量特征、阈值等表层条件进行判断，难以识别包含无效意图、非目标分类或不具备转化价值的数据，致使系统算力和系统资源持续消耗在无转化价值的数据节点上，资源无效损耗较大。

3、此外，现有技术中的数据筛选与资源分配多采用单通道固定分配方案。所有通过筛选的数据被放入同一处理通道或队列中，按照单一维度统一分配资源，系统不区分高确定性优质数据与待测试新数据，各类数据共享同一资源池。

4、但在单通道架构下，对已有高价值数据的利用与对新数据的探索相互混流，二者在同一资源池中形成竞争。系统难以同时保障高确定性数据的资源供给和新数据的低成本试错：若对新数据开放资源，新数据可能抢占核心数据所需的资源配额、分配阈值和分发通道；若限制新数据资源，又会压制潜在优质数据的验证与发现。混流分配容易拉低整体系统效率，资源分配的定向性和稳定性不足。

5、此外，现有技术的数据流转通常采用静态数据库或静态层级管理机制。数据一旦被放入某个层级的处理队列或资源库中，往往长期停留在原层级；除非运维人员查阅反馈报表并手动转移，否则系统不会根据实时转化表现对数据进行自动升级或降级，缺乏自动化的全生命周期管理闭环。

6、但数据层级一旦确定便相对固化，表现优异的探索期数据无法自动获取更多资源，高潜力新数据的价值难以及时挖掘；表现衰退的核心数据也无法被及时降级，系统持续在表现不佳的数据节点上消耗计算资源和分发通道，导致整体流转效率和资源利用效益下降。同时，层级调整依赖人工报表核查与手动操作，调整周期长、人力成本高，且难以适配转化数据的延迟性与波动性，容易出现响应滞后或判断偏差。

技术实现思路

1、本技术的一个目的是提供一种数据动态过滤与分发的方法、系统及存储介质，解决现有技术中静态规则与固定阈值无法自适应环境变化、单通道资源分配导致高价值数据与探索数据资源抢占、数据层级固化缺乏自动化全生命周期流转的不足的问题。

2、根据本技术的一个方面，提供了一种数据动态过滤与分发的方法，该方法包括：

3、获取初始数据集合，对所述数据集合执行多级预处理过滤；

4、将通过过滤的数据项分别路由至第一通道与第二通道，所述第一通道与第二通道为相互独立的并行数据处理队列，并基于资源调度模型对所述第一通道和所述第二通道执行差异化资源分配；

5、为各数据项分别建立有限状态机，按预设周期获取各数据项在历史数据窗口内自身产生的交互数据与转化数据，对所述转化数据进行时间对齐补偿；

6、基于所述交互数据与补偿后的转化数据，计算所述第一通道与第二通道中各数据项的转化效率上限置信度与下限置信度，根据所述上限置信度与下限置信度，执行数据项在两通道间的动态流转，并对进入所述第一通道或第二通道未满预设保护周期的数据项跳过流转计算。

7、可选地，所述对所述数据集合执行多级预处理过滤包括：

8、基于预设的语义黑名单规则库，对所述数据集合中各数据项的文本内容进行匹配，剔除包含全局负向词根的数据项；

9、解析剔除后剩余的各数据项的分类标签，将分类标签不符合目标分类的数据项进行阻断，得到阻断后数据项。

10、可选地，所述多级预处理过滤还包括：

11、提取所述阻断后数据项中的实体标签，若所述实体标签对应的品牌不属于预设核心品牌集合，则将该数据项隔离至独立的对比数据库，不参与所述第一通道与第二通道的数据处理流程；

12、对隔离至所述对比数据库的数据项执行拉黑阻断处理，使所述对比数据库中的数据项不再获得资源分配与展示机会，并在关联展示场景下禁用对所述对比数据库中的数据项的触发机制。

13、可选地，所述多级预处理过滤还包括：

14、提取所述阻断后数据项的流量特征和竞争环境特征，剔除所述流量特征小于预设第一阈值的数据项，得到第一筛选数据项；

15、基于所述第一筛选数据项的流量特征和竞争环境特征计算综合评估因子，过滤所述综合评估因子不满足预设条件的数据项，得到第二筛选数据项；

16、提取所述第二筛选数据项中各数据项的历史最高消耗边界与历史最低消耗边界，在所述历史最高消耗边界缺失、所述历史最低消耗边界缺失或所述历史最低消耗边界大于行业基准值时，过滤所述第二筛选数据项中对应的数据项。

17、可选地，所述基于资源调度模型对所述第一通道与第二通道执行差异化资源分配包括：

18、为所述第一通道与第二通道分别配置不同权重的系统资源总量，其中所述第一通道的资源总量权重大于所述第二通道的资源总量权重；

19、对所述第一通道中的数据项采用偏向资源上限的分配策略，对所述第二通道中的数据项采用偏向资源下限的分配策略。

20、可选地，所述方法还包括：

21、分别基于非线性评估模型确定所述偏向资源上限的分配策略和所述偏向资源下限的分配策略；

22、所述非线性评估模型以数据项的历史最高消耗边界、历史最低消耗边界和行业基准值作为输入，根据数据项所属通道输出对应的单项资源分配阈值；

23、其中，所述第一通道的单项资源分配阈值偏向所述历史最高消耗边界一侧，所述第二通道的单项资源分配阈值偏向所述历史最低消耗边界一侧。

24、可选地，所述将通过过滤的数据项分别路由至第一通道与第二通道包括：

25、按照流量特征的排名选取前n个数据项路由至所述第一通道，其中n为预设正整数，其余数据项路由至所述第二通道；

26、所述第一通道和第二通道分别对应两个独立的资源分配单元，通过调整各资源分配单元的资源配额实现系统资源的差异化分配，其中，所述第一通道对应的资源分配单元具有大于所述第二通道的单项资源分配阈值和整体资源配额，且包含的数据项数量少于所述第二通道对应的资源分配单元。

27、可选地，所述分别配置不同权重的系统资源总量包括：

28、根据所述第一通道中数据项的转化效率综合评估结果，调节所述第一通道占系统资源总量的资源配额比例，使所述资源配额比例与所述第一通道的转化效率综合评估结果正相关，并设定所述资源配额比例的下限约束值和上限约束值。

29、可选地，所述有限状态机包括探索态、核心态和负向淘汰态；

30、所述动态流转包括数据项由所述探索态迁移至所述核心态的晋升流转、由所述核心态回退至所述探索态的降级流转、以及由所述探索态迁移至所述负向淘汰态的淘汰流转。

31、可选地，所述晋升流转包括：

32、对于处于所述探索态的数据项，获取所述数据项的交互特征量；

33、在所述交互特征量达到预设激活阈值、所述数据项的转化效率上限置信度大于所述第一通道的统计基准值、且所述数据项的转化效率下限置信度大于所述第一通道的统计基准值的预设波动范围时，将所述数据项从所述第二通道迁移至所述第一通道并将所述数据项的状态更新为所述核心态；

34、其中，每一流转周期内迁移至所述第一通道的数据项数量不超过预设的单次最大流转数量上限，当符合晋升条件的数据项数量超过所述单次最大流转数量上限时，按照综合评估因子排序选取前所述单次最大流转数量上限对应数量的数据项执行晋升。

35、可选地，所述降级流转包括：

36、对于处于所述核心态的数据项，在所述数据项的转化效率上限置信度低于预设的绝对安全下限且低于所述第一通道的统计基准值时，将所述数据项从所述第一通道迁移至所述第二通道并将所述数据项的状态更新为所述探索态。

37、可选地，所述淘汰流转包括：

38、对于处于所述探索态的数据项，在所述数据项的转化效率上限置信度低于预设淘汰基准且低于所述第二通道的统计基准值的预设波动范围时，将所述数据项的状态更新为所述负向淘汰态，并停止向所述数据项分配资源；

39、将处于所述负向淘汰态的数据项对应的搜索词加入搜索词黑名单，并通过广告平台接口设置所述搜索词黑名单，使所述搜索词不再获得曝光。

40、可选地，所述对所述转化数据进行时间对齐补偿包括：

41、根据历史转化延迟分布拟合转化延迟分布函数，基于所述转化延迟分布函数对在延迟转化窗口内尚未产生完整转化数据的数据项的未来转化量进行预估；

42、将预估得到的转化量与已回传的转化量进行整合，得到所述补偿后的转化数据。

43、可选地，所述对进入所述第一通道或第二通道未满预设保护周期的数据项跳过流转计算，包括：

44、记录各数据项进入当前所属通道的时间，并根据所述时间确定各数据项进入当前所属通道的时长；

45、对所述时长小于所述预设保护周期的数据项维持当前状态并跳过所述流转计算，对所述时长不小于所述预设保护周期的数据项执行所述流转计算。

46、可选地，在计算所述转化效率上限置信度与下限置信度之前，所述方法还包括：

47、识别并剔除由爬虫或作弊机器人产生的异常交互数据，基于剔除后的交互数据计算所述转化效率上限置信度与下限置信度；

48、其中，所述上限置信度取转化效率预测区间的上界，所述下限置信度取转化效率预测区间的下界。

49、根据本技术另一个方面，还提供一种数据动态过滤与分发的系统，该系统包括：

50、多级预处理过滤模块，用于获取初始数据集合，对所述数据集合执行多级预处理过滤；

51、双通道调度模块，用于将通过过滤的数据项分别路由至第一通道与第二通道，所述第一通道与第二通道为相互独立的并行数据处理队列，并基于资源调度模型对所述第一通道和所述第二通道执行差异化资源分配；

52、状态机流转模块，用于为各数据项分别建立有限状态机，按预设周期获取各数据项在历史数据窗口内自身产生的交互数据与转化数据，对所述转化数据进行时间对齐补偿；基于所述交互数据与补偿后的转化数据计算所述第一通道与第二通道中各数据项的转化效率上限置信度与下限置信度，根据所述上限置信度与下限置信度，执行数据项在两通道间的动态流转，并对进入所述第一通道或第二通道未满预设保护周期的数据项跳过流转计算。

53、根据本技术又一个方面，还提供了一种电子设备，该电子设备包括：

54、一个或多个处理器；以及

55、存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

56、根据本技术再一个方面，还提供了一种计算机可读介质，其上存储有计算机指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

57、与现有技术相比，本技术通过获取初始数据集合，对所述数据集合执行多级预处理过滤；将通过过滤的数据项分别路由至第一通道与第二通道，所述第一通道与第二通道为相互独立的并行数据处理队列，并基于资源调度模型对所述第一通道和所述第二通道执行差异化资源分配；为各数据项分别建立有限状态机，按预设周期获取各数据项在历史数据窗口内自身产生的交互数据与转化数据，对所述转化数据进行时间对齐补偿；基于所述交互数据与补偿后的转化数据，计算所述第一通道与第二通道中各数据项的转化效率上限置信度与下限置信度，根据所述上限置信度与下限置信度，执行数据项在两通道间的动态流转，并对进入所述第一通道或第二通道未满预设保护周期的数据项跳过流转计算。能够在数据处理链路早期过滤无价值数据以降低计算负载，通过双通道路由实现高价值数据与探索数据的资源隔离以避免资源抢占，依托基于置信度的状态机反馈机制构建数据全生命周期自动化流转闭环，减少人工干预、提升资源利用效率与系统运行稳定性。