一种异构消费行为信号的缺失重建及准入控制方法与流程

本发明涉及计算机数据处理、大数据预处理、异构观测信号语义对齐、缺失交互信号重建和数据质量控制，尤其涉及在同一数据源中同时在完整互动值、仅有序位信息、页面缺失、采集异常及混合状态时，对不同状态进行分轨处理并通过验证门控控制估算信号传播的计算机实现方法。

背景技术：

1、在餐饮及其他消费行为数据采集场景中，同一信息平台的不同实体可能展示不同类型的交互信号：部分记录存在真实互动数值，部分记录仅保留当前序位信息，还可能出现有效零值、空值、页面未展示、采集失败及混合状态。

2、不同互动字段的统计对象、时间窗口和页面展示逻辑可能不同。若将各种缺失状态统一插补，或直接把当前序位转换为绝对互动量，容易把不可比较的数据语义强制混合。有效零值与页面缺失、采集异常也具有不同的数据含义。

3、此外，如果仅依据当前序位生成估算结果而没有独立的留出验证或实体级遮蔽验证，估算误差可能直接传播至后续聚合和计算过程。因此，需要一种能够区分原始状态、统一完整轨和序位轨数据语义，并通过独立验证控制估算结果准入的数据处理方法。

技术实现思路

1、本发明要解决的技术问题是：降低异构消费行为观测数据中不同缺失状态语义混淆、完整观测轨与序位估算轨量纲不一致、序位映射训练自验证以及低可靠估算结果向后续数据处理传播所造成的数据污染。

2、为解决上述问题，本发明提供一种异构消费行为信号的缺失重建及准入控制方法。该方法包括原始状态识别、完整观测轨相对化、同批完整实体映射学习、序位估算轨同语义重建、实体级遮蔽验证、准入控制以及统一输出。

3、其中，原始状态识别将有效数值和有效零值视为完整观测；对于互动数值缺失但仍具有当前序位信息的记录，进入序位估算轨；对于采集失败等异常状态，不强制估算；对于混合状态，仅保留能够确认的真实记录并保留异常标识。

4、完整观测轨中的真实互动值首先在各自实体的当前可观察集合内转换为相对份额，使不同实体之间不直接比较绝对互动规模。随后仅使用同一采集批次内同时具有真实互动值和当前序位信息的完整观测实体，学习当前序位至真实相对份额统计代表值的映射关系。

5、对于仅保留当前序位信息的记录，系统依据所述映射关系生成候选相对值，并在对应实体的当前可观察集合内进行归一化，得到与真实相对份额具有相同数据语义的估算相对份额，而不恢复不可验证的绝对互动数值。

6、为控制所述映射关系的可靠性，系统对其执行实体级遮蔽验证。验证目标实体的真实互动值在验证过程中被隐藏，但其当前序位信息保留；用于该目标实体验证的映射关系由其他完整观测实体建立，不包含该目标实体。系统将重建结果与目标实体被隐藏的真实相对份额比较，根据一个或多个预定指标生成验证准入状态。仅在验证满足预定准入条件时，估算相对份额才被允许进入后续处理；否则执行失败关闭。

7、采用上述方案，可区分有效零值、业务缺失和采集异常，减少不同缺失语义被统一插补造成的数据污染；通过真实轨相对化和同批映射学习，使缺失轨重建值与真实轨处于相同数据语义；通过实体级遮蔽验证减少训练样本自验证；通过失败关闭降低低可信估算进入下游处理链的概率。

1.一种异构消费行为信号的缺失重建及准入控制方法，其特征在于，包括：获取多个实体在同一采集批次内的消费行为观测数据，所述观测数据至少包括互动数值状态和当前序位信息中的一种；对所述消费行为观测数据执行原始状态识别，将有效数值和有效零值划入完整观测轨，将互动数值缺失但存在当前序位信息的记录划入序位估算轨，并将采集异常记录标记为异常状态而不进行强制估算；对于所述完整观测轨，依据各记录的真实互动值在对应实体的当前可观察集合内生成总和为1的真实相对份额；仅利用所述同一采集批次内同时具有真实互动值和当前序位信息的完整观测实体，按照当前序位聚合所述真实相对份额，建立当前序位至真实相对份额统计代表值的映射关系；对于所述序位估算轨，根据对应记录的当前序位从所述映射关系获得候选相对值，并在对应实体的当前可观察集合内归一化为总和为1的估算相对份额，使所述估算相对份额与所述真实相对份额具有相同的数据语义，而不生成缺失的绝对互动数值；对所述映射关系执行实体级遮蔽验证，其中隐藏目标完整观测实体的真实互动值而保留其当前序位，并在建立用于该目标实体验证的映射关系时排除所述目标实体，以重建所述目标实体的估算相对份额；将所述目标实体的估算相对份额与其被隐藏的真实相对份额基于一个或多个预定验证指标进行比较，并生成验证准入状态；以及仅当所述验证准入状态满足预定准入条件时，允许使用所述估算相对份额作为估算轨统一偏好值进入后续数据处理；当所述验证准入状态不满足预定准入条件时，对相应估算轨执行失败关闭，阻断其与完整观测轨的统一偏好值合并。

2.根据权利要求1所述的方法，其特征在于，有效零值被视为真实观测值而不被视为缺失值；页面未展示、空值状态与采集失败状态分别保存原始状态标识。

3.根据权利要求1所述的方法，其特征在于，对于实体s中的记录i，所述真实相对份额按照下式计算：thumb_share_si=(thumb_si+c/m_s)/(σ_j thumb_sj+c)，其中thumb_si为真实互动值，m_s为进入计算的记录数量，c为平滑强度参数。

4.根据权利要求1所述的方法，其特征在于，所述映射关系通过按当前序位r聚合同一采集批次完整观测实体中的真实相对份额而形成，聚合代表值采用均值、中位数、分位统计量或经平滑后的统计代表值中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述映射关系按预定分组建立；当细分组样本量不足时，按照预定层级回退至更粗分组或全体完整观测样本，并记录映射版本、分组标识、回退层级、训练批次和样本数量中的至少三项。

6.根据权利要求1所述的方法，其特征在于，对于序位估算轨中的记录i，根据其当前序位从对应分组的映射关系获得候选值q_si，并按照estimated_share_si=q_si/(σ_j q_sj)在对应实体的当前可观察集合内归一化，使所述估算相对份额之和为1。

7.根据权利要求1所述的方法，其特征在于，将完整观测轨的真实相对份额和通过准入的序位估算轨的估算相对份额统一存储为统一偏好值，同时保存信号来源、原始状态、映射版本、回退层级和验证状态中的至少三项，以保持真实轨和估算轨的可审计区分。

8.根据权利要求1所述的方法，其特征在于，所述实体级遮蔽验证为品牌级遮蔽交叉验证：依次选取具有完整观测数据的品牌作为目标品牌，在映射关系训练阶段排除该目标品牌，并基于该品牌保留的当前序位重建估算相对份额。

9.根据权利要求1所述的方法，其特征在于，所述预定验证指标包括排序一致性、头部记录重合程度、偏好集中程度误差和系统性高估或低估偏差中的至少一种。

10.根据权利要求1所述的方法，其特征在于，当验证状态表征样本不足时，使用更粗层级的映射关系重新执行验证；若重新验证仍不满足准入条件，则保持估算轨隔离、输出不可估算状态或进入人工审核。

11.一种异构消费行为信号处理系统，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使所述处理器执行权利要求1至10任一项所述的方法。

12.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使所述电子设备执行权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。