一种信息调查大数据分析方法与流程

本发明涉及大数据查询处理，具体为一种信息调查大数据分析方法。

背景技术：

1、在社会态势感知、大规模消费者心智追踪等信息调查领域，调研主体通过网络问卷、电话访问、移动应用埋点等渠道回收的原始调研数据中，普遍存在机器批量填答、结构化字段逻辑矛盾以及同质化生成文本等低信度样本，上述数据通常存储于支持统计查询、模糊查询、分布式查询等特殊类型查询的大数据查询引擎中，供业务人员发起聚合统计，目前业界针对该类数据普遍采用的最接近技术方案为批处理流水线模式：原始数据先全量落盘，再由离线数据清洗工具集群进行规则过滤、去重、异常值剔除等批量处理，随后将处理结果导入分析型数据库，最后由聚合算子对满足查询条件的记录赋予相同权重进行累加统计，该方案存在以下不足：一方面，离线清洗环节通常以小时甚至天为周期，导致统计结果相对原始数据存在明显滞后，难以满足实时态势感知场景对秒级时延的需求，另一方面，聚合算子对满足条件的全部记录无差别赋权，一旦清洗规则存在漏检，残留的低信度样本将与真实样本同权参与统计，导致统计结果偏离真实调研情况，为此，我们提出一种信息调查大数据分析方法。

技术实现思路

1、本发明的目的在于提供一种信息调查大数据分析方法。

2、本发明要解决的技术问题是：如何在不进行离线批量数据清洗的前提下，使大数据查询引擎在统计查询的执行阶段就能原生地、实时地感知调研数据样本的信度差异，并据此对聚合统计结果进行动态加权校正，从而在保证查询时效性的同时，输出抗噪、高保真的统计分析结果，克服现有聚合算子对满足条件记录无差别赋权而导致统计结果失真的问题；

3、为解决上述技术问题，本发明提供一种信息调查大数据分析方法，应用于支持算子扩展与执行计划重写的大数据查询引擎，所述方法包括：接收用户提交的统计类查询语句，生成包含扫描算子节点和聚合算子节点的逻辑执行计划，判断所述聚合算子节点对应的聚合函数是否属于预设的信度敏感型聚合函数集合，在判定所述聚合函数属于所述信度敏感型聚合函数集合的情况下，生成物理执行计划时在所述扫描算子节点与所述聚合算子节点之间插入信度评分算子节点，调度执行引擎按流水线方式执行所述物理执行计划，由扫描算子读取未经离线清洗的原始调研记录并输出至信度评分算子，由信度评分算子对每条调研记录计算对应的信度分值，并将调研记录与信度分值组成的二元组下推至聚合算子，由聚合算子依据接收到的二元组，以信度分值作为权重对调研记录中待统计指标字段的数值进行加权聚合运算，得到经信度加权校正的统计结果；

4、在上述技术方案的基础上，信度评分算子可进一步将调研记录拆分为结构化字段子集和非结构化文本字段子集，分别通过逻辑约束规则树校验和文本语义相似度判定得到逻辑一致性得分与文本语义得分，并将二者按预设权重系数线性融合，得到综合信度分值，聚合算子可进一步依据信度总和与加权数值总和计算信度加权统计估计值，并结合信度加权平方偏差计算置信区间校准值，输出更具统计意义的结果。

5、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

6、1.本发明将信度检验逻辑下推至数据扫描阶段并与数据读取同步在内存中完成，无需等待离线数据清洗，从而缩短统计查询的端到端时延，满足实时统计场景的时效性需求；

7、2.本发明以信度评分算子实时计算的动态信度分值替代恒定权重参与聚合运算，使低信度样本在统计结果中被自动降权而非无差别计入，在不进行显式数据清洗的情况下提升统计结果与真实调研情况的一致程度；

8、3.本发明通过双通路信度计算方式兼顾结构化字段与非结构化文本字段的信度评估，并结合置信区间校准值，提升统计结果的可信度与可解释性。

1.一种信息调查大数据分析方法，应用于支持算子扩展与执行计划重写的大数据查询引擎，其特征在于，所述方法包括：

2.根据权利要求1所述的一种信息调查大数据分析方法，其特征在于：所述信度评分算子对每条调研记录计算对应的信度分值，包括：

3.根据权利要求2所述的一种信息调查大数据分析方法，其特征在于：所述预设权重系数包括第一权重系数和第二权重系数，所述第一权重系数与所述逻辑一致性得分相乘、所述第二权重系数与所述文本语义得分相乘后相加得到所述信度分值，所述第一权重系数与所述第二权重系数之和为1，在调研记录不包含非结构化文本字段子集的情况下，所述第二权重系数取值为0，所述第一权重系数取值为1。

4.根据权利要求1所述的一种信息调查大数据分析方法，其特征在于：所述聚合算子依据接收到的所述二元组进行加权聚合运算，包括：

5.根据权利要求2所述的一种信息调查大数据分析方法，其特征在于：所述信度评分算子利用单指令多数据流指令集，对同一批次内多条调研记录的逻辑约束规则树校验计算和词嵌入向量化计算分别进行并行加速处理。

6.根据权利要求1所述的一种信息调查大数据分析方法，其特征在于：所述聚合算子以所述信度分值作为权重输入至近似流式统计结构中，通过维护所述近似流式统计结构的增量更新，得到近似的加权统计估计值。

7.根据权利要求1所述的一种信息调查大数据分析方法，其特征在于，还包括：在原始调研记录写入存储介质时，由后台异步任务对已落盘的历史调研记录批量计算初始信度分值，并将所述初始信度分值作为元数据附加存储，所述信度评分算子在对调研记录计算信度分值时，针对已存在所述初始信度分值的调研记录直接读取该初始信度分值，针对不存在所述初始信度分值的调研记录执行实时信度计算。

8.一种信息调查大数据分析系统，其特征在于，包括查询解析器、查询优化器、执行引擎和结果输出模块；

9.根据权利要求8所述的一种信息调查大数据分析系统，其特征在于，所述信度评分算子包括逻辑约束规则树校验模块和文本语义判定模块，所述逻辑约束规则树校验模块用于对调研记录中的结构化字段子集进行冲突检测得到逻辑一致性得分，所述文本语义判定模块用于将调研记录中的非结构化文本字段子集映射为语义向量并计算得到文本语义得分，所述信度评分算子依据所述逻辑一致性得分和所述文本语义得分融合得到信度分值。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的信息调查大数据分析方法。