一种基于大数据分析的食品质量分析方法及系统与流程

本发明涉及食品质量管理，尤其涉及一种基于大数据分析的食品质量分析方法及系统。

背景技术：

1、随着食品生产规模扩大和质量管理数字化程度提高，针对原料、加工、检测及仓储等环节的食品质量分析技术受到广泛关注。现有食品企业通常通过质量管理系统、生产监测设备和检测系统分别采集数据，并采用固定阈值、统计分析或相关性分析方法识别异常批次，但是在实际应用中普遍存在以下问题：

2、食品质量数据来源分散，字段格式、采样周期和记录时间不一致，部分设备记录缺少批次标识，现有归集方式难以按照产品批次准确关联质量对象与质量事件，容易出现跨批次数据混入和质量关系缺失；不同食品类别和质量阶段的正常状态存在差异，固定基线或全局图分析方法难以表征质量状态的动态变化，并容易在图特征交互中引入其他批次的无关信息，导致异常识别结果不稳定；各质量阶段的持续时间及影响滞后不同，传统相关性分析或固定时间滞后的因果分析方法难以适配各质量阶段，容易遗漏延迟出现的风险因素或引入无关变量，且难以结合质量传递路径形成连续的质量影响链，影响异常批次处置优先级及管理决策信息的准确确定。

3、因此，如何提供一种基于大数据分析的食品质量分析方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于大数据分析的食品质量分析方法及系统，本发明采用改进graphormer模型与pcmci算法相结合的方法，通过批次归集和时空对齐构建时空质量关联图，并设置有向路径编码和批次隔离机制，表征质量传递方向，阻断不同产品批次之间的无关特征交互；在此基础上，根据历史批次构建动态质量基线，识别质量异常指标，并在pcmci算法中设置阶段自适应时滞，结合关联图反向搜索形成风险因素排序结果和质量影响链，实现异常批次识别、风险追溯及处置优先级确定，具有跨批次干扰少、异常识别准确、影响链清晰和管理决策针对性强的优点。

2、根据本发明实施例的一种基于大数据分析的食品质量分析方法及系统，包括如下步骤：

3、1、一种基于大数据分析的食品质量分析方法，其特征在于，包括如下步骤：

4、s1、采集食品质量及管理数据，按产品批次归集，生成食品质量数据集；

5、s2、清洗所述食品质量数据集并进行时空对齐，生成标准化质量特征集；

6、s3、以所述产品批次为主键，关联质量对象与质量事件，构建时空质量关联图；

7、s4、将所述时空质量关联图输入改进graphormer模型，采用有向路径编码表征质量传递路径，并通过批次隔离机制隔离跨批次交互，生成批次质量状态表示；

8、s5、统计历史批次质量状态表示并构建动态质量基线，比较所述批次质量状态表示与所述动态质量基线，生成质量异常指标集；

9、s6、根据质量阶段设置时间滞后，采用设置阶段自适应时滞的pcmci算法分析所述质量异常指标与风险因素的因果关系，结合所述时空质量关联图进行反向路径搜索，生成风险因素排序结果和质量影响链；

10、s7、根据所述风险因素排序结果和所述质量影响链确定质量等级、异常批次及处置优先级，输出食品质量分析报告和管理决策信息。

11、可选的，所述s1具体为：

12、从食品企业质量管理系统中获取批次登记信息，提取批次编号、食品类别、生产任务标识和形成时间，按照所述批次编号确定产品批次；

13、从质量检测系统和生产监测设备中读取食品检测结果及加工状态记录，形成质量数据；

14、从食品企业质量管理系统中读取与所述产品批次对应的业务执行记录，形成管理数据；

15、从所述质量数据和所述管理数据中提取数据来源、记录时间及食品对象标识，并将提取结果写入对应数据记录，生成食品质量及管理数据；

16、读取每条食品质量及管理数据中的批次编号，并与对应的产品批次进行匹配；

17、对于未记录批次编号的食品质量及管理数据，根据所述批次登记信息确定各产品批次对应的生产经营时段，并结合记录时间和食品对象标识确定对应的产品批次；

18、按照所述产品批次对匹配后的食品质量及管理数据进行归集，并根据记录时间排列同一产品批次内的数据记录，生成食品质量数据集。

19、可选的，所述s2具体为：

20、获取所述食品质量数据集，按照数据来源和字段类型对各数据记录进行格式解析，识别重复记录、缺失字段及格式异常字段；

21、删除内容相同的重复记录，根据同一产品批次内相邻记录的字段值补全缺失字段，并将格式异常字段转换为对应的目标格式，得到清洗后的食品质量数据；

22、从所述清洗后的食品质量数据中提取记录时间和数据产生位置，根据统一时间基准转换所述记录时间，并按照所述产品批次对应的生产经营顺序对转换后的记录时间进行排列；

23、将所述数据产生位置映射至对应的质量阶段，并将各数据记录按照转换后的记录时间和所述质量阶段进行对齐，得到时空对齐数据；

24、对所述时空对齐数据中的数值型字段进行量纲统一和归一化处理，对类别型字段进行编码处理，并将处理后的字段按照产品批次进行组合，生成标准化质量特征集。

25、可选的，所述s3具体为：

26、获取所述标准化质量特征集和所述产品批次，提取各产品批次对应的批次标识，生成批次节点集合；

27、从所述标准化质量特征集中提取质量对象标识和对应的属性字段，按照相同质量对象标识合并属性字段，生成质量对象节点集合；

28、根据各数据记录对应的操作类型和记录时间划分质量事件，并将同一操作类型下连续发生的数据记录合并为一个质量事件，生成质量事件节点集合；

29、以所述产品批次为关联主键，将所述批次节点集合分别与所述质量对象节点集合及所述质量事件节点集合建立批次归属边；

30、根据所述质量事件的发生顺序建立事件时序边，并根据相邻质量阶段之间的质量对象流转关系建立质量传递边；

31、将记录时间和数据产生位置写入对应节点及关系边，组合所述批次节点集合、所述质量对象节点集合、所述质量事件节点集合及各关系边，构建时空质量关联图。

32、可选的，所述改进graphormer模型包括节点嵌入模块、路径编码模块、批次隔离模块、图编码模块和状态输出模块，所述路径编码模块中设置有向路径编码，所述批次隔离模块中嵌入批次隔离机制；

33、将所述时空质量关联图中的节点属性、节点类型和记录时间输入所述节点嵌入模块，分别执行数值映射和编码处理，将对应结果拼接后通过全连接层映射至统一维度，生成节点初始特征序列；

34、将所述关系边输入所述路径编码模块，根据关系边方向和质量事件顺序计算节点间的有向路径距离与路径次序，将计算结果转换为路径特征向量，生成有向路径特征矩阵；

35、将所述产品批次和所述节点初始特征序列输入所述批次隔离模块，为每一产品批次建立批次图令牌，将每一批次图令牌作为特殊节点映射至所述统一维度并加入所述节点初始特征序列，按照批次归属关系将节点与对应的批次图令牌连接，生成批次节点组；所述批次隔离机制对同一产品批次内的节点设置交互标识，对不同产品批次内的节点设置隔离标识，生成批次隔离矩阵；

36、将所述节点初始特征序列、所述有向路径特征矩阵和所述批次隔离矩阵输入所述图编码模块，所述图编码模块包括多头自注意力层、残差归一化层和前馈网络层；所述多头自注意力层将各节点初始特征向量映射为查询向量、键向量和值向量，将查询向量与键向量逐维相乘并累加，再将累加结果除以向量维数的平方根，得到节点相关性数值；将对应的路径特征向量输入线性映射层，得到路径修正值，并将所述路径修正值与所述节点相关性数值相加，得到路径修正相关性数值；

37、根据所述批次隔离矩阵保留具有交互标识的路径修正相关性数值，将具有隔离标识的路径修正相关性数值置为屏蔽值，对保留的路径修正相关性数值进行归一化，得到节点交互系数，将所述节点交互系数与对应的值向量逐维相乘并累加，生成节点聚合特征序列；

38、所述残差归一化层将所述节点聚合特征序列与所述节点初始特征序列逐维相加并执行归一化，所述前馈网络层对归一化结果进行线性映射和非线性变换，生成节点编码特征序列；

39、将所述节点编码特征序列输入所述状态输出模块，按照所述批次节点组进行平均池化，提取批次图令牌特征，将平均池化结果与所述批次图令牌特征拼接并进行维度映射，生成批次质量状态表示。

40、可选的，所述批次隔离机制具体为：

41、在所述批次隔离模块中，获取所述批次节点组及所述节点初始特征序列，读取各节点对应的产品批次，并按照节点排列顺序建立节点批次映射表；

42、从所述节点批次映射表中选取任一节点作为目标节点，逐一比较所述目标节点与其余节点对应的产品批次；

43、当所述目标节点与另一节点对应同一产品批次时，将两个节点之间的关联位置设置为交互标识，并将另一节点加入所述目标节点对应的批次内交互节点集合；

44、当所述目标节点与另一节点对应不同产品批次时，将两个节点之间的关联位置设置为隔离标识，并将另一节点加入所述目标节点对应的跨批次隔离节点集合；

45、将每一批次图令牌与对应产品批次内全部节点之间的关联位置设置为交互标识，并将所述批次图令牌与其他产品批次内节点之间的关联位置设置为隔离标识；

46、按照所述节点排列顺序将各节点之间的交互标识和隔离标识写入二维矩阵，生成批次隔离矩阵；

47、将所述批次隔离矩阵与所述有向路径特征矩阵按照节点位置进行匹配，保留交互标识对应的路径特征向量，将隔离标识对应的位置设置为屏蔽位置；

48、在所述图编码模块进行节点信息聚合时，保留所述批次内交互节点集合对应的节点特征，阻断所述跨批次隔离节点集合对应的节点特征参与目标节点的特征累加。

49、可选的，所述s5具体为：

50、从所述标准化质量特征集中读取各产品批次对应的食品类别和质量阶段，并从历史批次质量状态表示中筛选与待分析产品批次的食品类别及质量阶段相同的批次，形成历史参考批次集合；

51、按照记录时间对所述历史参考批次集合中的历史批次质量状态表示进行排序，选取预设数量的相邻历史批次质量状态表示，生成动态参考状态集合；

52、对所述动态参考状态集合中相同维度的状态值进行累加，并将累加结果除以所述动态参考状态集合包含的历史批次质量状态表示数量，得到各维度的状态均值；

53、分别计算各历史批次质量状态表示与所述状态均值在相同维度上的差值，并对差值的绝对值进行平均，得到各维度的状态波动值，将数值为零的状态波动值替换为预设最小波动值；

54、将各维度的状态均值和对应的状态波动值按照特征维度顺序进行组合，构建动态质量基线；

55、获取所述批次质量状态表示，将各维度的状态值与所述动态质量基线中对应的状态均值进行相减并取绝对值，得到状态偏差值；

56、将各状态偏差值分别除以对应的状态波动值，得到标准化偏差序列；

57、将所述标准化偏差序列中的各标准化偏差值与预设偏差阈值进行比较，提取超过所述预设偏差阈值的特征维度，并按照特征维度与质量指标之间的对应关系进行映射，生成质量异常指标集。

58、可选的，所述s6具体为：

59、获取所述质量异常指标集、所述标准化质量特征集和所述时空质量关联图，将各质量异常指标映射至所述时空质量关联图中对应的质量对象节点或质量事件节点，生成异常指标节点集合；

60、以所述异常指标节点集合中的节点为起点，沿所述质量传递边的反方向提取上游节点，并将所述上游节点对应的质量特征确定为风险因素；

61、按照记录时间分别排列各质量异常指标和各风险因素对应的特征值，生成异常指标时序及风险因素时序；

62、获取各风险因素对应质量阶段的开始时间和结束时间，将所述结束时间与所述开始时间相减，得到阶段持续时间，将所述阶段持续时间除以数据采样间隔，并对所得商值进行向上取整，得到阶段滞后阶数；

63、所述pcmci算法设置阶段自适应时滞，分别将各风险因素对应的阶段滞后阶数设定为该风险因素与质量异常指标之间的最大时间滞后；

64、将所述异常指标时序和所述风险因素时序输入pcmci算法，在各风险因素对应的最大时间滞后内选取滞后变量，通过pc筛选对所述滞后变量与质量异常指标执行条件独立性检验，删除满足条件独立关系的滞后变量，生成候选父变量集合；

65、对所述候选父变量集合中的各候选父变量执行瞬时条件独立性检验，计算各候选父变量与质量异常指标之间的条件依赖强度，保留条件依赖强度超过预设依赖阈值的候选父变量，生成时滞因果关系集合；

66、将所述时滞因果关系集合映射至所述时空质量关联图，以各异常指标节点为起点进行反向路径搜索，保留包含所述时滞因果关系的反向路径，生成候选质量影响路径；

67、将各风险因素对应的条件依赖强度与对应质量异常指标的标准化偏差值相乘，得到风险贡献值，按照所述风险贡献值从大到小排列对应的风险因素，生成风险因素排序结果；

68、按照质量阶段和时间滞后排列所述候选质量影响路径中的节点，并将相同起点和终点的连续路径进行合并，生成质量影响链。

69、可选的，所述s7具体为：

70、获取所述质量异常指标集、所述风险因素排序结果和所述质量影响链，按照所述产品批次确定各质量异常指标、风险因素及质量影响链对应的产品批次；

71、统计每一产品批次对应的质量异常指标数量，读取各风险因素在所述风险因素排序结果中的排列位置，将风险因素总数减去所述排列位置后加一，得到风险排序值，并将同一产品批次对应的风险排序值进行累加，得到批次风险排序值；计算各质量影响链包含的质量阶段数量，并将同一产品批次对应的质量阶段数量进行累加，得到批次影响阶段数量；

72、分别对所述质量异常指标数量、所述批次风险排序值和所述批次影响阶段数量进行归一化处理，将同一产品批次对应的归一化结果进行累加，得到批次质量风险值；

73、将所述批次质量风险值与预设质量等级区间进行匹配，确定各产品批次对应的质量等级，并将批次质量风险值超过预设异常阈值的产品批次确定为异常批次；

74、按照所述批次质量风险值从大到小排列各异常批次，当多个异常批次的批次质量风险值相同时，按照所述批次影响阶段数量从大到小进行二次排列，形成处置优先级；

75、按照所述产品批次汇集对应的质量等级、质量异常指标集、风险因素排序结果、质量影响链和处置优先级，生成食品质量分析报告；

76、根据所述质量等级和所述处置优先级匹配对应的质量复检、批次隔离或生产调整操作，生成管理决策信息。

77、根据本发明实施例的一种基于大数据分析的食品质量分析系统，包括如下模块：

78、数据归集模块，用于采集食品质量及管理数据，按照产品批次进行归集，生成食品质量数据集；

79、特征处理模块，用于清洗所述食品质量数据集并进行时空对齐，生成标准化质量特征集；

80、关联图构建模块，用于以所述产品批次为主键，关联质量对象与质量事件，构建时空质量关联图；

81、状态分析模块，用于将所述时空质量关联图输入改进graphormer模型，通过有向路径编码和批次隔离机制进行图特征处理，生成批次质量状态表示；

82、异常分析模块，用于统计历史批次质量状态表示并构建动态质量基线，比较所述批次质量状态表示与所述动态质量基线，生成质量异常指标集；

83、风险追溯模块，用于根据质量阶段设置时间滞后，采用设置阶段自适应时滞的pcmci算法分析所述质量异常指标与风险因素的因果关系，并结合所述时空质量关联图进行反向路径搜索，生成风险因素排序结果和质量影响链；

84、决策输出模块，用于根据所述风险因素排序结果和所述质量影响链确定质量等级、异常批次及处置优先级，输出食品质量分析报告和管理决策信息。

85、本发明的有益效果是：

86、本发明通过改进graphormer模型与pcmci算法的串联分析，针对食品质量及管理数据来源分散、批次标识不完整和时空关系不一致的问题，采用批次归集、数据清洗与时空对齐生成标准化质量特征集，以产品批次为主键关联质量对象与质量事件，构建时空质量关联图；在质量状态分析环节，通过有向路径编码表征质量因素的传递方向与事件次序，并利用批次图令牌和批次隔离机制阻断不同产品批次之间的无关特征交互，生成批次质量状态表示；针对不同食品类别和质量阶段正常波动不一致的问题，根据历史批次质量状态表示构建动态质量基线，通过状态均值和状态波动值识别质量异常指标；在风险追溯环节，根据各质量阶段持续时间设置阶段自适应时滞，通过pcmci算法筛选风险因素，结合时空质量关联图反向搜索传递路径，生成风险因素排序结果和质量影响链，减少固定时滞造成的风险因素遗漏和无关变量引入，最终确定质量等级、异常批次及处置优先级，输出食品质量分析报告和管理决策信息。