一种基于云边协同的茶叶特征数据管理方法及系统与流程

本发明涉及云边协同数据处理，尤其涉及一种基于云边协同的茶叶特征数据管理方法及系统。

背景技术：

1、在边缘计算与云端协同的茶叶质量追溯场景中，各茶园、茶叶加工车间部署边缘采集节点采集茶叶产地、加工等多类特征数据，依托端云协同架构实现本地数据预处理与云端全局联合分析，该数据管理流程的核心目标，是完成多源异构茶叶数据标准化清洗，并精准挖掘产地、加工工艺与茶叶品质的内在关联，实现全域茶叶品质智能化评估。

2、然而，现有端云协同方案并未针对多源茶叶异构数据建立统一元数据基准完成异构差异量化判定，由于各个产地的边缘设备部署时间不同、供应商差异、本地化定制等原因，上传的特征数据在字段命名、数值量纲、编码格式上存在显著差异，这种差异直接导致云端无法直接对来自不同节点的数据进行统一处理，边缘节点在数据采集过程中会因为传感器故障、人工录入错误、网络传输干扰等因素混入噪声记录，这些噪声记录在文本描述层面表现为语义的偏离，这种语义层面的偏移会导致在后续的跨区域品质分析中，扭曲不同产地、不同工艺之间的真实品质关联，使得基于多源数据融合的质量评价结果失去可信度，最终导致整个追溯体系无法提供准确的茶叶品质判断依据。

3、因此，现有技术受限于边缘节点采集的茶叶特征数据异构性强、噪声干扰大的缺陷，难以完成跨区域茶叶品质关联分析，进一步使得茶叶产品质量追溯体系难以输出精准可靠的茶叶品质判断依据的问题。

技术实现思路

1、本发明提供了一种基于云边协同的茶叶特征数据管理方法及系统，以解决现有云边协同方案未针对多源异构茶叶特征数据建立统一元数据基准、缺乏字段定义自动提取与语义去噪能力，导致跨区域茶叶品质关联分析结果不准确，进而使茶叶产品质量追溯体系难以输出精准可靠的茶叶品质判断依据的问题。

2、第一方面，为了解决上述技术问题，本发明提供了一种基于云边协同的茶叶特征数据管理方法，包括：

3、获取边缘节点上传的茶叶初始描述数据，对所述茶叶初始描述数据进行解析，得到结构化的茶叶初始特征数据；

4、对所述茶叶初始特征数据中的各键值对进行遍历，通过预设条件随机场模型对各键值对中的键名与数值文本进行序列标注，将序列标注结果与预设的茶叶特征专业词典库进行匹配，根据匹配置信度提取各键值对的字段定义与数值标准；

5、将所述字段定义与所述数值标准，与预设的元数据规范基准库中的基准字段定义和基准数值标准进行比对，得到综合差异值，根据所述综合差异值与预设异构阈值的比较结果判定所述茶叶初始特征数据的异构特性，并进行标准化转换，得到茶叶的标准描述数据集；

6、提取所述标准描述数据集中的文本描述信息，计算语义偏移量并剔除噪声记录，得到茶叶的产地标识信息与加工工艺信息并进行跨区品质关联分析，根据品质关联分析结果映射预设的评价规则库，生成分析结果。

7、第二方面，本发明提供了一种基于云边协同的茶叶特征数据管理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的方法的步骤。

8、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的方法的步骤。

9、相比于现有技术，本发明具有如下有益效果：

10、（1）本发明通过预设条件随机场模型对茶叶初始特征数据的键值对进行序列标注，并与预设的茶叶特征专业词典库匹配后提取字段定义与数值标准，从而将各边缘节点命名不一、量纲各异的原始字段自动映射为统一的标准字段与数值标准；由于字段定义源自领域词典的标准条目而非节点本地命名，因此消除了多源节点在字段命名与编码格式上的异构性，为跨节点数据的一致性处理建立了统一的元数据基准。

11、（2）本发明将字段定义与数值标准分别在结构维度和数值分布维度上与元数据规范基准库比对，得到第一差异值与第二差异值并整合为综合差异值后与预设异构阈值比较；由于该判定同时刻画了字段结构映射偏差与数值分布偏差两个相互独立的维度，相比单一维度比对可更全面地量化异构程度，从而在标准化转换前精准识别真正需要清洗的异构数据，避免对本已规范的数据做无谓转换而引入误差。

12、（3）本发明先对文本描述信息向量化后计算其与预设标准特征向量的语义相似度值，据此确定语义偏移量，再基于语义偏移量的分布统计特征进行异常分类计算并按异常置信度剔除噪声记录；由于噪声在文本语义层面表现为相对标准语义的偏移，以语义偏移量的统计分布作为异常判据可识别出量纲正常但语义失真的记录，从而在跨区品质关联分析前去除会扭曲关联结果的语义噪声，使最终的跨区域品质关联分析结果更准确、品质判断依据更可信。

1.一种基于云边协同的茶叶特征数据管理方法，其特征在于，包括：

2.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述对所述茶叶初始描述数据进行解析，得到结构化的茶叶初始特征数据，包括：

3.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述根据匹配置信度提取各键值对的字段定义与数值标准，包括：

4.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述将所述字段定义与所述数值标准，与预设的元数据规范基准库中的基准字段定义和基准数值标准进行比对，得到综合差异值，根据所述综合差异值与预设异构阈值的比较结果判定所述茶叶初始特征数据的异构特性，包括：

5.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述进行标准化转换，得到茶叶的标准描述数据集，包括：

6.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述提取所述标准描述数据集中的文本描述信息，计算语义偏移量并剔除噪声记录，包括：

7.根据权利要求1所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述得到茶叶的产地标识信息与加工工艺信息并进行跨区品质关联分析，根据品质关联分析结果映射预设的评价规则库，生成分析结果，包括：

8.根据权利要求6所述的基于云边协同的茶叶特征数据管理方法，其特征在于，所述当所述异常置信度大于预设判定阈值时，将对应数据记录判定为噪声记录并剔除，还包括：

9.一种基于云边协同的茶叶特征数据管理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的基于云边协同的茶叶特征数据管理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。