一种产品追溯信息的管理检索方法、电子设备及存储介质与流程

1.本发明属于产品追溯技术领域，具体涉及一种产品追溯信息的管理检索方法、电子设备及存储介质。


背景技术：

2.随着食物生产和消费规模的扩大，快速发展的食品产业能够有效缓解国内的粮食短缺问题。但近些年来的食品安全事件暴露了食品安全监管机制的积弊，也引起了社会各界对于食品安全问题的重视。
3.当前追溯系统基本是依靠产品追溯码作为数据标识实现产品在生产、加工、销售等环节的追溯信息展示。但在需要对追溯信息进行全局性查询、检索时，比如要查询检索追溯系统所有产品的全部追溯环节里存在的某个特定信息比较困难。原因在于当前追溯系统在对各个追溯环节数据进行管理时，基本是多表结构化存储关联关系，依赖于追溯码(其中包括批次号)作为唯一的数据标识。
4.传统方式的追溯信息检索存在以下缺陷：传统方式通过追溯码(条码)等进行检索时，数据库设计对表的要求严格，存在一个表对应一个品类的商品的检索，扩展性差的问题；对于不同品类、不同属性的商品进行检索时需要采用union方式或者通过结果集合并的方式才能获取到相关数据，在实际应用中不能满足不同品类的通用检索，都必须是明确的字段和单独编写sql语句，存在不能通用的问题；通过竖表方式进行设计时，需要定义各种不同类型的属性配置表，仅通过like进行搜索，存在效率低下的问题。
5.针对不确定的属性的内容进行查询时，关系型数据库查询时编写sql语句，出现不存在的字段，关系型数据库会报错，若进行字段冗余，很有可能达到关系型数据库的字段限制；若关系型数据库采用分表的方式实现，则会出现大量的笛卡尔积导致查询复杂度大无法通用。


技术实现要素：

6.本发明的目的是提供产品追溯信息的管理检索方法、电子设备及存储介质，用以解决现有技术中存在的全局性追溯数据查询检索困难的问题。
7.为了实现上述目的，本发明采用以下技术方案：
8.第一方面，本技术提供一种产品追溯信息的管理检索方法，包括以下步骤：
9.建立追溯数据对象：追溯数据对象是通过追溯码将某批次产品各个供应链环节的元数据绑定在一起形成的某批次产品的一条追溯数据，每条所述追溯数据在系统中被存放为关系型数据，每条追溯数据按照行方式进行存储，关系型数据中每个列代表一种数据属性，不同数据属性定义的数据为该条追溯数据的元数据；
10.对追溯数据对象进行元数据分解：按照最小查询单位将追溯数据对象中的元数据颗粒化，形成原子数据；
11.建立每个追溯产品的全字段数据结构：依据所述原子数据，建立每个批次产品对
应追溯数据对象的全字段数据结构，所述全字段数据结构包含该条追溯数据对象中保存的该批次产品供应链环节中所有追溯环节上传保存的数据内容，同时记录了该条追溯数据对象中每个原子数据的实际存储长度和该追溯数据对象在文件存储位置中的相对偏移量数据信息；对所述全字段数据结构通过唯一的uuid方式进行key标识，key标识作为唯一的uuid对应的全字段数据结构中各个原子数据的唯一标识；
12.建立追溯数据对象的段文件：形成带有key标识的全字段数据结构后，在物理磁盘上存储为数据文件的一个数据块，多个所述数据块形成了一个数据簇，多个所述数据簇形成一个段结构，一个段结构及对应一个段文件；
13.生成段文件的压缩索引文件：把每个全字段数据结构作为内存结构存放到段文件中，通过倒排序索引算法对段文件中全字段数据结构生成倒排索引文件，然后将倒排索引文件生成段文件的压缩索引文件；
14.使用所述压缩索引文件通过key标识对整个段文件进行查询。
15.根据上述技术内容，采用结构化数据转换为非结构化数据的方法可以较好地解决全局性追溯数据查询检索困难的问题。当产品完成全部追溯环节的数据采集录入，形成追溯码后，通过非结构化数据管理方法将所有数据作为一个对象进行分析处理，并生成索引文件，索引文件存放到服务器的文件系统，以此实现聚合检索，高效实现信息查询。当需要查询、检索追溯系统全局中某个特性信息及其所在追溯环节时，系统直接针对索引进行检索，无需追溯码，只要包含有该关键词或者全匹配时，即可通过索引返回所有相关生产环节的数据，大大提高了追溯系统数据应用能力。
16.在一种可能的设计中，通过所述压缩索引文件对所述段文件进行查询过程中，通过反序列化方式将对应的数据结构读取到内存后，加载部分或者全部数据作为进行展示的查询结果数据。
17.相应的，所述反序列化方式是将存放到磁盘的文件内容通过解码算法在计算机内存中还原为明码字符串。
18.在一种可能的设计中，所述按照最小查询单位将追溯数据对象中的元数据颗粒化是将某批次产品对应的追溯数据对象按不同数据属性分解为多个不同的关键字数据。
19.在一种可能的设计中，所述段文件是将内存中的多个数据块通过序列化的方式存放到硬盘上；内存结构通过倒排索引的算法生成索引结构，为搜索提供数据源保障。
20.相应的，所述倒排索引的算法根据原子数据的属性值来查找数据记录；其倒排索引的算法对应的索引表中的每一项都包括一个属性值和具有该属性值数据记录的地址，并包含实际存储长度、该对象在文件存储位置中的相对偏移量。
21.在一种可能的设计中，对追溯检索的结果采用导出文件为表格方式，并将包含查询关键字所在整条追溯数据导出到表格文件，所述表格文件内容包括含所述关键字的所有追溯数据中所有追溯环节的所有字段内容的信息。
22.在一种可能的设计中，通过压缩索引文件进行检索时，根据对应的倒排索引文件在对数据库中追溯数据对象进行任意环节或任意字段的信息搜索，通过对已经生成为原子数据的文件的所有内容进行字段/关键字搜索，以此进行追溯信息的全局检索。
23.第二方面，本技术提供一种电子设备，包括存储器和处理器，所述存储器与处理器之间通过总线相互连接；
24.所述存储器存储计算机执行指令；
25.所述处理器执行存储器存储的计算机执行指令，使得处理器执行如第一方面及第一方面任意一项可能设计的产品追溯信息的管理检索方法。
26.第三方面，本技术提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面及第一方面任意一项可能设计的产品追溯信息的管理检索方法。
27.有益效果：
28.1、本方法采用结构化数据转换为非结构化数据的方法可以较好地解决全局性追溯数据查询检索困难的问题。当产品完成全部追溯环节的数据采集录入，形成追溯码后，通过非结构化数据管理方法将所有数据作为一个对象进行分析处理，并生成索引文件，索引文件存放到服务器的文件系统，以此实现聚合检索，高效实现信息查询。当需要查询、检索追溯系统全局中某个特性信息及其所在追溯环节时，系统直接针对索引进行检索，无需追溯码，只要包含有该关键词或者全匹配时，即可通过索引返回所有相关生产环节的数据，大大提高了追溯系统数据应用能力；
29.2、本方法针对不确定的属性的内容进行查询时，不必像关系型数据库查询时编写sql语句，出现不存在的字段，关系型数据库会报错，若进行字段冗余，很有可能达到关系型数据库的字段限制；若关系型数据库采用分表的方式实现，则会出现大量的笛卡尔积导致查询复杂度大无法通用；
30.3、本方法通过对非结构化索引查询，提高了查询效率，通过索引压缩技术提高了存储空间的利用率，同时无sql语句查询，提升了系统的安全能力。
附图说明
31.图1为实施例中提供的产品追溯信息的管理检索方法的流程示意图。
32.图2为实施例中提供的产品追溯信息的管理检索方法的具体示例的流程示意图。
具体实施方式
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
34.实施例：
35.如图1、图2所示，第一方面，本实施例提供的产品追溯信息的管理检索方法，包括以下步骤：
36.建立追溯数据对象：追溯数据对象是通过追溯码将某批次产品各个供应链环节的元数据绑定在一起形成的某批次产品的一条追溯数据，每条所述追溯数据在系统中被存放为关系型数据，每条追溯数据按照行方式进行存储，关系型数据中每个列代表一种数据属性，不同数据属性定义的数据为该条追溯数据的元数据；例如：芽菜产品的生产过程中田间管理(芽菜种植、养护)、原料来源(采摘、采购)、初加工(去叶、划条、晾晒)、精加工(加料搅
拌、入坛发酵、质量检验)、产品包装、物流运输等供应链环节相关数据；
37.对追溯数据对象进行元数据分解：按照最小查询单位将追溯数据对象中的元数据颗粒化，最小查询单位一般为地址、日期、物料名称、人物姓名等查询关键字；即将某批次产品对应的追溯数据对象，按不同数据属性分解为多个不同的关键字数据，如加工时间、加工地点、班组人员、物料名称、工艺要点等，举例来说如：2022.7.5；青羊区；张三；三聚氰胺；发酵等等；由此，形成原子数据；
38.建立每个追溯产品的全字段数据结构：依据所述原子数据，建立每个批次产品对应追溯数据对象(每条追溯数据)的全字段数据结构，所述全字段数据结构包含该条追溯数据对象中保存的该批次产品供应链环节中所有追溯环节上传保存的数据内容，同时记录了该条追溯数据对象中每个原子数据的实际存储长度和该追溯数据对象在文件存储位置中的相对偏移量数据信息；对所述全字段数据结构通过唯一的uuid方式进行key标识，key标识作为唯一的uuid对应的全字段数据结构中各个原子数据的唯一标识；
39.建立追溯数据对象的段文件：形成带有key标识的全字段数据结构后，在物理磁盘上存储为数据文件的一个数据块，多个所述数据块形成了一个数据簇，多个所述数据簇形成一个段结构，一个段结构及对应一个段文件；
40.生成段文件的压缩索引文件：把每个全字段数据结构作为内存结构存放到段文件中，通过倒排序索引算法对段文件中全字段数据结构生成倒排索引文件，然后将倒排索引文件生成段文件的压缩索引文件；
41.使用所述压缩索引文件通过key标识对整个段文件进行查询。
42.在一种可能的实施方式中，通过所述压缩索引文件对所述段文件进行查询过程中，通过反序列化方式将对应的全字段数据结构读取到内存后，加载部分或者全部数据作为进行展示的查询结果数据。
43.相应的，所述反序列化方式是将存放到磁盘的文件内容通过解码算法在计算机内存中还原为明码字符串。检索时直接对倒排索引文件进行比对，快速定位相关的所有记录。
44.在一种可能的实施方式中，所述按照最小查询单位将追溯数据对象中的元数据颗粒化是将某批次产品对应的追溯数据对象按不同数据属性分解为多个不同的关键字数据，
45.在一种可能的实施方式中，所述段文件是将内存中的多个数据块通过序列化的方式存放到外部存储即硬盘上；内存结构通过倒排索引的算法生成索引结构，为搜索提供数据源保障。
46.相应的，所述倒排索引的算法根据原子数据的属性值来查找数据记录；其倒排索引的算法对应的索引表中的每一项都包括一个属性值和具有该属性值数据记录的地址，并包含实际存储长度、该对象在文件存储位置中的相对偏移量(不是由数据记录来确定属性值，而是由属性值来确定数据记录的位置)。
47.在一种可能的实施方式中，对追溯检索的结果采用导出文件为表格方式，并将包含查询关键字所在整条追溯数据导出到表格文件，所述表格文件内容包括含所述关键字的所有追溯数据中所有追溯环节的所有字段内容的信息。例如，文件导出为excel方式将包含查询关键字所在整条追溯数据导出到xlsx文件，xlsx文件内容包括含这个关键字的所有追溯数据中所有追溯环节的所有字段内容信息，便于统计、汇总。
48.在一种可能的实施方式中，通过压缩索引文件进行检索时，根据对应的倒排索引
文件在对数据库中追溯数据对象进行任意环节或任意字段的信息搜索，通过对已经生成为原子数据的文件的所有内容进行字段/关键字搜索，以此进行追溯信息的全局检索。
49.具体实施时，本方法针对不确定的属性的内容进行查询时，不必像关系型数据库查询时编写sql语句，出现不存在的字段，关系型数据库会报错，若进行字段冗余，很有可能达到关系型数据库的字段限制；若关系型数据库采用分表的方式实现，则会出现大量的笛卡尔积导致查询复杂度大无法通用。
50.本方法通过对非结构化索引查询，提高了查询效率，通过索引压缩技术提高了存储空间的利用率，降低数据库检索时耗占的资源负担，同时无sql语句查询，提升了系统的安全能力。
51.本方法能够在追溯系统中迅速定位任意填报过的关键字的位置，实现高效的全局性检索，便于排除特定的质量安全隐患。
52.具体实施时，本方法不仅适用于追溯系统查询、检索，也可以应用到与其他各类具有不同属性需要全局搜索的应用场景。例如对科技情报机构的标准数据的聚合查询、对大型商超的商品品类管理的全数据查询等领域。
53.第二方面，本技术提供一种电子设备，包括存储器和处理器，所述存储器与处理器之间通过总线相互连接；所述存储器存储计算机执行指令；所述处理器执行存储器存储的计算机执行指令，使得处理器执行如第一方面及第一方面任意一项可能实施方式中所述的产品追溯信息的管理检索方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(random-access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、先进先出存储器(first input first output，fifo)和/或先进后出存储器(first input last output，filo)等等；所述处理器可以不限于采用型号为x86、internet系列的处理器的或其他微处理器；所述收发器可以但不限于为有线收发、无线保真(wireless fidelity，wifi)无线收发器、蓝牙无线收发器、通用分组无线服务技术(general packet radio service，gprs)无线收发器和/或紫蜂协议(基于ieee802.15.4标准的低功耗局域网协议，zigbee)无线收发器等。此外，所述电子设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
54.第三方面，本技术提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面及第一方面任意一项可能设计的产品追溯信息的管理检索方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。
55.本实施例第三方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能实施的方式中所述的交互方法，于此不再赘述。
56.本实施例第四方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如在第一方面或第一方面中任意一种可能实施的方式中所述的产品追溯信息的管理检索方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。
57.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明
的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。