针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质与流程

1.本发明涉及大数据技术领域，尤其涉及复杂数据处理技术领域，具体是指一种针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质。


背景技术：

2.多个网络节点设备组成的集群，接收大量高并发的复杂数据(如图像、声音、视频等数据)处理任务项，任务项存在一定概率的重复，并且每个任务都需要消耗较大算力或需要人工判断才能得到最终结果。由于复杂数据存储字节数较大且具备唯一性，重复的任务项在不同节点之间重复处理得到的结果数据是一致的，因此上述过程将消耗不必要的资源，重复处理的结果相对于第一次处理的时效性也相对较差。此外，复杂数据可能伴随相应的特征描述信息，该信息与复杂数据共同决定了处理结果。
3.现有技术对每个任务项依次执行，未考虑重复性和实时性。消耗了不必要的资源，且时效性较差，不具有实用性。


技术实现要素：

4.本发明的目的是克服了上述现有技术的缺点，提供了一种轻量化、快速化且有效化的针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质。
5.为了实现上述目的，本发明的针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质如下：
6.该针对复杂数据进行轻量处理并实现结果共享的方法，其主要特点是，所述的方法包括以下步骤：
7.(1)创建新线程，接收复杂数据处理任务；
8.(2)将获取到的数据信息以二进制类型进行存储，并对其进行abs数据转换；
9.(3)以abs为文件索引，读取结果数据库，并根据读取结果执行对应的结果共享处理；
10.(4)将处理结果填入abs文件进行更新，并进入下一个任务项。
11.较佳地，所述的步骤(2)所述的数据信息包括：
12.复杂数据、特征描述信息以及实时性等级，且所述的复杂数据和特征描述信息将按照顺序以二进制类型存储到byte数组data[]中。
[0013]
较佳地，所述的abs数据转换具体为：
[0014]
选取摘要算法将所述的byte数组data[]中存储的数据转换为摘要字符串abs。
[0015]
较佳地，所述的摘要算法包括但不限于使用信息摘要算法md5以及安全散列算法sha。
[0016]
更佳地，所述的步骤(3)包括：
[0017]
(3.1)以摘要字符串abs为文件名，索引查询任务项是否在文件数据库中，若所述的文件数据库中存在相同文件名，则进入步骤(3.2)，否则，直接进入步骤(3.6)；
[0018]
(3.2)判断所述的文件数据库中是否存在结果数据，若存在，则直接读取当前该结果数据作为结果提交并进入步骤(4)，否则进入步骤(3.3)；
[0019]
(3.3)判断当前任务项的实时性等级是否为高，若是，则进入步骤(3.4)，否则，进入步骤(3.5)；
[0020]
(3.4)每隔一段预设时间间隔进入下一次查询，获取第一查询结果数据；并同时在本地继续进入当前任务处理流程再次查询结果数据，获取第二查询结果数据；以所述的第一查询结果数据或者第二查询结果数据两者中的任一最先查询得到，作为最终的结果数据，并进入步骤(4)；
[0021]
(3.5)将当前该任务项挂起，并在预设延时时间段内重新查询结果数据，直到获取结果成功或者超过重试次数，则跳转进入步骤(4)；
[0022]
(3.6)将当前的任务项以摘要字符串abs为文件名，将空文件导入结果数据库，并告知其他节点当前该任务项正在被处理以防重复处理，并进入步骤(4)处理下一个流程。
[0023]
较佳地，所述的步骤(3.5)还包括：
[0024]
当所述的实时性等级为低时，在当前所述的任务项挂起的同时，系统开启新线程接收并处理下一个任务项。
[0025]
较佳地，所述的步骤(4)具体为：
[0026]
通过计算或人工处理，将结果数据填入abs文件中，并再次上传到结果数据库更新abs文件，告知其他节点当前该任务项已完成处理，并返回步骤(1)循环处理下一个任务项。
[0027]
该针对复杂数据进行轻量处理并实现结果共享的装置，其主要特点是，所述的装置包括：
[0028]
处理器，被配置成执行计算机可执行指令；
[0029]
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0030]
该针对复杂数据进行轻量处理并实现结果共享的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0031]
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0032]
采用了本发明的该针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质，能够确保及时地将复杂数据唯一的处理结果共享给所有节点，避免任务项重复处理，同时数据处理结果的存储方法具备轻量化的特点。以100个节点随机处理10000个复杂数据任务项为例，其中有3000个重复项，平均每个任务处理时间为5秒，那么预计总耗时50000秒，采取本发明方案后，理论可减少3000个任务项处理时间，总耗时降低为35000秒。由于存在通信延时问题，极个别任务仍会被重复处理，但总体上可降低99％以上高并发任务项在多节点分发时被重复执行的概率，单个重复任务项获取结果的时
间也可以减少95％以上，大幅节省了系统资源，提升了实时性。与此同时，由于结果数据通过摘要算法生成，数据量非常轻量化，且具备唯一性，网络开销极小。相较于现有技术而言，具有节约资源、增加时效性的优点。
附图说明
[0033]
图1为本发明的该针对复杂数据进行轻量处理并实现结果共享的方法的处理流程图。
具体实施方式
[0034]
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
[0035]
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
[0036]
请参阅图1所示，该针对复杂数据进行轻量处理并实现结果共享的方法，其中，所述的方法包括以下步骤：
[0037]
(1)创建新线程，接收复杂数据处理任务；
[0038]
(2)将获取到的数据信息以二进制类型进行存储，并对其进行abs数据转换；
[0039]
(3)以abs为文件索引，读取结果数据库，并根据读取结果执行对应的结果共享处理；
[0040]
(4)将处理结果填入abs文件进行更新，并进入下一个任务项。
[0041]
作为本发明的优选实施方式，所述的步骤(2)所述的数据信息包括：
[0042]
复杂数据data1、特征描述信息data2以及实时性等级level，且所述的复杂数据data1和特征描述信息data2将按照顺序以二进制类型存储到byte数组data[]中。
[0043]
作为本发明的优选实施方式，所述的abs数据转换具体为：
[0044]
选取摘要算法将所述的byte数组data[]中存储的数据转换为摘要字符串abs。
[0045]
作为本发明的优选实施方式，所述的摘要算法包括但不限于使用信息摘要算法md5以及安全散列算法sha。
[0046]
作为本发明的优选实施方式，所述的步骤(3)包括：
[0047]
(3.1)以摘要字符串abs为文件名，索引查询任务项是否在文件数据库中，若所述的文件数据库中存在相同文件名，则进入步骤(3.2)，否则，直接进入步骤(3.6)；
[0048]
(3.2)判断所述的文件数据库中是否存在结果数据(result)，若存在，则直接读取当前该结果数据(result)作为结果提交并进入步骤(4)，否则进入步骤(3.3)；
[0049]
(3.3)判断当前任务项的实时性等级(level)是否为高，若是，则进入步骤(3.4)，否则，进入步骤(3.5)；
[0050]
(3.4)每隔一段预设时间间隔进入下一次查询，获取第一查询结果数据；并同时在
本地继续进入当前任务处理流程再次查询结果数据，获取第二查询结果数据；以所述的第一查询结果数据或者第二查询结果数据两者中的任一最先查询得到，作为最终的结果数据，并进入步骤(4)；
[0051]
(3.5)将当前该任务项挂起，并在预设延时时间段内重新查询结果数据，直到获取结果成功或者超过重试次数，则跳转进入步骤(4)；
[0052]
(3.6)将当前的任务项以摘要字符串abs为文件名，将空文件导入结果数据库，并告知其他节点当前该任务项正在被处理以防重复处理，并进入步骤(4)处理下一个流程。
[0053]
作为本发明的优选实施方式，所述的步骤(3.5)还包括：
[0054]
当所述的实时性等级(level)为低时，在当前所述的任务项挂起的同时，系统开启新线程接收并处理下一个任务项。
[0055]
作为本发明的优选实施方式，所述的步骤(4)具体为：
[0056]
通过计算或人工处理，将结果数据(result)填入abs文件中，并再次上传到结果数据库更新abs文件，告知其他节点当前该任务项已完成处理，并返回步骤(1)循环处理下一个任务项。
[0057]
在实际应用当中，本技术方案所涉及的相关英文缩写说明如下：
[0058]
md5：message-digest algorithm信息摘要算法
[0059]
crc：cyclic redundancy check循环冗余校验
[0060]
sha：secure hash algorithm安全散列算法
[0061]
请参阅图1所示，在本发明的一具体实施例中，本技术方案将通过以下流程予以实现：
[0062]
1、接收到复杂数据处理任务，得到复杂数据data1，和特征描述信息data2，以及实时性等级level；
[0063]
2、将data1和data2按照顺序以二进制类型存储到byte数组data[]中；
[0064]
3、选取一种摘要算法(例如但不仅限于md5、sha)将data[]中的数据转换为一组字符串abs；
[0065]
4、以abs为文件索引，读取结果数据库，对应以下三种结果：
[0066]
(1)存在相同文件名，且文件内存在结果数据result，则认为该任务项已被其他节点处理过，读取该result作为结果提交，并直接跳转到下一个任务项；
[0067]
(2)存在相同文件名，但文件内数据为空白，则认为该任务项正在被处理中。
[0068]
(i)若任务项level较低，则将该任务挂起，每隔一段时间重新查询结果数据，直到获取结果成功或超过重试次数跳转到下一任务项，任务挂起的同时开启新线程接收并处理下一个任务项。
[0069]
(ii)若任务项level较高，为避免其他节点故障，每隔一段时间重新查询结果数据的同时，在本地继续进入数据处理流程，最终两者任一先得到结果为准。
[0070]
(3)不存在相同文件名，则说明当前任务第一次被处理，此时以abs为文件名，将空文件导入结果数据库，告知其他节点该任务项正在被处理以防重复处理，并进入下一个处理流程。
[0071]
5、通过计算或人工处理后将结果result填入abs文件中，再次上传到结果数据库更新abs文件，告知其他节点该任务项已完成处理，并进入下一个任务项。
[0072]
该针对复杂数据进行轻量处理并实现结果共享的装置，其中，所述的装置包括：
[0073]
处理器，被配置成执行计算机可执行指令；
[0074]
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0075]
该针对复杂数据进行轻量处理并实现结果共享的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0076]
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的针对复杂数据进行轻量处理并实现结果共享的方法的各个步骤。
[0077]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0078]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
[0079]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0080]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0081]
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0082]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0083]
采用了本发明的该针对复杂数据进行轻量处理并实现结果共享的方法、装置、处理器及其计算机可读存储介质，能够确保及时地将复杂数据唯一的处理结果共享给所有节点，避免任务项重复处理，同时数据处理结果的存储方法具备轻量化的特点。以100个节点随机处理10000个复杂数据任务项为例，其中有3000个重复项，平均每个任务处理时间为5秒，那么预计总耗时50000秒，采取本发明方案后，理论可减少3000个任务项处理时间，总耗时降低为35000秒。由于存在通信延时问题，极个别任务仍会被重复处理，但总体上可降低99％以上高并发任务项在多节点分发时被重复执行的概率，单个重复任务项获取结果的时间也可以减少95％以上，大幅节省了系统资源，提升了实时性。与此同时，由于结果数据通
过摘要算法生成，数据量非常轻量化，且具备唯一性，网络开销极小。相较于现有技术而言，具有节约资源、增加时效性的优点。
[0084]
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。