多模型串联的数据处理方法、设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种多模型串联的数据处理方法、设备及存储介质。


背景技术：

2.深度学习技术为语音或图像的识别带来了极大的便利。在深度学习中，常采用多个模型串联推理的方法对输入数据进行多维度的特征识别。而依赖于多模型串联推理的自动化服务，诸如语音识别服务、图像识别服务，对整个模型推理性能提出了实时响应的要求。
3.在传统的多模型串联推理方法中，各个模型依次串联并依次运行，整个多模型串联推理的总耗时为各个模型完成各自模型进程的耗时之和。为了降低整个多模型串联推理的总耗时，现有的模型推理方法常采用多线程处理方式，让可以并列的多个模型对应的进程同时进行，以此来减小整个多模型串联推理的总耗时。多线程处理方式进一步将多模型串联推理中并列模型的模型进程总耗时压缩为并列模型中耗时最大的一个模型进程的耗时，从而降低了整个多模型串联推理的总耗时。
4.现有的模型推理方法对于数据量大的输入数据而言，仍然存在响应时间较长，无法满足在进行巨型数据处理时的实时响应的需求。


技术实现要素：

5.本技术提供一种多模型串联的数据处理方法、设备及存储介质，以解决现有的模型推理方法对于数据量大的输入数据而言存在响应时间较长，无法满足对巨型数据处理的实时响应需求的问题。
6.第一方面，本技术提供一种多模型串联的数据处理设备，包括：
7.m个串联的模型单元和与各模型单元分别对应的存储队列；其中，
8.第1个模型单元，用于对待处理数据进行分段，得到至少两个分段数据，对所述至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将所述至少两个数据处理结果存储到该模型单元对应的存储队列中；
9.第n 1个模型单元，用于从第n个模型单元的存储队列中获取数据处理结果，对所述数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中；其中，所述第n 1个模型单元对所述第n个模型单元的存储队列中的数据处理结果进行模型处理的过程与所述第n个模型单元对待处理数据进行模型处理的过程为并行处理过程；
10.其中，1≤n≤m-1，m、n均为自然数。
11.可选地，所述模型单元包括预处理模块、缓冲队列和检测模块；其中，
12.所述预处理模块，用于接收待处理数据，对待处理数据进行预处理，获得预处理数据，并将预处理数据存储到所述缓冲队列；
13.所述缓冲队列，用于存储所述预处理数据；
14.所述检测模块，用于从所述缓冲队列中获取预处理数据，并对所述预处理数据进行模型检测处理，获得处理结果。
15.可选地，所述存储队列，具体用于对所述数据处理结果，按所述数据处理结果对应的模型处理顺序进行顺序存储。
16.第二方面，本技术提供一种多模型串联的数据处理方法，应用于包括m个串联的模型单元和与各模型单元分别对应的存储队列的设备，所述方法包括：
17.通过所述m个串联的模型单元中的第1个模型单元，对待处理数据进行分段，得到至少两个分段数据，对所述至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将所述至少两个数据处理结果存储到该模型单元对应的存储队列中；
18.通过所述m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对所述数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中；其中，所述第n 1个模型单元对所述第n个模型单元的存储队列中的数据处理结果进行模型处理的过程与所述第n个模型单元对待处理数据进行模型处理的过程为并行处理过程；
19.其中，1≤n≤m-1，m、n均为自然数。
20.可选地，所述模型处理包括：
21.对待处理数据进行预处理，获得预处理数据；
22.对所述预处理数据进行模型检测处理，获得处理结果。
23.可选地，在所述通过所述m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果之前，还包括：
24.通过所述第n个模型单元向所述第n 1个模型单元发送数据处理结果的存储信号，所述存储信号用于通知第n 1个模型单元获取所述第n个模型单元的数据处理结果。
25.可选地，所述通过所述第n个模型单元向所述第n 1个模型单元发送数据处理结果的存储信号，包括：
26.在第n个模型单元完成对第n个模型单元的第1个数据处理结果对应的待处理数据进行模型处理后，通过所述第n个模型单元向所述第n 1个模型单元发送数据处理结果的存储信号。
27.可选地，所述通过所述m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，包括：
28.通过所述第n 1个模型单元，周期性地从所述第n个模型单元的存储队列中获取数据处理结果。
29.可选地，在所述通过所述m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果之后，还包括：
30.通过所述第n 1个模型单元向所述第n个模型单元发送已获取第n个模型单元的数据处理结果的确认信号；
31.基于所述确认信号，通过所述第n个模型单元，对第n个模型单元的存储队列中与所述确认信号对应的数据处理结果进行清除。
32.第三方面，本技术提供一种存储介质，所述存储介质中存储有计算机执行指令，所
述计算机执行指令被处理器执行时用于实现上述方法。
33.本技术提供的多模型串联的数据处理方法、设备及存储介质，通过m个串联的模型单元中的第1个模型单元对待处理数据进行分段，然后对获得的分段数据分别进行模型处理，并将获得的数据处理结果按处理顺序依次存储到存储队列中，减小了后续的各个模型单元等待获取数据处理结果的等待时间。同时，通过第n 1个模型单元从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中，确保了第n 1个模型单元在等待第n个模型单元的1个数据处理结果对应的待处理数据的处理时间后，实现了第n 1个模型单元与第n个模型单元的并行数据处理。本技术极大降低了整个多模型串联的数据处理设备的数据处理总耗时，解决了现有的模型推理方法对于数据量大的输入数据而言存在响应时间较长，无法满足对巨型数据处理的实时响应需求的问题。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
35.图1为现有的模型推理系统架构图；
36.图2为本技术实施例提供的多模型串联的数据处理系统架构图；
37.图3为本技术实施例提供的多模型串联的数据处理流程示意图一；
38.图4为本技术实施例提供的多模型串联的数据处理流程示意图二；
39.图5为本技术实施例提供的装置结构图。
40.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.在传统的多模型串联推理中，各个模型串联依次运行，由于各个模型的模型进程是相互独立的，因此，整个多模型串联推理的总耗时为各个模型完成各自的模型进程的耗时之和。为了降低整个多模型串联推理的总耗时，现有的模型推理方法采用多线程处理方式让可以并列的多个模型的模型进程同时进行，来减小整个多模型串联推理的总耗时。但对于存在模型与模型之间的推理逻辑关联的模型，则仍然只能采用串联的方式。
43.示例性地，图1为现有的模型推理系统架构图，如图1所示，该系统包括：数据输入设备11、模型推理设备12和结果接收设备13，模型推理设备12分别与数据输入设备11和结果接收设备13连接。模型推理设备12从数据输入设备11中获取待处理数据，对待处理数据进行处理，获得处理结果，并经处理结果发送给结果接收设备13。其中，模型推理设备12包括：模型1、模型2a和模型2b、模型3、
…
、模型m。
44.模型1、模型2a和模型2b、模型3、
…
、模型m之间存在推理逻辑关联，各模型通过各自独立的模型进程对数据进行处理。具体地，模型1的输出数据是模型2a和模型2b的输入数据，模型2a和模型2b的输出数据是模型3的输入数据，模型2a和模型2b在各自的模型进程中无逻辑关联。则模型2a和模型2b采用多线程处理，通过并联方式同时进行各自的模型进程。而模型1分别与模型2a和模型2b只能通过串联方式，依次运行模型1进程，将模型1的输出数据输入到模型2a和模型2b后，再同时运行模型2a和模型2b的模型进程。同理地，模型2a和模型2b分别与模型3之间也只能通过串联方式，模型3需等待模型2a和模型2b的进程均运行完成，收到模型2a和模型2b的输出数据后，再进行模型3的进程。
45.由于各模型进程相互独立，存在推理逻辑关联的各模型之间，为了保证每一模型的待处理数据的完整性和整个模型推理的高效性，减小数据传输耗时，上一模型会将其待处理数据的处理结果(即输出数据)全部打包后一次性全部发送到下一模型。也就是说，下一模型只有等待上一模型的待处理数据全部处理完成以后，才会收到上一模型的输出数据。例如，如模型1会将该模型收到的待处理数据全部处理完以后，将处理结果全部打包一次性发送给下一逻辑关联的模型2a和模型2b进行数据处理。存在推理逻辑关联的各模型对应的进程只能依次进行，而无法采用多线程方式同时进行。因此，图1所示的整个模型推理的总耗时为串联方式连接的各模型进程耗时之和，而多线程方式运行的并联模型的耗时为其中一个并联模型的最大耗时，即，如图1所示的整个模型推理的总耗时t0＝t1 max(t
2a
,t
2b
) t3
…
tm，其中，t1，t
2a
，t
2b
，t3，
…
，tm分别为模型1、模型2a、模型2b、模型3、
…
、模型m各自的从收到输入数据到发出输出数据(即处理结果)的耗时。
46.由于每个模型对待处理数据进行处理的耗时与待处理数据的数据量成正比。因此，现有的模型推理方法在进行巨型数据处理时，因输入的数据量太大，每个模型进行数据处理的时间增大，串联的逻辑关联的下一模型等待获取上一模型的输出数据的等待时间也相应的变长，即使采用多线程处理方式，因数据量大这一本质属性，整个模型推理的总耗时仍然较长，存在无法满足巨型数据处理时的实时响应需求的问题。
47.对此，本技术提出一种多模型串联的数据处理方法、设备及存储介质，以解决现有的模型推理方法存在的问题。下面结合部分实施例对本技术提出的多模型串联的数据处理方法、设备及存储介质进行说明。
48.图2为本技术实施例提供的多模型串联的数据处理系统架构图。如图2所示，该系统包括数据输入设备11、数据处理设备14和结果接收设备13。其中，数据处理设备14分别与数据输入设备11和结果接收设备13连接。数据处理设备14从数据输入设备11中获取待处理数据，对待处理数据进行处理，获得处理结果，并经处理结果发送给结果接收设备13。数据处理设备14包括：多个模型单元和与各模型单元分别对应的存储队列，其中，每一串联线路具体包括m个串联的模型单元和与各模型单元分别对应的存储队列，如模型单元1、模型单元2a、模型单元2b、模型单元3、
…
、模型单元m和与各模型单元分别对应的存储队列1、存储队列2a、存储队列2b、存储队列3、
…
、存储队列m。
49.具体地，第1个模型单元如模型单元1，从数据输入设备11中获取待处理数据，并对待处理数据进行分段，得到至少两个分段数据。第1个模型单元对该至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将该至少两个数据处理结果存储到该模型单元对应的存储队列如存储队列1中。
50.第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中。即第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对获取的第n个模型单元的数据处理结果分别进行模型处理，获得第n个模型单元的数据处理结果对应的第n 1个模型单元的数据处理结果，并将第n 1个模型单元的数据处理结果存储在第n 1个模型单元对应的存储队列中。
51.其中，第n 1个模型单元对第n个模型单元的存储队列中的数据处理结果进行模型处理的过程与第n个模型单元对待处理数据进行模型处理的过程为并行处理过程。示例性地，第n 1个模型单元对第n个模型单元的存储队列中的第1个数据处理结果进行模型处理的开始时间为第一时间。第n个模型单元对第n个模型单元的存储队列中的第2个数据处理结果对应的待处理数据，进行模型处理的开始时间为第二时间。第一时间与第二时间相同；
52.其中，1≤n≤m-1，m、n均为自然数。
53.进一步地，存储队列具体对数据处理结果，按数据处理结果对应的模型处理顺序进行顺序存储。
54.示例性地，模型单元1对获得的至少两个分段数据，分别进行模型处理，每处理完一个分段数据后，就将该分段数据对应的数据处理结果存储到存储队列1中。与模型单元1串联的模型单元2a和模型单元2b周期性地从存储队列1中获取模型单元1的数据处理结果，一旦获取存储队列1中的数据处理结果，对获取的数据处理结果进行模型处理，并将处理后的数据处理结果存储到对应的存储队列2a和存储队列2b，便于与之串联的下一模型单元如模型单元3获取数据处理结果并进行模型处理；由此，模型单元1、模型单元2a和模型单元2b、模型单元3即可并行的进行数据处理。具体地，如模型单元1对待处理数据进行分段，获得分段数据1、分段数据2、分段数据3，对分段1、分段数据2、分段数据3分别进行处理，并将对应获得的数据处理结果如分段数据3(1)、分段数据2(1)、分段数据1(1)顺序存储到存储队列1中，以使后续串联的模型单元连续获得上一模型单元的处理结果，并进行并行处理。
55.示例性地，如图2所示的时刻，模型单元1完成了对分段数据3的模型处理，并将分段数据3的处理结果即分段数据3(1)存储在存储队列1中；与此同时，模型单元2a和模型单元2b也分别完成了对分段数据2(1)的模型处理，分别对应获得数据处理结果分段数据2(12a)和分段数据2(12b)，并将该数据处理结果存储在各自的存储队列如存储队列2a和存储队列2b中；与此同时，模型单元3也完成了对分段数据1(12a)和分段数据1(12b)的模型处理，获得数据处理结果即分段数据1(12ab3)，并将该数据处理结果存储在了存储队列3中，其中，分段数据1(12a)和分段数据1(12b)分别是模型单元2a和模型单元2b对分段数据1(1)分别进行模型处理后对应获得的数据处理结果。
56.由上可知，第n 1个模型单元只需等待第n个模型单元的一个数据处理结果对应的待处理数据的处理时间，即可开始从第n个模型单元的存储队列中获取数据处理结果进行模型处理，而无需等待第n个模型单元将其收到的全部待处理数据全部处理完以后才获得第n个模型单元的数据处理结果。同时，第n 1个模型单元与第n个模型单元实现了并行的数据处理。
57.示例性地，假设有一待处理数据a需要经过4个模型处理获得模型结果。该4个模型在模型推理设备12和数据处理设备14中的连接关系参见图1中的模型1、模型2a、模型2b、模
型3，和图2中的模型单元1、模型单元2a、模型单元2b、模型单元3及对应的存储队列1、存储队列2a、存储队列2b、存储队列3。数据输入设备11分别向模型推理设备12和数据处理设备14输出待处理数据a。假设待处理数据a在每个模型中处理的时间(从模型收到输入数据到发出输出数据的时间)均为10分钟。模型单元1在收到待处理数据a后，将待处理数据分成5段分段数据，每一分段数据在每个模型单元及对应的存储队列中的耗时均为2分钟(即每一分段数据从输入模型单元，到对应存储队列完成对该分段数据的数据处理结果的存储的耗时)，则图1所示的模型推理设备12与图2所示的数据处理设备14完成待处理数据a的处理时间对比如下表1所示：
58.表1
[0059][0060]
由上表1可知，本技术提供的多模型串联的数据处理设备14对待处理数据a进行数据处理的总耗时为14分钟，而采用现有的模型推理方法的模型推理设备12对待处理数据a进行数据处理的总耗时为30分钟，数据处理设备14的总耗时仅为模型推理设备12总耗时的46.67％，本技术提供的多模型串联的数据处理设备极大降低了数据处理的总耗时。
[0061]
可选地，模型单元包括预处理模块、缓冲队列和检测模块，预处理模块接收待处理数据，对待处理数据进行预处理，获得预处理数据，并将预处理数据存储到缓冲队列；缓冲队列存储预处理数据后；检测模块从缓冲队列中获取预处理数据，并对预处理数据进行模型检测处理，获得处理结果。随后，检测模块将处理结果存储在模型单元对应的存储队列中。进一步地，预处理包括对待处理数据的分段处理和/或标准化预处理。标准化预处理例如数据增强、归一化、白化等，本实施例此处不作具体限定。
[0062]
本技术实施例提供的多模型串联的数据处理设备，包括m个串联的模型单元和与各模型单元分别对应的存储队列。通过m个串联的模型单元中的第1个模型单元对待处理数据进行分段，然后对获得的分段数据分别进行模型处理，并将获得的数据处理结果按处理顺序依次存储到存储队列中，减小了后续的各个模型单元等待获取数据处理结果的等待时间。同时，通过第n 1个模型单元周期性地从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中，确保了第n 1个模型单元在等待第n个模型单元的1个数据处理结果对应的待处理数据的处理时间后，实现了第n 1个模型单元与第n个模型单元的并行数据处理，进而极大降低了整个多模型串联的数据处理设备的数据处理总耗时，达到巨型数据处理实时响应的需求。
[0063]
本技术实施例还提供一种多模型串联的数据处理方法，该方法应用于包括m个串联的模型单元和与各模型单元分别对应的存储队列的设备。图3为本技术实施例提供的多模型串联的数据处理流程示意图一。图3所示实施例的执行主体为图2所示实施例中的数据处理设备14。下面结合图2和图3对本技术实施例提供的多模型串联的数据处理方法进行说
明。如图3所示，该方法包括：
[0064]
s301、通过m个串联的模型单元中的第1个模型单元，对待处理数据进行分段，得到至少两个分段数据，对至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将至少两个数据处理结果存储到该模型单元对应的存储队列中。
[0065]
具体而言，通过数据处理设备14中的m个串联的模型单元中的第1个模型单元，对待处理数据进行分段，得到至少两个分段数据，对至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将该至少两个数据处理结果存储到第1个模型单元对应的存储队列中。
[0066]
可选地，每一分段数据的数据量小于或等于第1个模型单元一次处理的额定处理数据量。优选地，每一分段数据的数据量等于第1个模型单元一次处理的额定处理数据量，以实现对分段数据的高效处理。
[0067]
具体地，第1个模型单元对每个分段数据进行模型处理后，立即将该分段数据对应的数据处理结果存储到第1个模型单元对应的存储队列中，以便于后续串联的模型处理单元及时获取存储队列中的数据处理结果进行并行的数据处理，同时减小了后续串联的模型单元等待获取后续串联的模型单元对应的待处理数据的时间。
[0068]
s302、通过m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中；其中，第n 1个模型单元对第n个模型单元的存储队列中的数据处理结果进行模型处理的过程与第n个模型单元对待处理数据进行模型处理的过程为并行处理过程。
[0069]
具体而言，数据处理设备14中的m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中。
[0070]
其中，数据处理设备14中的第n 1个模型单元对第n个模型单元的存储队列中的数据处理结果进行模型处理的过程与第n个模型单元对待处理数据进行模型处理的过程为并行处理过程。示例性地，第n 1个模型单元对第n个模型单元的存储队列中的第1个数据处理结果进行模型处理的开始时间为第一时间。第n个模型单元对其存储队列中的第2个数据处理结果对应的待处理数据，进行模型处理的开始时间为第二时间。第一时间与第二时间相同。
[0071]
其中，第n 1个模型单元从第n个模型单元的存储队列中获取的数据处理结果即为第n 1个模型单元对应的待处理数据。
[0072]
具体地，第n 1个模型单元周期性地从第n个模型单元的存储队列中获取数据处理结果，该周期小于第n个模型单元处理其待处理数据的最小处理单元时间，以便第n个模型单元将数据处理结果存入对应的存储队列后，第n 1个模型单元及时从第n个模型单元的存储队列中获取数据处理结果。
[0073]
进一步地，模型处理包括模型单元对待处理数据进行预处理，获得预处理数据，然后对预处理数据进行模型检测处理，获得处理结果，将处理结果存储在模型单元对应的存储队列中。示例性地，预处理包括对待处理数据的分段处理、数据增强、归一化、白化等预处理方式中的至少一种预处理方式。
[0074]
可选地，第n 1个模型单元还可以对其对应的待处理数据进行分段处理，获得该待处理数据对应的分段数据。第n 1个模型单元再对其对应的待处理数据的分段数据分别进行模型处理，并将模型处理后的数据处理结果存储在第n 1个模型单元对应的存储队里中。由此，可以进一步降低第n 2个模型单元获取第n 2个模型单元对应的待处理数据的等待时间。
[0075]
示例性地，若每一分段数据在各模型单元和对应的存储队列中的处理耗时相同，且耗时时间段为t。数据处理设备14的模型单元1从数据输入设备11中获取待处理数据b。数据处理设备14中各模型单元对待处理数据b进行处理的各时段示例性说明如下：
[0076]
t1时段：模型单元1获取待处理数据b，对待处理数据b进行分段处理，获得分段数据b1、分段数据b2和分段数据b3。
[0077]
t2时段：模型单元1对分段数据b1进行模型处理，获得对应的数据处理结果b11，然后将b11存储在存储队列1中。
[0078]
t3时段：模型单元1对分段数据b2进行模型处理，获得对应的数据处理结果b21，然后将b21存储在存储队列1中；同时，模型单元2a和模型单元2b分别从存储队列1中获取数据处理结果b11，并分别对b11进行模型处理，分别获得对应的数据处理结果b112a和b112b。然后，模型单元2a将数据处理结果b112a存储在存储队列2a中，模型单元2b将数据处理结果b112b存储在存储队列2b中。
[0079]
t4时段：模型单元1对分段数据b3进行模型处理，获得对应的数据处理结果b31，然后将b31存储在存储队列1中；同时，模型单元2a和模型单元2b分别从存储队列1中获取数据处理结果b21，并分别对b21进行模型处理，分别获得对应的数据处理结果b212a和b212b。然后，模型单元2a将b212a存储在存储队列2a中，模型单元2b将b212b存储在存储队列2b中；同时，模型单元3分别从存储队列2a和存储队列2b中获取数据处理结果b112a和b112b，然后对b112a和b112b进行模型处理，获得数据处理结果b112ab3，并将b112ab3存储在存储队列3中。
[0080]
t5时段：模型模型单元2a和模型单元2b分别从存储队列1中获取数据处理结果b31，并分别对b31进行模型处理，分别获得对应的数据处理结果b312a和b312b。然后，模型单元2a将b312a存储在存储队列2a中，模型单元2b将b312b存储在存储队列2b中；同时，模型单元3分别从存储队列2a和存储队列2b中获取数据处理结果b212a和b212b，然后对b212a和b212b进行模型处理，获得数据处理结果b212ab3，并将b212ab3存储在存储队列3中；同时，模型单元4从存储队列3中获取b112ab3，并对b112ab3进行模型处理，获得数据处理结果b112ab34，然后将b112ab34存储在存储队列4中。
[0081]
…
[0082]
同理地，直到模型单元m完成对模型单元m对应的待处理数据的模型处理，并将对应的数据处理结果存储在存储队列m中。
[0083]
由上可知，除了第1个模型单元对待处理数据进行分段处理和对第1个分段数据进行模型处理，以及最后1个模型单元对其对应的最后一个待处理数据进行模型处理的时间段外，其他时间段均有至少两个串联模型在并行地进行数据处理，由此，整个数据处理设备14对数据处理的总耗时极大地降低。
[0084]
可选地，模型单元3分别从存储队列2a和存储队列2b中获取数据处理结果b112a和
b112b后，可以对数据处理结果b112a和b112b进行分段处理，如将数据处理结果b112a分段为b112a-1和b112a-2，然后将b112a-1和b112a-2分别与b112b进行模型处理。具体地，模型单元3首先对b112a-1与b112b进行模型处理，获得数据处理结果b112a-1b3，并将处理结果b112a-1b3存储在存储队列3中；然后，模型单元3对b112a-2与b112b进行模型处理，获得数据处理结果b112a-2b3，并将b112a-2b3存储在存储队列3中。
[0085]
本技术实施例提供的多模型串联的数据处理方法，通过m个串联的模型单元中的第1个模型单元对待处理数据进行分段，然后对获得的分段数据分别进行模型处理，并将对应获得的数据处理结果按处理顺序依次存储到存储队列中，减小了后续的各个模型单元等待获取各自对应的待处理数据的等待时间。同时，通过第n 1个模型单元周期性地从第n个模型单元的存储队列中获取第n 1个模型单元的待处理数据，然后对待处理数据分别进行模型处理，对应获得数据处理结果，并将该数据处理结果存储在对应的存储队列中，由此，第n 1个模型单元与第n个模型单元实现了并行地进行各自对应的待处理数据的模型处理，进而极大降低了整个多模型串联的数据处理设备的数据处理总耗时，达到巨型数据处理实时响应的需求。
[0086]
接下来，结合图2和图4对图3所示实施例的多模型串联的数据处理方法进行进一步说明。图4为本技术实施例提供的多模型串联的数据处理流程示意图二。图4所示实施例的执行主体为图2所示实施例中的数据处理设备14，如图4所示，该方法包括：
[0087]
s401、通过m个串联的模型单元中的第1个模型单元，对待处理数据进行分段，得到至少两个分段数据，对至少两个分段数据分别进行模型处理，对应得到至少两个数据处理结果，并将至少两个数据处理结果存储到该模型单元对应的存储队列中。
[0088]
具体而言，本步骤的具体实现原理和效果与图3所示实施例中的步骤s301的具体实现原理和效果类似，本实施例此处不再赘述。
[0089]
s402、通过第n个模型单元向第n 1个模型单元发送数据处理结果的存储信号。
[0090]
具体而言，数据处理设备14中的第n个模型单元将第n个模型单元的数据处理结果存储到第n个模型单元对应的存储队列中后，第n个模型单元向与之串联的第n 1个模型单元发送数据处理结果的存储信号。该存储信号用于通知第n 1个模型单元可以获取第n个模型单元的数据处理结果。第n 1个模型单元收到第n个模型单元的存储信号后再进行数据处理结果的获取和后续的模型处理，可有效降低第n 1个模型单元的数据处理能耗。
[0091]
示例性地，在第n个模型单元完成对第n个模型单元的第1个数据处理结果对应的待处理数据进行模型处理后，通过第n个模型单元向第n 1个模型单元发送数据处理结果的存储信号。
[0092]
s403、通过m个串联的模型单元中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中。
[0093]
具体而言，数据处理设备14中的第n 1个模型单元收到第n个模型单元的存储信号后，第n 1个模型单元开始周期性地从第n个模型单元的存储队列中获取数据处理结果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中。
[0094]
其中，第n 1个模型单元周期性地从第n个模型单元的存储队列中获取数据处理结
果，对数据处理结果分别进行模型处理，获得对应的数据处理结果，并将该数据处理结果存储在对应的存储队列中。其具体实现原理和效果与图3所示实施例中的步骤s302的具体实现原理和效果类似，本实施例此处不再赘述。
[0095]
s404、通过第n 1个模型单元向第n个模型单元发送已获取第n个模型单元的数据处理结果的确认信号,基于确认信号，通过第n个模型单元，对第n个模型单元的存储队列中与确认信号对应的数据处理结果进行清除。
[0096]
具体而言，数据处理设备14中的第n 1个模型单元，从第n个模型单元的存储队列中获取数据处理结果之后，第n 1个模型单元向第n个模型单元发送已获取第n个模型单元的数据处理结果的确认信号。基于确认信号，第n个模型单元，对第n个模型单元对应的存储队列中与确认信号对应的数据处理结果进行清除。由此，可避免第n 1个模型单元从第n个模型单元的存储队列中重复获取同一数据处理结果及其对重复获取的数据处理结果进行模型处理，而形成资源的浪费耗时，确保了模型单元对待处理数据进行数据处理的高效性。
[0097]
若第n个模型单元与多个需从第n个模型单元对应的存储队里中获取数据处理结果的模型单元同时串联，则第n个模型单元需收到该多个模型单元各自发送的同一数据处理结果的多个确认信号后，才对第n个模型单元对应的存储队里中与多个确认信号对应的同一数据处理结果进行清除。示例性地，如图2所示的模型单元1与后续的模型单元2a和模型单元2b同时串联，则模型单元1收到模型单元2a和模型单元2b对存储队列1中的分段数据1的处理结果的各自的确认信号后，才对存储队列1中的分段数据1的数据处理结果进行清除。
[0098]
可选地，各模型单元的模型处理包括对待处理数据进行预处理，获得预处理数据，然后对预处理数据进行模型检测处理，获得处理结果。
[0099]
本技术实施例提供的多模型串联的数据处理方法，与图3所示实施例提供的多模型串联的数据处理方法的技术效果类似。本技术实施例提供的多模型串联的数据处理方法在图3所示实施例的技术效果的基础上，第n 1个模型单元在收到第n个模型单元的发送的数据处理结果的存储信号后，再进行数据处理结果的获取和后续的模型处理，有效地降低第n 1个模型单元的数据处理能耗。此外，第n 1个模型单元向第n个模型单元发送已获取第n个模型单元的数据处理结果的确认信号。第n个模型单元对其存储队列中与确认信号对应的数据处理结果进行清除，避免了第n 1个模型单元从第n个模型单元的存储队列中重复获取同一数据处理结果及其对重复获取的数据处理结果进行模型处理，而形成资源的浪费耗时，确保了数据处理的高效性。
[0100]
本技术实施例还提供一种装置。图5为本技术实施例提供的装置结构示意图。如图5所示，该装置包括处理器51和存储器52，存储器52存储有处理器51可执行指令，使得该处理器51可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。应理解，上述处理器51可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器52可能包含高速ram存储器，也可能还包括非
易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0101]
本技术实施例还提供一种存储介质，该存储介质中存储有计算机执行指令，这些计算机执行指令被处理器执行时，实现上述的多模型串联的数据处理方法。存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0102]
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(英文：application specific integrated circuits，简称：asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0103]
本技术实施例还提供一种程序产品，如计算机程序，该计算机程序被处理器执行时实现本技术所涵盖的多模型串联的数据处理方法。
[0104]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0105]
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施方式对本发明已经进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述实施方式所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施方式技术方案的范围。