一种数据处理方法、采集模块、采集系统及介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种数据处理方法、采集模块、 采集系统及介质。


背景技术：

2.在实际应用中，基于共享存储空间的数据采集技术得到了广泛的应用。然 而，基于共享存储空间的数据采集技术，通常是将共享存储空间作为数据采集 端到数据处理端的数据传输通道，而用于控制数据采集以及数据传输处理的控 制信息，则需要通过专门的控制信息传输通路传输。这样的传输方案，存在很 大的数据处理性能开销。


技术实现要素：

3.基于以上问题，本技术实施例提供了一种数据处理方法、采集模块、采集 系统及介质。
4.本技术实施例提供的技术方案是这样的：
5.一种数据处理方法，所述方法应用于第一采集模块；所述方法包括：
6.确定第一地址信息；其中，所述第一地址信息，包括第一存储空间的地址 信息；所述第一存储空间，包括共享存储空间中所述第一采集模块能够执行针 对待处理数据的数据存储操作的存储空间；所述第一存储空间中存储有控制信 息；
7.基于所述第一地址信息，确定所述控制信息；
8.基于所述控制信息对所述第一采集模块采集的所述待处理数据进行处理， 得到目标数据；
9.基于所述第一地址信息以及所述目标数据，执行所述数据存储操作，以供 第二采集模块对所述目标数据执行数据处理操作。
10.本技术实施例还提供了一种应用于第二采集模块的数据处理方法，所述方 法包括：
11.确定第一地址信息；其中，所述第一地址信息，包括第一存储空间的地址 信息；所述第一存储空间，包括共享存储空间中所述第二采集模块能够执行针 对目标类型数据的数据处理操作的存储空间；所述第一存储空间中存储有控制 信息以及目标数据；所述目标数据，是由第一采集模块基于所述控制信息对所 述第一采集模块采集的待处理数据进行处理得到的；所述控制信息，是由所述 第一采集模块基于所述第一地址信息确定的；所述目标数据的数据类型为所述 目标类型；
12.基于所述第一地址信息，对所述目标数据执行所述数据处理操作。
13.本技术实施例还提供了一种第一采集模块，所述第一采集模块包括第一确 定单元、第一获取单元以及第一处理单元；其中：
14.所述第一确定单元，用于确定第一地址信息；其中，所述第一地址信息， 包括第一存储空间的地址信息；所述第一存储空间，包括共享存储空间中所述 第一采集模块能够执
行针对待处理数据的数据存储操作的存储空间；所述第一 存储空间中存储有控制信息；
15.所述第一获取单元，用于基于所述第一地址信息，确定所述控制信息；
16.所述第一处理单元，用于基于所述控制信息对所述第一采集模块采集的所 述待处理数据进行处理，得到目标数据；
17.所述第一处理单元，用于基于所述第一地址信息以及所述目标数据，执行 所述数据存储操作，以供第二采集模块对所述目标数据执行数据处理操作。
18.本技术实施例还提供了另一种第一采集模块，所述第一采集模块包括第一 处理器以及第一存储器；其中：所述第一存储器存储有可在所述第一处理器上 运行的计算机程序，所述第一处理器执行所述计算机程序时实现如前所述的应 用于第一采集模块的数据处理方法。
19.本技术实施例还提供了一种第二采集模块，述第二采集模块，包括第二确 定单元、第二获取单元以及第二处理单元；其中：
20.所述第二确定单元，用于确定第一地址信息；其中，所述第一地址信息， 包括第一存储空间的地址信息；所述第一存储空间，包括共享存储空间中所述 第二采集模块能够执行针对目标类型数据的数据处理操作的存储空间；所述第 一存储空间中存储有控制信息以及目标数据；所述目标数据，是由第一采集模 块基于所述控制信息对所述第一采集模块采集的待处理数据进行处理得到的； 所述控制信息，是由所述第一采集模块基于所述第一地址信息确定的；所述目 标数据的类型为所述目标类型；
21.所述第二获取单元，用于基于所述第一地址信息，获取所述目标数据；
22.所述第二处理单元，用于基于所述第一地址信息，对所述目标数据执行所 述数据处理操作。
23.本技术实施例还提供了另一种第二采集模块，所述第二采集模块包括第二 处理器以及第二存储器；其中：所述第二存储器存储有可在所述第二处理器上 运行的计算机程序，所述第二处理器执行所述计算机程序时实现前所述的应用 于第二采集模块的数据处理方法。
24.本技术实施例还提供了一种数据处理系统，所述数据处理系统包括共享存 储空间、如前所述的第一采集模块以及如前所述的第二采集模块。
25.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介 质中存储有计算机程序，所述计算机程序被处理器执行时，能够实现如前所述 的应用于第一采集模块或如前所述的应用于第二采集模块的数据处理方法。
26.在本技术实施例提供的应用于第一采集模块的数据处理方法中，控制信息 以及目标数据是基于第一地址信息存储的，从而实现了目标数据与控制信息的 捆绑，如此，在基于共享存储空间的目标数据的存储和处理的过程中，通过对 第一地址信息对应的存储空间或存储单元的单次读写操作，就能够同时实现控 制信息以及目标数据的获取或存储传输，从而实现了数据传输通道以及控制信 息传输通道的合并建立，进而降低了目标数据传输过程中控制信息传输而产生 的性能开销，实现了基于共享存储空间的低开销高性能的目标数据传输操作。
附图说明
27.图1为本技术实施例提供的应用于第一采集模块的数据处理方法的流程示 意图；
28.图2为本技术实施例提供的第一采集模块确定第一地址信息的流程示意图；
29.图3为本技术实施例提供的基于控制标识对待处理数据处理的流程示意图；
30.图4为本技术实施例提供的应用于第二采集模块的数据处理方法的流程示 意图；
31.图5为本技术实施例提供的第二采集模块获取目标数据的流程示意图；
32.图6为本技术实施例提供的第一采集模块以及第二采集模块数据处理的架 构示意图；
33.图7为本技术实施例提供的数据处理方法的总体流程示意图；
34.图8为本技术实施例提供的数据处理方法在指标数据采集传输架中的架构 示意图；
35.图9a为本技术实施例提供的第一采集模块的一种结构示意图；
36.图9b为本技术实施例提供的第一采集模块的另一种结构示意图；
37.图10a为本技术实施例提供的第二采集模块的一种结构示意图；
38.图10b为本技术实施例提供的第二采集模块的另一种结构示意图。
具体实施方式
39.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清 楚、完整地描述。
40.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定 本技术。
41.本技术涉及信息技术领域，尤其涉及一种数据处理方法、采集模块、采集 系统及介质。
42.在实际应用中，基于共享存储空间的数据采集技术得到了广泛的应用，比 如在指标数据采集分析方面，通过基于共享存储空间的数据采集技术，可以采 集至少一种指标数据，并将指标数据存储在共享存储空间中，当需要对指标数 据分析时，再从共享存储空间中获取指标数据。
43.然而，以指标数据采集分析为例，共享存储空间，成为采集指标数据的一 端、与获取并分析指标数据的一端之间的数据通路，其实现了上述两端之间的 数据直接传输；与此同时，采集指标数据的一端与共享存储空间之间、以及共 享存储空间与获取并分析指标数据的一端之间的控制信息，还需要借助于专用 通道才能传输，这样就产生了严重的数据传输性能开销。
44.基于以上问题，本技术实施例提供了一种数据处理方法，在该数据处理方 法中，控制信息与目标数据存储在同一存储空间中，如此，共享存储空间的两 端模块在该存储空间中执行数据处理操作时，可以直接获取该存储空间中存储 的控制信息，从而实现了控制信息与目标数据捆绑式存储和传输处理，降低了 控制信息传输以及处理带来的数据处理开销，提高了共享存储空间数据处理的 效率。
45.本技术实施例首先提供了一种应用于第一采集模块的数据处理方法。
46.需要说明的是，本技术实施例提供的应用于第一采集模块的数据处理方法， 可以
是通过第一采集模块的第一处理器实现的。上述第一处理器可以为特定用 途集成电路(application specific integrated circuit，asic)、数字信号处理器 (digital signal processor，dsp)、数字信号处理装置(digital signal processingdevice，dspd)、可编程逻辑装置(programmable logic device，pld)、现场 可编程逻辑门阵列(field programmable gate array，fpga)、中央处理器(centralprocessing unit，cpu)、控制器、微控制器、微处理器中的至少一种。
47.在一种实施方式中，第一采集模块，可以是能够实现数据采集功能的、以 物理机为载体的模块；第一采集模块，还可以是能够实现数据采集功能的虚拟 模块，还可以是能够实现数据采集功能的、可执行代码。
48.图1为本技术实施例提供的应用于第一采集模块的数据处理方法的流程示 意图。如图1所示，该方法可以包括步骤101至步骤104：
49.步骤101、确定第一地址信息。
50.其中，第一地址信息，包括第一存储空间的地址信息；第一存储空间，包 括共享存储空间中第一采集模块能够执行针对待处理的数据存储操作的存储空 间；第一存储空间中存储有控制信息。
51.在一种实施方式中，共享存储空间，可以是物理存储空间；示例性的，共 享存储空间，可以是硬盘上的存储空间；也可以是内存中的存储空间，在这种 情况下，共享存储空间可以为共享内存。
52.在一种实施方式中，共享存储空间，可以包括至少一个子存储空间，第一 存储空间，可以为共享存储空间的子存储空间。
53.在一种实施方式中，第一存储空间中，可以包括至少一个存储单元；示例 性的，至少一个存储单元可以是连续分布在共享存储空间的。
54.在一种实施方式中，数据存储操作，可以包括存储至少一个数据；还可以 包括存储至少一种类型的数据，示例性的，在存储至少一种类型的数据的情况 下，不同类型的数据可以并行存储。
55.在一种实施方式中，针对待处理数据的数据存储操作，可以包括仅对待处 理数据的数据存储操作；或者针对待处理数据中的部分数据执行的数据存储操 作。
56.在一种实施方式中，第一地址信息，可以为第一存储空间的起始存储单元 的地址信息；示例性的，第一地址信息，可以为物理地址，还可以为虚拟地址。
57.在一种实施方式中，控制信息，可以包括控制是否执行数据存储操作、如 何执行数据存储操作、以及何时执行数据存储操作等至少一种用于控制数据处 理操作的信息。
58.在一种实施方式中，控制信息，可以通过字符串、单一比特位、以及比特 位组合中的任一形式体现。
59.在一种实施方式中，共享存储空间中可以包括至少一个子存储空间，其中 部分子存储空间中已经存储有有效数据，在这种情况下，若这些有效数据未被 处理就对这些子存储空间执行数据存储操作，则有效数据会被覆盖，从而造成 有效数据的浪费，因此，在本技术实施例中，第一地址信息，是第一采集模块 能够执行数据采集操作的第一存储空间的地址信息。
60.步骤102、基于第一地址信息，获取控制信息。
61.在一种实施方式中，控制信息，可以存储在第一存储空间中与第一地址信 息对应的存储单元中，示例性的，控制信息可以存储在第一存储空间的起始存 储单元中；控制信息，还可以存储在与第一地址信息保持一定地址偏移量的至 少一个存储单元中，示例性的，上述地址偏移量，可以是固定的，也可以是可 调的。
62.在一种实施方式中，第一存储空间中，可以仅存储有一份控制信息；示例 性的，第一存储空间的每一存储单元中，可以均存储有一份控制信息，并且， 各个存储单元中存储的控制信息可以各不相同。
63.步骤103、基于控制信息对第一采集模块采集的待处理数据进行处理，得 到目标数据。
64.在一种实施方式中，待处理数据，可以是第一采集模块采集的原始数据。 示例性的，原始数据，可以是与网络流量相关的数据，示例性的，原始数据可 以包括虚拟机(virtual matchine，vm)流量数据、网卡流量数据以及其它流量 数据中的至少一种。
65.在一种实施方式中，基于控制信息对待处理数据进行处理，可以是通过以 下任一方式实现的：
66.基于控制信息，添加附加信息至待处理数据；示例性的，附加信息，可以 是待处理数据的采集时间以及类型信息中的至少一种信息。
67.基于控制信息，对待处理数据中的部分数据执行取反操作；部分数据，可 以是待处理数据中的部分比特位。
68.在控制信息表示保持待处理数据不变的情况下，保持待处理数据不变。
69.步骤104、基于第一地址信息以及目标数据，执行数据存储操作，以供第 二采集模块对目标数据执行数据处理操作。
70.在一种实施方式中，基于第一地址信息以及目标数据，执行数据存储操作， 可以是通过以下任一方式实现的：
71.将目标数据存储至第一地址信息对应的第一存储空间中。
72.将目标数据存储至第一地址信息对应的第一存储空间的部分存储单元中； 示例性的，部分存储单元，可以是第一存储空间中与起始存储单元相邻的至少 一个存储单元；其中，上述至少一个存储单元的数量，可以与目标数据的数据 量对应。
73.将目标数据存储至地址与第一地址信息保持指定地址偏移量的存储单元中； 示例性的，指定地址偏移量，可以是与待处理数据和/或目标数据关联的；指定 地址偏移量，可以是可调可控的。
74.在一种实施方式中，第二采集模块，可以包括能够从共享存储空间中获取 数据的模块；示例性的，第二采集模块可以是物理机模块，也可以是可执行代 码模块。
75.在一种实施方式中，第二采集模块执行的数据处理操作，可以包括以下至 少一种操作：
76.获取目标数据。
77.读取目标数据，并将第一地址信息对应的存储单元设定为初始值，即释放 第一地址信息对应的存储空间，以供第一采集模块下次对该存储单元执行数据 存储操作。
78.基于第一地址信息对目标数据进行处理，并将处理结果更新至第一地址信 息对应的存储空间中。
79.从第一地址信息对应的第一存储单元中获取目标数据，并将目标数据发送 至其它模块，以供其它模块对目标数据进行进一步的分析处理。
80.由以上可知，本技术实施例提供的应用于第一采集模块的数据处理方法中， 第一采集模块在采集到待处理数据、且确定其能够执行数据存储操作的第一存 储空间的第一地址信息之后，能够基于第一地址信息获取对待处理数据处理的 控制信息，并基于控制信息对待处理数据进行处理得到目标数据，然后基于第 一地址信息对目标数据执行数据存储操作，以供第二采集模块对目标数据执行 数据处理操作。
81.如此，在本技术实施例提供的应用于第一采集模块的数据处理方法中，控 制信息以及目标数据是基于第一地址信息存储的，从而实现了目标数据与控制 信息的捆绑，如此，在基于共享存储空间的目标数据的存储和处理的过程中， 通过对第一地址信息对应的存储空间或存储单元的单次读写操作，就能够同时 实现控制信息以及目标数据的获取或存储传输，从而实现了数据传输通道以及 控制信息传输通道的合并建立，进而降低了目标数据传输过程中控制信息传输 而产生的性能开销，实现了基于共享存储空间的低开销高性能的目标数据传输 操作。
82.基于前述实施例，本技术实施例提供的应用于第一采集模块的数据处理方 法中，步骤101，可以是通过步骤a1至步骤a2实现的：
83.步骤a1、获取第一信息。
84.其中，第一信息，包括第二存储空间中存储单元的存储状态信息；第二存 储空间，包括共享存储空间中与待处理数据的类型信息关联的存储空间。
85.在一种实施方式中，共享存储空间中，可以包括至少一个与待处理数据的 类型信息关联的子存储空间；示例性的，共享存储空间中，可以包括与待处理 数据的类型信息关联的子存储空间、以及与待处理数据的类型信息不关联的子 存储空间。也就是说，第二存储空间，可以是共享存储空间的子存储空间。
86.在一种实施方式中，第一信息，可以包括第二存储单元中每一存储单元的 存储状态信息；示例性的，存储状态信息，可以包括存储单元是否存储有数据、 存储单元中的比特位是否全部填充有有效数据、以及存储单元中所存储的数据 的持续存储时间等至少一种信息。
87.在一种实施方式中，第一信息，可以存储在第二存储空间中；示例性的， 第一信息，能够存储在共享存储空间中的指定位置，从而便于第一采集模块获 取，能够减少第一采集模块的寻址操作。
88.步骤a2、基于第一信息，确定第一地址信息。
89.在一种实施方式中，基于第一信息，确定第一地址信息，可以是通过以下 任一方式实现的：
90.基于第一信息所包含的第二存储空间中各个存储单元的存储状态信息，确 定未存储有效数据的存储单元中地址最小的存储单元，并将该存储单元的地址 信息，确定为第一地址信息。
91.基于第一信息所包含的第二存储空间中各个存储单元的存储状态信息，确 定未写满有效数据的存储单元中地址最小的存储单元，并将该存储单元的地址 信息，确定为第一地址信息。
92.由以上可知，在本技术实施例提供的数据处理方法中，共享存储单元中预 先根据数据的类型信息划分，那么，在获取任一待处理数据时，根据待处理数 据的类型信息就可以快速的确定第一地址信息，从而缩小了第一地址信息确定 过程中的寻址范围，减少了第一地址信息确定过程中的寻址计算量；并且，还 能够根据子存储空间的存储状态信息确定第一地址信息，从而实现了精准的存 储状态控制，能够进一步提高第一地址信息确定的效率，降低目标数据覆盖有 效数据的概率，提高第一采集模块执行数据存储操作的效率。
93.基于前述实施例，本技术实施例提供的应用于第一采集模块的数据处理方 法中，步骤a1，还可以通过步骤b1至步骤b3实现：
94.步骤b1、获取类型空间关联信息。
95.其中，类型空间关联信息，包括数据类型信息与共享存储空间的地址信息 之间的关联关系的信息。
96.在一种实施方式中，类型空间关联关系信息，可以是在数据处理方法执行 之前就已经确定的；示例性的，类型空间关联关系，可以存储在共享存储空间 中，还可以作为实现数据处理过程的配置信息，存储在第一采集模块的存储单 元中，或者，可以设置在第一采集模块的可执行代码中。
97.在一种实施方式中，类型空间关联关系信息，还可以通过二维数组、集合、 以及结构体等至少一种数据结构中存储的数据信息体现。
98.在一种实施方式中，类型空间关联关系信息，除了包含数据类型信息与地 址信息之间的关联关系的信息，还可以包括每一数据类型信息对应的子存储空 间的大小。
99.在一种实施方式中，类型空间关联关系信息，可以通过共享存储空间元数 据体现。示例性的，共享存储空间元数据的数据结构，可以如表1所示：
100.表1
[0101][0102]
在表1中，共享存储空间元数据包括第一类型元数据至第n类型元数据， 它们分别与第一数据类型信息至第n数据类型信息对应；第一数据类型信息可 以包括第一数据类型1至第一数据类型p；第n数据类型信息可以包括第n数 据类型1至第n数据类型m；其中，n、p以及m可以均为大于或等于2的整 数。
[0103]
在表1中，共享存储空间元数据，可以包括共享存储空间中至少一种数据 类型信息对应的子存储空间的大小、子存储空间的数量以及子存储空间的地址 信息。
[0104]
在表1中，每一类型元数据，可以包括与该类型信息对应的子存储空间的 大小、与该类型信息对应的子存储空间的存储状态信息等；其中，存储状态信 息，可以包括该类型信息对应的子存储空间中存储单元的总数量、已存储数据 的存储单元的数据量、可被写入目标数据的存储单元的数量等。
[0105]
如表1所示，第一类型元数据，可以包括第一类型子存储空间的第一存储 单元至第p存储单元的存储状态，即第一类型子存储空间的第一存储单元至第 p存储单元的存储
状态是否对应存储有第一类型数据1至第一类型数据p；第n 类型元数据，可以包括第n类型子存储空间的第一存储单元至第m存储单元的 存储状态；即第n类型子存储空间的第一存储单元至第m存储单元的存储状态 是否对应存储有第n类型数据1至第n类型数据m。示例性的，在任一类型子 存储空间中，也可以只存储有一个该类型的目标数据，或者并未存储该类型的 目标数据。
[0106]
需要说明的是，在第一采集模块采集待处理数据之前，可以在第一采集模 块的可执行代码中增加指向共享存储空间的指针；共享存储空间元数据，可以 通过上述指针增加一定的偏移量获取。示例性的，上述指针，可以在已有的用 于实现数据存储操作的代码中实现，比如通过增加或重写接口结构体、增加或 扩展接口类的方式实现；上述指针还可以是全局指针，这样可以降低数据存储 操作的功能实现中维护指针所产生的数据运算量。
[0107]
步骤b2、基于待处理数据的类型信息以及类型空间关联信息，确定第二地 址信息。
[0108]
其中，第二地址信息，包括第二存储空间的地址信息。
[0109]
在一种实施方式中，第二地址信息，可以包括第二存储空间中存储有第一 信息的存储单元的地址信息。
[0110]
在一种实施方式中，第二地址信息，可以是第二存储空间的起始存储单元 的地址信息。
[0111]
在一种实施方式中，基于待处理数据的类型信息以及类型空间关联信息， 确定第二地址信息，可以是通过以下任一方式实现的：
[0112]
在类型空间关联信息中的任一数据类型信息，与待处理数据的类型信息之 间匹配的情况下，确定与待处理数据的类型信息对应的存储空间的地址信息为 第二地址信息，此时第二地址信息为有效地址。
[0113]
在类型空间关联信息中的任一数据类型信息，与待处理数据的类型信息均 不匹配的情况下，确定第二地址信息为无效地址。
[0114]
步骤b3、基于第二地址信息，获取第一信息。
[0115]
在一种实施方式中，第一信息，可以是通过以下任一方式获取的：
[0116]
直接从第二地址信息对应的存储单元中，获取第一信息。
[0117]
基于第二地址信息，寻址存储有第一信息的存储单元，并从该存储单元中 获取第一信息。
[0118]
由以上可知，本技术实施例提供的应用于第一采集模块的数据处理方法， 将共享存储空间按照数据类型信息进行了划分，在获取待处理数据之后，就能 够根据待处理数据的类型信息确定对应的子存储空间的存储状态信息，这样就 提高了第一地址信息的确定效率，为控制信息的高效获取、以及目标数据的高 效数据存储操作奠定了基础。
[0119]
基于前述实施例，本技术实施例提供的应用于第一采集模块的数据处理方 法中，第一信息，包括与第二存储空间关联的比特图信息；在数据存储操作结 束之后，更新第一信息。
[0120]
在一种实施方式中，比特图信息，可以用于表示共享存储空间中的存储单 元中是否存储有数据。
[0121]
在一种实施方式中，比特图信息，可以包括与共享存储空间的每一存储单 元对应
的存储状态标识，示例性的，该存储状态标识，可以是二进制数据，比 如，当存储状态标识为1时，可以表示存储单元中存储有有效的目标数据；当 存储状态标识为0时，可以表示存储单元中未存储有目标数据，或者存储的数 据为无效数据；示例性的，比特图信息中的存储状态标识，可以记为比特信息。
[0122]
在一种实施方式中，比特图信息，可以存储在与数据类型信息关联的元数 据中。
[0123]
在一种实施方式中，第一信息，还可以以数组的形式体现。
[0124]
在本技术实施例中，通过比特图信息，就可以实现对第一地址信息的灵活 寻址，从而提高了第一地址信息确定的效率。
[0125]
相应的，更新第一信息，可以是通过以下任一方式实现的：
[0126]
对数据存储操作的结果进行判断，并根据判断结果更新第一信息。
[0127]
在判断结果表示目标数据被成功写入第一地址信息对应的存储单元中的情 况下，将第一信息中与写入目标数据的存储单元关联的存储状态标志置位；在 判断结果表示目标数据写入第一地址信息对应的存储单元失败的情况下，将第 一信息中与写入目标数的存储单元关联的存储状态标志复位。
[0128]
由以上可知，在本技术实施例提供的数据处理方法中，由于比特图信息中 信息表示方法直观形象且简单，因此，在采用比特图信息表示共享存储空间的 子存储空间的存储状态信息的情况下，就能够根据比特图信息快速精准的确定 第一地址信息，从而减少了寻址第一地址信息所产生的共享存储空间的指针遍 历操作，提高了第一地址信息确定的效率；并且，在数据存储操作结束之后， 还能够及时更新第一信息，从而为第一采集模块后续的数据存储操作、以及第 二采集模块的数据处理操作的执行提供了精准的寻址依据。
[0129]
图2为本技术实施例提供的第一采集模块确定第一地址信息的流程示意图。 如图1所示，该流程可以包括步骤201至步骤207：
[0130]
步骤201、采集待处理数据。
[0131]
示例性的，采集待处理数据之前，还可以先获取采集需求配置信息，然后 根据采集需求配置信息，采集待处理数据。
[0132]
步骤202、获取共享存储空间元数据中的比特图信息。
[0133]
示例性的，共享存储空间元数据中的比特图信息，可以是与待处理数据的 类型信息对应的子存储空间中的比特图信息，也就是说，该比特图信息中的比 特信息所表示的存储状态信息，为与待处理数据的类型信息对应的子存储空间 中存储单元的存储状态信息。
[0134]
步骤203、判断比特图信息中的比特信息是否被全部检测。
[0135]
示例性的，在比特图信息中的比特信息以二进制表示、且比特图信息包括 至少两位信息的情况下，可以通过对至少两位比特信息执行异或运算、或者值 比较的方法，快速确定比特图信息中的比特信息是否被全部检测。
[0136]
示例性的，若比特图信息中的信息未被全部检测，可以表示第二采集模块 未对第二存储空间中的全部存储单元中存储的数据执行过数据处理操作，此时 可以执行步骤204；若比特图信息中的比特信息被全部检测，可以表示第二采集 模块已对第二存储空间中的每一存储单元中存储的数据执行过数据处理操作， 此时可以执行步骤205。
[0137]
步骤204、获取比特图信息中的下一比特信息。
[0138]
示例性的，可以按照比特图信息中比特信息的下标，选择下一个比特信息， 然后
执行步骤206。
[0139]
步骤205、返回第一指针。
[0140]
示例性的，第一指针，可以表示第二存储空间中起始存储单元的地址。
[0141]
步骤206、判断比特图信息中下一比特信息是否被检测。
[0142]
示例性的，若下一比特信息被检测，下一比特信息可以被第二采集模块设 置为1，用于表示第二采集模块已经对下一比特信息对应的存储单元中存储的数 据执行了数据处理操作，此时表示第一采集模块可以针对该存储单元执行数据 存储操作，可以执行步骤207；示例性的，可以将该存储单元记为第一采集模块 可用的存储单元。
[0143]
示例性的，若下一比特信息未被检测，下一比特信息的值可以为0，则表示 第二采集模块未对下一比特信息对应的存储单元中存储的数据执行数据处理操 作，即第一采集模块不能针对该存储单元执行数据存储操作，此时可以执行步 骤203至步骤205，继续判断下一比特信息的状态。
[0144]
步骤207、返回第二指针。
[0145]
示例性的，第二指针，指向第一采集模块可执行数据存储操作的存储单元。
[0146]
在图2所示的流程结束之后，可以将第一指针或第二指针确定为第一地址信 息。
[0147]
由以上可知，在确定第一地址信息的过程中，涉及到对比特图信息的判断， 基于比特图信息中比特信息可以为二进制数据的特殊性，通过简单的异或或者 比较操作就可以快速确定第二存储空间中的存储单元是否全部不可用，从而提 高了第一地址信息确定的效率。
[0148]
基于前述实施例，本技术实施例提供的应用于第一采集模块的数据处理方 法中，步骤102，可以通过步骤c1至步骤c2确定：
[0149]
步骤c1、基于第一地址信息，获取第二信息。
[0150]
其中，第二信息，包括与第一存储空间的存储单元关联的数据处理配置信 息；数据处理配置信息，包括至少一种配置信息。
[0151]
在一种实施方式中，第二信息，可以是直接从第一地址信息对应的起始存 储单元中获取的。
[0152]
在一种实施方式中，为了便于数据读写分析，配置信息，可以是通过数字 的方式体现的；示例性的，配置信息可以为二进制数字；示例性的，配置信息， 可以包括预先配置的对待处理数据处理的信息。
[0153]
在一种实施方式中，在数据处理配置信息包括至少两种配置信息的情况下， 数据处理配置信息，可以以数组以及结构体中的至少一种数据结构的形式体现； 在配置信息为二进制数字的情况下，数据处理配置信息，可以包括至少两位二 进制数字。
[0154]
步骤c1、在第二信息中的配置信息被第二采集模块更新的情况下，基于第 二信息中的每一配置信息，确定控制信息。
[0155]
在一种实施方式中，第二采集模块，能够基于第一地址信息对目标数据执 行数据处理操作，在数据处理操作结束之后，可以更新第二信息；示例性的， 在第二信息中配置信息的数量为至少两个的情况下，在数据处理操作结束之后， 第二采集模块能够更新至少一个配置信息。
[0156]
在一种实施方式中，若第二采集模块更新了第二信息中的部分配置信息， 可以表
示第二采集模块针对第一地址信息中存储的目标数据的数据处理操作尚 未结束，此时可以禁止第一采集模块基于第一地址信息的数据存储操作，或者 使能第一采集模块基于已被更新的部分配置信息执行数据存储操作。
[0157]
在一种实施方式中，若第二采集模块更新了第二信息中的每一配置信息， 可以表示第二采集模块针对第一地址信息中存储的目标数据的处理操作已经结 束，此时第一采集模块针对第一地址信息的数据存储操作是安全而有效的。
[0158]
在一种实施方式中，基于第二信息中的配置信息，确定控制信息，可以是 通过以下任一方式实现的：
[0159]
获取第二信息中的每一配置信息，对每一配置信息进行处理，确定控制信 息；示例性的，对第二信息中每一配置信息的处理，可以是按照第一采集模块 与第二采集模块之间的数据处理需求而确定的。
[0160]
选取对第二信息中的至少一种配置信息，并将选取得到的至少一种配置信 息确定控制信息。
[0161]
将第二信息中的每一配置信息，确定为控制信息。
[0162]
基于前述实施例，在本技术实施例提供的应用于第一采集模块的数据处理 方法中，还可以包括以下操作：
[0163]
在数据存储操作结束之后，更新第二信息。
[0164]
在一种实施方式中，更新第二信息，可以为更新第二信息中的所有配置信 息；还可以为更新第一采集模块对目标数据处理所依据的至少一个配置信息。
[0165]
在数据处理配置信息为控制标识、数据处理配置信息中的配置信息为控制 标志位的情况下，本技术实施例还提供了基于控制标识对待处理数据处理的流 程。图3为本技术实施例提供的基于控制标识对待处理数据处理的流程示意图， 如图3所示，该流程可以包括步骤301至步骤308：
[0166]
步骤301、采集待处理数据。
[0167]
步骤302、获取控制标识。
[0168]
示例性的，控制标识的获取，可以是通过前述实施例提供的第二信息的获 取方法实现的，此处不再赘述。
[0169]
步骤303、判断控制标识中的控制标识位是否被全部检测。
[0170]
示例性的，控制标识中的控制标识位，可以为二进制数据，因此，可以通 过如前述实施例所述的对所有控制表示位执行异或运算或者比较的方式，快去 判断控制标识中的控制表示为是否被全部检测。
[0171]
示例性的，若控制标识中的控制标识位被全部检测，可以表示第二采集模 块已经将控制标识中的全部控制标识位进行了检测且进行了置位，即第二采集 模块已经完成了对控制标识的更新，在这种情况下，可以执行步骤304。
[0172]
示例性的，若控制标识中的控制标识位未被全部检测，可以表示第二采集 模块将控制标识中的部分控制标识位进行了检测且置位，即第二采集模块完成 了对控制标识中部分控制标识位的更新，在这种情况下，可以执行步骤305。
[0173]
步骤304、确定目标数据，存储目标数据。
[0174]
示例性的，第一采集模块，可以根据控制标识位对待处理数据进行处理， 从而确
定目标数据，并存储目标数据至第一地址信息对应的存储单元中。
[0175]
步骤305、顺序选择下一控制标识位。
[0176]
示例性的，可以根据控制标识位的标号大小，从未判断的控制标识位中， 选择标号最小的控制标识位，作为下一控制标识位。
[0177]
步骤306、判断下一控制标识位是否置位。
[0178]
示例性的，判断下一控制标识位是否置位，可以是通过判断下一控制标识 位与预设标识位是否相等实现的；示例性的，预设标识位可以为1。
[0179]
示例性的，下一控制标识位置位，可以包括第二采集模块已经对该控制标 识位进行了置位更新，此时可以执行步骤307；若下一控制标识位未置位，则表 示第二采集模块未更新该控制标识位，此时可以执行步骤303。
[0180]
步骤307、对待处理数据执行对应控制操作。
[0181]
示例性的，对应控制操作，可以是步骤306中被第二采集模块置位的下一控 制标识确定的；示例性的，对待处理数据执行对应控制操作，可以得到目标数 据。
[0182]
步骤308、重置下一控制标识位。
[0183]
在步骤308结束之后，还可以执行步骤303，以实现对待处理数据的多种操 作，从而得到至少一个目标数据，并存储至少一个目标数据至共享存储空间。
[0184]
由以上可知，在本技术实施例中，第一采集模块在确定第二信息中的配置 信息被第二采集模块更新的情况下，才基于第二信息中的每一配置信息，确定 控制信息，如此，通过上述过程确定的控制信息，能够协调第一采集模块以及 第二采集模块基于共享存储空间的数据操作，降低了目标数据操作失败的概率， 提高了基于共享存储空间的数据处理的效率。
[0185]
基于前述实施例，本技术实施例还提供了一种应用于第二采集模块的数据 处理方法，需要说明的是，该方法可以由第二采集模块的第二处理器实现，示 例性的，第二处理器，可以为asic、dsp、dspd、pld、fpga、cpu、控制 器、微控制器、微处理器中的至少一种。
[0186]
图4为本技术实施例提供的应用于第二采集模块的数据处理方法的流程示 意图。如图4所示，该方法可以包括步骤401至步骤402：
[0187]
步骤401、确定第一地址信息。
[0188]
其中，第一地址信息，包括第一存储空间的地址信息；第一存储空间，包 括共享存储空间中第二采集模块能够执行针对目标类型数据的数据处理操作的 存储空间；第一存储空间中存储有控制信息以及目标数据；目标数据，是由第 一采集模块基于控制信息对第一采集模块采集的待处理数据进行处理得到的； 控制信息，是由第一采集模块基于第一地址信息确定的；目标数据的类型为目 标类型。
[0189]
在一种实施方式中，目标类型，可以是数据处理方法启动之前，第二采集 模块就确定的；示例性的，第二采集模块可以根据实际的数据采集需求确定目 标类型，还可以根据上位机下发的数据采集指令确定目标类型。
[0190]
在一种实施方式中，数据处理操作，可以包括获取目标类型数据的操作。
[0191]
在一种实施方式中，数据处理操作，可以包括获取目标类型的数据，对目 标类型的数据进行处理，再将处理之后的数据存储至第一存储空间的操作。
[0192]
步骤402、基于第一地址信息，对目标数据执行数据处理操作。
[0193]
示例性的，基于第一地址信息，对目标数据执行数据处理操作，可以是通 过以下方式实现的：
[0194]
获取第一地址信息，对以第一地址信息为起始地址的指定范围的存储单元 中存储的目标数据进行处理。
[0195]
对第一地址信息对应的存储单元中存储的目标数据进行处理。
[0196]
由以上可知，第二采集模块执行数据处理操作的目标数据，是第一采集模 块基于控制信息对其所采集的待处理数据进行处理得到的，并且，控制信息与 目标数据同时存储在第一地址信息对应的第一存储空间中，因此，无论是第一 采集模块还是第二采集模块，通过对第一存储空间的一次读写操作，就能够实 现它们对控制信息以及目标数据的双重读写，从而能够降低它们基于共享存储 空间的数据处理开销，提高基于共享存储空间的数据处理效率。
[0197]
基于前述实施例，本技术实施例提供的应用于第二采集模块的数据处理方 法中，步骤401，可以通过步骤d1至步骤d2实现：
[0198]
步骤d1、获取第一信息。
[0199]
其中，第一信息，包括第二存储空间中存储单元的存储状态信息；第二存 储空间，包括共享存储空间中与目标数据的类型信息关联的存储空间；
[0200]
步骤d2、基于第一信息，确定第一地址信息。
[0201]
由以上可知，在本技术实施例中，第二采集模块能够获取第二存储空间中 各个存储单元的存储状态信息，再根据该存储状态信息确定第一地址信息，在 存储状态信息的表示方式简单直观的情况下，能够实现第一地址信息的高效快 速且精准的确定。
[0202]
基于前述实施例，本技术实施例提供的应用于第二采集模块的数据处理方 法中，步骤d1可以通过步骤e1至步骤e3实现：
[0203]
步骤e1、获取类型空间关联信息。
[0204]
其中，类型空间关联信息，包括数据类型信息与共享存储空间中地址信息 之间的关联关系的信息。
[0205]
步骤e2、基于目标类型的类型信息与类型空间关联信息，确定第二地址信 息。
[0206]
其中，第二地址信息，包括第二存储空间的地址信息。
[0207]
步骤e3、基于第二地址信息，获取第一信息。
[0208]
由以上可知，本技术实施例提供的应用于第二采集模块的数据处理方法， 第二采集模块获取类型空间关联信息后，能够基于目标数据的类型信息以及类 型空间关联信息，确定第二地址信息，再基于第二地址信息获取第一信息，如 此，一方面实现了共享存储空间中子存储空间的合理划分，另一方面还实现了 第一信息的快速获取。
[0209]
基于前述实施例，本技术实施例提供的应用于第二采集模块的数据处理方 法中，第一信息，包括与第二存储空间关联的比特图信息；方法还包括：
[0210]
在数据处理操作结束之后，更新第一信息。
[0211]
由以上可知，在本技术实施例中，第二采集模块在数据处理操作结束之后， 能及时更新第一信息，结合前述实施例的说明可知，在第一信息更新之后，第 一采集模块能够根据第一信息快速而准确的确定第一地址信息，从而为第一采 集模块高效的数据存储操作奠定了基础。
[0212]
基于前述实施例，本技术实施例提供的应用于第二采集模块的数据处理方 法中，步骤401可以通过步骤f1至步骤f3实现：
[0213]
步骤f1、获取数据处理操作的执行次数。
[0214]
在一种实施方式中，数据处理操作的执行次数，可以包括第二采集模块执 行的数据处理操作的总次数；还可以包括第二采集模块针对指定类型信息的数 据执行的数据处理操作的次数。
[0215]
在一种实施方式中，数据处理操作的执行次数，可以包括第二采集模块最 近一次启动数据处理操作的时刻到当前时刻，所执行的数据处理操作的次数。
[0216]
在一种实施方式中，数据处理操作的执行次数，可以包括第二采集模块针 对指定类型信息的数据、从上一组数据处理操作结束的时间到当前时刻，所执 行的数据处理操作的次数。
[0217]
在一种实施方式中，数据处理操作的执行次数，可以包括在一个采集周期 内第二采集模块执行的数据处理操作的次数，在一个采集周期结束之后，数据 处理操作的次数可以被清零。示例性的，采集周期，可以包括第二采集模块执 行数据处理操作的持续时间，还可以包括第二采集模块执行数据处理操作的次 数。
[0218]
步骤f2、基于第一地址信息，获取第二信息。
[0219]
其中，第二信息，包括与第一存储空间的存储单元关联的数据处理配置信 息；数据处理配置信息，包括至少一种配置信息。
[0220]
步骤f3、在满足指定条件的情况下，对目标数据执行数据处理操作。
[0221]
其中，指定条件，包括执行次数小于或等于指定阈值、且第二信息中的配 置信息在数据存储操作结束之后被第一采集模块更新。
[0222]
在一种实施方式中，指定阈值，可以是根据第二采集模块的数据处理能力 确定的；示例性的，指定阈值，可以是根据第二采集模块对至少一个目标数据 集中处理能力或集中处理需求而确定搞得；示例性的，指定阈值，还可以根据 第二采集模块的上位机下发的命令确定；示例性的，指定阈值，可以根据第二 采集模块的采集周期确定。
[0223]
在一种实施方式中，第二采集模块可以将获取的至少一个目标数据进行打 包处理得到数据包，此时，指定阈值，可以是数据包所能包含的目标数据的最 大数量。示例性的，第二采集模块可以将数据包上报至上位机，以供上位机对 数据包进行进一步的分析处理。
[0224]
在一种实施方式中，第二信息中的配置信息被第一采集模块更新的过程， 与前述实施例中，第二信息中的配置信息被第二采集模块更新的过程相同，此 次不再赘述。
[0225]
在本技术实施例中，在数据处理操作结束之后，还可以更新所述第二信息。
[0226]
由以上可知，只有在满足指定条件的情况下，第二采集模块才对目标数据 执行数据处理操作，从而能够提高第二采集模块执行数据处理操作的针对性， 实现对目标数据的过滤，也能改善第二采集模块执行数据处理操作的效率；并 且，第二采集模块在数据处理操作结束之后及时更新第二信息，还能提高第一 采集模块对待处理数据的处理效率。
[0227]
在第二采集模块执行的数据处理操作，包括数据获取以及数据上报操作的 条件下，本技术实施例还提供了第二采集模块获取并上报目标数据的方法，图 5为本技术实施例提供的第二采集模块获取目标数据的流程示意图。如图5所 示，该方法可以包括步骤501
至步骤510：
[0228]
步骤501、获取共享存储空间元数据。
[0229]
步骤502、获取指定数据类型对应的比特图信息。
[0230]
示例性的，指定数据类型，可以是由第二采集模块设置的，也可以是第二 采集模块基于上位机下发的指示而确定的；指定数据类型，可以与目标数据的 类型信息一致。
[0231]
步骤503、判断执行次数是否大于或等于指定阈值。
[0232]
示例性的，这里的执行次数，可以包括第二采集模块执行的获取目标数据 的次数。
[0233]
示例性的，若执行次数大于或等于指定阈值，则执行步骤504至步骤505； 若执行次数小于指定阈值，则执行步骤506。
[0234]
步骤504、获取目标数据。
[0235]
步骤505、对目标数据进行处理，得到数据包，上报数据包。
[0236]
示例性的，第二采集模块可以基于预设的打包配置信息对目标数据进行处 理。
[0237]
步骤506、根据比特图信息选择下一置位比特信息。
[0238]
示例性的，下一置位比特信息对应的存储单元，可以是第二采集模块能够 执行数据获取操作的存储单元。
[0239]
步骤507、判断控制标识中的控制标识位是否已重置。
[0240]
示例性的，控制标识中的控制标识位被重置，可以是第一采集模块在执行 完数据处理操作之后执行的，此时可以执行步骤508；若控制标识中的控制标 识位未被重置，则表示第一采集模块尚未写入目标数据，此时可以执行步骤503。
[0241]
步骤508、判断目标数据是否为无效数据。
[0242]
示例性的，无效数据可以是全0，或者全f。
[0243]
示例性的，若目标数据不为无效数据，则执行步骤509；若目标数据为无 效数据，则执行步骤503。
[0244]
步骤509、获取目标数据。
[0245]
步骤510、更新控制标识位。
[0246]
由以上可知，第二采集模块在获取目标数据的过程中，对比特图信息、获 取操作执行次数、控制标识位以及目标数据是否为无效次数等多个条件进行了 判断处理，不仅实现了对目标数据的精准获取，还实现了对目标数据的筛选过 滤，对于第二采集模块采集周期内未更新或无效的数据不获取，从而降低了目 标数据传输的计算量；在获取目标数据之后，不但能够打包上报目标数据，还 能够实时更新控制标识位，从而为第一采集模块以及第二采集模块基于共享存 储空间的、高效协同数据处理操作奠定了基础。
[0247]
基于前述实施例，本技术实施例还提供了第一采集模块以及第二采集模块 的数据处理架构图。图6为本技术实施例提供的第一采集模块以及第二采集模 块数据处理的架构示意图，如图6所示，该架构包括：
[0248]
第一采集模块601、第二采集模块602以及共享存储单元603；其中，共享 存储单元603中可以包括第一类型存储空间6031以及第二类型存储空间6032； 第一类型存储空间6031包括第一存储区域60311以及第二存储区域60312；第 二类型存储空间6032可以包括第三存储区域60321以及第四存储区域60322。 其中，第一存储区域60311以及第三存储区
域60321，用于存储对应空间的元 数据，每一元数据中可以包括比特图信息以及控制标识等；第二存储区域60312 以及第四存储区域60322，用于存储第一数据类型的目标数据以及第二数据类 型的目标数据。
[0249]
示例性的，第一采集模块601能够获取第一存储区域60311的元数据，示 例性的，并通过该元数据中的比特图信息确定可以用于存储目标数据的存储单 元，还能够获取控制标识，以基于控制标识对待处理数据进行处理得到目标数 据；在第一采集模块601执行数据存储操作结束之后，可以更新数据标识以及 比特图信息。
[0250]
示例性的，第二采集模块，也同样能够获取第一存储区域60311的元数据， 并根据比特图信息以及控制标识确定可以读取目标数据的存储单元，获取目标 数据之后，还可以将目标数据进行打包处理，并更新比特图信息以及控制标识， 以供第一采集模块下次执行数据存储操作使用。
[0251]
图7为本技术实施例提供的数据处理方法的总体流程示意图。如图7所示， 该流程可以包括步骤701至步骤704：
[0252]
步骤701、按照数据类型划分共享存储空间。
[0253]
示例性的，在划分共享存储空间之前，可以首先获取数据类型，然后按照 数据类型的数量以及对各种类型数据的采集需求划分共享存储空间。每种类型 的数据可以占用共享存储空间中一段连续的存储空间，为不同类型的数据划分 的子存储空间可以相同，在子存储空间中，可以为每一数据预留足够的存储容 量。
[0254]
步骤702、基于比特图信息以及控制标识位传输目标数据。
[0255]
示例性的，如前述实施例所述，第一采集模块601和第二采集模块602， 能够从共享存储空间的每一元数据中获取比特图信息以及控制标识，并基于比 特图信息和控制标识执行对应的数据处理操作，在数据处理操作结束之后，更 新比特图信息以及控制标识，作为对端模块执行数据处理操作的依据。
[0256]
步骤703、获取有效目标数据，上报有效目标数据。
[0257]
步骤704、释放存储空间。
[0258]
示例性的，在某种指定类型的数据不需要采集的时候，可以将指定类型的 数据对应的存储空间全部释放；在第二采集模块获取目标数据之后，也可以将 存储目标数据的存储单元初始化，从而实现存储空间释放的目的。示例性的， 在存储空间被释放之后，该存储空间关联的比特图信息也可以被更新。
[0259]
由以上可知，第一采集模块601与第二采集模块602以及共享存储空间603 之间，基于各个元数据，就能够实现目标数据从第一采集模块601到第二采集 模块602的传输，并且，第一采集模块601以及第二采集模块602，能够基于 元数据中的比特图信息以及控制标识，管理各自对数据的处理操作，从而实现 了基于共享存储空间的高效数据传输，降低了数据传输过程中控制信息传输的 资源消耗。
[0260]
本技术实施例提供的数据处理方法，还可以应用于网络系统中指标数据的 采集和传输。图8为本技术实施例提供的数据处理方法在指标数据采集传输架 中的架构示意图。
[0261]
在图8中，数据平面开发套件(data plane development kit，dpdk)数据 面801，用于采集vm802、网卡803以及其它网络接口设备的流量数据，分别 得到第一流量、第二流
量以及其它流量等指标数据，示例性的，第一流量可以 是vm流量，第二流量可以是网卡流量。
[0262]
示例性的，dpdk数据面801在获取以上各种数据之后，可以根据各种数 据的类型信息及其对应的元数据，确定共享存储空间804中用于存储各类型信 息的子存储空间，并基于元数据中的比特图信息以及控制标识，将上述各种流 量数据写入共享存储空间804的子存储空间中，之后更新比特图信息以及控制 标识。
[0263]
示例性的，采集器805，可以根据数据采集需求信息确定其所需要获取的 目标数据类型，并根据目标数据类型，确定共享存储空间804中用于存储目标 数据类型对应的元数据，然后根据元数据中的比特图信息以及控制标识获取目 标数据，之后更新比特图信息以及控制标识。
[0264]
由以上可知，本技术实施例提供的数据处理方法，应用于流量数据采集时， 无论是dpdk数据面801还是采集器805，通过对元数据的单次操作就能够获 取元数据中的控制标识以及比特图信息，从而提高了控制标识获取的效率，实 现了快速精准的执行数据处理操作，进而实现了流量指标数据的高效采集。
[0265]
在实际应用中，指标数据的采集采集通常包括指标文件解析、套接字通信 和共享内存等方法。
[0266]
在基于指标文件解析的方法中，dpdk数据面801采集各种指标数据之后， 按照一定格式写入文件中，采集器805读取该文件的数据进行数据解析。这种 方式可以减小dpdk数据面801与采集器805之间的耦合程度，并且文件的可 读性和可分析性也比较强，也能直接反应指标结果，并且还便于查看和分析。
[0267]
在基于套接字通信的方法中，dpdk数据面801与共享存储空间804之间、 以及共享存储空间804与采集器805之间，可以通过标准的套接字接口实现各 种指标数据的传输和交互。标准化的套接字接口易于与不同的采集器805对接， 指标数据也能直接根据指标存储格式进行转化，因此该方法具有较低的开发难 度和性能开销；
[0268]
在基于共享内存的方法中，dpdk数据面801与采集器805之间引入共享 内存空间804，dpdk数据面801采集指标数据，并将其存储在共享存储空间 804中以供采集器805进行读取，在该方法实现的过程中，通常需要通过数据 队列等方式传输指标数据。在这种方法中，共享存储空间804的存在，减少了 不必要的指标数据拷贝和传输，因此开销较低，采集性能较好。
[0269]
但是，对于基于指标文件解析的方法而言，该方法需要操作文件实现文件 内容读取解析，对文件的操作通常需要借助于文件输入输出操作和数据字符串 操作等，因此在海量指标数据采集的场景下，文件解析的性能下降明显，并且， 在采集器805资源约束前提下，这种方法的性能较低，不能满足指标数据采集 需求。
[0270]
对于基于套接字通信的方法而言，通过套接字进行指标数据采集可以直接 解析指标数据流获取采集指标，但是套接字传输过程中涉及到消息封装、序列 化和协议栈处理等操作，这些操作必然会产生传输和处理时延，而且需要消耗 带宽资源，从而导致采集性能受限。
[0271]
对于基于共享内存的方法而言，实际应用中的采集方案大都采用了共享内 存技术进行指标数据的获取。其中，一类方案是直接将指标数据写入共享内存 中以供由采集器
805读取，这类方案将共享内存作为数据通路直接传输数据， 控制通路通过其他途径处理，存在性能开销；另一类方案将指标数据放入共享 内存队列中由采集器805及时处理解析，以获得需要采集的指标数据，该类方 案对采集器805的性能资源要求高，在实际场景中不容易部署。
[0272]
而本技术实施例提供的数据处理方法，预先按照数据类型信息对共享存储 空间804进行划分，得到至少一个子存储空间，每一子存储空间中还设置有对 应数据类型信息的元数据，元数据与实际传输的数据共同存储在子存储空间中， 在基于元数据寻址结束之后，在dpdk数据面801以及采集器805通过一次寻 址操作，能够实现数据传输通道以及控制信号通道的双重建立；并且，利用共 享存储空间804零拷贝的优势还能极大地降低采集开销并提高采集效率；利用 dpdk数据面801与采集器805对控制标识以及比特图信息的双向控制，不但 能够降低控制开销，还能实现dpdk数据面801与采集器805对指标数据处理 的协调。
[0273]
基于前述实施例，本技术实施例还提供了一种第一采集模块601，图9a为 本技术实施例提供的第一采集模块601的第一种结构示意图，如图9a所示，第 一采集模块601可以包括：第一确定单元901、第一获取单元902以及第一处 理单元903；其中：
[0274]
第一确定单元901，用于确定第一地址信息；其中，第一地址信息，包括 第一存储空间的地址信息；第一存储空间，包括共享存储空间中第一采集模块 能够执行针对待处理数据的数据存储操作的存储空间；第一存储空间中存储有 控制信息；
[0275]
第一获取单元902，用于基于第一地址信息，确定控制信息；
[0276]
第一处理单元903，用于基于控制信息对第一采集模块采集的待处理数据 进行处理，得到目标数据；
[0277]
第一处理单元903，用于基于第一地址信息以及目标数据，执行数据存储 操作，以供第二采集模块对目标数据执行数据处理操作。
[0278]
在一种实施方式中，第一获取单元902，用于获取第一信息；其中，第一 信息，包括第二存储空间中存储单元的存储状态信息；第二存储空间，包括共 享存储空间中待处理数据的类型信息关联的存储空间；
[0279]
第一确定单元901，用于基于第一信息，确定第一地址信息。
[0280]
在一种实施方式中，第一获取单元902，用于获取类型空间关联信息；其 中，类型空间关联信息，包括数据类型信息与共享存储空间的地址信息之间的 关联关系的信息；
[0281]
第一确定单元901，用于基于待处理数据的类型信息以及类型空间关联信 息，确定第二地址信息；其中，第二地址信息，包括第二存储空间的地址信息；
[0282]
第一获取单元902，用于基于第二地址信息，获取第一信息。
[0283]
在一种实施方式中，第一信息，包括与第二存储空间关联的比特图信息； 第一处理单元903，用于在数据存储操作结束之后，更新第一信息。
[0284]
在一种实施方式中，第一获取单元902，用于基于第一地址信息，获取第 二信息；其中，第二信息，包括与第一存储空间的存储单元关联的数据处理配 置信息；数据处理配置信息，包括至少一种配置信息；
[0285]
第一确定单元901，用于在第二信息中的配置信息被第二采集模块更新的 情况下，基于第二信息中的每一配置信息，确定控制信息。
[0286]
在一种实施方式中，第一处理单元903，用于在数据存储操作结束之后， 更新第二信息。
[0287]
需要说明的是，上述第一确定单元901、第一获取单元902以及第一处理 单元903，可以通过第一采集模块601中的第一处理器实现。
[0288]
图9b为本技术实施例提供的第一采集模块601的另一种结构示意图，如图 9b所示，第一采集模块601可以包括第一处理器904以及第一存储器905，其 中：第一存储器905存储有可在第一处理器904上运行的计算机程序，第一处 理器904执行该计算机程序时实现前任一项应用于第一采集模块的数据处理方 法。
[0289]
上述第一存储器905，可以是易失性存储器(volatile memory)，例如ram； 或者非易失性存储器(non-volatile memory)，例如rom，flash memory，hdd 或ssd；或者上述种类的存储器的组合，并向处理器提供指令和数据。
[0290]
图10a为本技术实施例提供的第二采集模块602的第一种结构示意图，如 图10a所示，第二采集模块602可以包括：包括第二确定单元1001、第二获取 单元1002以及第二处理单元1003；其中：
[0291]
第二确定单元1001，用于确定第一地址信息；其中，第一地址信息，包括 第一存储空间的地址信息；第一存储空间，包括共享存储空间中第二采集模块 能够执行针对目标类型数据的数据处理操作的存储空间；第一存储空间中存储 有控制信息以及目标数据；目标数据，是由第一采集模块基于控制信息对第一 采集模块采集的待处理数据进行处理得到的；控制信息，是由第一采集模块基 于第一地址信息确定的；目标数据的数据类型为目标类型。
[0292]
第二获取单元1002，用于基于第一地址信息，获取目标数据。
[0293]
第二处理单元1003，用于基于第一地址信息，对目标数据执行数据处理操 作。
[0294]
在一种实施方式中，第二获取单元1002，用于获取第一信息；其中，第一 信息，包括第二存储空间中存储单元的存储状态信息；第二存储空间，包括共 享存储空间中与目标数据的类型信息关联的存储空间；
[0295]
第二确定单元1001，用于基于第一信息，确定第一地址信息。
[0296]
在一种实施方式中，第一信息，包括与第二存储空间关联的比特图信息；
[0297]
第二处理单元1003，用于在数据处理操作结束之后，更新第一信息。
[0298]
在一种实施方式中，第二获取单元1002，用于获取类型空间关联信息；其 中，类型空间关联信息，包括数据类型信息与共享存储空间中地址信息之间的 关联关系的信息；
[0299]
第二确定单元1001，用于基于目标类型的类型信息与类型空间关联信息， 确定第二地址信息；基于第二地址信息，获取第一信息其中，第二地址信息， 包括第二存储空间的地址信息。
[0300]
在一种实施方式中，第二获取单元1002，用于获取数据处理操作的执行次 数；基于第一地址信息，获取第二信息；其中，第二信息，包括与第一存储空 间的存储单元关联的数据处理配置信息；数据处理配置信息，包括至少一种配 置信息；
[0301]
第二处理单元1003，用于在满足指定条件的情况下，对目标数据执行90 数据处理操作；其中，指定条件，包括执行次数小于或等于指定阈值、且第二 信息中的配置信息在数据存储操作结束之后被第一采集模块更新。
[0302]
在一种实施方式中，第二处理单元1003，用于在数据处理操作结束之后， 更新第二信息。
[0303]
需要说明的是，需要说明的是，上述第二确定单元1001、第二获取单元1002 以及第二处理单元1003，可以通过第二采集模块602中的第二处理器实现。
[0304]
图10b为本技术实施例提供的第二采集模块602的另一种结构示意图。如 图10b所示，第二采集模块602可以包括包括第二处理器1004以及第二存储器 1005，其中：所述第二存储器1005存储有可在所述第二处理器1004上运行的 计算机程序，所述第二处理器1004执行该计算机程序时实现前任一项应用于第 二采集模块602的数据处理方法。
[0305]
上述第二存储器1005，可以是易失性存储器(volatile memory)，例如ram； 或者非易失性存储器(non-volatile memory)，例如rom，flash memory，hdd 或ssd；或者上述种类的存储器的组合，并向处理器提供指令和数据。
[0306]
本技术实施例还提供了一种数据处理系统，该系统包括如图9a或9b所示 的第一采集模块601、以及如图10a或10b所示的第二采集模块602。
[0307]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介 质中存储有计算机程序，所述计算机程序被处理器执行时，能够实现如前述实 施例提供的应用于第一采集模块601或第二采集模块602的数据处理方法。
[0308]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同 或相似之处可以互相参考，为了简洁，本文不再赘述。
[0309]
本技术所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任 意组合，得到新的方法实施例。
[0310]
本技术所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任 意组合，得到新的产品实施例。
[0311]
本技术所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下 可以任意组合，得到新的方法实施例或设备实施例。
[0312]
需要说明的是，上述计算机可读存储介质可以是只读存储器(read onlymemory，rom)、可编程只读存储器(programmable read-only memory，prom)、 可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、 电可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，eeprom)、磁性随机存取存储器(ferromagnetic random accessmemory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只 读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包 括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设 备、个人数字助理等。
[0313]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置 不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这 种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语 句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或 者装置中还存在另外的相同要素。
[0314]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0315]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例
方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方 案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包 括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器， 或者网络设备等)执行本技术各个实施例所描述的方法。
[0316]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方 框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结 合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或 其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可 编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0317]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
[0318]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0319]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利 用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运 用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。