一种数据处理方法、装置、设备及介质与流程

1.本发明涉及车路协同领域，具体涉及一种数据处理方法、装置、设备及介质。


背景技术：

2.目前，外部系统数据和内部系统数据在接入过程中，往往会遇到各种问题，例如可能是传输的协议不一致、可能是对应传输的格式不一致、可能是内容的字段不一致等。针对这些不一致，往往需要投入较多人力和时间来修正，其中投入的成本和不一致性呈现一定的正比例关系，导致不同系统间数据接入在后期可拓展性和可维护性上也面临着挑战。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种数据处理方法、装置、设备及介质，以解决内外部系统的数据在接入过程中耗费较多人力物力的问题。
4.根据第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：确定至少一个输入源的数量以及至少一个输出源的数量，并基于所述输入源的数量确定对应数量的第一线程以及基于所述输出源的数量确定对应数量的第二线程；所述第一线程与所述输入源一一对应，所述第二线程与所述输出源一一对应；开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据；每个所述第一线程内存储有对应的所述输入源所需的所述预设输入源处理模板和所述预设数据处理模板；开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源；每个所述第二线程内存储有对应的所述输出源所需的所述预设输出源处理模板。
5.结合第一方面，在第一方面第一实施方式中，所述开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据，具体包括：开启所述输入源的数量确定对应数量的所述第一线程，确定所述第一线程对应的所述预设输入源处理模板和所述预设数据处理模板；基于所述预设输入源处理模板，采集所述输入源对应的待处理数据，并基于所述预设数据处理模板，处理所述待处理数据，得到所述输出数据；所述预设输入源处理模板包括输入方式、输入源地址装载方式以及输入源数据格式，所述预设数据处理模板包括数据解析方式、数据映射关系以及输出输出格式；确定所述第一线程内的所述预设输入源处理模板和所述预设数据处理模板在第一预设时间内执行完毕，关闭对应的所述第一线程。
6.结合第一方面第一实施方式，在第一方面第二实施方式中，所述开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据，还具体包括：
确定所述第一线程内的所述预设输入源处理模板和所述预设数据处理模板在第一预设时间内未执行完毕，释放所述第一线程。
7.结合第一方面第一实施方式，在第一方面第三实施方式中，所述基于所述预设输入源处理模板，采集所述输入源对应的待处理数据，并基于所述预设数据处理模板，处理所述待处理数据，得到所述输出数据，具体包括：基于输入方式，确定对应的输入适配器；基于输入适配器、输入源地址装载方式以及输入源数据格式，采集样本数据；基于数据解析方式，确定对应的处理适配器，基于所述处理适配器解析所述样本数据；基于数据映射关系以及输出输出格式，将已解析的所述样本数据处理为输出数据。
8.结合第一方面第一实施方式，在第一方面第四实施方式中，所述开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源，具体包括：开启所述输出源的数量确定对应数量的所述第二线程，确定所述第二线程对应的所述预设输出源处理模板；基于所述预设输出源处理模板，将所述输出数据分发至对应的所述输出源；所述预设输出源处理模板包括输出方式以及输出源地址装载方式；确定所述第二线程内的所述预设输出源处理模板在第二预设时间内执行完毕，关闭对应的所述第二线程。
9.结合第一方面第四实施方式，在第一方面第五实施方式中，所述开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源，还具体包括：确定所述第二线程内的所述预设输出源处理模板在第二预设时间内未执行完毕，释放所述第二线程。
10.结合第一方面第四实施方式，在第一方面第六实施方式中，所述基于所述预设输出源处理模板，将所述输出数据分发至对应的所述输出源，具体包括：基于输出方式，确定对应的输出适配器；基于所述输出适配器，封装所述输出数据；基于输出源地址装载方式，将封装后的所述输出数据分发给对应的所述输出源。
11.第二方面，本发明实施例还提供一种数据处理装置，所述装置包括：处理准备模块，用于确定至少一个输入源的数量以及输出源的数量，并基于所述输入源的数量确定对应数量的第一线程以及基于所述输出源的数量确定对应数量的第二线程；所述第一线程与所述输入源一一对应，所述第二线程与所述输出源一一对应；第一处理模块，用于开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据；每个所述第一线程内存储有对应的所述输入源所需的所述预设输入源处理模板和所述预设数据处理模板；第二处理模块，用于开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源；每个所述第二线程内存储有对应的所述输出源所需的所述预设输出源处理模板
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法的步骤。
12.第四方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。
13.本发明提供的数据处理方法、装置、设备及介质，针外部系统或第三方数据接入时，遇到的各种不一致的问题，通过为每个输入源配置对应的第一线程，为每个输出源配置对应的第二线程，并且每个第一线程内存储有对应的输入源所需的预设输入源处理模板和预设数据处理模板，每个第二线程内存储有对应的输出源所需的预设输出源处理模板，第一线程基于预设输入源处理模板和预设数据处理模板采集样本数据并对样本数据进行处理，得到输出数据，第二线程基于预设输出源处理模板再将输出数据分发至对应的输出源，本发明满足n对m的数据输入输出模型的业务场景，具有通用性，并且将数据输入输出模型中的输入要素以模板的形式可存储至数据库并且持久化，用户可于web页面即可实现输入输出，提高了数据输入输出模型可用性、可维护性以及可拓展性，同时降低人力时间成本。
附图说明
14.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了本发明提供的数据处理方法的流程示意图；图2示出了本发明提供的数据处理方法中步骤s20的流程示意图之一；图3示出了本发明提供的数据处理方法中步骤s20的流程示意图之二；图4示出了本发明提供的数据处理方法中步骤s22的流程示意图；图5示出了本发明提供的数据处理方法中步骤s30的流程示意图之一；图6示出了本发明提供的数据处理方法中步骤s30的流程示意图之二；图7示出了本发明提供的数据处理方法中步骤s32的流程示意图；图8示出了本发明提供的数据处理装置的结构示意图；图9示出了本发明提供的电子设备的结构示意图。
具体实施方式
15.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.车路协同是指采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同，保证交通安全，并提高通行效率，从而形成的安全、高效和环保的道路交通系统。车路协同的技术要点有三点：一是强调人-车-路系统协同；二是强调区域大规模联网联控；三是强调利用多模式交通网络与信息交互。车路协同是信息技术与汽车和交通两大行业相融合的结果，目前，无论单车智能的研发还是公路
建设，都是将各自的数据割裂开来，智能也只是局限的智能，大多数汽车产生的数据都不能够有效的被采用，而车路协同是将车、路、人、云有效的结合，各自产生的数据能够被灵活的运用，不仅有效的解决用户所遇到的处行问题，同时对公路上产生的各种交通状况也能够提处一个合理的解决方案。车路协同将是智能交通、智慧高速的核心。
17.目前的v2x方案中，需要部署车载模块、路侧模块和网络设施，且车载模块、路侧模块和网络设施三者之间的关系为：车辆中的车载模块识别并采集车辆数据，并将采集的车辆数据发送至路侧模块或网络设施，路侧模块采集并生成道路上的车况信息，并将车辆数据和车况数据信息转发至网络设施，网络设施接收撤了数据和车况数据，进行综合分析及协同处理后再反馈给路侧模块，并由路侧模块转发至相应车辆中的车载模块，实现相应的车路协同。
18.然而，车载模块、路侧模块和网络设施的制造方可能分属不同的厂商，对于某个厂商来说，属于其制造的相关设备的数据为内部系统数据，而不属于其制造的相关设备的数据为外部系统数据。外部系统数据和内部系统数据在接入过程中，往往会遇到各种问题，例如可能是传输的协议不一致、可能是对应传输的格式不一致、可能是内容的字段不一致等。针对这些不一致，往往需要投入较多人力和时间来修正。其中投入的成本和不一致性呈现一定的正比例关系，导致不同系统间数据接入在后期可拓展性和可维护性上也面临着挑战。
19.例如，现有技术方案通常是针对一对一的数学模型进行数据处理分发。其中部分方案实现方式是采取硬编码，或是实现了数据映射而无转发，或是无法灵活转发，另有借助大数据组件采集进入到数据池进行统一处理。
20.下面结合图1描述本发明的数据处理方法，该方法包括以下步骤：s10、确定至少一个输入源的数量以及至少一个输出源的数量，并基于输入源的数量确定对应数量的第一线程以及基于输出源的数量确定对应数量的第二线程在本发明实施例中，第一线程与输入源一一对应，第二线程与输出源一一对应。
21.其中，输入源的数量n以及输出源的数量m均不小于1，也就是，该方法为一个n对m数学模型输入输出处理分发方案，因此，该方法不仅可以针对外部系统或者第三方数据接入，还能够用于数据迁移，数据备份，数据采集等等。
22.在本发明实施例中，会基于第一线程和第二线程形成管线（pipline），第一线程的数量为n，第二线程的数量为m。其中，可以通过输入源的地址确定相应的输入源，通过输出源的地址确定相应的输出源。
23.s20、开启第一线程，基于预设输入源处理模板，采集输入源对应的待处理数据，并基于预设数据处理模板，处理待处理数据，得到输出数据在本发明实施例中，每个第一线程内存储有对应的输入源所需的预设输入源处理模板和预设数据处理模板。
24.s30、开启第二线程，基于预设输出源处理模板，将输出数据分发至对应的输出源，在本发明实施例中，每个第二线程内存储有对应的输出源所需的预设输出源处理模板。
25.作为本发明实施例中的一种可选实施方式，不同的第一线程内的预设输入源处理模板和预设数据处理模板并非是完全相同的，不同的第二线程内的预设输出源处理模板并非是完全相同的，每个第一线程在对应处理完毕后，均会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，将输出数据分发至对应的输出源。
26.作为本发明实施例中的另一种可选实施方式，不同的第一线程内的预设输入源处理模板和预设数据处理模板并非是完全相同的，所有的第二线程内的预设输出源处理模板均是相同的，每个第一线程在对应处理完毕后，均会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，在第二线程中的处理方式均是一致的，最终再将输出数据分发至对应的输出源。
27.作为本发明实施例中的另一种可选实施方式，所有的第一线程内的预设输入源处理模板和预设数据处理模板均是相同的，不同的第二线程内的预设输出源处理模板并非是完全相同的，由于第一线程所表征的数据抓取和数据处理方式均是相同的，因此会基于同样的数据抓取以及数据处理方式进行相关的处理，对应每个第一线程同样也是会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，最终再将输出数据分发至对应的输出源。
28.作为本发明实施例中的另一种可选实施方式，所有的第一线程内的预设输入源处理模板和预设数据处理模板均是相同的，所有的第二线程内的预设输出源处理模板均是相同的，由于第一线程所表征的数据抓取和数据处理方式均是相同的，因此会基于同样的数据抓取以及数据处理方式进行相关的处理，对应每个第一线程同样也是会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，在第二线程中的处理方式均是一致的，最终再将输出数据分发至对应的输出源。
29.在本发明实施例中，预设输入源处理模板包括输入方式、输入源地址装载方式以及输入源数据格式，预设数据处理模板包括数据解析方式、数据映射关系以及输出输出格式，预设输出源处理模板包括输出方式以及输出源地址装载方式。更具体的，输入方式可以支持多种方式，例如文本、http、kafka，websocket、主动采集、被动输入等形式，并且提供自定义开发拓展spi模式；数据映射关系支持用户界面化地自定义映射，包含异构字段处理、自定义字段、mock数据规则，xml与json输出格式转换，以及在所有的第一线程中的预设数据处理模板一致时，还包括了n个输入源的抽取聚合等。
30.需要说明的是，上述的预设输入源处理模板、预设数据处理模板以及输出源处理模块均可以由用户自行配置相关的内容，并且将这些模板存储至数据库中。
31.本发明的数据处理方法，针外部系统或第三方数据接入时，遇到的各种不一致的问题，通过为每个输入源配置对应的第一线程，为每个输出源配置对应的第二线程，并且每个第一线程内存储有对应的输入源所需的预设输入源处理模板和预设数据处理模板，每个第二线程内存储有对应的输出源所需的预设输出源处理模板，第一线程基于预设输入源处理模板和预设数据处理模板采集样本数据并对样本数据进行处理，得到输出数据，第二线程基于预设输出源处理模板再将输出数据分发至对应的输出源，本发明满足n对m的数据输入输出模型的业务场景，具有通用性，并且将数据输入输出模型中的输入要素以模板的形式可存储至数据库并且持久化，用户可于web页面即可实现输入输出，提高了数据输入输出模型可用性、可维护性以及可拓展性，同时降低人力时间成本。
32.下面结合图2描述本发明的数据处理方法，步骤s20具体包括：s21、开启输入源的数量确定对应数量的第一线程，确定第一线程对应的预设输入源处理模板和预设数据处理模板。
33.s22、基于预设输入源处理模板，采集输入源对应的待处理数据，并基于预设数据
处理模板，处理待处理数据，得到输出数据。
34.s23、确定第一线程内的预设输入源处理模板和预设数据处理模板在第一预设时间内执行完毕，关闭对应的第一线程。
35.在本发明实施例中，当一个第一线程内的预设输入源处理模板和预设数据处理模板在指定的第一预设时间内执行完毕后，说明了该第一线程正常地进行了工作，那么会在正常工作后关闭对应的第一线程。
36.下面结合图3描述本发明的数据处理方法，步骤s20还具体包括：s21、开启输入源的数量确定对应数量的第一线程，确定第一线程对应的预设输入源处理模板和预设数据处理模板。
37.s22、基于预设输入源处理模板，采集输入源对应的待处理数据，并基于预设数据处理模板，处理待处理数据，得到输出数据。
38.s24、确定第一线程内的预设输入源处理模板和预设数据处理模板在第一预设时间内未执行完毕，释放第一线程。
39.在本发明实施例中，当一个第一线程内的预设输入源处理模板和预设数据处理模板在指定的第一预设时间未能全部执行完毕，说明了该第一线程目前无法正常地进行工作，该方法中会在超过第一预设时间后主动地释放。需要说明的是，当确定某个第一线程无法正常地进行工作时，该方法中会分析导致异常的原因，例如程序运行失败或其他系统原因，并且还会生成的告警信息，告警信息中包含第一线程的编号、对应的第一线程存在异常以及导致相应的第一线程异常的原因。
40.下面结合图4描述本发明的数据处理方法，步骤s22具体包括：s221、基于输入方式，确定对应的输入适配器。在本发明实施例中，输入适配器即为文本、http、kafka，websocket、主动采集、被动输入等形式的适配器。
41.s222、基于输入适配器、输入源地址装载方式以及输入源数据格式，采集样本数据。
42.s223、基于数据解析方式，确定对应的处理适配器，基于处理适配器解析样本数据。在本发明实施例中，处理适配器即为json、xml等形式的适配器。
43.s224、基于数据映射关系以及输出输出格式，将已解析的样本数据处理为输出数据。
44.下面结合图5描述本发明的数据处理方法，步骤s30具体包括：s31、开启输出源的数量确定对应数量的第二线程，确定第二线程对应的预设输出源处理模板。
45.s32基于预设输出源处理模板，将输出数据分发至对应的输出源。
46.s33、确定第二线程内的预设输出源处理模板在第二预设时间内执行完毕，关闭对应的第二线程。
47.在本发明实施例中，当一个第二线程内的预设输出源处理模板在指定的第二预设时间内执行完毕后，说明了该第二线程正常地进行了工作，那么会在正常工作后关闭对应的第二线程。
48.下面结合图6描述本发明的数据处理方法，步骤s30还具体包括：s31、开启输出源的数量确定对应数量的第二线程，确定第二线程对应的预设输出
源处理模板。
49.s32基于预设输出源处理模板，将输出数据分发至对应的输出源。
50.s34、确定第二线程内的预设输出源处理模板在第二预设时间内未执行完毕，释放第二线程。
51.在本发明实施例中，当一个第二线程内的预设输出源处理模板在指定的第二预设时间未能全部执行完毕，说明了该第二线程目前无法正常地进行工作，该方法中会在超过第二预设时间后主动地释放。需要说明的是，同样的，当确定某个第二线程无法正常地进行工作时，该方法中会分析导致异常的原因，例如程序运行失败或其他系统原因，并且还会生成的告警信息，告警信息中包含第一线程的编号、对应的第一线程存在异常以及导致相应的第二线程异常的原因。
52.下面结合图7描述本发明的数据处理方法，步骤s32具体包括：s321、基于输出方式，确定对应的输出适配器。在本发明实施例中，输出适配器即为http、kafka，websocket等形式的适配器。
53.s322、基于输出适配器，封装输出数据。
54.s323、基于输出源地址装载方式也就是输出源的目标地址，将封装后的输出数据分发给对应的输出源。
55.下面对本发明提供的数据处理装置进行描述，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
56.下面结合图8描述本发明的数据处理装置，该装置包括以下步骤：处理准备模块10，用于确定至少一个输入源的数量以及至少一个输出源的数量，并基于输入源的数量确定对应数量的第一线程以及基于输出源的数量确定对应数量的第二线程在本发明实施例中，第一线程与输入源一一对应，第二线程与输出源一一对应。
57.其中，输入源的数量n以及输出源的数量m均不小于1，也就是，该装置为一个n对m数学模型输入输出处理分发方案，因此，该装置不仅可以针对外部系统或者第三方数据接入，还能够用于数据迁移，数据备份，数据采集等等。
58.在本发明实施例中，会基于第一线程和第二线程形成管线（pipline），第一线程的数量为n，第二线程的数量为m。其中，可以通过输入源的地址确定相应的输入源，通过输出源的地址确定相应的输出源。
59.第一处理模块20，用于开启第一线程，基于预设输入源处理模板，采集输入源对应的待处理数据，并基于预设数据处理模板，处理待处理数据，得到输出数据在本发明实施例中，每个第一线程内存储有对应的输入源所需的预设输入源处理模板和预设数据处理模板。
60.第二处理模块30，用于开启第二线程，基于预设输出源处理模板，将输出数据分发至对应的输出源，在本发明实施例中，每个第二线程内存储有对应的输出源所需的预设输出源处理模板。
61.作为本发明实施例中的一种可选实施方式，不同的第一线程内的预设输入源处理模板和预设数据处理模板并非是完全相同的，不同的第二线程内的预设输出源处理模板并非是完全相同的，每个第一线程在对应处理完毕后，均会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，将输出数据分发至对应的输出源。
62.作为本发明实施例中的另一种可选实施方式，不同的第一线程内的预设输入源处理模板和预设数据处理模板并非是完全相同的，所有的第二线程内的预设输出源处理模板均是相同的，每个第一线程在对应处理完毕后，均会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，在第二线程中的处理方式均是一致的，最终再将输出数据分发至对应的输出源。
63.作为本发明实施例中的另一种可选实施方式，所有的第一线程内的预设输入源处理模板和预设数据处理模板均是相同的，不同的第二线程内的预设输出源处理模板并非是完全相同的，由于第一线程所表征的数据抓取和数据处理方式均是相同的，因此会基于同样的数据抓取以及数据处理方式进行相关的处理，对应每个第一线程同样也是会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，最终再将输出数据分发至对应的输出源。
64.作为本发明实施例中的另一种可选实施方式，所有的第一线程内的预设输入源处理模板和预设数据处理模板均是相同的，所有的第二线程内的预设输出源处理模板均是相同的，由于第一线程所表征的数据抓取和数据处理方式均是相同的，因此会基于同样的数据抓取以及数据处理方式进行相关的处理，对应每个第一线程同样也是会得到一份输出数据，之后聚合所有的输出数据并且通过各个第二线程进行相应的处理，在第二线程中的处理方式均是一致的，最终再将输出数据分发至对应的输出源。
65.在本发明实施例中，预设输入源处理模板包括输入方式、输入源地址装载方式以及输入源数据格式，预设数据处理模板包括数据解析方式、数据映射关系以及输出输出格式，预设输出源处理模板包括输出方式以及输出源地址装载方式。更具体的，输入方式可以支持多种方式，例如文本、http、kafka，websocket、主动采集、被动输入等形式，并且提供自定义开发拓展spi模式；数据映射关系支持用户界面化地自定义映射，包含异构字段处理、自定义字段、mock数据规则，xml与json输出格式转换，以及在所有的第一线程中的预设数据处理模板一致时，还包括了n个输入源的抽取聚合等。
66.需要说明的是，上述的预设输入源处理模板、预设数据处理模板以及输出源处理模块均可以由用户自行配置相关的内容，并且将这些模板存储至数据库中。
67.本发明的数据处理装置，针外部系统或第三方数据接入时，遇到的各种不一致的问题，通过为每个输入源配置对应的第一线程，为每个输出源配置对应的第二线程，并且每个第一线程内存储有对应的输入源所需的预设输入源处理模板和预设数据处理模板，每个第二线程内存储有对应的输出源所需的预设输出源处理模板，第一线程基于预设输入源处理模板和预设数据处理模板采集样本数据并对样本数据进行处理，得到输出数据，第二线程基于预设输出源处理模板再将输出数据分发至对应的输出源，本发明满足n对m的数据输入输出模型的业务场景，具有通用性，并且将数据输入输出模型中的输入要素以模板的形式可存储至数据库并且持久化，用户可于web页面即可实现输入输出，提高了数据输入输出模型可用性、可维护性以及可拓展性，同时降低人力时间成本。
68.图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行数据处理方法，该方法包括：
确定至少一个输入源的数量以及至少一个输出源的数量，并基于所述输入源的数量确定对应数量的第一线程以及基于所述输出源的数量确定对应数量的第二线程；所述第一线程与所述输入源一一对应，所述第二线程与所述输出源一一对应；开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据；每个所述第一线程内存储有对应的所述输入源所需的所述预设输入源处理模板和所述预设数据处理模板；开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源；每个所述第二线程内存储有对应的所述输出源所需的所述预设输出源处理模板。
69.此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的介质销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件介质的形式体现出来，该计算机软件介质存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
70.另一方面，本发明还提供一种计算机程序介质，所述计算机程序介质包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的数据处理方法，该方法包括：确定至少一个输入源的数量以及至少一个输出源的数量，并基于所述输入源的数量确定对应数量的第一线程以及基于所述输出源的数量确定对应数量的第二线程；所述第一线程与所述输入源一一对应，所述第二线程与所述输出源一一对应；开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据；每个所述第一线程内存储有对应的所述输入源所需的所述预设输入源处理模板和所述预设数据处理模板；开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所述输出源；每个所述第二线程内存储有对应的所述输出源所需的所述预设输出源处理模板。
71.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据处理方法，该方法包括：确定至少一个输入源的数量以及至少一个输出源的数量，并基于所述输入源的数量确定对应数量的第一线程以及基于所述输出源的数量确定对应数量的第二线程；所述第一线程与所述输入源一一对应，所述第二线程与所述输出源一一对应；开启所述第一线程，基于预设输入源处理模板，采集所述输入源对应的待处理数据，并基于预设数据处理模板，处理所述待处理数据，得到输出数据；每个所述第一线程内存储有对应的所述输入源所需的所述预设输入源处理模板和所述预设数据处理模板；开启所述第二线程，基于预设输出源处理模板，将所述输出数据分发至对应的所
述输出源；每个所述第二线程内存储有对应的所述输出源所需的所述预设输出源处理模板。
72.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
73.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件介质的形式体现出来，该计算机软件介质可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
74.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。