一种数据分发方法、设备及存储介质与流程

1.本发明属于数据管理分发技术领域，尤其涉及一种数据分发方法、设备及存储介质。


背景技术：

2.在当前大数据背景下，大型信息系统各部件基于功能逐步采用结构化、易拓展的组装方式，分布式软件部署有利于软件开发和维护，在通信领域、大数据开发、人工智能等计算机领域被广泛使用。
3.数据分发方法对于分布式软件部署的数据传输有极大影响。在传统方法中，基于udp和tcp/ip的点对点为常见的数据通信协议，是链路通信中底层协议。点对点通信方法应用广泛，但是无法兼顾传输效率以及可靠性，同时为了传输稳定，往往设计复杂的封装，不利于二次开发。因此，基于udp和tcp/ip的成熟数据传输方法得到广泛关注。如client-server(c/s)结构，可以同时满足多个客户机与统一服务器的通信需求。c/s结构通信方式为请求——响应模式，适用于数据中心化的通信框架，如数据库等，但是对于多个信息节点的应用方式，效率不高而且存在延时。在“发布——订阅”(p/s)模式下，信息仅仅在发布者和订阅者之间传递，这种方式无c/s中心化特征，但是仍存在以下问题，即数据订购方接受有效数据同时，没有考虑订购方处理负担，降低了软件运行效率并造成了数据堆积，使得无法做到实时数据处理服务。此时分发虽然完成了数据传输，但是丧失了分布式软件整体的运行效率。


技术实现要素：

4.本发明的目的在于，为克服现有技术缺陷，提供了发明名称,基于不同节点处理软件工作状态，动态规划数据划分，得到数据高效分发，提高传输效率，保证传输实时性，优化子节点处理性能；进一步，将子节点的运行状态和中心节点记录的工作状态分开，软件结构清晰，避免了不同状态改变使得分发频繁切换；在分发节点提取数据基本特征，作为数据划分规则，避免数据冗余传输。
5.本发明目的通过下述技术方案来实现：
6.一种数据分发方法，其特征在于，包括以下步骤：
7.接收原始数据并提取原始数据对应基本特征；
8.将所述基本特征与基本特征库进行匹配，若匹配成功，则将所述原始数据加入匹配到的基本特征库所属节点对应缓存队列；否则根据预设的配置规则将所述基本特征加入对应子节点的基本特征库；
9.当数据满足分发要求后，将缓存队列分发到对应处理板。
10.进一步的，所述匹配具体包括距离度量，在基本特征库预设的门限内计算相似度，查找与基本特征最近的子节点。
11.进一步的，在数据分发时，对数据分发状态进行监督决策。
12.进一步的，所述监督决策包括对各个节点的运行状态和工作状态监督决策。
13.进一步的，所述运行状态和工作状态监督决策包括以下步骤：
14.接收并上报运行状态；
15.对运行状态进行类别划分，包括空闲处理状态、正常处理状态和繁忙处理状态；
16.对空闲处理状态和繁忙处理状态的节点执行运行状态转换，使空闲处理状态和繁忙处理状态的节点转换为正常处理状态的节点。
17.进一步的，所述对运行状态进行类别划分具体包括根据当前cpu、内存使用率、输入数据的个数和缓存个数对运行状态进行类别划分。
18.进一步的，所述运行状态转换具体包括：
19.空闲处理状态的节点，若没有数据删除或特征删除，可插入其他节点转移的基本特征；若有数据删除或特征删除，不接收其他节点转移的基本特征，减少数据删除的数量或找回删除的基本特征；
20.正常处理状态的节点，若不存在可用的空闲处理状态节点，且该正常处理状态节点不存在数据删除或者特征删除，则可以插入其他节点转移的基本特征；
21.繁忙处理状态的节点，若存在其他节点的特征插入，归还不属于本节点的基本特征，若不存在其他节点的特征插入，将基本特征转移至空闲处理状态的节点或正常处理状态的节点；若没有能够接收基本特征的节点，则进行数据删除。
22.进一步的，若任一节点在预设时间内没有上报运行状态，则将该节点的基本特征转移至其他空闲处理状态的节点或正常处理状态的节点。
23.另一方面，本技术提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述的任意一种数据分发方法。
24.另一方面，本技术提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述的任意一种数据分发方法。
25.本发明的有益效果在于：
26.(1)本发明利用提取的基本特征划分数据，解决了传统分发方法的数据冗余，使得子节点处理不同范围数据，确保数据划分清晰可靠；利用子节点的状态反馈提出状态决策方法，监控节点运行状态并可以动态调整数据分发策略，解决了传统方法只注重数据传输而不考虑软件运行压力的问题，使子节点运行能力在有效处理范围内；数据分发方法和状态决策方法协同运作，提高数据传输效率，提高了整个分布式系统运行效率。
27.(2)本发明相比于传统的底层传输方法(udp、tcp/ip)开发复杂，本方法不考虑底层通信协议，而是在此基础上实现多点通信。
28.(3)本发明相比于点对点传输方法、client-server(c/s)以及“发布——订阅”(p/s)等二次开发方法只注重数据传输不考虑软件压力，本方法结合子节点运行状态划分数据，实现高效传输。
29.(4)本发明相比于传统方法无法预测软件阻塞使得系统存在延时，本方法通过数据划分进一步使软件高效处理数据，保证整个系统实时性。
附图说明
30.图1是本发明实施例提供的一种数据分发方法的数据分发步骤流程框图；
31.图2是本发明实施例提供的一种数据分发方法的状态监督决策步骤流程框图。
32.图3是本发明实施例提供的一种数据分发方法的软件框架示意图。
具体实施方式
33.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
34.基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.为了在数据量多时，对分布式系统的数据进行分发，本实施例提供的数据分发方法主要包括两部分：数据分发管理以及状态监督决策。数据分发管理负责对创建基本特征库并添加新特征，以及完成数据分发；状态监督决策负责基于子节点状态调整基本特征库。
36.如附图3所示，是本实施例提供的一种数据分发方法的软件框架示意图。具体包括数据分发中心节点和n个数据子节点。数据分发中心节点通过链路获取原始数据，并通过链路向n个子节点分发数据。子节点在接收数据分发中心节点分发的数据时，还会返回各自节点的状态，数据分发中心节点的状态监督决策组件会接收节点状态，并根据各个子节点的状态信息对各个节点的基本特征进行调整，实现数据的动态规划，进而影响数据分发过程。
37.如附图1所示，是本实施例提供的一种数据分发方法的数据分发步骤流程框图，该方法具体包括以下步骤：
38.步骤一：接收原始数据x并提取原始数据对应基本特征。对于输入的数据x提取对应基本特征y，此处对基本特征的提取方式不做限制。在一种具体实施例中，对于脉冲数据，可提取频率、pri等信息作为基本特征。
39.步骤二：判断基本特征y所属的基本特征库，即基本特征y与各个节点特征库进行匹配，若匹配成功，得到原始数据x所属节点，加入对应缓存队列；否则，根据配置规则设置的子节点特征范围，将基本特征y加入到对应特征库中。其中，配置规则为每个节点需处理的基本特征范围。
40.在一种具体实施例中，采用的基本特征y和基本特征库的匹配方法为距离度量，在阈值thre内，寻找与基本特征y最相似的子节点，相似度计算方法如下所示。
[0041][0042]
其中，simi为相似度，t表示特征库存储的特征。
[0043]
步骤三：当数据满足分发要求后，对满足要求的数据进行下发，将缓存队列分发到对应的处理板。若数据没有达到分发条件，则数据仍然在缓存队列中等待分发。
[0044]
在一种具体实施例中，进行数据分发时，还会对数据分发状态进行监督和决策。状态监督决策包括运行状态与工作状态监督决策。
[0045]
如附图2所示，是实施例提供的一种数据分发方法的状态监督决策步骤流程框图。
[0046]
状态决策流程具体如下：
[0047]
第一步，接收各个子节点上报的运行状态。
[0048]
第二步，对接收到的子节点运行状态进行分类。
[0049]
在一种具体实施例中，将运行状态分为空闲处理状态、正常工作状态和处理繁忙状态。其中，空闲处理状态表示节点目前处理能力具有很大富余，输入数据较少，可接收新的数据。正常工作状态表示节点可以对输入数据进行处理，没有数据堆积，输入数据适中，可适当插入数据。处理繁忙状态表示节点当前缓存数据较多，无法及时处理，需要对输入的进行数据重新划分，需要减少输入数据。本实施例中对各种状态添加状态标识，空闲处理状态的标识为run_free,正常工作状态的标识为run_normal,处理繁忙状态的标识为run_busy。
[0050]
节点运行状态由通过当前程序的cpu、内存使用率，输入数据个数，缓存个数等判断。当处于run_busy状态，需要对这个节点进行输入进行处理。具体操作根据中心节点记录的子节点工作状态进行选择。如果长时间不上报运行状态，数据分发中心节点会认为对应子节点不工作，即处于“死亡状态”。
[0051]
数据分发中心节点还会对各个子节点的工作状态进行记录，在一种具体实施例中，工作状态包括默认状态、特征删除状态、插入状态和数据删除状态。其中，默认状态表示节点在正常工作中，只处理配置文件划分的数据，且没有删除数据，初始状态，正常工作；特征删除状态表示子节点基本特征库删除过配置的基本特征，有基本特征删除；插入状态表示子节点插入了其他节点的配置的基本特征，有属于其他节点的基本特征插入；数据删除状态表示只处理一定量数据，其他删除，一个节拍数据无法全部处理，删除多余数据。
[0052]
对于不同的子节点运行状态，采取不同处理措施，包括基本特征转移(删除、插入)，数据删除，基本特征还原(删除、插入)，数据还原(不删除)。进行基本特征操作时，若同时具有空闲节点和正常节点，优先使用空闲节点。当不存在空闲时，再使用正常节点进行操作。
[0053]
在一种具体实施例中，对不同运行状态的子节点采取的处理措施如下：
[0054]
对于空闲处理状态的节点，若没有数据删除或特征删除，可插入其他节点转移的基本特征；若有数据删除或特征删除，不接收其他节点转移的基本特征，减少数据删除的数量或找回删除的基本特征。
[0055]
对于正常处理状态的节点，若不存在可用的空闲处理状态节点，且该正常处理状态节点不存在数据删除或者特征删除，则可以插入其他节点转移的基本特征。
[0056]
对于繁忙处理状态的节点，若存在其他节点的特征插入，归还不属于本节点的基本特征，若不存在其他节点的特征插入，将基本特征转移至空闲处理状态的节点或正常处理状态的节点；若没有能够接收基本特征的节点，则进行数据删除。
[0057]
根据每次处理后的情况，改变中心节点记录的工作状态：若子节点存在数据删除，进入数据删除状态；若删除过自身的特征，判断工作状态为特征删除状态；有插入其他节点基本特征，则工作状态变为插入状态；都不存在为默认工作状态。若出现运行状态死亡的子节点，则将其基本特征转移到其他空闲或正常子节点。
[0058]
本实施例提供的一种数据分发方法，利用提取的基本特征划分数据，解决了传统
分发方法的数据冗余，使得子节点处理不同范围数据，确保数据划分清晰可靠；利用子节点的状态反馈提出状态决策方法，监控节点运行状态并可以动态调整数据分发策略，解决了传统方法只注重数据传输而不考虑软件运行压力的问题，使子节点运行能力在有效处理范围内；数据分发方法和状态决策方法协同运作，提高数据传输效率，提高了整个分布式系统运行效率。
[0059]
本实施例提供的一种数据分发方法，相比于传统的底层传输方法(udp、tcp/ip)开发复杂，本方法不考虑底层通信协议，而是在此基础上实现多点通信。
[0060]
本实施例提供的一种数据分发方法，相比于点对点传输方法、client-server(c/s)以及“发布——订阅”(p/s)等二次开发方法只注重数据传输不考虑软件压力，本方法结合子节点运行状态划分数据，实现高效传输。
[0061]
本实施例提供的一种数据分发方法，相比于传统方法无法预测软件阻塞使得系统存在延时，本方法通过数据划分进一步使软件高效处理数据，保证整个系统实时性。
[0062]
实施例2
[0063]
本优选实施例提供了一种计算机设备，该计算机设备可以实现本技术实施例所提供的一种数据分发方法任一实施例中的步骤，因此，可以实现本技术实施例所提供的一种数据分发方法的有益效果，详见前面的实施例，在此不再赘述。
[0064]
实施例3
[0065]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的一种数据分发方法中任一实施例的步骤。
[0066]
其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0067]
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一一种数据分发方法实施例中的步骤，因此，可以实现本发明实施例所提供的任一一种数据分发方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0068]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。