分布式存储系统的数据传输方法、系统、设备及介质与流程

技术特征：
1.一种分布式存储系统的数据传输方法，其特征在于，所述方法包括：将待传输数据分割为多个分割数据，并将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象；获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果。2.如权利要求1所述的方法，其特征在于，将各所述分割数据通过发送队列分别发送至各分割数据对应的目标对象包括：生成所述待传输数据的至少一个冗余数据，将所述冗余数据新增为分割数据；获取分割数据对应的目标对象标识，根据所述分割数据、目标对象标识和发送标识生成待发送消息，得到各分割数据对应的待发送消息；将各所述待发送消息通过发送队列分别发送至各所述分割数据对应的目标对象。3.如权利要求2所述的方法，其特征在于，所述响应消息包括响应标识，所述响应标识与所述发送标识一一对应，获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果包括：获取各所述响应消息中的响应标识；根据预设响应标识-发送标识映射关系确定所述响应标识对应的发送标识，并确定各所述分割数据的传输状态；根据各所述分割数据的传输状态确定所述传输结果。4.如权利要求3所述的方法，其特征在于，根据各所述分割数据的传输状态确定所述传输结果包括：若不存在所述分割数据对应的响应标识，所述分割数据的传输状态为传输失败；获取目标分割数据的失败数量，确定所述传输结果，其中所述目标分割数据包括传输状态为传输失败的分割数据。5.如权利要求1-4任一项所述的方法，其特征在于，生成所述待传输数据的传输结果包括以下至少之一：监听各所述目标对象的响应消息，获取监听时长，若所述监听时长超过预设时长阈值，停止监听，根据当前获取的各所述目标对象的响应消息生成所述待传输数据的传输结果；监听各所述目标对象的响应消息，获取监听时长，将所述监听时长超过预设时长阈值后获取到的响应消息丢弃。6.如权利要求2-4任一项所述的方法，其特征在于，所述待发送消息还包括调用函数标识，所述方法还包括：所述目标对象获取所述待发送消息后，通过所述调用函数标识对应的调用函数处理所述待发送消息，生成反馈消息；获取所述目标对象反馈的所述反馈消息。7.如权利要求6所述的方法，其特征在于，将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象之前，所述方法还包括：对目标对象设置自定义数据段，所述自定义数据段包括多个调用函数和各调用函数的调用函数标识，所述调用函数用于处理所述分割数据。8.如权利要求7所述的方法，其特征在于，所述方法还包括：获取更新消息，所述更新消息包括新增函数和删除函数中至少之一；
根据所述更新消息对自定义数据段进行更新。9.如权利要求1-4任一项所述的方法，其特征在于，通过发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象，发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象之前，所述方法还包括：将所述发送端和各所述目标对象确定为数据传输节点，依次建立各所述数据传输节点之间的连接；为每一个连接分配网络句柄，通过所述网络句柄标识所述连接；获取各所述数据传输节点的地址信息，并建立各所述地址信息与网络句柄之间的映射关系；各数据传输节点分别将连接节点的地址信息、网络句柄及映射关系进行存储，所述连接节点为与所述数据传输节点连接的其他的数据传输节点。10.如权利要求9所述的方法，其特征在于，发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象包括：获取分割数据对应的发送标识，所述发送标识包括所述地址信息；根据所述地址信息和映射关系确定所述分割数据对应的网络句柄，得到各分割数据对应的网络句柄；发送端基于各所述网络句柄将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象。11.如权利要求9所述的方法，其特征在于，所述方法还包括：分别获取各连接下各数据传输节点的数据流量；若存在零流连接，分别控制各所述零流连接的一个数据传输节点间隔第一预设时间向所述零流连接的另一个数据传输节点发送探测消息，所述探测消息用于触发另一个数据传输节点生成响应探测消息并通过所述零流连接进行反馈，所述零流连接中存在至少一个数据传输节点的数据流量为零；若所述零流连接的另一个数据传输节点间隔第二预设时间的数据流量为零，将所述零流连接确定为失效连接，所述第二预设时间少于所述第一预设时间。12.一种分布式存储系统的数据传输系统，其特征在于，所述系统包括：分割模块，将待传输数据分割为多个分割数据，并将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象；聚合模块，用于获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果。13.一种电子设备，其特征在于，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-11中任一项所述的方法。14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-11中任一项所述的方法。

技术总结
本发明提出的一种分布式存储系统的数据传输方法、系统、设备及介质，该方法通过将待传输数据分割为多个分割数据，并将各分割数据通过发送队列分别发送至各分割数据对应的目标对象，获取各目标对象的响应消息，并生成待传输数据的传输结果，能够对待传输数据进行分割，实现消息的分聚，在客户端本地线程中就完成了对集群多个节点的请求分发及结果合并，大大提高了分布式存储系统中的数据传输处理的效率。效率。效率。


技术研发人员：韩磊
受保护的技术使用者：重庆紫光华山智安科技有限公司
技术研发日：2022.04.19
技术公布日：2022/8/1