一种基于数据中心的网络信息传输数据方法及系统与流程

本发明涉及云网融合，尤其涉及一种基于数据中心的网络信息传输数据方法及系统。

背景技术：

1、随着云计算、大数据服务、分布式存储和数据中心互联技术的发展，数据中心承载的数据流数量与传输规模持续增长，业务数据需要在数据中心网络节点、云资源节点和跨域链路之间传输。云网融合架构通过协调云侧计算资源与网络侧传输资源，完成数据流路径选择、链路调度和传输控制。现有数据中心网络信息传输方法通常采集传输任务、链路带宽、链路时延、丢包率、出口队列长度和缓存占用状态，建立源节点与目的节点之间的候选传输路径，再依据剩余带宽、链路利用率或固定路径代价进行排序。部分方法采用时序预测模型分析链路状态，并通过云网融合控制平台下发流表、队列配置和路径转发指令。

2、现有方法多以单条数据流或单个采样时刻的链路状态作为路径选择依据，未充分关联同一传输任务下多条未完成数据流的剩余字节量，容易使状态预测受到重复数据流干扰。共享缓存状态与出口队列状态通常分别统计，缓存申请、缓存释放和缓存占用变化难以准确映射至对应出口队列，导致出口队列负载预测出现偏差。丢包报文与重传报文多采用独立计数方式处理，缺少丢包链路、丢包时刻和重传时刻之间的关联，难以反映链路异常引起的重传变化。现有路径评价方式通常对候选传输路径独立评分，未区分共经链段与分支链段，路径重合部分的状态波动容易被重复计入，仅依据出口队列峰值或瞬时队列长度判断拥塞，难以反映队列峰值后的释放、残留和反弹情况。传输指令执行后，部分方法未根据累计确认字节量更新数据流剩余字节量，也未及时为未完成数据流重新确定传输路径，容易在链路状态变化、共享缓存竞争和报文重传频繁时出现路径选择偏差、出口队列积压及数据流传输中断。

3、因此，如何提供一种基于数据中心的网络信息传输数据方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于数据中心的网络信息传输数据方法及系统，本发明利用云网融合传输拓扑、改进stsgcn网络、finch聚类算法、候选传输路径排序及传输回执反馈技术，描述了网络传输数据处理、传输状态预测、目标传输路径确定和传输指令执行过程，通过任务余量归并、共享缓存占用回填、丢包重传关联、共经链段差分和队列峰后回落分析，实现未完成数据流的动态路径选择与闭环传输，具备传输状态预测准确、路径选择合理、出口队列积压识别及时和网络信息传输连续性强的优点。

2、根据本发明实施例的一种基于数据中心的网络信息传输数据方法，包括：

3、采集数据中心网络传输原始数据并进行预处理，生成网络传输数据集；

4、按任务编号关联网络传输数据集中的数据流，构建数据中心网络的云网融合传输拓扑，结合采样周期内的链路状态生成候选传输路径时空图谱；

5、构建改进stsgcn网络，按任务编号归并候选传输路径时空图谱中的未完成数据流，确定各任务中剩余字节量最大的数据流，逐周期计算共享缓存申请量、共享缓存释放量和共享缓存占用量，将共享缓存占用量回填至对应出口队列，配对丢包报文与重传报文并关联丢包链路和重传时刻，生成传输状态预测序列；

6、将传输状态预测序列输入finch聚类算法，按路径重合关系划分共经链段和分支链段，计算链段状态差，提取出口队列预测峰值后的回落时长、累计释放量、残留队列量和反弹量，组成队列回落特征，根据链段状态差和队列回落特征建立第一近邻关系并递归聚类，生成传输状态簇；

7、根据传输状态簇中的链段状态差和队列回落特征，依次进行簇间排序和簇内候选传输路径排序，生成候选传输路径排序表；

8、将候选传输路径排序表中的首位候选传输路径确定为目标传输路径，根据目标传输路径生成传输指令集，并发送至云网融合控制平台执行；

9、基于云网融合控制平台的传输回执，按累计确认字节量更新数据流剩余字节量，对未完成数据流重新确定目标传输路径并完成传输，生成网络信息传输结果。

10、可选的，所述数据中心网络传输原始数据包括传输任务数据、数据流状态数据、数据中心网络节点数据、云资源节点数据、节点连接数据、链路状态数据、共享缓存数据、出口队列数据、丢包报文数据和重传报文数据。

11、可选的，所述生成网络传输数据集，包括：

12、将各采集时间戳与最早采集时间戳的差值除以采样周期时长并向下取整，生成采样周期序号；

13、按数据源编号、数据字段编号和采集时间戳去重，以前后相邻采样值均值填补单周期缺失字段，对连续缺失两个以上周期的字段添加缺失标记；

14、将数值字段采样值减去量程下限后除以量程上限与量程下限之差，得到标准化采样值；

15、以标准化采样值替换对应数值字段，按任务编号、数据流编号、节点编号、链路编号、出口队列编号、报文编号和采样周期序号排列处理后的数据中心网络传输原始数据，生成网络传输数据集。

16、可选的，所述生成候选传输路径时空图谱，包括：

17、按任务编号关联网络传输数据集中的数据流，匹配源节点和目的节点，生成传输任务端点表；

18、以数据中心网络节点和云资源节点为拓扑节点，按节点连接关系和链路方向建立有向边，按采样周期标记链路连通状态，生成数据中心网络的云网融合传输拓扑；

19、根据传输任务端点表，从源节点沿连通有向边扩展至目的节点，出现重复节点时停止对应分支，生成候选传输路径集合；

20、将链路状态数据、数据流状态数据、共享缓存数据、出口队列数据、丢包报文数据和重传报文数据按采样周期映射至候选传输路径，按链路转发顺序和采样周期顺序分别建立空间连接和时间连接，生成候选传输路径时空图谱。

21、可选的，所述生成传输状态预测序列，包括：

22、构建改进stsgcn网络，改进stsgcn网络包括任务余量归并层、缓存占用回填层和丢包重传关联层；

23、任务余量归并层按任务编号归并候选传输路径时空图谱中的未完成数据流，按剩余字节量降序、数据流编号升序排列，保留各任务的首位数据流，生成任务主流状态序列；

24、缓存占用回填层以任务主流状态序列首个采样周期的共享缓存占用量为初始值，将进入和离开共享缓存的报文字节量分别累计为共享缓存申请量和共享缓存释放量，将前一采样周期的共享缓存占用量加共享缓存申请量后减去共享缓存释放量，得到当前共享缓存占用量并回填至对应出口队列，生成缓存回填状态序列；

25、丢包重传关联层按数据流编号和报文编号配对缓存回填状态序列中的丢包报文与重传报文，确定丢包链路、丢包时刻和重传时刻，计算重传间隔，生成丢包重传关联序列；

26、在改进stsgcn网络中，根据链路连接关系和连续采样周期，对丢包重传关联序列执行时空同步图卷积，预测链路时延、丢包率、可用带宽、出口队列长度、共享缓存占用量和重传间隔，生成传输状态预测序列；

27、将历史候选传输路径时空图谱按任务编号划分为训练样本和验证样本，以实际传输状态序列为标签，将链路时延、丢包率、可用带宽、出口队列长度和共享缓存占用量的预测误差平方和与重传间隔预测误差绝对值相加得到联合损失，反向传播更新改进stsgcn网络参数，验证集联合损失连续8轮未下降时结束训练。

28、可选的，所述生成传输状态簇，包括：

29、将传输状态预测序列输入finch聚类算法，按任务编号归并候选传输路径，比较候选传输路径的链路编号序列，将连续重合部分划分为共经链段，将非重合部分划分为分支链段；

30、执行共经链段差分处理，按采样周期对齐共经链段和分支链段，分别计算链路时延、丢包率、可用带宽、出口队列长度、共享缓存占用量和重传间隔的链段均值，将对应链段均值之差的绝对值按字段排列，生成链段状态差；

31、执行队列峰后回落处理，将预测窗口内最早的出口队列长度最大值确定为预测峰值，将预测峰值后最早的出口队列长度最小值确定为回落终点，根据预测峰值与回落终点计算回落时长、累计释放量和残留队列量，将回落终点后的出口队列长度最大值减去残留队列量得到反弹量，组成队列回落特征；

32、将链段状态差和队列回落特征组成聚类特征向量，根据聚类特征向量的字段差平方和确定第一近邻，当一条候选传输路径为另一条候选传输路径的第一近邻，或两条候选传输路径具有相同第一近邻时建立第一近邻关系，划分连通簇并按簇内字段均值递归聚类，保留形成单一连通簇前的聚类结果，生成传输状态簇。

33、可选的，所述生成候选传输路径排序表，包括：

34、设定传输排序规则，将各链段状态差、回落时长、残留队列量和反弹量按升序赋予序位，将累计释放量按降序赋予序位，相同值赋予相同序位，以各序位之和作为排序值；

35、按任务编号和传输状态簇归并候选传输路径，计算簇内链段状态差和队列回落特征的字段均值并执行传输排序规则，得到簇间排序值并按升序排列传输状态簇；

36、对簇内候选传输路径执行传输排序规则，得到路径排序值并按升序排列候选传输路径；

37、依次按簇间排序值、路径排序值和链路编号序列升序排列候选传输路径，记录任务编号及候选传输路径，生成候选传输路径排序表。

38、可选的，所述生成传输指令集并发送至云网融合控制平台，包括：

39、按任务编号归并候选传输路径排序表，将各任务的首位候选传输路径确定为目标传输路径，提取节点顺序和链路顺序；

40、按节点顺序将目标传输路径拆分为节点转发记录，关联前驱链路、后继链路和出口队列，生成路径转发表；

41、将未完成数据流的任务编号、数据流编号和剩余字节量与路径转发表关联，配置数据流匹配项、下一跳链路、出口队列和执行周期，生成传输指令集；

42、将传输指令集发送至云网融合控制平台执行，绑定出口队列并沿目标传输路径传输数据流，返回包含累计确认字节量的传输回执。

43、可选的，所述生成网络信息传输结果，包括：

44、按任务编号和数据流编号关联云网融合控制平台返回的传输回执，得到累计确认字节量；

45、以零为初始累计确认字节量，将相邻两次累计确认字节量之差作为新增确认字节量，并从数据流剩余字节量中扣除；

46、将数据流剩余字节量大于零的数据流确定为未完成数据流，新增确认字节量为零时，将当前目标传输路径移至候选传输路径排序表中对应任务的末位，将候选传输路径排序表中对应任务的首位候选传输路径重新确定为目标传输路径；

47、根据目标传输路径生成传输指令集并发送至云网融合控制平台，每次接收传输回执后更新数据流剩余字节量，直至数据流剩余字节量为零，生成网络信息传输结果。

48、根据本发明实施例的一种基于数据中心的网络信息传输数据系统，包括如下模块：

49、数据预处理模块，用于采集并预处理数据中心网络传输原始数据，生成网络传输数据集；

50、时空图谱构建模块，用于构建云网融合传输拓扑，生成候选传输路径时空图谱；

51、状态预测模块，用于通过改进stsgcn网络归并任务余量、回填共享缓存占用并关联丢包重传，生成传输状态预测序列；

52、状态聚类模块，用于通过finch聚类算法计算链段状态差和队列回落特征，递归聚类生成传输状态簇；

53、路径排序模块，用于对候选传输路径进行簇间排序和簇内排序，生成候选传输路径排序表；

54、传输控制模块，用于确定目标传输路径并通过云网融合控制平台执行传输指令集；

55、反馈输出模块，用于根据传输回执更新数据流剩余字节量，生成网络信息传输结果。

56、本发明的有益效果是：

57、本发明提出的一种基于数据中心的网络信息传输数据方法，通过对数据中心网络传输原始数据进行周期化处理，构建数据中心网络的云网融合传输拓扑和候选传输路径时空图谱，实现传输任务、数据流、网络节点、链路状态、共享缓存及出口队列的时空关联。改进stsgcn网络通过任务余量归并、共享缓存占用回填和丢包重传关联，减少重复数据流对状态预测的干扰，增强共享缓存、出口队列及报文重传状态之间的关联性，提高候选传输路径状态预测的准确性。

58、本发明通过finch聚类算法划分候选传输路径的共经链段和分支链段，利用链段状态差减少路径重合部分的重复评价，并结合出口队列预测峰值后的回落时长、累计释放量、残留队列量和反弹量表征队列负载变化。基于链段状态差和队列回落特征建立第一近邻关系并递归聚类，能够区分状态相近的候选传输路径，降低瞬时队列波动对路径判断的影响，提高簇间排序和簇内候选传输路径排序的合理性。

59、本发明根据候选传输路径排序结果确定目标传输路径，通过云网融合控制平台执行传输指令集，并依据传输回执中的累计确认字节量更新数据流剩余字节量。当数据流未完成或当前目标传输路径未产生新增确认字节量时，重新确定目标传输路径并继续传输，形成路径选择、指令执行和回执反馈的闭环处理，减少链路状态变化、共享缓存竞争及报文重传造成的传输中断，提高数据中心网络信息传输的连续性和稳定性。