一种分布式协同流量仿真环境构建方法及系统与流程

技术特征：
1.一种分布式协同流量仿真环境构建系统，其特征在于，包括用户系统、管理节点模块、执行节点集群和基础网络环境
‑
可编程数据平台；所述用户系统由dag定义模块、网络拓扑结构定义模块、报文结构定义模块和状态监控模块组成；所述dag定义模块通过定义有向无环图dag的节点和边完成计算阶段和通信阶段的定义，输出有向无环图dag文件；所述网络拓扑结构定义模块定义仿真环境中的终端节点，输出网络拓扑结构文件；所述报文结构定义模块选择传输层协议并定义coflow报文头输出自定义报文结构文件；所述状态监控模块实时获取管理节点模块输出的状态监控数据，并显示给用户；所述定义的有向无环图dag文件、网络拓扑结构文件以及报文结构文件构成协同流量构建配置文件；所述管理节点模块由任务管理模块以及全局任务状态监控模块组成；所述任务管理模块检查用户定义的协同流量构建配置文件完整性和有效性，发出流量构建任务并启动该任务进程；所述全局任务状态监控模块通过管理节点收集多个执行节点的运行状态监控数据，并周期性将运行状态监控数据上报到用户系统的状态监控模块；所述执行节点集群由任务执行模块和节点状态监控模块组成；所述任务执行模块接收并执行所述任务管理模块发送的流量构建任务；所述节点状态监控模块通过执行节点在报文发送终端和接收终端对流量收发情况进行统计，并周期性向管理节点汇报流量构建任务的执行情况；所述基础网络环境
‑
可编程数据平台由可编程交换设备组成，用于转发定制化改造后的协同流量报文。2.一种应用权利要求1所述系统的分布式协同流量仿真环境构建方法，其特征在于，包括以下步骤；（1）定义协同流量构建仿真环境的有向无环图dag、网络拓扑结构和报文结构，输出有向无环图dag文件、网络拓扑结构文件和报文结构文件；所述定义的有向无环图dag文件、网络拓扑结构文件以及报文结构文件构成协同流量构建配置文件；（2）管理节点读取协同流量构建配置文件，启动协同流量构建任务，获取执行节点运行状态监控数据，并将该运行状态监控数据周期性上报到用户系统的状态监控模块；（3）执行节点执行协同流量构建任务，接收执行管理节点命令，进行协同流量报文定制化改造，输出定制化改造后的协同流量报文，监控运行状态，并将该状态发送到管理节点模块；（4）基础网络环境
‑
可编程数据平台接收并转发步骤（3）输出的定制化改造后的协同流量报文。3.根据权利要求2所述的分布式协同流量仿真环境构建方法，其特征在于，所述步骤（1）包括以下子步骤：（1.1）用户通过用户系统中的dag定义模块定义向无环图dag结构，输出有向无环图dag文件；所述向无环图dag的定义包括计算节点和通信过程的定义，其中dag节点代表着计算阶段，dag有向边代表着通信阶段；（1.2）用户通过用户系统中的网络拓扑结构定义模块定义仿真环境中的终端节点，输出网络拓扑结构文件；所述终端节点包括协同流量的发送终端和接收终端；（1.3）用户通过用户系统中的报文结构定义模块确定协同流量报文的传输层协议和
coflow自定义报文结构，输出报文结构文件；（1.4）用户完成上述步骤（1.1）~步骤（1.3）定义的无环图dag结构、网络拓扑结构以及报文结构后，向管理节点发送协同流量仿真任务的启动命令；完成任务启动后，进入任务状态监控模块，获取任务执行状态。4.根据权利要求2所述的分布式协同流量仿真环境构建方法，其特征在于，所述步骤（2）包括以下子步骤：（2.1）通过管理节点的任务管理模块读取协同流量构建配置文件，并校验该协同流量构建配置文件中参数的完整性和有效性；（2.2）通过管理节点的全局任务状态监控模块探测各执行节点运行状态；（2.3）任务管理模块启动协同流量构建任务，并通过与各执行节点的通信机制，在不同任务阶段发送对应流量构造任务参数到各执行节点；（2.4）全局任务状态监控模块接收执行节点返回的任务状态监控数据，将该任务状态监控数据汇总分析后，得到任务执行的全局状态，并周期性地上送到用户系统的状态监控模块。5.根据权利要求2所述的分布式协同流量仿真环境构建方法，其特征在于，所述步骤（3）包括以下子步骤：（3.1）执行节点集群中的节点状态监控模块接收到管理节点的状态探测信号后，反馈自身运行状态到管理节点；（3.2）执行节点集群中的任务执行模块接收到管理节点发送的流量构建任务后，解析流量构建任务参数，按照参数规定的流量大小、速率构建报文，并通过数据平面开发套件接管网卡，根据用户定义的报文结构对协同流量报文进行定制化改造并发送到所述基础网络环境中；（3.3）执行节点集群中的任务执行模块通过数据平面开发套件接管网卡，对接收到的协同流量报文进行统计，统计完成之后对接收到的协同流量报文进行丢包操作；（3.4）执行节点集群中的节点状态监控模块周期性将执行节点的运行状态发送到管理节点的全局任务状态监控模块进行汇总。

技术总结
本发明公开了一种分布式协同流量仿真环境构建方法及系统。本发明基于分布式集群计算有向无环图信息、网络环境拓扑信息以及协同流量统计分布数据，生成符合真实计算流量特征的仿真协同流量。采用本方法构建的仿真环境允许用户定义报文结构、网络结构以及作业特征，为用户进行Coflow调度研究提供精准、可控的实验环境。本发明屏蔽了真实计算集群环境中计算任务通信阶段的随机性和复杂性，可按需实现通信环境仿真和流量重放场景，有效支撑了Coflow调度研究的试验和测试工作。度研究的试验和测试工作。度研究的试验和测试工作。


技术研发人员：梁元 邱启仓 姚少峰 肖戈扬 邹涛
受保护的技术使用者：之江实验室
技术研发日：2021.09.10
技术公布日：2021/10/18