一种基于多核处理器的分组突发负载均衡方法及系统与流程

技术特征：
1.一种基于多核处理器的分组突发负载均衡方法，其特征在于，包括：步骤s1：建立多阶段流水线网络流量处理模型，包括：数据包接收分类模块、数据包缓冲模块和数据包处理模块；其中，所述数据包接收分类模块包含多个线程以及多个数据包分类规则；所述数据包缓冲模块包含多个缓冲区域，每个所述缓冲区域包含多个子缓冲区，其中所述缓冲区域个数与所述分类规则个数相同；所述数据包处理模块包含多个上层处理应用，每个所述上层处理应用对应一组数据包处理线程，其中所述数据包处理线程与所述子缓冲区一一对应；步骤s2：在所述多阶段流水线网络流量处理模型上，设置拥塞检测模块，对各个所述数据包处理线程及其对应子缓冲区的性能进行持续监测；在预定周期内采集各个所述数据包处理线程及其对应子缓冲区的性能信息，用于计算拥塞检测结果，并根据所述拥塞检测结果对存在拥塞的所述数据包处理线程进行标记；步骤s3：对标记为拥塞的所述数据包处理线程进行网络流量短期测量，对接收到的数据包进行采样分析，生成线程流量环境信息，并发送给网络流映射调节模块；步骤s4：设置所述网络流映射调节模块，接收流量环境信息，并针对该信息和当前时刻流量处理性能信息生成额外网络流映射规则，并应用至子缓冲区映射策略中。2.根据权利要求1所述的基于多核处理器的分组突发负载均衡方法，其特征在于，所述步骤s1：建立多阶段流水线网络流量处理模型，包括：数据包接收分类模块、数据包缓冲模块和数据包处理模块；其中，所述数据包接收分类模块包含多个线程以及多个数据包分类规则；所述数据包缓冲模块包含多个缓冲区域，每个所述缓冲区域包含多个子缓冲区，其中所述缓冲区域个数与所述分类规则个数相同；所述数据包处理模块包含多个上层处理应用，每个所述上层处理应用对应一组数据包处理线程，其中所述数据包处理线程与所述子缓冲区一一对应，具体包括：步骤s11：构造所述数据包接收分类模块：所述数据包接收分类模块包含多个线程{cthread1,cthread2,
…
,cthread
n
,...,cthread
n
}，其中，cthread
n
是该模块中的第n个线程，n表示所述数据包接收分类模块中的线程个数；所述数据包接收分类模块还包含多个数据包分类规则{rule1,rule2,
…
,rule
m
,...,rule
m
}，rule
m
是所述数据包接收分类模块设定的第m条数据包分类规则；m为所述数据包接收分类模块中预设的数据包分类规则的条数；规则rule
m
包含分类标识信息分别为网络数据包对应的起始源ip网络地址，终止源ip网络地址，起始目的ip网络地址，终止目的ip网络地址，起始源端口号，终止源端口号，起始目的端口号和终止目的端口号；步骤s12：构造所述数据包缓冲模块：所述数据包缓冲模块包含多个缓冲区域{area1,area2,
…
,area
m
,...,area
m
}，area
m
是该模块中的第m个缓冲区域，m为所述数据包缓冲模块中预设的缓冲区域个数，与所述数据包分类规则的条数相同，并且一一对应；每个所述缓冲区域包含多个子缓冲区d为第m个所述缓冲区域中的子缓冲区个数；根据子缓冲区映射策略，将数据包存入对应的所述子缓冲区；
步骤s13：构造所述数据包处理模块：所述数据包处理模块包含m个上层处理应用，每个所述上层处理应用对应一组数据包处理线程其中，为所述数据包处理模块中第m个上层处理应用中的第d个线程；第m个所述上层处理应用中的线程与所述缓冲区域area
m
中的子缓冲区一一对应，所述处理线程从所述子缓冲区取出所述数据包，并执行分析处理。3.根据权利要求1所述的基于多核处理器的分组突发负载均衡方法，其特征在于，所述步骤s2：在所述多阶段流水线网络流量处理模型上，设置拥塞检测模块，对各个所述数据包处理线程及其对应子缓冲区的性能进行持续监测；在预定周期内采集各个所述数据包处理线程及其对应子缓冲区的性能信息，用于计算拥塞检测结果，并根据所述拥塞检测结果对存在拥塞的所述数据包处理线程进行标记，具体包括：步骤s21：根据预定的周期，采集各个所述数据包处理线程及其对应子缓冲区的性能信息，在采集周期内，所述拥塞检测模块阻塞执行，利用下述公式(1)计算轮询效率息，在采集周期内，所述拥塞检测模块阻塞执行，利用下述公式(1)计算轮询效率其中，为上个所述周期内所有所述子缓冲区访问中子缓冲区为空的访问次数，为上个所述周期内所有所述子缓冲区访问中子缓冲区不为空的访问次数；直接反映该处理线程在当前负载下的拥塞情况，并间接反映流量是否存在突发；步骤s22：设置阻塞检测算法如下述公式(2)，将所述轮询效率和数据包处理线程数作为输入，返回拥塞检测结果；其中，thres_count是子缓冲区空间占用数阈值，thres_effiency是轮询效率阈值，为子缓冲区的空间占用数，为轮询效率；当和分别大于相应阈值thres_count和thres_effiency，所述拥塞检测算法返回true值，认为存在拥塞；反之返回false值，认为不存在拥塞；步骤s23：根据步骤s22记录所有处理线程标识号，设置对应的拥塞标记。4.根据权利要求1所述的基于多核处理器的分组突发负载均衡方法，其特征在于，所述步骤s3：对标记为拥塞的所述数据包处理线程进行网络流量短期测量，对接收到的数据包进行采样分析，获取线程流量环境信息，并发送给网络流映射调节模块，具体包括：步骤s31：所述数据包处理线程执行指定的数据包处理流程，同时对相应的所述拥塞标记进行持续检测，如有拥塞，则开启采样阶段，对期间内该线程接收的网络流标识及其产生的计算负载进行记录；步骤s32：所述采样阶段结束后，按照所述计算负载从多到少对记录的网络流标识进行排序，将所述网络流标识和所述计算负载作为拥塞状态下的流量环境信息；
步骤s33：将所述流量环境信息发送至所述网络流映射调节模块，并等待该模块的响应信息；在等待响应期间，对应线程继续执行数据包处理流程，设置拥塞标记为等待状态，并阻止所述拥塞检测模块对其进行设置；步骤s34：接收到所述网络流映射调节模块的响应信息后，所述数据包处理线程清除拥塞标记，并重复执行步骤s31～s33。5.根据权利要求1所述的基于多核处理器的分组突发负载均衡方法，其特征在于，所述步骤s4：设置所述网络流映射调节模块，接收流量环境信息，并针对该信息和当前时刻流量处理性能信息生成额外网络流映射规则，并应用至子缓冲区映射策略中，具体包括：步骤s41：根据所述流量环境信息以及处理线程性能数据，构建流映射调节决策{no
old
,no
new
,id}，其中，no
old
为原线程标识{m,d}，no
new
为新的线程标识{m,d'}，id为需要额外调度的数据包标识信息{sip，dip，sport，dport，prot}；步骤s42：依据所述流映射调节决策，对步骤s12中设置的所述子缓冲区映射策略进行修改，将所述id作为键值，重新进行查询获得no
new
；步骤s43：分配临时缓冲区并与数据流进行绑定，在所述数据流已经进入子缓冲区的数据包全部处理完成前，对符合该映射规则的数据包进行暂时存储；步骤s44：依据步骤s42中的no
old
，访问其对应的处理线程，在该线程将剩余的标识信息为id的数据包处理完成后，释放所述临时缓冲区，并将其中的数据包依次放入标识信息为no
new
的子缓冲区；步骤s45：重复执行步骤s41～s44。6.一种基于多核处理器的分组突发负载均衡系统，其特征在于，包括下述模块：构建多阶段流水线网络流量处理模型模块，用于建立多阶段流水线网络流量处理模型，包括：数据包接收分类模块、数据包缓冲模块和数据包处理模块；其中，所述数据包接收分类模块包含多个线程以及多个数据包分类规则；所述数据包缓冲模块包含多个缓冲区域，每个所述缓冲区域包含多个子缓冲区，其中所述缓冲区域个数与所述分类规则个数相同；所述数据包处理模块包含多个上层处理应用，每个所述上层处理应用对应一组数据包处理线程，其中所述数据包处理线程与所述子缓冲区一一对应；拥塞检测模块，用于在所述多阶段流水线网络流量处理模型上，设置拥塞检测模块，对各个所述数据包处理线程及其对应子缓冲区的性能进行持续监测；在预定周期内采集各个所述数据包处理线程及其对应子缓冲区的性能信息，用于计算拥塞检测结果，并根据所述拥塞检测结果对存在拥塞的所述数据包处理线程进行标记；生成线程流量环境信息模块，用于对标记为拥塞的所述数据包处理线程进行网络流量短期测量，对接收到的数据包进行采样分析，生成线程流量环境信息，并发送给网络流映射调节模块；网络流映射调节模块，用于设置所述网络流映射调节模块，接收流量环境信息，并针对该信息和当前时刻流量处理性能信息生成额外网络流映射规则，并应用至子缓冲区映射策略中。

技术总结
本发明涉及一种基于多核处理器的分组突发负载均衡方法及系统，其方法包括：步骤S1：建立多阶段流水线网络流量处理模型；步骤S2：在多阶段流水线网络流量处理模型上，设置拥塞检测模块计算拥塞检测结果，根据拥塞检测结果对存在拥塞的数据包处理线程进行标记；步骤S3：生成线程流量环境信息，并发送给网络流映射调节模块；步骤S4：设置网络流映射调节模块，接收流量环境信息，并针对该信息和当前时刻流量处理性能信息生成额外网络流映射规则，并应用至子缓冲区映射策略中。本发明提供的方法实现了对网络流量拥塞的快速检测，实现网络流在线程间的动态调度，以及调度过程中的数据包保序，避免上层应用对数据包进行重排序，降低上层应用的实现难度。用的实现难度。用的实现难度。


技术研发人员：李巍 孙禹康 李云春
受保护的技术使用者：北京航空航天大学
技术研发日：2021.08.19
技术公布日：2021/10/19