直播引擎集群无表心跳自愈方法、系统、设备及存储介质与流程
本发明涉及分布式直播,具体地说,涉及直播引擎集群无表心跳自愈方法、系统、设备及存储介质。
背景技术:
1、在无人直播、数字人直播等场景中,直播推流任务通常由一个长时间运行的进程内引擎实例负责,该实例持有推流所需的运行时资源(如网络连接、子进程、内存缓冲区等),并且出于资源隔离与水平扩展的需要,集群中会同时部署多个计算节点,每个直播任务的引擎实例仅在其被创建时所在的某一个节点的进程内存中存在。当外部系统(如运营管理后台)需要对某个正在运行的直播任务下发控制指令(如停止直播、插入临时播放内容)时,该请求经由负载均衡后可能被路由到集群中的任意一个节点,而接收请求的节点未必是持有对应引擎实例的节点。
2、现有的分布式系统通常采用维护一张"任务标识-实例地址"路由表的方式解决该问题:请求到达任意节点后,先查询路由表获知目标实例所在的节点地址,再将请求转发至该节点执行。该方式存在如下弊端:其一,路由表本身是一份需要额外维护一致性的共享状态,节点上线、下线、实例迁移、节点故障等场景都需要同步更新路由表,一旦路由表更新不及时或出现短暂不一致,请求将被转发到错误的节点或转发失败;其二,路由转发引入了节点间的直接网络调用依赖,转发链路的可用性与被转发节点的存活状态强耦合,一旦目标节点异常,转发请求本身就会失败,还需要额外的重试与降级逻辑;其三,当某个节点因故障下线后,该节点上原本承载的引擎实例随之丢失,现有方案通常缺乏一种简单机制来自动发现该丢失、并将其在其他节点上恢复到丢失前的运行位置,往往需要人工介入重新下发启动指令,且重新启动后大多从头开始,无法衔接到故障发生前的处理进度。
3、综上,现有的集群任务协调方案在路由表维护成本、节点间调用耦合度、故障发现与断点自愈能力等方面均存在不足,亟需一种不依赖显式路由表、且具备故障自愈能力的集群协调方法。
技术实现思路
1、针对现有技术中的问题,本发明的目的在于提供直播引擎集群无表心跳自愈方法、系统、设备及存储介质,克服了现有技术的困难,能够以共享状态存储替代传统路由表,实现了去中心化的指令协调与故障自愈。
2、本发明的实施例提供一种直播引擎集群无表心跳自愈方法,包括以下步骤:
3、s110、构建集群协调框架,集群中的每一个节点在本地维护一个任务标识与引擎实例的映射表,该映射表仅记录本节点自身承载的实例,不与其他节点同步且不对外暴露;
4、s120、当任意节点接收到针对目标任务的外部控制指令时,该节点不查询任何路由信息且不将指令转发给其他节点,而是直接将指令以预设的键值对形式写入所有节点均可访问的共享状态存储中;
5、s130、集群中每一个节点各自独立运行周期性扫描任务,按固定间隔遍历当前处于活跃状态的任务标识,检查共享状态存储中是否存在针对这些任务标识的待处理指令,若存在,则节点先在自身的本地映射表中查找是否持有对应任务的实例,若持有则在本地执行指令对应的操作,执行完毕后从共享状态存储中移除该指令,若未持有则不作处理;
6、s140、每一个正在运行的任务实例在其运行期间按固定周期向共享状态存储写入一次心跳标记,该心跳标记具有预设有效期;
7、s150、集群中各节点各自独立运行心跳扫描任务,每一轮扫描开始前各节点竞争获取具有有效期的排他性扫描锁,只有成功获取该锁的节点执行本轮心跳检查逻辑,该节点遍历所有活跃任务标识并检查其心跳标记是否仍存在于共享状态存储中,若不存在则判定对应实例已失效并触发失效处理流程;以及
8、s160、各实例在运行期间持续将其当前运行位置信息同步写入共享状态存储作为断点状态,失效处理流程先读取断点状态与重试次数,若重试次数未超过上限则在当前持锁节点上重建新实例并将断点状态传入,使新实例从断点位置继续运行,若已超过上限则移除该任务并发出中断通知。
9、优选地,所述步骤s110包括:
10、s111、在每个节点的进程内部维护一个线程安全的哈希映射结构作为所述本地映射表,该映射结构以任务标识为键、以引擎实例对象的引用或句柄为值,用于记录本节点当前承载的全部任务实例;
11、s112、当本节点成功创建并启动一个新的任务实例后,将该任务标识与实例对象的对应关系加入所述本地映射表;
12、s113、当本节点执行停止操作,或者通过心跳扫描判定本节点上承载的某实例已在其他节点被重建后,将该实例对应的条目从所述本地映射表中移除,所述映射表的全部操作均在本节点内存中完成,不进行任何跨节点同步。
13、优选地,所述步骤s120包括:
14、s121、当某个节点接收到停止目标任务的外部控制指令时,该节点直接向共享状态存储写入一个以目标任务标识命名的停止信号键,并为该停止信号键设置预设有效期,写入完成后即向外部返回指令已接收,不等待该停止信号键被实际执行;
15、s122、当某个节点接收到向目标任务插入指定播放内容的外部控制指令时,该节点将指令中的内容参数序列化后,连同当前时间戳一起写入共享状态存储中以目标任务标识命名的有序队列中,该有序队列按照时间戳排序;
16、s123、所述共享状态存储为集群中所有节点均可通过网络访问的独立中间件,至少支持键的原子性写入、键的带有效期写入、有序集合的插入与范围读取、以及键的原子性删除操作,集群中任意节点均不维护任务标识到节点地址的任何路由表或映射关系。
17、优选地,所述步骤s130包括:
18、s131、集群中每一个节点各自启动一个固定周期的指令扫描线程或协程,在每个周期开始时获取当前集群中全部处于活跃状态的任务标识集合;
19、s132、对于所述任务标识集合中的每一个任务标识,节点检查共享状态存储中是否存在以该任务标识命名的停止信号键,以及以该任务标识命名的有序队列中是否存在待处理的插入指令条目;
20、s133、若扫描到停止信号键,节点查询自身本地映射表是否持有该任务标识对应的实例,若持有则调用该实例的停止方法执行停止操作,停止操作执行完毕后从共享状态存储中删除该停止信号键;
21、s134、若扫描到有序队列中存在待处理的插入指令条目,节点查询自身本地映射表是否持有该任务标识对应的实例,若持有则按照时间戳顺序依次取出插入指令条目,解析其中的内容参数并调用该实例的内容插入方法执行插入操作,插入操作执行完毕后从有序队列中移除对应的条目;
22、s135、若扫描到待处理指令但本地映射表未命中,则节点本轮不对该指令做任何处理,等待其他节点在后续周期中处理。
23、优选地,所述步骤s140包括:
24、s141、每一个正在运行的任务实例在其所属节点内部启动一个独立的心跳上报定时任务,该心跳上报定时任务按照预设的心跳上报周期执行;
25、s142、在每个心跳上报周期到达时,该任务实例向共享状态存储写入以该任务标识命名的心跳键,并为该心跳键设置有效期,该有效期的时长大于心跳上报周期,使得处于正常运行状态的实例的心跳键在每次写入后持续存在并在下一周期被刷新有效期;
26、s143、当实例正常停止或被主动销毁时,该实例主动删除共享状态存储中对应的心跳键,以释放心跳标记占用的存储资源。
27、优选地,所述步骤s150包括:
28、s151、集群中每一个节点各自启动一个固定周期的心跳扫描线程或协程,该心跳扫描线程或协程的扫描周期与心跳标记的有效期相匹配;
29、s152、在每个心跳扫描周期开始时,各节点分别尝试向共享状态存储写入一个扫描锁键,该写入操作在键不存在时才写入成功,并为该扫描锁键设置锁有效期;
30、s153、写入扫描锁键成功的节点作为本轮心跳检查的持锁节点,其余节点检测到写入失败后直接结束本轮心跳扫描;
31、s154、持锁节点遍历当前全部活跃任务标识,对每一个活跃任务标识检查共享状态存储中是否存在对应的心跳键,若心跳键已因超过有效期而不存在,则持锁节点判定该任务标识对应的引擎实例已失效,并进入失效处理分支;
32、s155、持锁节点完成全部活跃任务标识的心跳检查后,主动删除共享状态存储中的扫描锁键,以释放锁资源供下一轮扫描时各节点重新竞争。
33、优选地,所述步骤s160包括:
34、s161、每一个正在运行的任务实例在运行期间持续将其当前处理位置信息以结构化数据形式写入共享状态存储中该任务对应的运行时状态记录,该运行时状态记录至少包含当前正在处理的内容标识、已累计处理的数据单元数量、以及一个初始值为零的重试计数字段;
35、s162、当心跳扫描判定某个任务标识对应的实例已失效后,持锁节点读取共享状态存储中该任务对应的运行时状态记录,获取其中记录的位置信息与当前重试计数值;
36、s163、持锁节点判断当前重试计数值是否小于预设的重试上限阈值,若小于则在持锁节点本地创建一个新的引擎实例,并将读取到的位置信息传入新实例的恢复接口,使新实例基于该位置信息获取后续待处理内容并从该位置继续运行;
37、s164、新实例创建成功并启动运行后,持锁节点将该新实例注册到本节点的本地映射表中,并将该任务对应的运行时状态记录中的重试计数值原子性加一后写回共享状态存储;
38、s165、若持锁节点判断当前重试计数值已达到或超过预设的重试上限阈值,则将该任务从活跃任务集合中移除,并通过预设的消息通知渠道对外发出该任务已永久中断的通知,不再自动创建新实例。
39、本发明的实施例还提供一种直播引擎集群无表心跳自愈系统,用于实现上述的直播引擎集群无表心跳自愈方法,所述直播引擎集群无表心跳自愈系统包括:
40、映射维护模块,用于集群中的每一个节点在本地维护一个任务标识与引擎实例的映射表,该映射表仅记录本节点自身承载的实例,不与其他节点同步且不对外暴露;
41、指令接收模块,用于当任意节点接收到针对目标任务的外部控制指令时,该节点不查询任何路由信息且不将指令转发给其他节点,而是直接将指令以预设的键值对形式写入所有节点均可访问的共享状态存储中;
42、扫描执行模块,用于在集群中每一个节点各自独立运行周期性扫描任务,按固定间隔遍历当前处于活跃状态的任务标识,检查共享状态存储中是否存在针对这些任务标识的待处理指令,若存在,则节点先在自身的本地映射表中查找是否持有对应任务的实例,若持有则在本地执行指令对应的操作,执行完毕后从共享状态存储中移除该指令,若未持有则不作处理;
43、心跳标记模块,用于在每一个正在运行的任务实例在其运行期间按固定周期向共享状态存储写入一次心跳标记,该心跳标记具有预设有效期;
44、故障发现模块,用于在集群中各节点各自独立运行心跳扫描任务,每一轮扫描开始前各节点竞争获取具有有效期的排他性扫描锁,只有成功获取该锁的节点执行本轮心跳检查逻辑,该节点遍历所有活跃任务标识并检查其心跳标记是否仍存在于共享状态存储中,若不存在则判定对应实例已失效并触发失效处理流程;以及
45、断点记录模块,用于在各实例在运行期间持续将其当前运行位置信息同步写入共享状态存储作为断点状态,失效处理流程先读取断点状态与重试次数,若重试次数未超过上限则在当前持锁节点上重建新实例并将断点状态传入,使新实例从断点位置继续运行,若已超过上限则移除该任务并发出中断通知。
46、本发明的实施例还提供一种直播引擎集群无表心跳自愈设备,包括:
47、处理器;
48、存储器,其中存储有所述处理器的可执行指令;
49、其中,所述处理器配置为经由执行所述可执行指令来执行上述直播引擎集群无表心跳自愈方法的步骤。
50、本发明的实施例还提供一种计算机可读存储介质,用于存储程序,所述程序被执行时实现上述直播引擎集群无表心跳自愈方法的步骤。
51、本发明的目的在于提供直播引擎集群无表心跳自愈方法、系统、设备及存储介质,能够通过共享状态存储承载控制指令与运行时状态、各节点周期性扫描并结合本地实例映射进行过滤执行,替代传统的路由表转发机制;并通过心跳机制与断点位置记录,实现节点或实例异常后的自动发现与从中断位置继续运行的自愈能力,解决现有方案中路由表维护成本高、节点间调用耦合、故障恢复效率低等问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com