一种场景自适应最短路径AI运行时通道路由方法及装置与流程
本发明涉及人工智能与智能终端服务调度,具体涉及一种场景自适应最短路径ai运行时通道路由方法及装置。
背景技术:
1、随着端侧ai技术与智能终端的发展,ai运行时呈现多形态并存的格局,云端模型服务、端侧本地推理服务、本地智能体编排服务可同时部署于同一智能终端设备,分别适配不同算力、延迟与隐私等级的业务场景。为实现多源ai能力的调用,终端应用通常需要分别对接不同的ai运行时后端,而各类后端采用的通信协议、数据格式与交互模式存在显著差异,既增加了应用层的开发与维护成本,也难以在不同业务场景下灵活调度最优的ai能力链路,无法充分发挥端云协同的架构优势。
2、现有ai通道路由方案主要存在两类技术局限:一类采用单体耦合式实现,将通道选择、数据收发与业务逻辑集成于同一模块,导致通道能力与业务逻辑深度绑定,后端服务升级、进程重启或异常故障会直接影响前端业务链路,系统稳定性与可扩展性不足;另一类方案未建立统一的事件输出标准,不同运行时通道各自输出原生协议数据,前端ui层需针对不同通信协议分别开发流式解析与状态处理逻辑,重复开发成本高,且难以保障交互体验的一致性。此外,多数现有方案采用固定通道配置,无法根据当前业务场景自动匹配链路最短的运行时通道,难以同时兼顾低延迟、隐私保护与复杂任务编排的多元需求。
3、当前ai运行时通道路由领域尚未形成完善的技术方案,无法同时实现场景化最短路径选择、多协议统一事件输出与运行时动态平滑切换,难以适配智能终端多运行时并存的复杂运行环境,无法在保障系统稳定性的前提下,为前端提供一致、低延迟的ai交互体验,成为制约端云协同ai能力规模化落地的重要技术瓶颈。
技术实现思路
1、鉴于所述问题,提出了本技术以便提供克服所述问题或者至少部分地解决所述问题的一种场景自适应最短路径ai运行时通道路由方法及装置,包括:
2、一种场景自适应最短路径ai运行时通道路由方法,包括步骤:
3、获取ai运行时通道的配置参数与事件输出规范,并通过所述配置参数生成通道选型依据与事件转换规则;
4、依据所述通道选型依据确定路径目标通道,并通过所述路径目标通道生成目标通信链路;
5、通过所述目标通信链路得到对应后端返回的原生响应数据;
6、依据所述事件转换规则对所述原生响应数据执行协议映射与格式转换,生成标准化流式事件,完成当前场景下的ai运行时最短路径通道路由。
7、进一步地,所述获取ai运行时通道的配置参数与事件输出规范,并通过所述配置参数生成通道选型依据与事件转换规则的步骤,包括:
8、获取全部ai运行时通道的配置参数集合以及预设的统一事件输出规范;所述配置参数集合包含各通道的通信协议类型、服务地址、访问凭证与场景适配规则;
9、依据所述配置参数集合中的场景适配规则与通道属性参数,生成用于通道匹配的通道选型依据;
10、依据所述统一事件输出规范,建立不同通信协议响应数据与标准化流式事件的对应映射关系,生成事件转换规则。
11、进一步地,所述依据所述通道选型依据确定路径目标通道,并通过所述路径目标通道生成目标通信链路的步骤,包括:
12、依据所述通道选型依据中的场景适配规则,识别当前运行场景;
13、基于当前运行场景与各ai运行时通道的属性参数,匹配得到当前场景下链路最短的路径目标通道;
14、根据所述路径目标通道对应的通信协议与服务地址,发起连接请求并建立通信连接,生成目标通信链路。
15、进一步地,所述通过所述目标通信链路得到对应后端返回的原生响应数据;的步骤,包括:
16、获取待转发的请求数据,依据所述目标通信链路对应的通信协议类型,将所述请求数据转换为目标通道适配的协议请求格式;
17、通过所述目标通信链路将格式转换后的请求数据发送至对应后端服务;
18、接收后端服务响应所述请求数据后返回的原生响应数据。
19、进一步地,所述依据所述事件转换规则对所述原生响应数据执行协议映射与格式转换,生成标准化流式事件并输出,完成当前场景下的ai运行时最短路径通道路由的步骤,包括步骤:
20、解析所述原生响应数据的通信协议类型,提取响应数据中的有效数据字段;
21、依据所述事件转换规则,对提取的有效数据字段执行格式转换与类型映射,生成标准化流式事件;
22、将所述标准化流式事件按增量推送方式实时输出,完成当前场景下的ai运行时最短路径通道路由与统一事件输出。
23、进一步地,所述方法还包括运行目标自适应切换步骤,包括:
24、实时监测ai运行时通道的配置参数与场景状态的变更;
25、当检测到运行场景切换或配置参数更新时,断开当前已建立的目标通信链路并释放对应的连接资源与缓存数据;
26、依据变更后的配置参数与场景状态更新所述通道选型依据,重新匹配当前场景下的最短路径目标通道并建立新的目标通信链路。
27、进一步地,所述方法还包括本地智能体通道就绪自适应重连步骤,包括:
28、持续监听本地智能体服务发出的服务就绪广播信号;
29、当接收到所述服务就绪广播信号,且当前匹配的路径目标通道为本地智能体通道时,更新本地智能体通道的服务连接地址;
30、基于更新后的连接地址,通过当前路径目标通道重建目标通信链路,恢复数据传输能力。
31、一种场景自适应最短路径ai运行时通道路由装置,其特征在于,所述装置实现上述任一项所述的场景自适应最短路径ai运行时通道路由方法的步骤:
32、包括:
33、获取模块,用于获取ai运行时通道的配置参数与事件输出规范,并通过所述配置参数生成通道选型依据与事件转换规则;
34、通道选型模块,用于依据所述通道选型依据确定路径目标通道,并通过所述路径目标通道生成目标通信链路;
35、数据收发模块,用于通过所述目标通信链路得到对应后端返回的原生响应数据;
36、事件转换模块,用于依据所述事件转换规则对所述原生响应数据执行协议映射与格式转换,生成标准化流式事件,完成当前场景下的ai运行时最短路径通道路由。
37、一种计算机电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述任一项所述的方法。
38、一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
39、本技术具有以下优点:
40、在本技术的实施例中,相对于现有技术中的多类ai运行时后端通信协议与数据格式差异大、应用层直接对接的开发与维护成本高,单体耦合架构下后端服务异常易传导至前端业务链路,且缺少统一流式事件输出标准、无法根据业务场景自动选择最短通信路径的缺点,本技术提供了场景自适应选路与多协议统一事件转换相结合的ai运行时通道路由解决方案,具体为:获取ai运行时通道的配置参数与事件输出规范,并通过所述配置参数生成通道选型依据与事件转换规则;依据所述通道选型依据确定路径目标通道,并通过所述路径目标通道生成目标通信链路;通过所述目标通信链路得到对应后端返回的原生响应数据;依据所述事件转换规则对所述原生响应数据执行协议映射与格式转换,生成标准化流式事件,完成当前场景下的ai运行时最短路径通道路由。通过前置解析配置生成通道选型依据与事件转换规则、以独立路由层承接多通道调度与数据转换的技术特征,解决了现有方案中应用层与多ai运行时后端直接耦合、对接逻辑冗余复杂的问题,达到了屏蔽底层运行时的协议差异、前端业务无需感知后端类型、大幅降低开发与维护成本的效果;通过基于场景适配规则匹配当前场景下链路最短的目标通道并建立通信链路的技术特征,解决了现有固定通道配置无法按需调度最优算力通路、难以同时兼顾低延迟、隐私保护与复杂任务编排需求的问题,达到了根据业务场景自动选择最优通信路径、在不同场景下均能实现最短链路传输的效果;通过对不同协议的原生响应数据执行统一协议映射与格式转换、输出标准化流式事件的技术特征,解决了现有方案中各通道输出格式不统一、前端需针对不同协议重复开发解析逻辑、交互体验不一致的问题,达到了前端仅需对接一套事件标准即可适配全部ai运行时、流式输出体验统一且状态管控一致的效果;通过“参数解析-通道选型-数据收发-事件转换”的分层解耦路由架构的技术特征,解决了单体耦合架构中后端异常、服务重启直接影响前端业务的问题,达到了后端变更与故障不直接传导至业务层、系统运行稳定性与可扩展性显著提升的效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com