端侧提供模型服务的方法及相关装置与流程
本技术涉及计算机领域,具体地,涉及一种端侧提供模型服务的方法及相关装置。
背景技术:
1、当前,各种大人工智能(artificial intelligence,ai)模型不断发展。通过使大模型小型化,以及利用个人计算机(personal computer,pc)等终端自带的数据算力、隐私和免费属性,在终端侧(简称端侧)部署完成大模型,便利了大模型的使用。
2、然而,已有的端侧模型部署工具需要用户进行不同的解决方案应用组合,找到目标的组合应用方案,先下载应用工具,再通过命令行或者直接在网页下载指定模型格式文件,推理时需要下载其他应用或者在工具内完成推理。在端侧部署和使用大模型的门槛较高。
技术实现思路
1、本技术提供一种端侧提供模型服务的方法及相关装置,以降低在端侧部署和使用大模型的门槛。
2、第一方面,提供了一种端侧提供模型服务的方法,该方法可以应用于终端侧,例如终端或终端中的模块(例如电路,处理器,芯片或芯片系统等)。以该方法应用于终端为例,终端接收启动目标应用的第一指令,启动所述目标应用;接收在所述目标应用中下载目标模型的第二指令,并基于所述第二指令下载所述目标模型;以及接收选择所述目标模型进行推理的第三指令,并基于所述第三指令,运行所述目标模型进行推理。采用该方法,用户无需关注模型部署工具,可以在目标应用中下载目标模型,从而可以降低在端侧部署和使用大模型的门槛。可以在终端上快速支持用户使用端侧大模型。降低了用户直接使用端侧大模型的门槛,提升了用户端的使用效率。用户无需关注模型部署工具,只需要在目标应用中下载目标模型,在应用侧直接进行推理即可。各类支持端侧大模型的轻应用,均可通过此方式快速集成端侧模型并快速调用。
3、在一种可能的实现方式中,所述目标应用为应用程序,所述接收启动目标应用的第一指令之前,所述方法还包括:终端接收下载所述目标应用的第四指令,并基于所述第四指令,下载所述目标应用。采用该方式,若终端中没有下载该目标应用,则用户可以指示下载目标应用。
4、在又一种可能的实现方式中,所述基于所述第二指令下载所述目标模型,包括:终端在所述目标应用中下载所述目标模型,或基于所述目标应用提供的可视化界面选择所述目标模型并下载。采用该方式,可以在目标应用中下载目标模型,或基于目标应用提供的可视化界面选择目标模型并下载,用户无需关注模型部署工具,只需要在目标应用中下载目标模型,从而可以降低在端侧部署和使用大模型的门槛。
5、在又一种可能的实现方式中,所述目标应用为浏览器,所述基于所述第二指令下载所述目标模型,包括:终端基于所述浏览器提供的可视化界面选择所述目标模型并下载。采用该方式,用户无需关注模型部署工具,只需要在目标应用中下载目标模型,从而可以降低在端侧部署和使用大模型的门槛。
6、在又一种可能的实现方式中,所述方法还包括:终端接收在所述浏览器中配置插件的第五指令,并基于所述第五指令在所述浏览器中配置插件。采用该方式,在利用浏览器提供模型服务之前,若浏览器中尚未配置好提供可视化界面以提供模型服务的插件,则用户可以指示在浏览器中配置插件,例如在浏览器中搜索某插件,并点击下载和配置按钮。端则在接收到在浏览器中配置插件的第五指令后,基于该第五指令在浏览器中配置插件。
7、在又一种可能的实现方式中,所述基于所述第二指令下载所述目标模型之前,所述方法还包括:终端向操作系统发送第一请求,所述第一请求用于请求获取在所述目标应用下载所述目标模型的授权信息;以及接收来自所述操作系统的第一响应,所述第一响应包括所述授权信息。采用该方式,结合应用权限管控的用户授权的轻量级本地web访问授权机制,确保仅授权的应用可以访问本地检测的服务,未授权的应用无法访问本地web服务。提高了端侧提供模型服务的安全性。
8、第二方面,提供了一种端侧提供模型服务的装置,可以实现上述第一方面中的方法。可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。
9、在一种可能的实现方式中,所述装置包括:接收单元,用于接收启动目标应用的第一指令;启动单元,用于启动所述目标应用;所述接收单元,还用于接收在所述目标应用中下载目标模型的第二指令;下载单元,用于基于所述第二指令下载所述目标模型;所述接收单元,还用于接收选择所述目标模型进行推理的第三指令;以及推理单元,用于基于所述第三指令,运行所述目标模型进行推理。
10、可选地,所述目标应用为应用程序;所述接收单元,还用于接收下载所述目标应用的第四指令;以及所述下载单元,用于基于所述第四指令,下载所述目标应用。
11、可选地,所述下载单元,用于在所述目标应用中下载所述目标模型,或基于所述目标应用提供的可视化界面选择所述目标模型并下载。
12、可选地,所述目标应用为浏览器;所述下载单元,用于基于所述浏览器提供的可视化界面选择所述目标模型并下载。
13、可选地,所述接收单元,还用于接收在所述浏览器中配置插件的第五指令;以及所述装置还包括:配置单元,用于基于所述第五指令在所述浏览器中配置插件。
14、可选地,所述装置还包括:发送单元,用于向操作系统发送第一请求,所述第一请求用于请求获取在所述目标应用下载所述目标模型的授权信息;以及所述接收单元,还用于接收来自所述操作系统的第一响应,所述第一响应包括所述授权信息。
15、在另一种可能的实现方式中,所述装置包括与存储器耦合的处理器;所述处理器被配置为支持所述装置执行上述方法中相应的功能。存储器用于与处理器耦合,其保存所述装置必要的程序(指令)和/或数据。可选的,所述装置还可以包括接口,用于支持所述装置与其它装置之间的交互。可选的,该存储器可以位于该装置内部,也可以位于该装置外部。可选的,该存储器与处理器可以集成在一起。
16、第三方面,提供了一种终端,包括输入装置、输出装置、存储器和处理器;其中,所述处理器与所述输入装置、输出装置、存储器耦合,所述处理器用于执行计算机程序或指令,以控制所述输入装置进行信息的接收,以及控制所述输出装置进行信息的发送;当所述处理器执行所述计算机程序或指令时,所述处理器还用于通过逻辑电路或执行代码指令实现上述方法。其中,所述输入装置、输出装置可以为输入输出接口,用于接收来自所述装置之外的其它装置的信号并传输至所述处理器或将来自所述处理器的信号发送给所述装置之外的其它装置。
17、其中,所述输入装置用于接收启动目标应用的第一指令;所述处理器用于启动所述目标应用;所述输入装置还用于接收在所述目标应用中下载目标模型的第二指令;所述处理器还用于基于所述第二指令下载所述目标模型;所述输入装置还用于接收选择所述目标模型进行推理的第三指令;以及所述处理器还用于基于所述第三指令,运行所述目标模型进行推理。
18、在一种可能的实现方式中,所述目标应用为应用程序,所述输入装置还用于接收下载所述目标应用的第四指令;以及所述处理器还用于基于所述第四指令,下载所述目标应用。
19、在又一种可能的实现方式中,所述处理器还用于在所述目标应用中下载所述目标模型,或基于所述目标应用提供的可视化界面选择所述目标模型并下载。
20、在又一种可能的实现方式中,所述目标应用为浏览器,所述处理器还用于基于所述浏览器提供的可视化界面选择所述目标模型并下载。
21、在又一种可能的实现方式中,所述输入装置还用于接收在所述浏览器中配置插件的第五指令;以及所述处理器还用于基于所述第五指令在所述浏览器中配置插件。
22、在又一种可能的实现方式中,所述输出装置用于向操作系统发送第一请求,所述第一请求用于请求获取在所述目标应用下载所述目标模型的授权信息;以及所述输入装置还用于接收来自所述操作系统的第一响应,所述第一响应包括所述授权信息。
23、第四方面,提供了一种芯片,所述芯片,用于执行上述第一方面或第一方面的任意一种实现所述的方法。
24、第五方面,提供了一种芯片模组,包括输入输出组件和芯片,所述芯片,用于执行上述第一方面或第一方面的任意一种实现所述的方法。
25、第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序或指令,当计算机执行所述计算机程序或指令时,实现上述第一方面或第一方面的任意一种实现所述的方法。
26、第七方面,提供了一种包含指令的计算机程序产品,当该指令在装置上运行时,使得装置执行上述第一方面或第一方面的任意一种实现所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com