自然语言驱动跨终端应用动态生成运行方法、云端服务器及终端与流程
本发明涉及自然语言处理与终端应用生成的,特别涉及一种自然语言驱动跨终端应用动态生成运行方法、云端服务器及终端。
背景技术:
1、随着大语言模型(large language model,llm)与代码大模型在云端的快速成熟,“由自然语言到应用”或“prompt-to-app”已在电脑端、网页端与手机侧出现多种形态,如通用ai低代码平台、ai生成网页、ai生成小程序、ai生成卡片、ai生成mac桌面小工具等。与此同时,智能终端,如手机、pc、车机、iot普遍具备越来越多的本地能力。用户希望"用一句话即时获得一个贴合当下场景的小应用"的需求日益强烈。
2、当前,通用prompt-to-app技术主要基于云端大模型生成代码,其产物通常为依赖云端服务和网络连接的网页应用或“瘦客户端”。这类方案无法实现真正的现场生成与即时运行,用户无法通过自然语言在本地终端如车机、手机上动态创建出集成了ui、逻辑与本地系统能力如传感器、媒体、计时器的独立应用。同时,现有终端智能助手如车载语音助手、手机语音助手仅能将自然语言指令映射到预设、固化的系统api调用,属于“功能调用”而非“应用生成”,缺乏根据用户个性化、场景化需求动态组合ui与逻辑的能力。在技术层面,生成的应用默认依赖云端服务和对外网络连接,这使其触发复杂的icp备案、算法备案及生成式ai服务备案要求,极大阻碍了面向个人用户的“即兴生成”场景落地。在安全层面,缺乏统一、精细化的跨终端安全约束模型,导致相同生成代码在低风险终端如手机,与高风险终端如车机上面临完全不同的安全风险,且缺乏从代码生成、静态校验到运行隔离的全链路闭环安全保障。
3、此外,在用户体验方面,现有技术缺乏自然的“修改回路”,用户难以通过持续的自然语言对话对已生成应用进行安全的增量修改和版本管理。而且,跨终端体验割裂,在某一终端上生成的应用,因其依赖的能力集和安全模型未与终端特性对齐,难以无缝、安全地迁移或适配至另一类终端。
技术实现思路
1、为解决如何在确保高安全性与合规性的前提下,实现跨终端、自然语言驱动动态应用生成与修改的问题,本发明提出一种自然语言驱动跨终端应用动态生成运行方法、云端服务器及终端,确保ai生成的应用被严格限制在预设的安全边界内,生成的应用无需进行任何对外网络通信,方便个人即兴生成使用,避免了复杂备案,提升了用户体验。
2、为了实现上述目的,本发明构建了“一句话生成+端侧无网执行+五重安全门+修改回路”的总体技术方案。其中,五重安全门包括:第一门,意图理解与安全过滤,对自然语言应用需求进行主题分类与风险打分,拦截敏感意图;第二门,能力分级查询,基于“终端类型-终端状态-用户角色-场景”多元组条件确定动态分级api白名单;第三门,受约束生成,由代码大模型在三段式领域特定语言与动态分级api白名单的约束下生成应用包;第四门,静态安全校验与签名,对应用包执行网络原语零容忍校验并以厂商私钥签名;第五门,端侧无网沙箱与动态降级,终端在剥离网络命名空间的沙箱中运行应用包,并根据终端实时状态动态调整应用可访问的能力集合。五重安全门层层递进、协同作用,确保ai生成的应用被严格限制在预设的安全边界内。
3、为了达到上述技术效果,本发明的技术方案如下:
4、第一方面,本技术提出一种自然语言驱动跨终端应用动态生成运行方法,应用于云端,包括:
5、对第二自然语言应用需求进行意图理解与安全过滤,获得第三自然语言应用需求;所述第二自然语言应用需求是由终端对用户输入的第一自然语言应用需求进行上下文采集并加密传输后得到的;
6、对所述第三自然语言应用需求进行能力分级查询,获取当前第三自然语言应用需求对应的多元组条件下的动态分级api白名单;
7、基于所述第三自然语言应用需求、所述动态分级api白名单、预设的组件库和预设的模板库、预设的代码大模型,生成第一应用包;
8、对所述第一应用包进行静态安全校验与签名,获取第二应用包;
9、将所述第二应用包经加密通道下发至终端;其中,所述第二应用包在终端通过无网沙箱运行与本地能力代理运行。
10、优选地,所述上下文采集包括:采集终端的类型、采集用户身份与场景、采集终端的状态;所述终端的类型、用户身份与场景、终端的状态经加密后由终端传输至云端。
11、所述对第二自然语言应用需求进行意图理解与安全过滤,包括:
12、对所述第二自然语言应用需求进行主题分类与风险打分,根据主题分类与风险打分结果,获取所述第三自然语言应用需求,所述第三自然语言应用需求为通过意图理解与安全过滤后的正常自然语言应用需求;
13、其中,在意图理解与安全过滤时,若所述第二自然语言应用需求涉及敏感意图,拒绝生成第三自然语言应用需求,并返回安全提示语;若所述第二自然语言应用需求为模糊请求,触发反问澄清;
14、所述对所述第三自然语言应用需求进行能力分级查询,包括:
15、对所述第三自然语言应用需求进行能力分解;
16、基于能力分解结果,查询当前第三自然语言应用需求对应的多元组条件下的动态分级api白名单;所述多元组条件包括“终端类型-终端状态-用户角色-场景”四元组;所述动态分级api白名单包括:l0开放级、l1受限级、l2受控级及l3禁开级;其中,所述l0开放级为无互联网连接的纯本地运行的能力等级,所述l1受限级为需用户确认的接口能力等级,所述l2受控级为根据终端的状态动态可见的能力等级,所述l3禁开级为完全不可见的能力等级。
17、优选地,在生成所述第一应用包时,采用三段式领域特定语言的统一数据交换格式生成,包括:
18、采用基于json的声明式用户界面模式,引用所述预设的组件库的身份id;
19、采用受限 javascript 子集,并声明javascript的禁用列表;
20、对所需能力等级进行预声明。
21、优选地,所述对所述第一应用包进行静态安全校验与签名,包括:
22、进行静态安全校验,在任一项校验内容校验失败时,重新生成第一应用包;在所有校验内容校验成功时,利用预设的厂商私钥签名;
23、所述校验内容包括:对第一应用包进行ast级扫描;若出现任何网络原语、动态执行原语及远程统一资源定位符,校验失败;若未出现任何网络原语、动态执行原语及远程统一资源定位符,校验成功;
24、校验第一应用包的所有调用接口是否均属于动态分级api白名单;若是,调用接口校验成功,否则,调用接口校验失败;
25、对第一应用包进行资源占用估算,若未超出资源占用阈值,资源占用估算校验成功;若超出资源占用阈值,资源占用估算校验失败;
26、对第一应用包的隐私字段使用进行检查,若符合使用要求,隐私字段使用检查校验成功,否则,隐私字段使用检查校验失败;
27、进行字符串字面量正则扫描,对所有字符串字面量做正则匹配命中即标记,若统一资源定位符字面量在第一应用包中,则字符串字面量正则扫描校验失败;
28、优选地,所述方法还包括:将通过静态安全校验与签名的所述第二应用包作为统一中间产物,对所述统一中间产物进行形态分流,根据用户选择进行封装,封装结果包括自用直推应用包与上架商店应用包。
29、第二方面,本技术还提出一种自然语言驱动跨终端应用动态生成运行方法,应用于终端,包括:
30、对用户输入的第一自然语言应用需求进行上下文采集后,生成第二自然语言应用需求;
31、将第二自然语言应用需求加密输出至云端;
32、获取并运行所述云端经加密通道下发的第二应用包;其中,所述第二应用包在终端通过无网沙箱运行与本地能力代理运行;
33、其中,所述第二应用包按以下方式得到:在云端,对所述第二自然语言应用需求进行意图理解与安全过滤,得到第三自然语言应用需求,对第三自然语言应用需求进行能力分级查询,得到当前第三自然语言应用需求对应的多元组条件下的动态分级api白名单;基于所述第三自然语言应用需求、所述动态分级api白名单、预设的组件库和预设的模板库、预设的代码大模型,生成第一应用包,并对所述第一应用包进行静态安全校验与签名,获取第二应用包。
34、优选地,所述方法还包括:输入第四自然语言应用需求,对所述第二应用包进行修改;所述修改包括:在终端对所述第二应用包进行局部修改以及将第四自然语言应用需求传送至云端,对第二应用包进行差量生成。
35、第三方面,本技术提出一种云端服务器,包括:
36、意图理解与安全过滤模块,用于对第二自然语言应用需求进行意图理解与安全过滤,获得第三自然语言应用需求;所述第二自然语言应用需求是由终端对用户输入的第一自然语言应用需求进行上下文采集并加密传输后得到的;
37、能力分级查询模块,用于对所述第三自然语言应用需求进行能力分级查询,获取当前第三自然语言应用需求对应的多元组条件下的动态分级api白名单;
38、初始生成模块,用于基于所述第三自然语言应用需求、所述动态分级api白名单、预设的组件库和预设的模板库、预设的代码大模型,生成第一应用包;
39、静态安全校验模块,用于对第一应用包进行静态安全校验与签名,获取第二应用包;
40、分发模块,用于将所述第二应用包经加密通道下发至终端;其中,所述第二应用包在终端通过无网沙箱运行与本地能力代理运行。
41、优选地,所述云端服务器还包括:形态分流打包模块,用于对统一中间产物进行形态分流,根据用户选择进行封装,封装结果包括自用直推应用包与上架商店应用包;所述统一中间产物为通过静态安全校验与签名的所述第二应用包;
42、审计与回溯模块,用于对云端服务器及终端运行时所涉及的生成动作、接口调用动作、修改动作、降级动作进行链式存证。
43、第四方面,本技术还提出一种终端,包括:
44、上下文采集模块,用于对用户输入的第一自然语言应用需求进行上下文采集后,生成第二自然语言应用需求;
45、加密传输模块,用于将第二自然语言应用需求加密输出至云端;
46、运行模块,包括无网沙箱运行子模块和本地能力代理运行子模块,所述无网沙箱运行子模块用于无网沙箱运行第二应用包,所述本地能力代理运行子模块用于本地能力代理运行第二应用包;所述终端内嵌quickjs解释器,在无网沙箱运行时,将进程级网络命名空间剥离;在本地能力代理运行时,实时复核终端的当前终端状态;
47、其中,所述第二应用包按以下方式得到:在云端,对所述第二自然语言应用需求进行意图理解与安全过滤,得到第三自然语言应用需求,对第三自然语言应用需求进行能力分级查询,得到当前第三自然语言应用需求对应的多元组条件下的动态分级api白名单;基于所述第三自然语言应用需求、所述动态分级api白名单、预设的组件库和预设的模板库、预设的代码大模型,生成第一应用包,并对所述第一应用包进行静态安全校验与签名,获取第二应用包。
48、与现有技术相比,本发明技术方案的有益效果是:
49、本发明提出一种自然语言驱动跨终端应用动态生成运行方法、云端服务器及终端,首先对用户输入的自然语言应用需求进行意图理解与安全过滤,实现对需求的安全分析,然后对通过安全过滤的自然语言应用需求,进行能力分级查询,得到动态分级api白名单,再结合自然语言应用需求、预设的组件库和预设的模板库、预设的代码大模型,生成应用包,并对应用包进行静态安全校验与签名,确保ai生成的应用被严格限制在预设的安全边界内,实现了同一应用在不同终端上的风险自适应与体验自适应,并且应用包在终端通过无网沙箱运行与本地能力代理运行,无需进行任何对外网络通信,方便了个人即兴生成使用,避免了复杂备案,提升了用户体验,实现了ai在任意智能终端上安全、合规地动态生成与运行应用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com