经由自下而上的过程构建的基础模型的制作方法
本公开总体上涉及基础模型,并且更具体地涉及经由自下而上的过程构建基础模型。
背景技术:
1、基础模型是大型预训练的人工智能(ai)模型,其在不同范围的任务和数据集上进行训练,以便为更专用的模型提供基础。基础模型作为大型通用模型在各种ai应用中取得了重大成功。基础模型能够执行各种任务,诸如理解文本、生成文本、生成图像或自然语言处理。遗憾的是,用于构建基础模型的现有技术需要大量的数据和计算资源,并且不能很好地推广到专用领域,并且因此在没有大量再训练的情况下不能轻松地跨不同的专用领域实现。
2、因此,可解决这些技术问题中的一个或多个技术问题的系统或技术可能是期望的。
技术实现思路
1、以下给出了 技术实现要素: 以提供对一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素,也不旨在描绘具体实施方案的任何范围或权利要求书的任何范围。其唯一目的是以简化形式呈现概念,作为稍后呈现的更详细描述的序言。在本文所描述的一个或多个实施方案中,描述了促进经由自下而上的过程构建基础模型的设备、系统、计算机实现的方法、装置或计算机程序产品。
2、根据一个或多个实施方案,提供了一种系统。该系统可包括非暂态计算机可读存储器,该非暂态计算机可读存储器可存储计算机可执行组件。该系统还可包括处理器,该处理器可以可操作地耦合到非暂态计算机可读存储器并且可执行存储在非暂态计算机可读存储器中的计算机可执行组件。在各种实施方案中,计算机可执行组件可包括可访问多个机器学习任务的访问组件。在各种方面,计算机可执行组件可包括模型组件,该模型组件可通过将多个机器学习任务的子集递归地合并成一般化表示来以自下而上的方式构建基础模型。
3、根据一个或多个实施方案,提供了一种计算机实现的方法。在各种实施方案中,该计算机实现的方法可包括由操作地耦合到处理器的设备访问多个机器学习任务。在各种方面,计算机实现的方法可包括由设备并通过将多个机器学习任务的子集递归地合并成一般化表示来以自下而上的方式构建基础模型。
4、根据一个或多个实施方案,提供了一种用于促进经由自下而上的过程构建基础模型的计算机程序产品。在各种实施方案中,该计算机程序产品可包括非暂态计算机可读存储器,该非暂态计算机可读存储器具有利用其体现的程序指令。在各种方面,这些程序指令可以能够由处理器执行以使该处理器访问多个机器学习任务。在各种实例中,程序指令还可以能够由处理器执行以使该处理器通过将多个机器学习任务的子集递归地合并成一般化表示来以自下而上的方式构建基础模型。
1.一种系统,所述系统包括:
2.根据权利要求1所述的系统,其中所述计算机可执行组件还包括:
3.根据权利要求1所述的系统,其中所述计算机可执行组件还包括:
4.根据权利要求1所述的系统,其中所述计算机可执行组件还包括:
5.根据权利要求4所述的系统,其中所述训练组件训练所述基础模型以基于所述提示向量来适配权重参数以产生对应输出,并且其中所述训练组件使用所述权重参数作为用于自适应任务的预训练的权重参数。
6.根据权利要求4所述的系统,其中所述分配组件将向量提示定义为与其他向量提示正交。
7.根据权利要求6所述的系统,其中所述训练组件以解耦方式学习所述多个机器学习任务的所述子集在其相应向量空间中的所述一般化表示。
8.根据权利要求1所述的系统,其中所述基础模型被训练用于计算机视觉机器学习任务或文本处理机器学习任务。
9.一种计算机实现的方法,所述计算机实现的方法包括:
10.根据权利要求9所述的计算机实现的方法,所述计算机实现的方法还包括:
11.根据权利要求9所述的计算机实现的方法,所述计算机实现的方法还包括:
12.根据权利要求9所述的计算机实现的方法,所述计算机实现的方法还包括:
13.根据权利要求12所述的计算机实现的方法,所述计算机实现的方法还包括:
14.根据权利要求12所述的计算机实现的方法,所述计算机实现的方法还包括:
15.根据权利要求14所述的计算机实现的方法,所述计算机实现的方法还包括:
16.一种用于促进用于医学设备应用的自下而上的基础模型的计算机程序产品,所述计算机程序产品包括非暂态计算机可读存储器,所述非暂态计算机可读存储器具有随其体现的程序指令,所述程序指令能够由处理器执行以使所述处理器:
17.根据权利要求16所述的计算机程序产品,其中所述处理器合并所述多个机器学习任务中的两个或更多个机器学习任务以训练中间模型,并且其中所述处理器合并两个或更多个中间模型以训练一般化中间模型。
18.根据权利要求16所述的计算机程序产品,其中所述处理器基于一个或多个自下而上的过程的特性来隔离所述一个或多个自下而上的过程。
19.根据权利要求16所述的计算机程序产品,其中所述处理器为所述多个机器学习任务中的每个机器学习任务定义向量提示,并且其中所述处理器训练所述基础模型以基于所述向量提示来识别机器学习任务。
20.根据权利要求19所述的计算机程序产品,其中所述处理器训练所述基础模型以基于所述提示向量来适配权重参数以产生对应输出,并且其中所述处理器使用所述权重参数作为用于自适应任务的预训练的权重参数。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com