基于多掩码上下文共享训练的车辆座舱设备控制方法及装置
本发明涉及车辆控制,尤其涉及一种基于多掩码上下文共享训练的车辆座舱设备控制方法及装置。
背景技术:
1、随着车辆智能座舱功能的发展,车辆座舱内的空调、座椅、车窗、氛围灯及音响等设备逐渐形成相互关联的控制体系。为适应用户对多设备联动控制和自然交互控制的需求,车辆座舱控制系统需要结合车辆运行状态、座舱设备状态以及用户输入信息,对用户的控制需求进行识别,并形成相应的设备控制结果,以实现对不同座舱设备工作状态的调整。
2、目前,可以采用语言模型对车辆座舱控制过程中产生的状态数据、用户请求及设备控制数据进行学习,并利用训练后的模型完成座舱控制预测。对于块扩散语言模型等需要基于上下文信息进行训练的模型,在增加训练样本处理形式或者重复利用同一训练样本进行训练时,容易产生相同上下文信息的重复计算和重复存储,使模型训练过程占用较多的计算资源和存储资源。随着训练数据规模和模型规模增加,上述重复处理带来的计算负担更加明显,影响车辆座舱控制模型的训练效率。
3、因此,现有车辆座舱设备控制技术中,需要解决在满足车辆座舱控制模型训练和实际设备控制需求的情况下,降低模型训练过程中重复上下文处理造成的计算及存储资源开销,并使模型预测结果能够有效用于车辆座舱设备控制的问题。
技术实现思路
1、本发明提供一种基于多掩码上下文共享训练的车辆座舱设备控制方法及装置,通过采用基于车辆座舱控制训练数据进行上下文共享联合训练的目标块扩散语言模型对车辆当前控制数据进行座舱控制预测,并根据预测得到的座舱设备控制数据驱动对应座舱设备控制器,能够减少模型训练过程中的重复上下文处理开销,并实现车辆座舱设备工作状态的控制。
2、第一方面,本发明提供一种基于多掩码上下文共享训练的车辆座舱设备控制方法,包括如下步骤:
3、获取车辆当前控制数据;
4、基于训练好的目标块扩散语言模型对所述车辆当前控制数据进行座舱控制预测处理,得到座舱设备控制数据;
5、基于所述座舱设备控制数据生成车载控制报文,并将所述车载控制报文发送至对应的目标座舱设备控制器,以调整对应座舱设备的工作状态;
6、其中,所述目标块扩散语言模型为基于预设的车辆座舱控制训练数据和共享干净上下文进行联合训练得到的。
7、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于预设的车辆座舱控制训练数据和共享干净上下文进行联合训练,得到所述目标块扩散语言模型,包括:
8、对所述车辆座舱控制训练数据进行序列化处理,得到原始词元序列;
9、对所述原始词元序列进行块划分,并基于多个不同掩码模式对同一所述原始词元序列进行掩码处理,得到多个掩码视图;
10、将一份所述原始词元序列作为所述共享干净上下文,并将所述共享干净上下文与多个所述掩码视图进行联合组织,得到联合训练输入;
11、基于所述联合训练输入中各词元的视图归属和词元块归属进行注意力可见性配置,得到上下文共享注意力可见性关系;
12、基于所述联合训练输入和所述上下文共享注意力可见性关系,对待训练块扩散语言模型进行上下文共享前向处理,得到各所述掩码视图对应的预测结果;
13、基于各所述预测结果和对应掩码视图的掩码位置进行损失归约处理,得到联合训练损失,并基于所述联合训练损失更新所述待训练块扩散语言模型的模型参数,得到训练好的所述目标块扩散语言模型。
14、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述对所述原始词元序列进行块划分,并基于多个不同掩码模式对同一所述原始词元序列进行掩码处理,得到多个掩码视图,包括:
15、按照预设块划分规则对所述原始词元序列进行连续划分,得到多个词元块;
16、按照待生成掩码视图的数量,分别对各所述词元块进行噪声水平采样,得到各待生成掩码视图对应的块级噪声数据;
17、基于各所述块级噪声数据,对对应词元块中的词元进行掩码位置采样,得到各待生成掩码视图对应的掩码位置;
18、基于各所述掩码位置对所述原始词元序列进行掩码替换处理,得到多个所述掩码视图。
19、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于所述联合训练输入中各词元的视图归属和词元块归属进行注意力可见性配置,得到上下文共享注意力可见性关系,包括:
20、对所述联合训练输入中的各词元进行归属关系确定,得到词元归属信息;
21、基于所述词元归属信息,从所述共享干净上下文中确定任一掩码视图中的当前查询词元对应的第一可见词元集合;
22、基于所述词元归属信息,从所述当前查询词元所属的掩码视图中确定所述当前查询词元对应的第二可见词元集合;
23、基于所述第一可见词元集合和所述第二可见词元集合进行注意力访问配置,并隔离不同掩码视图之间的注意力连接,得到所述上下文共享注意力可见性关系;
24、其中,所述第一可见词元集合由所述共享干净上下文中位于所述当前查询词元所属词元块之前的词元块中的词元确定,所述第二可见词元集合由所述当前查询词元所属掩码视图中与所述当前查询词元位于同一词元块的词元确定。
25、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于所述联合训练输入和所述上下文共享注意力可见性关系,对待训练块扩散语言模型进行上下文共享前向处理,得到各所述掩码视图对应的预测结果,包括:
26、对所述共享干净上下文进行前向表示处理,得到共享上下文表示;
27、基于所述上下文共享注意力可见性关系,从所述共享上下文表示中确定各所述掩码视图的当前词元块对应的前序上下文表示;
28、基于所述前序上下文表示和对应掩码视图中的当前词元块进行注意力处理,得到各所述掩码视图对应的视图上下文表示;其中,具有相同前序词元块的多个所述掩码视图复用对应的所述前序上下文表示;
29、基于各所述视图上下文表示进行词元预测处理,得到各所述掩码视图对应的预测结果。
30、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于所述前序上下文表示和对应掩码视图中的当前词元块进行注意力处理,得到各所述掩码视图对应的视图上下文表示,包括:
31、基于所述上下文共享注意力可见性关系进行块级映射处理,得到块稀疏注意力执行信息;
32、基于所述块稀疏注意力执行信息,确定当前查询词元块对应的目标键值数据块;
33、基于所述当前查询词元块和所述目标键值数据块进行注意力计算,得到对应掩码视图的所述视图上下文表示。
34、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于多个不同掩码模式对同一所述原始词元序列进行掩码处理,得到多个掩码视图,包括:
35、基于所述原始词元序列进行掩码位置采样,得到第一掩码位置集合;
36、对所述第一掩码位置集合进行逐词元位置取反处理,得到第二掩码位置集合;
37、基于所述第一掩码位置集合对所述原始词元序列进行掩码处理,得到第一互补掩码视图;
38、基于所述第二掩码位置集合对所述原始词元序列进行掩码处理,得到第二互补掩码视图;
39、基于所述第一互补掩码视图和所述第二互补掩码视图组成互补掩码视图对,并基于至少一个所述互补掩码视图对,得到多个所述掩码视图。
40、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于各所述预测结果和对应掩码视图的掩码位置进行损失归约处理,得到联合训练损失,包括:
41、从各所述预测结果中提取对应掩码位置的词元预测数据,得到各所述掩码视图对应的掩码词元预测数据;
42、基于各所述掩码词元预测数据和所述原始词元序列中对应位置的原始词元进行去噪损失计算,得到各所述掩码视图对应的视图去噪损失;
43、对多个所述视图去噪损失进行平均处理,得到所述联合训练损失。
44、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于各所述预测结果和对应掩码视图的掩码位置进行损失归约处理,得到联合训练损失,包括:
45、基于各所述掩码位置对应的块级噪声数据进行损失权重确定处理,得到噪声损失权重;
46、基于所述噪声损失权重、对应掩码视图的预测结果、对应的掩码位置以及所述原始词元序列中对应位置的原始词元进行加权去噪损失计算,得到各所述掩码视图对应的视图去噪损失;
47、对多个所述视图去噪损失进行平均处理,得到所述联合训练损失。
48、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于各所述预测结果和对应掩码视图的掩码位置进行损失归约处理,得到联合训练损失,包括:
49、基于所述第一互补掩码视图的掩码位置和对应的预测结果进行去噪损失计算,得到第一互补去噪损失;
50、基于所述第二互补掩码视图的掩码位置和对应的预测结果进行去噪损失计算,得到第二互补去噪损失;
51、基于所述第一互补去噪损失和所述第二互补去噪损失进行配对损失归约处理,得到互补配对损失;
52、对至少一个所述互补掩码视图对对应的互补配对损失进行损失归约处理,得到所述联合训练损失。
53、优选地,根据本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法,所述基于所述联合训练损失更新所述待训练块扩散语言模型的模型参数,得到训练好的所述目标块扩散语言模型,包括:
54、获取预训练自回归语言模型的模型参数;
55、基于所述预训练自回归语言模型的模型参数,对所述待训练块扩散语言模型进行参数初始化,得到初始块扩散语言模型;
56、基于所述联合训练损失,对所述初始块扩散语言模型进行模型参数更新,得到更新后的块扩散语言模型;
57、在所述更新后的块扩散语言模型满足预设训练停止条件时,将所述更新后的块扩散语言模型,确定为训练好的所述目标块扩散语言模型。
58、第二方面,本发明还提供一种基于多掩码上下文共享训练的车辆座舱设备控制装置,包括如下模块:
59、获取模块,用于获取车辆当前控制数据;
60、预测模块,用于基于训练好的目标块扩散语言模型对所述车辆当前控制数据进行座舱控制预测处理,得到座舱设备控制数据;
61、控制模块,用于基于所述座舱设备控制数据生成车载控制报文,并将所述车载控制报文发送至对应的目标座舱设备控制器,以调整对应座舱设备的工作状态;其中,所述目标块扩散语言模型为基于预设的车辆座舱控制训练数据和共享干净上下文进行联合训练得到的。
62、第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于多掩码上下文共享训练的车辆座舱设备控制方法。
63、第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于多掩码上下文共享训练的车辆座舱设备控制方法。
64、第五方面,本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于多掩码上下文共享训练的车辆座舱设备控制方法。
65、本发明提供的一种基于多掩码上下文共享训练的车辆座舱设备控制方法及装置,通过获取车辆当前控制数据;基于训练好的目标块扩散语言模型对所述车辆当前控制数据进行座舱控制预测处理,得到座舱设备控制数据;基于所述座舱设备控制数据生成车载控制报文,并将所述车载控制报文发送至对应的目标座舱设备控制器,以调整对应座舱设备的工作状态;其中,所述目标块扩散语言模型为基于预设的车辆座舱控制训练数据和共享干净上下文进行联合训练得到的。通过采用基于车辆座舱控制训练数据进行上下文共享联合训练的目标块扩散语言模型对车辆当前控制数据进行座舱控制预测,并根据预测得到的座舱设备控制数据驱动对应座舱设备控制器,能够减少模型训练过程中的重复上下文处理开销,并实现车辆座舱设备工作状态的控制。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com