视觉语言系统的制作方法

摘要: 本公开涉及视觉语言系统。背景技术:1、车辆或运输工具,例如轿车、摩托车、卡车、飞机、火车等,通常以各种方式向乘员和/或货物提供运输。可以通过各种计算设备,例如位...
视觉语言系统的制作方法

本公开涉及视觉语言系统。

背景技术:

1、车辆或运输工具,例如轿车、摩托车、卡车、飞机、火车等,通常以各种方式向乘员和/或货物提供运输。可以通过各种计算设备,例如位于车辆上和/或车辆外的智能电话或计算机,来识别和利用与车辆相关的功能。

技术实现思路

1、本解决方案提供了一种方法,该方法包括以下各项中的一项或多项:由车辆上的传感器捕获围绕所述车辆的环境的视觉数据;由位于所述车辆上的蒸馏视觉编码器将所述视觉数据编码为视觉特征图(visual feature map);由文本编码器基于与所述环境相关联的提示来生成文本嵌入;通过应用可学习特征掩码而生成包括与所述环境相关的选择性过滤特征的掩码特征图(masked feature map);将所述掩码特征图和所述提示从所述车辆发送到远程服务器;由位于所述远程服务器上的语言解码器处理所述掩码特征图和所述提示以生成描述所述环境的响应;以及由所述车辆基于从所述远程服务器接收的所述响应而执行动作。

2、本解决方案还提供了一种系统,该系统包括通信地耦合到处理器的存储器,其中,所述处理器被配置为执行以下各项中的一项或多项:传感器,其被配置为捕获围绕车辆的环境的视觉数据;蒸馏视觉编码器,其位于所述车辆上,被配置为将所述视觉数据编码为视觉特征图;文本编码器,其被配置为基于与所述环境相关联的提示来生成文本嵌入;可学习特征掩码,其被配置为通过选择性地过滤与所述环境相关的所述视觉特征图的特征而生成掩码特征图;发送器,其被配置为将所述掩码特征图和所述提示从所述车辆发送到远程服务器;语言解码器,其位于所述远程服务器上,被配置为处理所述掩码特征图和所述提示以生成描述所述环境的响应;以及车辆控制器,其被配置为基于从所述远程服务器接收的所述响应而执行动作。

3、本解决方案还提供了一种包括指令的计算机可读存储介质,在由处理器读取时,所述指令使所述处理器执行以下各项中的一项或多项:由车辆上的传感器捕获围绕所述车辆的环境的视觉数据;由位于所述车辆上的蒸馏视觉编码器将所述视觉数据编码为视觉特征图;由文本编码器基于与所述环境相关联的提示来生成文本嵌入;通过应用可学习特征掩码而生成包括与所述环境相关的选择性过滤特征的掩码特征图;将所述掩码特征图和所述提示从所述车辆发送到远程服务器;由位于所述远程服务器上的语言解码器处理所述掩码特征图和所述提示以生成描述所述环境的响应;以及由所述车辆基于从所述远程服务器接收的所述响应而执行动作。

1.一种方法,包括:

2.根据权利要求1所述的方法,其中,所述掩码特征图是由可学习特征掩码功能使用所述视觉特征图与所述文本嵌入之间的交叉注意力来生成的。

3.根据权利要求1所述的方法,其中,所述蒸馏视觉编码器包括从教师模型经由知识蒸馏训练的学生模型,其中,所述编码包括使用余弦相似度损失来再现所述教师模型的中间特征表示以及匹配由所述教师模型生成的最终语言输出。

4.根据权利要求1所述的方法,其中,生成所述掩码特征图进一步包括:

5.根据权利要求1所述的方法,其中,所述提示由所述车辆通过以下方式自动生成:

6.根据权利要求1所述的方法,其中,生成描述所述环境的所述响应包括:

7.根据权利要求1所述的方法,其中,执行所述动作包括:

8.一种系统,包括:

9.根据权利要求8所述的系统,其中,所述掩码特征图是由可学习特征掩码功能使用所述视觉特征图与所述文本嵌入之间的交叉注意力来生成的。

10.根据权利要求8所述的系统,其中,所述蒸馏视觉编码器包括从教师模型经由知识蒸馏训练的学生模型,所述学生模型被配置为使用余弦相似度损失再现所述教师模型的中间特征表示,并且匹配由所述教师模型生成的最终语言输出。

11.根据权利要求8所述的系统,其中,所述可学习特征掩码还被配置为:

12.根据权利要求8所述的系统,其中,所述车辆还包括控制模块,所述控制模块被配置为:

13.根据权利要求8所述的系统,其中,所述语言解码器还被配置为:

14.根据权利要求8所述的系统,其中,所述车辆控制器还被配置为:

15.一种计算机程序产品,包括:

16.根据权利要求15所述的计算机程序产品,其中,所述掩码特征图是由可学习特征掩码功能使用所述视觉特征图与所述文本嵌入之间的交叉注意力来生成的。

17.根据权利要求15所述的计算机程序产品,其中,所述蒸馏视觉编码器包括从教师模型经由知识蒸馏训练的学生模型,其中,所述编码包括使用余弦相似度损失来再现所述教师模型的中间特征表示以及匹配由所述教师模型生成的最终语言输出。

18.根据权利要求15所述的计算机程序产品,其中,生成所述掩码特征图进一步包括:

19.根据权利要求15所述的计算机程序产品,其中,所述提示由所述车辆通过以下方式自动生成:

20.根据权利要求15所述的计算机程序产品,其中,生成描述所述环境的所述响应包括: