基于注意力机制的无人车多分辨率视频生成方法和装置与流程

技术特征：
1.基于注意力机制的无人车多分辨率视频生成方法，其特征在于，包括：获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；根据所述合成图像，输出实时的视频流数据。2.根据权利要求1所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，所述注意力掩码图像包括三个分区；对所述实时图像分别按照2*2和3*3的比率进行降采样，得到分辨率分别为实时图像分辨率1/4和1/9的两个降采样实时图像。3.根据权利要求2所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像包括：根据分区与预测轨迹的距离，建立所述分区与所述实时图像，以及所述分区与所述降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与所述分区对应的所述实时图像或所述降采样实时图像的分辨率越大；对所述注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据所述像素值的大小，确定分区，根据所述分区，将对应的图像填充至注意力掩码图像，扫描完成得到合成图像。4.根据权利要求1至3任一项所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像包括：对所述注意力图像中的像素点，通过摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；在车体坐标系中，计算所述对应点与预测轨迹之间的实际距离；根据所述实际距离生成注意力掩码图像。5.根据权利要求1至3任一项所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，在输出实时的视频流数据之前，还包括：将所述合成图像利用平滑的方法进行处理。6.根据权利要求1至3任一项所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，包括：对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，并且
将所述降采样实时图像进行尺寸放大，以使所述降采样实时图像的尺寸与所述实时图像的尺寸一致。7.根据权利要求1至3任一项所述的基于注意力机制的无人车多分辨率视频生成方法，其特征在于，所述摄像机采集实时图像可以通过usb、网络、gmsl或fpdlink接口。8.基于注意力机制的无人车多分辨率视频生成装置，其特征在于，包括：预测轨迹获得模块，用于获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；注意力图像获得模块，用于将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；掩码图像获得模块，用于根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；图像处理模块，用于获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；合成图像获得模块，用于根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；视频流输出模块，用于根据所述合成图像，输出实时的视频流数据。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及基于注意力机制的无人车多分辨率视频生成方法和装置，该方法包括：根据方向盘转角和车辆动力学模型得到预测轨迹；将预测轨迹标注在空白图像中得到注意力图像；根据注意力图像中像素点与预测轨迹得到实际距离，根据实际距离生成注意力掩码图像；获取无人车摄像机采集的实时图像，按照预设比率进行降采样得到不同分辨率的降采样实时图像；注意力掩码图像、实时图像以及降采样实时图像的尺寸一致；以各分区像素值为索引，将实时图像和降采样实时图像填充至注意力掩码图像得到合成图像；根据合成图像输出实时的视频流数据。采用本方法能够占用相对较少的带宽而又可以采集比较清晰的图像。比较清晰的图像。比较清晰的图像。


技术研发人员：刘大学 李峻翔 吴涛 史美萍
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2021.09.28
技术公布日：2021/12/13