图像处理方法、装置、可读存储介质及无人设备与流程

1.本公开涉及无人设备领域，具体地，涉及一种图像处理方法、装置、可读存储介质及无人设备。


背景技术：

2.无人设备(例如，无人车)业务可以通过远程遥控技术进行补充，在诸如超出无人车高精地图定位所支持的范围、运行环境异常等情况下可通过远程遥控技术为无人设备提供支持。通常情况下，可以基于远程遥控技术，由操作员(或，安全员)通过网络介入的方式为无人设备解决问题。目前，以无人车为例，无人车的远程遥控技术由车端计算平台的图像和底盘数据汇合、车端网关的数据压缩、移动蜂窝网络的基础设施、遥控控制台(即，无人车的远程控制端)以及操作员组成。在远程遥控过程中，操作员通过遥控控制台提供的无人车周边的环境信息，对无人车进行远程遥控，其中，无人车向遥控控制台传输车身周边各方向的图像，以供操作员参考。相关技术中，无人车一般通过默认的图像压缩方式将压缩后的图像传输给遥控控制台，这样通常存在延迟大、图像质量差的问题，为操作员的远程遥控带来不便。


技术实现要素：

3.本公开的目的是提供一种图像处理方法、装置、可读存储介质及无人设备，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。
4.为了实现上述目的，根据本公开的第一方面，提供一种图像处理方法，所述方法包括：
5.确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
6.确定对应于所述目标图像窗口的初始拼接图像；
7.按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
8.将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
9.可选地，所述确定无人设备的操作员的注意力信息，包括：
10.获取所述远程控制端的操作员的面部图像信息；
11.根据所述面部图像信息，确定所述操作员的注意力信息。
12.可选地，所述根据所述面部图像信息，确定所述操作员的注意力信息，包括：
13.根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；
14.获取所述远程控制端的图像窗口各自对应的位置信息；
15.将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
16.可选地，所述确定无人设备的操作员的注意力信息，包括：
17.从所述远程控制端获取所述注意力信息。
18.可选地，所述确定对应于所述目标图像窗口的初始拼接图像，包括：
19.获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
20.从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
21.根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
22.可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
23.可选地，所述方法还包括：
24.确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
25.按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
26.根据本公开的第二方面，提供一种图像处理装置，所述装置包括：
27.第一确定模块，用于确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
28.第二确定模块，用于确定对应于所述目标图像窗口的初始拼接图像；
29.第一压缩模块，用于按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
30.发送模块，用于将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
31.可选地，所述第一确定模块，包括：
32.第一获取子模块，用于获取所述远程控制端的操作员的面部图像信息；
33.第一确定子模块，用于根据所述面部图像信息，确定所述操作员的注意力信息。
34.可选地，所述第一确定子模块用于：根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；获取所述远程控制端的图像窗口各自对应的位置信息；
35.将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
36.可选地，所述第一确定模块，包括：
37.第二获取子模块，用于从所述远程控制端获取所述注意力信息。
38.可选地，所述第二确定模块，包括：
39.第三获取子模块，用于获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
40.第二确定子模块，用于从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
41.合成子模块，用于根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
42.可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度
确定。
43.可选地，所述装置还包括：
44.第三确定模块，用于确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
45.第二压缩模块，用于按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
46.根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述的图像处理方法的步骤。
47.根据本公开的第四方面，提供一种无人设备，包括：
48.存储器，其上存储有计算机程序；
49.处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述的图像处理方法的步骤。
50.通过上述技术方案，确定无人设备的操作员的注意力信息，其中，注意力信息用于表征操作员在无人设备的远程控制端所关注的目标图像窗口，远程控制端设置有多个图像窗口，且每一图像窗口用于展示无人设备周边指定范围的环境信息，以及，确定对应于目标图像窗口的初始拼接图像，并按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度，再将目标拼接图像发送至远程控制端，以使远程控制端通过目标图像窗口展示目标拼接图像。由此，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
51.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
52.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
53.图1是根据本公开的一种实施方式提供的图像处理方法的流程图；
54.图2是根据本公开提供的图像处理中，远程控制端各图像窗口的一种示例性的分布示意图；
55.图3是根据本公开的一种实施方式提供的图像处理装置的框图；
56.图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
57.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
58.如背景技术所述，基于远程遥控技术，操作员可以通过网络介入的方式为无人设备解决异常问题。以无人车为例，无人车的远程遥控技术由车端计算平台的图像和底盘数据汇合、车端网关的数据压缩、移动蜂窝网络的基础设施、遥控控制台(即，无人车的远程控制端)以及操作员组成。遥控控制台通常设置有多个窗口，用于展示无人车周边不同方向的
环境信息，例如，前向、后向、左侧、右侧、环视等。在远程遥控过程中，操作员可以通过遥控控制台的多个窗口，观察无人车周边的环境，进而对无人车进行远程遥控。其中，无人车通过自身的图像采集设备进行图像采集后，对多路图像数据进行拼接处理，得到各个窗口对应的拼接图像，之后，无人车车端按照统一的图像压缩方式对各拼接图像进行压缩并传输给遥控控制台的相应窗口。这种统一的图像压缩方式往往出现延迟过大和图像质量差的现象，给遥控控制台的操作员判断特定危险(例如，远方来车)或执行特定操作(例如，靠边停车)等带来困难。并且，若无人车上增加新的图像采集设备，还需要重新为各路图像进行网络带宽的分配，存在许多不便。
59.为了解决上述问题，本公开提供一种图像处理方法、装置、可读存储介质及无人设备，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性，同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
60.图1是根据本公开的一种实施方式提供的图像处理方法的流程图。本公开提供的方法可以应用于无人设备(例如，无人车、自动驾驶车辆)。如图1所示，本公开提供的图像处理方法可以包括步骤11～步骤14。
61.在步骤11中，确定无人设备的操作员的注意力信息。
62.其中，注意力信息可以用于表征操作员在无人设备的远程控制端所关注的目标图像窗口。
63.远程控制端可以设置有多个图像窗口(例如，前向、后向、左侧、右侧、环视等)，且每一图像窗口用于展示无人设备周边指定范围的环境信息。例如，后向图像窗口用于显示无人设备后方的环境，环视图像窗口用于显示无人设备在环视视角下的环境。
64.在一种可能的实施方式中，步骤11可以包括以下步骤：
65.获取远程控制端的操作员的面部图像信息；
66.根据面部图像信息，确定操作员的注意力信息。
67.示例地，远程控制端可以设置有图像采集设备，例如，摄像头，用于采集操作员的面部图像信息。无人设备可以从远程控制端获取操作员的面部图像信息。
68.在获取到操作员的面部图像信息后，可以根据操作员的面部图像信息，进一步确定操作员的注意力信息。示例地，可以通过如下步骤确定操作员的注意力信息：
69.根据面部图像信息，确定操作员所关注区域的区域位置信息；
70.获取远程控制端的图像窗口各自对应的位置信息；
71.将位置信息与区域位置信息相匹配的图像窗口确定为目标图像窗口。
72.示例地，可以通过眼球追踪技术，确定操作员的眼球动向，进而确定操作员目光落在哪一位置，即，确定操作员所关注区域的区域位置信息。
73.远程控制端的各个图像窗口本身具备各自对应的位置信息。示例地，远程控制端各图像窗口的分布可以如图2所示，其中，包含前向视频、后向视频、左侧视频、右侧视频和上帝视角环视这五个图像窗口。
74.从而，基于操作员所关注区域的区域位置信息，以及远程控制端的图像窗口各自对应的位置信息，可以确定出操作员目前所关注的图像窗口，即目标图像窗口。
75.在另一种可能的实施方式中，可以直接从远程控制端获取注意力信息。在这一实施方式中，远程控制端确定注意力信息的方式可以与上文提供的无人设备确定注意力信息的方式一致。
76.回到图1，在步骤12中，确定对应于目标图像窗口的初始拼接图像。
77.在一种可能的实施方式中，步骤12可以包括以下步骤：
78.获取设置于无人设备的图像采集设备采集到的多路图像数据；
79.从多路图像数据中，确定出对应于目标图像窗口的目标图像数据；
80.根据目标图像数据，合成对应于目标图像窗口的初始拼接图像。
81.无人设备可以布置有多个方向、不同特性的图像采集设备，其中，图像采集设备可以为摄像头。示例地，多个方向可以包括但不限于前、后、左、右。再例如，不同特性的图像采集设备可以包括但不限于鱼眼摄像头、广角摄像头等。
82.通常情况下，无人设备汇总多路图像数据，并且以给定的码率进行压缩，压缩后的数据通过移动蜂窝网络传输到远程控制端，在远程控制端，压缩后的数据经过解压缩分别展现在各自对应的图像窗口。其中，每个图像窗口应当汇总哪几路图像数据是设置好的，因此，在获取到多路图像数据后，能够从多路图像数据中，确定出对应于目标图像窗口的目标图像数据，进而，根据目标图像数据，合成对应于目标图像窗口的初始拼接图像。
83.在步骤13中，按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度。
84.其中，目标码率是能够保证得到的拼接图像足够清晰、且不影响图像传输的码率。
85.在一种可能的实施例中，目标码率可以根据无人设备与远程控制端之间的数据传输速度确定。示例地，目标码率可以根据当前的网速确定，即，目标码率为使压缩后的图像能够在当前网速下正常传输、且使压缩后的图像清晰度大于预设清晰度的压缩码率。
86.在步骤14中，将目标拼接图像发送至远程控制端，以使远程控制端通过目标图像窗口展示目标拼接图像。
87.此外，本公开提供的方法还可以包括以下步骤：
88.确定非目标图像窗口对应的拼接后的第一图像；
89.按照预设码率对第一图像进行压缩，得到第二图像，以使第二图像的清晰度小于预设清晰度。
90.其中，非目标图像窗口为远程控制段的多个图像窗口中除目标图像窗口之外的图像窗口。
91.也就是说，对于操作员未关注的非目标图像窗口，由于目前操作员并无对此类窗口的观察需求，因此，当前无需保证非目标图像窗口所展现的图像内容的清晰度，从而可以利用预设码率进行压缩，获得低清晰度的第二图像并发送至远程控制端，以节省网络带宽需求。
92.通过上述技术方案，确定无人设备的操作员的注意力信息，其中，注意力信息用于表征操作员在无人设备的远程控制端所关注的目标图像窗口，远程控制端设置有多个图像窗口，且每一图像窗口用于展示无人设备周边指定范围的环境信息，以及，确定对应于目标图像窗口的初始拼接图像，并按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度，再将目标拼接图像发送至远程控制端，以使
远程控制端通过目标图像窗口展示目标拼接图像。由此，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
93.图3是根据本公开的一种实施方式提供的图像处理装置的框图。如图3所示，该装置30包括：
94.第一确定模块31，用于确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
95.第二确定模块32，用于确定对应于所述目标图像窗口的初始拼接图像；
96.第一压缩模块33，用于按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
97.发送模块34，用于将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
98.可选地，所述第一确定模块31，包括：
99.第一获取子模块，用于获取所述远程控制端的操作员的面部图像信息；
100.第一确定子模块，用于根据所述面部图像信息，确定所述操作员的注意力信息。
101.可选地，所述第一确定子模块用于：根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；获取所述远程控制端的图像窗口各自对应的位置信息；
102.将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
103.可选地，所述第一确定模块31，包括：
104.第二获取子模块，用于从所述远程控制端获取所述注意力信息。
105.可选地，所述第二确定模块32，包括：
106.第三获取子模块，用于获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
107.第二确定子模块，用于从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
108.合成子模块，用于根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
109.可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
110.可选地，所述装置30还包括：
111.第三确定模块，用于确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
112.第二压缩模块，用于按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
113.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
114.图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设
备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(i/o)接口704，以及通信组件705中的一者或多者。
115.其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
116.在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理方法。
117.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像处理方法。
118.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
119.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
120.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。