基于视频压缩的定位图像处理方法、介质、设备及系统

1.本发明属于图像处理的技术领域，涉及一种图像处理方法，特别是涉及一种基于视频压缩的定位图像处理方法、介质、设备及系统。


背景技术：

2.随着三维结构设计分析软件的功能越来越丰富，基于所获取的图像进行识别与定位，由此构建一个三维空间或三维模型，进而针对所构建的三维空间进行定位及导航或针对所构建的三维模型进行各种操作应用等需求已越来越普遍。
3.以图像识别进行导航应用为例，现有技术的发展情况如下：
4.二维码导航，由以陀螺仪导航系统、视觉系统、agv((automated guided vehicle，自动导航运输车)子系统、电源管理系统、传感器系统和装置机械结构五部分组成。导航采用陀螺仪导航为主，视觉导航为辅，最大化融合和利用各导航的优势，提高系统的可靠性和导航精度。该方案的优点是：agv定位精确，小巧灵活，铺设、改变路径也较容易，便于控制通讯，对声光无干扰。该方案的缺点是：路径需要定期维护，如果场地复杂，则需要频繁更换二维码，对陀螺仪的精度及使用寿命要求严格，另对场地平整度有一定要求，价格较高。
5.激光导引叉车agv由车体、车载控制器、行走和转向驱动单元、激光定位扫描器、激光安全保护装置、传感器等构成。激光扫描与保护装置采用的是同步定位技术，激光扫描仪自行探测场地形、在其内部工控机中智能显现地图，从而可以准确定位agv车辆运行位置，减少运行路线，提高工作效率。该方案的优点是：agv定位精确；地面无需其他定位设施；行驶路径可灵活多变，能够适合多种现场环境，它是目前国内外许多agv生产厂家优先采用的先进导航方式。该方案的缺点是：制造成本高，对环境要求较相对较高。
6.多目视觉slam((simultaneous localization and mapping，即时定位与地图构建)导航，该方案的优点是：硬件成本较低，定位精确，路径规划灵活，该方案的缺点是：对使用环境要求较高，设备处理要求高，功耗大。
7.综上所述，进行精确导航及其他应用的前提是利用处理能力比较强大的硬件配置针对无损的定位图像进行处理。
8.因此，如何提供一种基于视频压缩的定位图像处理方法、介质、设备及系统，以解决现有技术无法针对定位图像进行无损处理，同时兼顾硬件配置处理能力等缺陷，成为本领域技术人员亟待解决的技术问题。


技术实现要素：

9.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于视频压缩的定位图像处理方法、介质、设备及系统，用于解决现有技术无法针对定位图像进行无损处理，同时兼顾硬件配置处理能力的问题。
10.为实现上述目的及其他相关目的，本发明一方面提供一种基于视频压缩的定位图像处理方法，所述基于视频压缩的定位图像处理方法包括以下步骤：获取定位视频图像；对
所述定位视频图像中的图像单元进行位置标识，并生成空间坐标信息；根据所述空间坐标信息对所述图像单元进行筛选，并将筛选的图像单元确定为关键图像单元；对所述关键图像单元进行压缩处理。
11.于本发明的一实施例中，所述对所述定位视频图像中的图像单元进行位置标识，并生成空间坐标信息的步骤包括：对所述定位视频图像进行矫正，以根据矫正结果确定所述定位视频图像中每个像素点的坐标；将所述像素点进行图像分割，根据图像分割结果生成所述图像单元。
12.于本发明的一实施例中，所述对所述定位视频图像进行矫正的步骤包括：将多个所述定位视频图像进行统一坐标管理；对所述定位视频图像中的畸变单元进行处理；所述畸变单元因所述定位视频图像的采集装置中的光学结构畸变生成。
13.于本发明的一实施例中，所述根据所述空间坐标信息对所述图像单元进行筛选，并将筛选的图像单元确定为关键图像单元的步骤包括：对所述图像单元进行坐标编码，生成图像编码单元；将所述图像编码单元进行类型转换，以根据转换结果确定每一个所述图像单元的频域值；根据预设的阈值与所述频域值的大小关系，对所述图像单元进行筛选，将所述频域值高于所述阈值的图像单元作为所述关键图像单元。
14.于本发明的一实施例中，所述将所述图像编码单元进行类型转换的步骤包括：将所述图像编码单元进行二维余弦处理，以将所述图像单元的时域信号转换为频域信号。
15.于本发明的一实施例中，所述对所述关键图像单元进行压缩处理的步骤包括：对所述关键图像单元进行哈夫曼编码，并根据编码结果生成与所述关键图像单元对应的数据序列。
16.于本发明的一实施例中，在所述对所述关键图像单元进行压缩处理的步骤之后，所述基于视频压缩的定位图像处理方法还包括：将压缩处理后生成的数据序列发送至服务器。
17.为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于视频压缩的定位图像处理方法。
18.为实现上述目的及其他相关目的，本发明又一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的基于视频压缩的定位图像处理方法。
19.为实现上述目的及其他相关目的，本发明最后一方面提供一种基于视频压缩的定位图像处理系统，所述基于视频压缩的定位图像处理系统包括服务器和所述的电子设备；所述电子设备与所述服务器通信连接；所述电子设备用于获取定位视频图像；对所述定位视频图像中的图像单元进行位置标识，并生成空间坐标信息；根据所述空间坐标信息对所述图像单元进行筛选，并将筛选的图像单元确定为关键图像单元；对所述关键图像单元进行压缩处理；将压缩处理后生成的数据序列发送至服务器；所述服务器用于接收压缩处理后生成的数据序列，将所述数据序列进行解码以获取无损的关键图像单元。
20.如上所述，本发明所述的基于视频压缩的定位图像处理方法、介质、设备及系统，具有以下有益效果：
21.本发明提供了一种无损图像处理方法，进而使所处理的定位图像以无损的方式传
输至其他设备中进行应用，有效降低了图像处理设备的配置。进一步地，将agv小车处理后的定位图像应用于服务器的slam建模中，在保证进入服务器slam建模时为无损的图像质量同时，还大大降低了系统图像传输的带宽需求，将slam处理过程转移至服务器。可有效降低小车中处理单元的配置，节省小车空间，降低小车功耗，解决了现有基于多目图像传感slam系统大功耗、大空间的问题，并促进多目图像传感slam系统的推广。
附图说明
22.图1显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的原理流程图。
23.图2显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的处理流程图。
24.图3显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的图像矫正示意图。
25.图4显示为本发明的电子设备于一实施例中的结构连接示意图。
26.图5显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的结构连接示意图。
27.图6显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的结构原理图。
28.图7显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的应用示意图。
29.元件标号说明
[0030]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0031]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0032]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0033]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
服务器
[0034]
s11～s14
ꢀꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0035]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0036]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0037]
本发明所述的基于视频压缩的定位图像处理方法、介质、设备及系统提供了一种无损图像处理方法，进而使所处理的定位图像以无损的方式传输至其他设备中进行应用。
[0038]
以下将结合图1至图7详细阐述本实施例的一种基于视频压缩的定位图像处理方法、介质、设备及系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于视频压缩的定位图像处理方法、介质、设备及系统。
[0039]
请参阅图1，显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的原理流程图。如图1所示，所述基于视频压缩的定位图像处理方法具体包括以下几个步骤：
[0040]
s11，获取定位视频图像。具体地，定位视频图像由多个图像传感器采集获取。
[0041]
s12，对所述定位视频图像中的图像单元进行位置标识，并生成空间坐标信息。
[0042]
于一实施例中，s12包括：对所述定位视频图像进行矫正，以根据矫正结果确定所述定位视频图像中每个像素点的坐标；将所述像素点进行图像分割，根据图像分割结果生成所述图像单元。
[0043]
其中，所述对所述定位视频图像进行矫正的步骤包括：将多个所述定位视频图像进行统一坐标管理；对所述定位视频图像中的畸变单元进行处理；所述畸变单元因所述定位视频图像的采集装置中的光学结构畸变生成。
[0044]
具体地，针对多个图像传感器采集的图像进行统一矫正，利用图像标定板将多个图像传感器生成的图像的像素作统一空间坐标管理和图像传感器镜头鱼眼畸变模型。图像传感器组获取到多幅原始图像，通过图像矫正模块矫正图像并建立每个像素点的坐标系。
[0045]
进一步地，对于矫正后的图像通过图像分割将图像中各个像素点分割成n x n小块图像(例如，n为3，5，7，9等)。
[0046]
s13，根据所述空间坐标信息对所述图像单元进行筛选，并将筛选的图像单元确定为关键图像单元。
[0047]
于一实施例中，s13包括：对所述图像单元进行坐标编码，生成图像编码单元；将所述图像编码单元进行类型转换，以根据转换结果确定每一个所述图像单元的频域值；根据预设的阈值与所述频域值的大小关系，对所述图像单元进行筛选，将所述频域值高于所述阈值的图像单元作为所述关键图像单元。
[0048]
其中，所述将所述图像编码单元进行类型转换的步骤包括：将所述图像编码单元进行二维余弦处理，以将所述图像单元的时域信号转换为频域信号。
[0049]
具体地，将切割完成的小块图像定义为图块，即所述图像单元进行统一的坐标编码，进行二维余弦处理，将时域信号转换成频域信号，并保留其坐标编码，针对频域计算其重心点位并记录重心点的坐标(x，y)：
[0050]
x＝(x
1＊
w1 x
2＊
w2
……
x
n＊
wn)/w
[0051]
y＝(y
1＊
w1 y
2＊
w2
……
y
n＊
wn)/w
[0052]
其中，(x1，y1)为第一个图像传感器采集的图像像素点坐标，(x2，y2)为第二个图像传感器采集的图像像素点坐标，(x3，y3)为第三个图像传感器采集的图像像素点坐标。w1w2…
wn表示每个像素点的像素变化频度值，w表示预设的阈值。
[0053]
具体地，通过预设的阈值检测重心点位的频域值，取出高于阈值的图块的重心点坐标，将选取的重心点坐标作为关键图块的中心点，取出n x n关键图块。其中，关键图块为所述关键图像单元。
[0054]
进一步地，针对(x1，y1)对应的图像单元赋予坐标编码10，针对(x2，y2)对应的图像单元赋予坐标编码20，针对(x3，y3)对应的图像单元赋予坐标编码30，以此类推。例如预
设的阈值为100，则将坐标编码高于100的图像单元筛选出来，将坐标编码低于或等于100的图像单元剔除。
[0055]
s14，对所述关键图像单元进行压缩处理。
[0056]
于一实施例中，s14包括：对所述关键图像单元进行哈夫曼编码，并根据编码结果生成与所述关键图像单元对应的数据序列。
[0057]
于一实施例中，在s14步骤之后，所述基于视频压缩的定位图像处理方法还包括：将压缩处理后生成的数据序列发送至服务器，以使所述服务器对数据序列进行解码，获取无损的关键图像单元。
[0058]
需要说明的是，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。
[0059]
于不同的应用场景中，所述服务器基于解码获取的无损的关键图像单元即获取的无损定位视频图像可以应用于机械结构的三维建模、slam空间建模、人员定位识别等任何基于图像识别实现模型构建及定位的应用场景。
[0060]
请参阅图2，显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的处理流程图。如图2所示，于一实施例中，将所述基于视频压缩的定位图像处理方法作为基于视觉传感器边缘端slam建模无损图像压缩处理方法。通过一种新型图块无损压缩方法应用，实现小车slam导航模块的迁移，从而降低小车的成本和功耗，扩张基于多目视觉slam导航的应用。
[0061]
于实际应用中，agv小车上安装的图像传感器采集定位视频图像，针对该定位视频图像依次经过图像矫正、图像分割、二维余弦处理后，获取定位视频图像中各个图块的频域信号，将高于预设阈值的图块筛选出来进行重心计算，以此得到关键图像单元。另一方面，将低于阈值的图像单元进行剔除。
[0062]
请参阅图3，显示为本发明的基于视频压缩的定位图像处理方法于一实施例中的图像矫正示意图。如图3所示，呈现了利用图像标定板进行图像矫正原理。图3中，(x1，y1)为第一个图像传感器采集的图像像素点坐标，(x2，y2)为第二个图像传感器采集的图像像素点坐标，(x3，y3)为第三个图像传感器采集的图像像素点坐标。将(x1，y1)、(x2，y2)、(x3，y3)统一于图像标定板的坐标系中对应于该坐标系内某一点的坐标(x，y)。
[0063]
具体地，将不同的图像传感器采集的图像作为标定图片，标定图片需要使用图像标定板在不同位置、不同角度、不同姿态下拍摄，至少需要3张，以10～20张为宜。图像标定板为黑白相间的矩形构成的棋盘图，对每一张标定图片，提取角点信息，然后判断图像内是否包含完整的棋盘图，如果能够检测到完整的棋盘图，则将标定图片的角点坐标按顺序(例如逐行，从左到右)记录下来，并返回非0数，否则返回0。
[0064]
本发明所述的基于视频压缩的定位图像处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0065]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于视频压缩的定位图像处理方法。
[0066]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质
中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0067]
请参阅图4，显示为本发明的电子设备于一实施例中的结构连接示意图。如图4所示，本实施例提供一种电子设备1，具体包括：处理器11及存储器12；所述存储器12用于存储计算机程序，所述处理器11用于执行所述存储器12存储的计算机程序，以使所述电子设备1执行所述基于视频压缩的定位图像处理方法的各个步骤。
[0068]
上述的处理器11可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0069]
上述的存储器12可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
[0070]
于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、显示屏、其他输出或控制设备，以及外部端口等所有或部分组件的计算机。
[0071]
于一实施例中，所述计算机为agv小车中安装的电子设备，所述电子设备用于执行所述基于视频压缩的定位图像处理方法的各个步骤。
[0072]
请参阅图5，显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的结构连接示意图。如图5所示，本发明所述的基于视频压缩的定位图像处理系统包括电子设备1和服务器2，所述电子设备1与所述服务器2通信连接。
[0073]
所述电子设备1用于获取定位视频图像；对所述定位视频图像中的图像单元进行位置标识，并生成空间坐标信息；根据所述空间坐标信息对所述图像单元进行筛选，并将筛选的图像单元确定为关键图像单元；对所述关键图像单元进行压缩处理；将压缩处理后生成的数据序列发送至服务器2。
[0074]
所述服务器2用于接收压缩处理后生成的数据序列，将所述数据序列进行解码以获取无损的关键图像单元。
[0075]
请参阅图6，显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的结构原理图。如图6所示，多个图像传感器采集的定位视频图像传输至电子设备中，由电子设备针对定位视频图像执行所述基于视频压缩的定位图像处理方法，以获取无损压缩后的定位视频图像，该定位视频图像通过通信网络传输至服务器，在所述服务器中进行解码，以实现无损的方式获取定位视频图像，进而对定位视频图像进行分析、处理及应用，电源对电子设备及电子设备上的图像传感器进行供电。其中，网络传输优选为无线网络传输。所述无线网络传输方式包括但不限于4g/5g、wifi、zigbee(紫蜂)、蓝牙等。
[0076]
请参阅图7，显示为本发明的基于视频压缩的定位图像处理系统于一实施例中的应用示意图。如图7所示，以agv小车与边缘服务器的通信为例对所述基于视频压缩的定位图像处理系统的原理进行具体说明。
[0077]
于实际应用中，执行所述基于视频压缩的定位图像处理方法的电子设备部署于小车上，该电子设备由多个图像传感器、图像处理单元、无线网络模块组成。每个图像传感器
通过独立的图像总线接入图像处理单元，对图像进行压缩处理后通过无线网络模块发送至边缘服务器进行基于图像信息的slam地图建立。其中，将距离小车最近的服务器定义为边缘服务器，其他的在网络通信范围内不受距离限制的服务器也包括在本发明保护的范围内。
[0078]
为了保证图像slam地图的精度要求，slam建模需要输入真实无损的图像数据。现有技术中的图像压缩算法或视频压缩算法，无法在低数据通讯带宽下实现无损图像传输。
[0079]
本发明所述的基于视频压缩的定位图像处理系统中，将原基于小车端的多目图像slam处理模块，迁移到边缘服务器以节省小车端图像处理压力。由于图像slam处理模块对于图像质量要求高，而无线网络通讯的带宽有限的环境下，要将图像slam处理模块迁移到边缘服务器，由此提供一种新型的无损高压缩比图像压缩方法。利用图像slam处理模块指针对现实环境中一部分的关键点，即关键图像单元具有敏感性，可以基于图像关键点实现图像数据压缩，并通过所述基于视频压缩的定位图像处理系统提供图像处理的硬件实施方式。
[0080]
本发明所述的基于视频压缩的定位图像处理系统的原理与所述的基于视频压缩的定位图像处理方法一一对应，本发明所述的基于视频压缩的定位图像处理系统可以实现本发明所述的基于视频压缩的定位图像处理方法，但本发明所述的基于视频压缩的定位图像处理方法的实现装置包括但不限于本实施例列举的基于视频压缩的定位图像处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0081]
综上所述，本发明所述基于视频压缩的定位图像处理方法、介质、设备及系统提供了一种无损图像处理方法，进而使所处理的定位图像以无损的方式传输至其他设备中进行应用，有效降低了图像处理设备的配置。进一步地，将agv小车处理后的定位图像应用于服务器的slam建模中，在保证进入服务器的slam建模的图像质量为无损的同时，还大大降低了系统图像传输的带宽需求，将slam处理过程转移至服务器。可有效降低小车中处理单元的配置，节省小车空间，降低小车功耗，解决了现有基于多目图像传感slam系统大功耗、大空间的问题，并促进多目图像传感slam系统的推广。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0082]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。