基于地面无人平台的图像处理与融合计算方法与流程

1.本发明属于图像处理、边缘计算和无人驾驶技术领域，具体涉及一种基于地面无人平台的图像处理与融合计算方法。


背景技术：

2.随着人工智能技术和无人驾驶技术的发展，无人智能化设备数量将迎来爆发式增长，特别是“人-机协同”或“半自主”的应用模式要求地面无人平台自身具备一定的前端探测和昼夜巡航能力，通过将各类图像传感器资源加持于地面无人平台上可显著提升其自主感知决策能力。但由于这些图像传感器种类繁多，受限于各自工作原理、成像方式等不同，造成了不同图像传感器最终成像效果均有较大差异性，比如微光摄像头在白天或弱光环境下能够做到场景细节的完整复原，但对夜间环境中的人员、车辆等信息，无法与场景背景有较强的对比度区分；红外摄像头能够针对人体、发动机、车窗等表面热源做出灵敏探测，但对于道路、树木等无热源背景成像效果较差。因此，可以通过采用特定的图像计算装置对地面无人平台获取到的图像信息进行互补处理和融合利用，实现最佳的成像效果。
3.如图1所示，目前业界常采用如下两种方式用于地面无人平台的图像处理与融合计算，方式一是采用传统工控机安装于地面无人平台，工控机内部计算单元由cpu(中央处理器)和具备图形计算能力的gpu(图形处理器)构成，通过pcie接口连接组成两种异构运算单元。地面无人平台所需的微光、红外摄像头一般采用通用标准usb式接口或以太网接口，方便传感设备接入。gpu负责图像的不同像素标准数据并行解析、图像降噪等预处理操作，cpu负责对摄像头数据的接入读取和结果融合；方式二是地面无人平台只负责前端采集，采集完成后将所有图像信息汇聚至网关，然后通过无线数据链方式发送至背负式或手持式控制台，控制台对地面无人平台采集到前端图像进行图像处理与融合，处理后将融合结果回传给地面无人平台。
4.对于方式一，该方式仍然遵循传统计算机使用方式，可支持的摄像头外设接口种类较少，仅包含常规usb接口、以太网接口等，并且常规高清大带宽摄像头通过usb协议或以太网rtsp协议传输时，传输图像信息存在协议层编解码延时问题，在1080p60帧传输质量下，实测单帧视频平均传输延时时间在200ms以上。而对于诸如sdi、pal等低延时摄像头接口而言，则无法直接接入工控机，无法满足实时性要求。且gpu作为异构并行计算单元，虽然能够很好地满足图像像素遍历、降噪等并行计算使用需求，但在开启gpu计算后，整机功耗基本上保持在百瓦以上，对于地面无人平台电池供电使用方式而言，无疑缩短了整机工作时长，无法满足低功耗使用。对于方式二，该方法将图像计算部分放置于控制台，地面无人平台主要负责采集，虽然地面无人平台整机功耗降低不少，但数据链在传输过程中同样存在延时问题，且该前端采集加远端控制台处理方式，一旦数据链受到干扰无法连接，整个系统必将工作中断无法继续使用。


技术实现要素：

5.(一)要解决的技术问题
6.本发明要解决的技术问题是：一是如何在满足基本的图像处理与融合计算使用前提下，能够接入低延时的微光、红外车规级摄像头供地面无人平台使用，同时在整个处理过程实现低延时、响应快的敏捷处理效果；二是能够兼顾地面无人平台全天候和本地化处理任务，装置在整机形态上应尽量小巧、完整、独立，应不借助远端控制台，可单独完成图像处理与融合计算，并将计算结果输出至地面无人平台供其使用。
7.(二)技术方案
8.为解决上述技术问题，本发明提供一种基于地面无人平台的图像处理与融合计算方法，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、fpga预处理计算单元、视频接出转换单元、arm核心计算单元、lvds液晶屏、按键、以太网发送模块；
9.所述图像处理与融合计算方法包括如下步骤：
10.步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光sdi制式图像信息、红外pal制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照bt.1120yuv422像素标准和bt.656yuv422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至fpga预处理计算单元；
11.步骤2：fpga预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为rgb888像素标准数据后，通过fifo输入缓冲区存储至ddr中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
12.步骤3：视频接出转换单元中的单片机通过i2c总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的mipi csi制式图像；
13.步骤4：arm核心计算单元接收所述mipi csi制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至lvds液晶屏以供观察；
14.步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致；一致后按下确认按键；
15.步骤6：arm处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的udp网络数据包传输至地面无人平台。
16.其中，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为sd/hd/3g的sdi制式图像信息和pal制式图像信息，用于达到低延时传输的目的；
17.所述两组同轴端子插座将sdi制式图像信息和pal制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将sdi制式图像信息按照bt.1120yuv422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将pal制式图像信息按照bt.656yuv422像素标准进行图像信息的像素数据解
析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为fpga预处理计算单元可识别的高速图像信号，并通过软排线发送至fpga预处理计算单元；所述高速图像信号包括表征微光图像信息的yuv422像素标准数据和帧场行标志位、表征红外图像信息的yuv422像素标准数据和帧场行标志位；
18.所述fpga预处理计算单元包括：fpga可编程逻辑器、两组ddr存储器、flash存储器；所述fpga预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于flash存储器中；
19.所述fpga可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的yuv422像素标准数据的亮度、色度通道进行调整，y代表亮度通道，uv代表色度通道，使其避免图像过暗或偏色，接着将yuv422像素标准数据转化为rgb888像素标准数据，将转换后的rgb888像素标准数据通过fpga可编程逻辑器内部定义的fifo输入缓冲区存至两组ddr存储器中，其中表征微光图像信息的rgb888像素标准数据存储至ddr存储器一，表征红外图像信息的rgb888像素标准数据存储至ddr存储器二；两组ddr存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
20.所述ddr存储器一及ddr存储器二在存储过程中，若fpga可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入ddr存储器一或ddr存储器二；若fpga可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入ddr存储器一或ddr存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
21.所述fpga可编程逻辑器内部定义一个5阶双边滤波算子，fpga可编程逻辑器对调整后的顺序场图像从两组ddr存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述fpga可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
22.所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过i2c总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过i2c总线对寄存器进行功能配置使视频接出转换器输出图像制式为mipi csi制式，用以兼容arm核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并发送至arm核心计算单元；
23.所述arm核心计算单元包括：arm处理器、emmc存储器、ddr存储器三、lvds液晶屏；
24.所述emmc存储器用于存储arm处理器工作所需要的操作系统，ddr存储器三用于临时存储arm处理器工作过程中所涉及的计算结果值；所述arm处理器用于接收来自两组视频接出转换器发出的两路mipi csi制式的图像，并按照rgb888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组
图像按照周期1秒的频率交替推送至lvds液晶屏上进行显示。
25.其中，所述lvds液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致。
26.其中，所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，arm处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间a，像素值大于等于该平均值的像素点划分为区间b，接着再次对区间a和区间b的像素点的值求平均，分别记为平均值a和平均值b，将平均值a和平均值b相加除以2得平均值z，最后将像素值小于该z值的像素点全部标记为剔除点，大于等于该z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。arm处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
27.其中，所述arm处理器将微光红外融合图像按照udp协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
28.至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
29.其中，所述视频接入转换单元通过软排线与fpga处理计算单元连接。
30.其中，所述视频接出转换单元通过软排线与fpga预处理计算单元连接。
31.其中，所述arm核心计算单元通过软排线与视频接出单元连接。
32.其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
33.其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并通过软排线发送至arm核心计算单元。
34.(三)有益效果
35.本发明提出一种基于地面无人平台的图像处理与融合计算方法，与现有技术相比较，本发明具备如下有益效果：
36.(1)本方法分别根据fpga和arm的处理计算特性，将fpga用于像素标准转换、顺序场图像调整，滤波等预处理工作，将arm用于图像尺寸调整、裁剪、区域像素筛选、融合等核心处理工作，充分发挥两类硬件架构特点，充分利用与软件功能相匹配的并行和流水线计算资源，能够较好的实现按需处理，实现低延时、响应快的敏捷处理效果。
37.(2)本方法所设计的视频接入和接出转换单元分别具备接入sd/hd/3g-sdi制式微光图像及pal制式红外图像功能，具备统一转化mipi csi制式图像功能，与usb和以太网网络视频流接入方式相比，极大程度的减少了视频采集与处理延时时间，满足高清低延时大带宽场景使用需求。
38.(3)本方法利用fpga和arm组成异构计算资源，替代功耗高、发热大的gpu和cpu组合的工控机计算模式，在保留所需计算资源的前提下，将功耗由百瓦级降至五十瓦以下，满足地面无人平台电池供电使用场景需求。
附图说明
39.图1为现有技术方案原理示意图。
40.图2为本发明技术方案原理示意图。
41.图3为本发明技术方案流程示意图。
具体实施方式
42.为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
43.为解决上述技术问题，本发明提供一种基于地面无人平台的图像处理与融合计算方法，如图2及图3所示，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、fpga预处理计算单元、视频接出转换单元、arm核心计算单元、lvds液晶屏、按键、以太网发送模块；
44.所述图像处理与融合计算方法包括如下步骤：
45.步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光sdi制式图像信息、红外pal制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照bt.1120yuv422像素标准和bt.656yuv422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至fpga预处理计算单元；
46.步骤2：fpga预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为rgb888像素标准数据后，通过fifo输入缓冲区存储至ddr中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
47.步骤3：视频接出转换单元中的单片机通过i2c总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的mipi csi制式图像；
48.步骤4：arm核心计算单元接收所述mipi csi制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至lvds液晶屏以供观察；
49.步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致；一致后按下确认按键；
50.步骤6：arm处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的udp网络数据包传输至地面无人平台。
51.其中，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为sd/hd/3g的sdi制式图像信息和pal制式图像信息，用于达到低延时传输的目的；
52.所述两组同轴端子插座将sdi制式图像信息和pal制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将sdi制式图像信息按照bt.1120yuv422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将pal制式图像信息按照bt.656yuv422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为fpga预处理计算单元可识别的高速图像信号，并通过软排线发送
至fpga预处理计算单元；所述高速图像信号包括表征微光图像信息的yuv422像素标准数据和帧场行标志位、表征红外图像信息的yuv422像素标准数据和帧场行标志位；
53.所述fpga预处理计算单元包括：fpga可编程逻辑器、两组ddr存储器、flash存储器；所述fpga预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于flash存储器中；
54.所述fpga可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的yuv422像素标准数据的亮度、色度通道进行调整，y代表亮度通道，uv代表色度通道，使其避免图像过暗或偏色，接着将yuv422像素标准数据转化为rgb888像素标准数据，将转换后的rgb888像素标准数据通过fpga可编程逻辑器内部定义的fifo输入缓冲区存至两组ddr存储器中，其中表征微光图像信息的rgb888像素标准数据存储至ddr存储器一，表征红外图像信息的rgb888像素标准数据存储至ddr存储器二；两组ddr存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
55.所述ddr存储器一及ddr存储器二在存储过程中，若fpga可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入ddr存储器一或ddr存储器二；若fpga可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入ddr存储器一或ddr存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
56.所述fpga可编程逻辑器内部定义一个5阶双边滤波算子，fpga可编程逻辑器对调整后的顺序场图像从两组ddr存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述fpga可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
57.所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过i2c总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过i2c总线对寄存器进行功能配置使视频接出转换器输出图像制式为mipi csi制式，用以兼容arm核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并发送至arm核心计算单元；
58.所述arm核心计算单元包括：arm处理器、emmc存储器、ddr存储器三、lvds液晶屏；
59.所述emmc存储器用于存储arm处理器工作所需要的操作系统，ddr存储器三用于临时存储arm处理器工作过程中所涉及的计算结果值；所述arm处理器用于接收来自两组视频接出转换器发出的两路mipi csi制式的图像，并按照rgb888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至lvds液晶屏上进行显示。
60.其中，所述lvds液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面
无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致。
61.其中，所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，arm处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间a，像素值大于等于该平均值的像素点划分为区间b，接着再次对区间a和区间b的像素点的值求平均，分别记为平均值a和平均值b，将平均值a和平均值b相加除以2得平均值z，最后将像素值小于该z值的像素点全部标记为剔除点，大于等于该z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。arm处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
62.其中，所述arm处理器将微光红外融合图像按照udp协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
63.至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
64.其中，所述视频接入转换单元通过软排线与fpga处理计算单元连接。
65.其中，所述视频接出转换单元通过软排线与fpga预处理计算单元连接。
66.其中，所述arm核心计算单元通过软排线与视频接出单元连接。
67.其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
68.其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并通过软排线发送至arm核心计算单元。
69.此外，本发明还提供一种图像处理与融合计算装置，包括：视频接入转换单元、fpga预处理计算单元、视频接出转换单元、arm核心计算单元；
70.所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为sd/hd/3g的sdi制式图像信息和pal制式图像信息，用于达到低延时传输的目的；
71.所述两组同轴端子插座将sdi制式图像信息和pal制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将sdi制式图像信息按照bt.1120yuv422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将pal制式图像信息按照bt.656yuv422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为fpga预处理计算单元可识别的高速图像信号，并通过软排线发送至fpga预处理计算单元；所述高速图像信号包括表征微光图像信息的yuv422像素标准数据和帧场行标志位、表征红外图像信息的yuv422像素标准数据和帧场行标志位；
72.所述fpga预处理计算单元包括：fpga可编程逻辑器、两组ddr存储器、flash存储器；所述fpga预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于flash存储器中；
73.所述fpga可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的yuv422像素标准数据的亮度、色度通道进行调整，y代表亮度通道，uv
代表色度通道，使其避免图像过暗或偏色，接着将yuv422像素标准数据转化为rgb888像素标准数据，将转换后的rgb888像素标准数据通过fpga可编程逻辑器内部定义的fifo输入缓冲区存至两组ddr存储器中，其中表征微光图像信息的rgb888像素标准数据存储至ddr存储器一，表征红外图像信息的rgb888像素标准数据存储至ddr存储器二；两组ddr存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
74.所述ddr存储器一及ddr存储器二在存储过程中，若fpga可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入ddr存储器一或ddr存储器二；若fpga可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入ddr存储器一或ddr存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
75.所述fpga可编程逻辑器内部定义一个5阶双边滤波算子，fpga可编程逻辑器对调整后的顺序场图像从两组ddr存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述fpga可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
76.所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过i2c总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过i2c总线对寄存器进行功能配置使视频接出转换器输出图像制式为mipi csi制式，用以兼容arm核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并发送至arm核心计算单元；
77.所述arm核心计算单元包括：arm处理器、emmc存储器、ddr存储器三、lvds液晶屏；
78.所述emmc存储器用于存储arm处理器工作所需要的操作系统，ddr存储器三用于临时存储arm处理器工作过程中所涉及的计算结果值；所述arm处理器用于接收来自两组视频接出转换器发出的两路mipi csi制式的图像，并按照rgb888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至lvds液晶屏上进行显示。
79.其中，所述lvds液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致。
80.其中，所述arm核心计算单元还包括：按键；
81.所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，arm处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间a，像素值大于等于该平均值的像素点划分为区间b，接着再次对区间a和区间b的像素点的值求平均，分别记为平均值a和平均值b，将平均值a和平均值b
相加除以2得平均值z，最后将像素值小于该z值的像素点全部标记为剔除点，大于等于该z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。arm处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
82.其中，所述arm核心计算单元还包括：以太网发送模块；
83.所述arm处理器将微光红外融合图像按照udp协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
84.至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
85.其中，所述图像处理与融合计算方法包括如下步骤：
86.步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光sdi制式图像信息、红外pal制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照bt.1120yuv422像素标准和bt.656yuv422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至fpga预处理计算单元；
87.步骤2：fpga预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为rgb888像素标准数据后，通过fifo输入缓冲区存储至ddr中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
88.步骤3：视频接出转换单元中的单片机通过i2c总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的mipi csi制式图像；
89.步骤4：arm核心计算单元接收所述mipi csi制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至lvds液晶屏以供观察；
90.步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在lvds液晶屏上的拍摄视野保持一致；一致后按下确认按键；
91.步骤6：arm处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的udp网络数据包传输至地面无人平台。
92.其中，所述视频接入转换单元通过软排线与fpga处理计算单元连接。
93.其中，所述视频接出转换单元通过软排线与fpga预处理计算单元连接。
94.其中，所述arm核心计算单元通过软排线与视频接出单元连接。
95.其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
96.其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路mipi csi制式图像，并通过软排线发送至arm核心计算单元。
97.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。