应用于在线模式的图像放大处理方法、装置、设备及介质与流程
本技术涉及图像数据处理,尤其涉及一种应用于在线模式的图像放大处理方法、装置、设备及介质。
背景技术:
1、多通道图像放大是数字图像处理、视频显示前端、安防监控、车载视觉等领域的核心基础技术,用于将低分辨率图像数据流提升至目标分辨率,以适配显示输出或后续算法处理需求。其中,在线模式的图像放大支持对输入图像流进行逐行即时处理并直接输出,是保障实时场景低时延处理能力的关键技术路径,其处理效率、硬件资源开销与整体时延表现,直接决定多通道视觉系统的整体性能与场景适配能力。
2、相关技术中,若要实现多通道在线图像放大,需通过两种路径提升处理速度以匹配在线数据流的输入速率:一是在每个通道内增加并行处理逻辑,提升单时钟周期内的像素处理数量;二是提高放大处理模块的工作时钟频率。但是,在放大算法的硬件落地实现中,提升时钟频率会显著增加时序收敛难度、抬升系统功耗,扩展通道放大逻辑则会大幅占用硬件逻辑资源,二者实现代价均较高。因此行业内通常仅实现离线模式的图像放大处理,针对在线输入的图像数据,需先写入ddr存储器(double data rate sdram,双倍速率sdram)完成整帧缓存后,再调度执行离线放大处理。该处理流程不仅会额外占用大量ddr带宽,还会引入整帧级别的处理延时,无法适配低时延的实时在线处理场景。
3、综上所述,传统多通道图像放大技术受限于硬件实现成本,难以支持在线实时放大模式,因为其依赖ddr缓存的离线处理方案存在带宽占用高、帧级别延时大的核心缺陷,无法满足实时图像处理场景对低时延、低带宽开销的应用需求。
技术实现思路
1、本技术实施例的主要目的在于提出一种应用于在线模式的图像放大处理方法、装置、设备及介质,旨在解决传统多通道图像放大技术难以支持在线实时放大模式的缺陷。
2、为实现上述目的,本技术实施例的第一方面提出了一种应用于在线模式的图像放大处理方法,所述方法包括:
3、获取输入图像,以及,获取所述输入图像的在线放大倍数和放大后图像垂直分辨率;
4、基于所述在线放大倍数和所述放大后图像垂直分辨率,确定多个图像处理通道各自的待处理像素;
5、将所述输入图像的行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据,并生成所述完整滤波窗口数据对应的像素在所述输入图像中的第一原始图像坐标;所述滤波窗口为放大算法的滤波窗口,所述滤波窗口的像素列与所述输入图像的行缓存的每行像素相对应;
6、基于所述多个图像处理通道按照所述第一原始图像坐标分别对所述完整滤波窗口数据进行多通道的在线放大滤波处理;其中,所述完整滤波窗口数据同时送给所述多个图像处理通道的处理模块,所述多个图像处理通道各自均通过坐标转换模块生成本通道的待处理像素在所述输入图像中的第二原始图像坐标,且所述多个图像处理通道中的任意一个目标通道在接收到所述滤波窗口数据之后,将所述第二原始图像坐标与所述第一原始图像坐标进行比对以确定所述完整滤波窗口数据中与本通道的待处理像素相对应的目标滤波窗口数据,并对所述目标滤波窗口数据进行放大滤波处理。
7、在一些实施例中,所述基于所述在线放大倍数和所述放大后图像垂直分辨率,确定多个图像处理通道各自的待处理像素,包括:
8、在所述在线放大倍数为m且所述放大后图像垂直分辨率为r的情况下,将所述输入图像中的行缓存中的kn行像素确定为所述多个图像处理通道中第一通道的待处理像素,将所述输入图像中的行缓存中的kn+1行像素确定为所述多个图像处理通道中第二通道的待处理像素,以及,将所述输入图像中的行缓存中的kn+2行像素确定为多个图像处理通道中第三通道的待处理像素;其中,k大于或者等于m且为正整数,n大于或者等于0且n小于或者等于r/n。
9、在一些实施例中,所述方法还包括:
10、基于所述输入图像的行缓存对所述输入图像的垂直边界进行镜像填充处理,得到滤波窗口的完整像素列;
11、基于所述输入图像的行缓存按照当前输出行顺序输出所述完整像素列;所述输入图像的行缓存输出的滤波窗口的像素列包括所述完整像素列。
12、在一些实施例中,所述方法还包括:
13、获取多个图像处理通道各自的下一行数据请求信号,并对所述下一行数据请求信号进行同步;所述多个图像处理通道基于自身处理需求判断是否需要下一行数据以生成所述下一行数据请求信号;
14、在同步后的下一行数据请求信号均指示需要下一行数据的情况下,基于所述输入图像的行缓存按照当前输出行顺序切换至下一待输出行输出所述滤波窗口的像素列;
15、在同步后的下一行数据请求信号未均指示需要下一行数据的情况下,基于所述输入图像的行缓存按照当前输出行顺序继续输出当前输出行对应的像素列。
16、在一些实施例中,所述将所述输入图像的行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据,包括:
17、在滤波窗口超出所述输入图像的水平边界的情况下,对所述输入图像的行缓存输出的滤波窗口的像素列进行水平补全处理;
18、按照所述滤波窗口的尺寸参数,对水平补全后的像素列进行拼接,得到完整滤波窗口数据。
19、在一些实施例中,在所述基于所述多个图像处理通道按照所述第一原始图像坐标分别对所述完整滤波窗口数据进行多通道的在线放大滤波处理之后,所述方法还包括:
20、获取多个图像处理通道各自的反压信号;
21、在所述反压信号均指示通道处于就绪状态的情况下,基于所述输入图像的行缓存输出右移后的滤波窗口的像素列,并返回所述将所述输入图像的行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据的步骤继续执行。
22、在一些实施例中,所述方法还包括:
23、将所述输入图像的像素按行依次写入对应行缓存,得到所述输入图像的行缓存;所述输入图像的行缓存的基础行数等于所述滤波窗口的垂直行数加1,所述输入图像的行缓存中每行像素的大小与所述输入图像的分辨率相对应。
24、为实现上述目的,本技术实施例的第二方面提出了一种应用于在线模式的图像放大处理装置,所述装置包括:
25、获取模块,用于获取输入图像,以及,获取所述输入图像的在线放大倍数和放大后图像垂直分辨率;
26、通道分配模块,用于基于所述在线放大倍数和所述放大后图像垂直分辨率,确定多个图像处理通道各自的待处理像素;
27、滤波窗口生成模块,用于将所述输入图像的行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据,并生成所述完整滤波窗口数据对应的像素在所述输入图像中的第一原始图像坐标;所述滤波窗口为放大算法的滤波窗口,所述滤波窗口的像素列与所述输入图像的行缓存的每行像素相对应;
28、多通道在线放大模块,用于基于所述多个图像处理通道按照所述第一原始图像坐标分别对所述完整滤波窗口数据进行多通道的在线放大滤波处理;其中,所述完整滤波窗口数据同时送给所述多个图像处理通道的处理模块,所述多个图像处理通道各自均通过坐标转换模块生成本通道的待处理像素在所述输入图像中的第二原始图像坐标,且所述多个图像处理通道中的任意一个目标通道在接收到所述滤波窗口数据之后,将所述第二原始图像坐标与所述第一原始图像坐标进行比对以确定所述完整滤波窗口数据中与本通道的待处理像素相对应的目标滤波窗口数据,并对所述目标滤波窗口数据进行放大滤波处理。
29、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的应用于在线模式的图像放大处理方法。
30、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的应用于在线模式的图像放大处理方法。
31、为实现上述目的,本技术实施例的第五方面提出了一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面所述的应用于在线模式的图像放大处理方法。
32、本技术实施例提出的应用于在线模式的图像放大处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,通过获取输入图像,以及,获取所述输入图像的在线放大倍数和放大后图像垂直分辨率;基于所述在线放大倍数和所述放大后图像垂直分辨率,确定多个图像处理通道各自的待处理像素;将所述输入图像的行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据,并生成所述完整滤波窗口数据对应的像素在所述输入图像中的第一原始图像坐标;所述滤波窗口为放大算法的滤波窗口,所述滤波窗口的像素列与所述输入图像的行缓存的每行像素相对应;基于所述多个图像处理通道按照所述第一原始图像坐标分别对所述完整滤波窗口数据进行多通道的在线放大滤波处理;其中,所述完整滤波窗口数据同时送给所述多个图像处理通道的处理模块,所述多个图像处理通道各自均通过坐标转换模块生成本通道的待处理像素在所述输入图像中的第二原始图像坐标,且所述多个图像处理通道中的任意一个目标通道在接收到所述滤波窗口数据之后,将所述第二原始图像坐标与所述第一原始图像坐标进行比对以确定所述完整滤波窗口数据中与本通道的待处理像素相对应的目标滤波窗口数据,并对所述目标滤波窗口数据进行放大滤波处理。
33、如此,本技术实施例基于输入图像的在线放大倍数和放大后图像垂直分辨率,确定多个图像处理通道各自的待处理像素,然后把行缓存输出的滤波窗口的像素列组合为完整滤波窗口数据,并同时产生完整滤波窗口数据对应的像素在输入图像中的第一原始图像坐标,之后再基于该第一原始图像坐标对该完整滤波窗口数据进行多通道的独立放大滤波处理,即:将完整滤波窗口数据同时送给多个图像处理通道的处理模块,多个图像处理通道各自均通过坐标转换模块生成本通道的待处理像素在所述输入图像中的第二原始图像坐标,从而该多个图像处理通道中的任意一个目标通道在接收到滤波窗口数据之后,将第二原始图像坐标与第一原始图像坐标进行比对以确定该完整滤波窗口数据中与本通道的待处理像素相对应的目标滤波窗口数据,并对该目标滤波窗口数据进行放大滤波处理。这样,可以在不增加逻辑资源和不提高时钟频率的前提下,实现对输入图像进行在线的实时放大处理,从而解决了传统多通道图像放大技术难以支持在线实时放大模式的缺陷。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com