一种基于FPGA的光学显示图像交互式闭环标定与实时几何校正方法和系统
本发明涉及光学显示、图像几何校正和实时视频处理的,具体涉及一种基于fpga的光学显示图像交互式闭环标定与实时几何校正方法和系统。
背景技术:
1、当前,绝大多数的光学显示系统在实际显示过程中通常会受到玻璃曲率、投射角度、镜片组合、安装偏差、温度漂移和机械装配误差的影响,最终表现为显示内容在观察平面上的拉伸、偏移、几何畸变或局部非线性失真,使画面信息产生不理想的显示偏差,降低了画面的显示精度。针对此现象,若仅采用固定仿射或单应性变换,往往难以兼顾整幅画面的边缘一致性与局部精度。
2、现有系统中,该矛盾主要依赖人工逐点精细调节,但通常存在操作步骤多、交互反馈慢、难以与实时显示链路同步的问题。对于需要快速调试、频繁复位或现场复核的交互显示类项目,若没有统一丰富的交互入口和稳定的参数更新机制,标定效率和一致性都会受到影响。
3、另一方面,传统的cpu软件校正方案虽然实现灵活,但在高分辨率、低延迟和帧级同步方面容易受到主机负载影响,难以长期稳定地嵌入到显示终端内部。因此,亟需一种能够把交互式标定、参数求解和实时校正统一起来的技术方案,满足高效率畸变校正和高精度光学显示要求。
4、现有技术中,光学显示图像的几何校正通常是在视频图像进入显示端之前,对原始图像进行坐标映射、像素重采样或网格重构,使经过投影、反射、折射或透明介质成像后的画面尽量接近目标显示形态。
5、第一类方案是基于固定矩阵的几何变换方法。该类方案通常采用仿射变换、透视变换或单应性矩阵,根据少量标定点建立输入图像坐标与目标显示坐标之间的映射关系,再对整幅图像进行统一的几何变换处理。
6、第二类方案是基于查找表或分块网格的像素重映射方法。该类方案通常将显示区域划分为若干像素网格或控制网格,预先为网格节点配置源图像坐标、偏移量或映射参数,在显示过程中根据网格节点之间的插值关系生成重构后的视频像素网格,从而实现畸变校正。
7、第三类方案是基于上位机图像处理软件的离线标定方法。该类方案通常由pc端采集标定图像或人工输入标定数据,在上位机软件中完成畸变模型求解、参数拟合、查找表生成或网格文件生成,然后将计算得到的矩阵、系数、查找表或像素网格参数下发至显示设备。
8、第四类方案是嵌入式图像算法校正方法。该类方案通常在显示终端内部的嵌入式处理器、图像处理单元或可编程逻辑中运行畸变校正算法,对输入视频流进行坐标映射和像素重采样。其实现方式可以是逐帧计算校正图像,也可以是预先写入重构后的视频像素网格、映射表或网格节点参数,再由嵌入式图像处理链路按照该参数对视频像素进行重排、插值和输出。
9、上述现有技术虽然能够在一定程度上实现光学显示图像的几何校正,但在hud、透明显示、投影叠加显示等对现场标定、实时响应和显示稳定性要求较高的应用中,仍存在以下不足:
10、第一,基于固定矩阵的几何变换方法主要适用于整体平移、缩放、旋转、梯形畸变或透视畸变等规则变形场景。当光学路径中同时存在玻璃曲率、组合镜装配偏差、投影角度误差和局部非线性变形时,单一仿射矩阵或单应性矩阵难以准确描述整幅画面的局部畸变,容易在边缘区域或局部区域产生残余误差。
11、第二,基于查找表或分块网格的像素重映射方法虽然能够描述更复杂的局部变形,但通常依赖预先生成的查找表、映射表或像素网格文件。若光学结构、安装位置、观察角度或显示载体发生变化,需要重新生成或重新写入相关参数,现场调整链路较长,难以快速完成闭环验证。
12、第三,基于上位机图像处理软件的离线标定方法通常将标定、求解和显示执行分离在不同设备或不同软件流程中。参数由pc端计算完成后再下发至显示设备,容易形成“采集-计算-传输-显示-复核”的长链路,现场调试时需要反复切换工具和步骤,实时反馈能力不足。
13、第四,嵌入式图像算法校正方法虽然可以在显示终端内部完成部分图像处理,但其本质上仍是单向的视频算法链路。该类方案更多关注像素重排和图像重采样本身,通常缺少畸变解算和显示反馈之间的实时交互机制。且在需要人工现场微调或多轮校准的应用中,每次调整都需要重构像素网格、重写映射表或重新刷新整帧参数,容易带来响应延迟、画面闪烁、帧不同步或调试过程不连续的问题,难以同时满足低延迟交互和稳定显示输出的要求。
14、第五,现有技术通常缺少面向现场调试人员的统一交互入口,且场景适应性差。标定点采集、参数求解、参数写入、校正预览和误差复核往往分散在不同工具或不同模块中,且仅适用于某种特定场合,导致调试过程依赖经验,难以形成可视化、实时化、闭环化的校正流程。
技术实现思路
1、为了解决现有技术中的上述技术问题,本技术提供一种基于fpga的光学显示图像交互式闭环标定与实时几何校正方法和系统。
2、根据本发明的第一方面,提出了一种基于fpga的光学显示图像交互式闭环标定与实时几何校正方法,包括:
3、s1:获取标定交互输入数据,标定交互输入数据包括目标显示坐标与对应的源图像采样坐标组成的多组标定点;
4、s2:在处理系统侧,基于多组标定点,构建双二次逆向映射模型,求解得到双二次几何校正系数,并将几何校正系数进行定点量化处理;
5、s3:将量化后的几何校正系数写入位于可编程逻辑(pl)侧的影子寄存器中,并在检测到显示帧同步边界时,将影子寄存器中的几何校正系数统一切换至工作寄存器,以使几何校正系数从下一帧起生效;
6、s4:在可编程逻辑侧,根据工作寄存器中的几何校正系数,对目标显示像素执行坐标逆向映射,得到对应的源图像绝对采样坐标,并基于源图像绝对采样坐标读取源图像像素进行插值处理,输出几何校正后的显示图像。
7、在一些具体的实施例中,s2中构建双二次逆向映射模型并求解得到双二次几何校正系数的步骤,具体包括:将多组标定点转换为以显示中心为原点的中心化坐标,目标显示点的中心化坐标记为(u,v),源图像采样点的中心化坐标记为(p,q);构建目标显示坐标到源图像采样坐标的逆向映射关系:p=a0+a1·u+a2·v+a3·u²+a4·v²+a5·u·v;q=b0+b1·u+b2·v+b3·u²+b4·v²+b5·u·v;其中,a0-a5、b0-b5为待求解的12个几何校正系数。
8、在一些具体的实施例中,采用最小二乘法基于多组标定点求解获得几何校正系数a0-a5、b0-b5,具体包括:
9、采集n组标定点,其中n≥6;
10、针对第i组标定点,基于其目标显示点的中心化坐标(ui,vi),构造对应的基函数行向量hi=[1,ui,vi,ui²,vi²,ui·vi],并将全部n组标定点的基函数行向量组合构成矩阵h;
11、将n组标定点对应的源图像采样点的中心化坐标(pi,qi)分别组合,构成源图像水平中心化坐标向量p=[p1,p2,...,pn]t和垂直中心化坐标向量q=[q1,q2,...,qn]t;
12、定义水平校正系数向量a=[a0,a1,a2,a3,a4,a5]t,垂直校正系数向量b=[b0,b1,b2,b3,b4,b5]t;
13、采用最小二乘法、广义逆、qr分解、svd或等效数值方法中的任一种方法进行求解,分别通过公式a=(ht·h)-1·ht·p以及b=(ht·h)-1·ht·q求解得出几何校正系数a0-a5和b0-b5。
14、在一些具体的实施例中,s2中将几何校正系数进行定点量化处理的步骤,具体包括:将求得的浮点形式的几何校正系数转换为预设位宽的有符号定点数格式;有符号定点数格式为q16.16格式,其中高16位用于表示带符号整数部分,低16位用于表示小数部分。
15、在一些具体的实施例中,s4中执行坐标逆向映射和进行插值处理的步骤具体包括:若逆向映射得到的源图像绝对采样坐标超出源图像有效范围,采用边界钳位方式进行处理,以限制采样坐标的取值范围避免插值寻址越界;提取源图像绝对采样坐标的整数部分和小数部分,将小数部分转化为预设范围的权重,基于权重与整数部分邻域内的四个像素点进行乘加运算后移位归一化,获得输出像素。
16、在一些具体的实施例中,输出像素的具体计算方式为:
17、将源图像绝对采样坐标的水平小数部分α和垂直小数部分β转换为8位无符号的小数权重整数dx和dy,dx=round(α×255),dy=round(β×255);
18、利用dx和dy分别计算目标显示像素点对应的四个双线性插值权重值w00、w01、w10和w11,计算公式为:w00=(255-dx)(255-dy),w01=dx(255-dy),w10=(255-dx)dy,w11=dx·dy;
19、提取源图像中相对于整数部分(x0,y0)相邻的四个邻域像素点p00、p01、p10和p11,其中,p00=i(x0,y0),p01=i(x0+1,y0),p10=i(x0,y0+1),p11=i(x0+1,y0+1),i表示源图像在对应坐标处的颜色通道像素值;
20、对四个源图像像素点p00、p01、p10、p11的rgb三个颜色通道分别进行乘加运算,并按照权重总尺度执行归一化处理得到输出像素值pout,计算公式为:pout=(w00·p00+w01·p01+w10·p10+w11·p11)/255²。
21、在一些具体的实施例中,标定交互输入数据通过多模态统一求解架构获取;多模态统一求解架构配置为:将来自网页端的拖拽数据、来自触摸屏的手势数据或来自外部相机的视觉检测结果,均提取为统一格式的标定点坐标,并送入同一个参数求解链路中进行矩阵运算。
22、根据本发明的第二方面,提出了一种基于fpga的光学显示图像交互式闭环标定与实时几何校正系统,包括:
23、标定交互输入单元,配置用于获取标定交互输入数据,标定交互输入数据包括目标显示坐标与对应的源图像采样坐标组成的多组标定点;
24、处理系统侧参数求解与控制单元,配置用于基于多组标定点,构建双二次逆向映射模型,求解得到双二次几何校正系数,并将几何校正系数进行定点量化处理;
25、参数寄存器与同步更新单元,配置有影子寄存器和工作寄存器,用于将量化后的几何校正系数写入影子寄存器中,并在检测到显示帧同步边界时,将影子寄存器中的几何校正系数统一切换至工作寄存器中;
26、可编程逻辑侧实时图像几何校正单元,配置用于根据工作寄存器中的几何校正系数,对目标显示像素执行坐标逆向映射,得到对应的源图像绝对采样坐标,并基于源图像绝对采样坐标读取源图像像素进行插值处理,输出几何校正后的显示图像。
27、在一些具体的实施例中,处理系统侧参数求解与控制单元与参数寄存器与同步更新单元之间通过axi-lite片上总线连接;参数寄存器与同步更新单元在将几何校正系数写入影子寄存器期间,当前显示帧持续调用工作寄存器中的原有系数以保持画面渲染。
28、在一些具体的实施例中,还包括显示反馈单元,显示反馈单元与可编程逻辑侧实时图像几何校正单元连接,配置用于输出校正后的图像并同步叠加标定点、网格线或误差反馈信息,以与标定交互输入单元形成在线调试闭环。
29、本发明提出的一种基于fpga的光学显示图像交互式闭环标定与实时几何校正方法和系统,通过软硬件协同soc闭环架构,将多入口标定数据交互、ps侧双二次多项式参数在线最小二乘解算、定点量化,以及pl侧像素级坐标逆映射、双线性插值和可视化显示反馈高度集成于单一处理芯片内,彻底打破了传统图像几何校正技术中离线标定、传输与底层执行严重割裂的技术壁垒;在此基础上,本发明通过独特的参数影子寄存器与工作寄存器分离更新机制,在精准捕捉垂直同步信号的帧边界处统一切换生效系数,不仅完美克服了传统分块网格校正方案中对大规模像素查找表频繁重写、重构的长链路时间开销与带宽负载,更在维持高分辨率、低延迟和确定性像素级实时输出的同时,从硬件底层机制上彻底消除了连续在线调参或动态微调预览过程中必然伴随的画面中途撕裂、视觉闪烁与局部非线性变形不一致等工程痛点,在车载hud、透明显示屏或多投影叠加等复杂光学失真场景中实现了校正效果的高速迭代收敛与极佳的长期显示一致性,具有高能效比、架构灵巧、易于终端内部嵌入以及显著缩短现场装配复核周期等优势。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com