一种多屏拼接图像色彩一致性校正方法及系统与流程

本发明涉及图像处理领域，具体为一种多屏拼接图像色彩一致性校正方法及系统。

背景技术：

1、随着大尺寸显示需求的日益增长，由多块led显示屏拼接而成的显示墙被广泛应用于指挥监控中心、广播电视演播厅、大型展览展示以及商业广告等场景。拼接屏通过多块独立屏幕的物理组合，以较低的成本实现了超大画面、超高分辨率的显示效果。

2、在拼接屏的长期使用过程中，各屏幕因累计点亮时长不同、工作环境温度差异以及led灯珠自身材料特性的渐变，会呈现出不同程度的光致衰减，这种衰减在红、绿、蓝三基色上通常是不均衡的，导致各屏幕之间的色彩表现逐渐产生差异，当其中某块屏幕因故障被更换为同型号的全新备屏后，新屏与旧屏之间的色彩差异尤为明显，在显示纯色或均匀画面时，观察者能够清晰地看到拼缝处的颜色分界。

3、其中，现有技术存在的局限至少包括如下问题，在拼接屏长期运行过程中，当某块屏幕因故障被更换为同型号全新备屏后，新屏与旧屏之间因led灯珠点亮时长不同而出现明显的色彩漂移，旧屏经长时间使用已发生光致衰减，整体偏暖偏暗，而新屏保持出厂特性，偏冷偏亮；

4、显示同一信号画面时，新旧屏幕在相同驱动值下实际发出的光色已经分离，纯色或大面积均匀画面中拼缝处能够看到清晰的色差分界，而在指挥监控、广播电视等对画面连续性要求严格的场合，难以随意中断显示来进行色彩校正；

5、且新旧屏幕之间的色彩差异并不局限于某一亮度层级，在不同灰阶和不同色调上表现出的偏移程度各不相同，难以在维持正常播放的同时将这种多点位的色彩偏差一次性消除，使得屏幕更换后的色彩一致性恢复在实际运维中持续面临着业务不容中断与多点位色差难以兼顾消除的突出矛盾。

技术实现思路

1、针对现有技术的不足，本发明提供了一种多屏拼接图像色彩一致性校正方法及系统，解决了业务不中断前提下新屏与旧屏间多点位色彩差异的兼顾消除的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种多屏拼接图像色彩一致性校正方法，包括以下步骤：采集拼接屏的多帧图像序列，并对图像序列进行几何归一化，获得正视图像序列，拼接屏包含至少基准屏和其余作为待校正屏的屏幕；从正视图像序列中提取拼缝区域作为零辐亮度参考，利用零辐亮度参考以及检测到的时空一致像素块，估计摄像头的逆响应函数，并应用逆响应函数将正视图像序列转换为线性辐亮度图像序列；在线性辐亮度图像序列中，沿拼缝在其两侧分别定义属于相邻屏幕的采样带，从采样带中基于局部平坦度条件提取跨屏像素对，并通过多帧统计回归，估计出每块待校正屏到基准屏的色彩映射函数；基于色彩映射函数，生成各待校正屏独立的色彩校正查找表，并在拼缝两侧各定义融合带，在融合带内，对相邻屏幕经各自色彩校正查找表校正后的颜色值进行加权混合，以作为最终输出，实现多屏拼接图像色彩一致性校正。

3、进一步地，对图像序列进行几何归一化的具体步骤如下：从多帧图像序列中选取一帧，检测拼缝形成的直线；将检测到的直线按角度分为水平组和垂直组，对各组直线进行层次聚类，取每个聚类的均值直线，分别获得水平拼缝线和垂直拼缝线；以水平拼缝线与垂直拼缝线的交点确定各屏幕的角点，取最外侧四个角点作为透视变换的源顶点；以基准屏的角点所围矩形为参考，设定目标矩形的宽度和高度，将目标矩形的顶点作为透视变换的目标顶点；采用直接线性变换求解源顶点到目标顶点的单应性矩阵，对图像序列中的每一帧执行透视变换，获得正视图像序列。

4、进一步地，检测到时空一致像素块的具体步骤如下：在每块屏幕的显示区域内，预设多个采样区，并逐像素取预设范围邻域作为候选图像块；对采样区内的候选图像块，施加空间平滑条件筛选：选取预设尺寸像素块内亮度标准差低于第一预设阈值的候选图像块；对通过空间平滑筛选的候选图像块，施加短时时域稳定条件筛选：选取在连续预设帧数内平均亮度变化量低于第二预设阈值的候选图像块；对通过短时时域稳定筛选的候选图像块，施加长时时域平滑单调条件筛选：追踪该图像块在全部帧中的平均亮度时间序列，选取该时间序列整体呈单调变化且序列内反向波动累计幅度不超过正向变化累计幅度的预设比例的候选图像块；将同时通过上述筛选的候选图像块收录为时空一致像素块。

5、进一步地，估计摄像头的逆响应函数的具体步骤如下：在正视图像序列中，提取拼缝两侧各预设像素宽度范围内的区域作为零辐亮度参考区；计算零辐亮度参考区内全部像素在多帧中的时间均值，得到摄像头的暗电流偏置向量，并计算各像素在多帧中的时间方差，得到拼缝漏光噪声方差；以零辐亮度参考区提供的暗电流偏置向量作为零辐亮度硬约束；以时空一致像素块作为数据约束；以基于拼缝漏光噪声方差构造的暗部先验约束；在零辐亮度硬约束、数据约束和暗部先验约束的共同限定下，获得摄像头的颜色通道的逆响应函数。

6、进一步地，基于局部平坦度条件提取跨屏像素对的具体步骤如下：以水平拼缝线和垂直拼缝线作为拼缝中心线；在每条拼缝中心线两侧各取距离该拼缝中心线第一预设像素宽度至第二预设像素宽度的范围，分别作为属于相邻屏幕的采样带；对每帧线性辐亮度图像，在相邻屏幕各自的采样带内，沿拼缝中心线方向逐像素位置提取一对跨屏像素；取全帧所有沿拼缝中心线方向预设邻域范围滑动窗口亮度标准差的预设百分位数，作为自适应平坦度阈值；基于自适应平坦度阈值，对每对跨屏像素进行局部平坦度检验，将检验通过的该对跨屏像素作为跨屏像素对。

7、进一步地，局部平坦度检验的具体步骤如下：对每一对跨屏像素，计算拼缝第一侧采样带内沿拼缝中心线方向的第一亮度方差、拼缝第一侧采样带内垂直拼缝中心线方向的第二亮度方差、拼缝第二侧采样带内沿拼缝中心线方向的第三亮度方差、拼缝第二侧采样带内垂直拼缝中心线方向的第四亮度方差；当第一亮度方差、第二亮度方差、第三亮度方差和第四亮度方差均低于自适应平坦度阈值时，判定该对跨屏像素通过局部平坦度检验。

8、进一步地，估计出每块待校正屏到基准屏的色彩映射函数的具体步骤如下：以线性辐亮度图像序列中各像素在颜色通道上的值作为通道线性辐亮度值，并以颜色通道作为坐标轴构成色彩空间；以跨屏像素对中待校正屏的通道线性辐亮度值为坐标，在色彩空间的颜色通道各自取值范围内均匀划分，得到若干采样节点；对每个采样节点，以该节点为中心、以色彩空间内的距离计算各跨屏像素对的权重，并在权重中引入该跨屏像素对基于出现频次的可信度因子；对各采样节点邻域内的跨屏像素对进行加权回归，得到各采样节点的初始映射输出值，并施加先验正则化；对邻域内加权样本数量低于预设阈值的采样节点，通过邻近节点插值填充，获得每块待校正屏到基准屏的色彩映射函数。

9、进一步地，生成各待校正屏独立的色彩校正查找表的具体步骤如下：取色彩映射函数在对应待校正屏中心位置处的色彩映射切片，作为各待校正屏的全局色彩校正映射；在色彩空间的颜色通道各自取值范围内进行均匀采样，生成若干输入采样点；将每个输入采样点通过全局三维色彩校正映射计算对应的校正输出值；将全部输入采样点与校正输出值的对应关系存储为各待校正屏的色彩校正查找表。

10、进一步地，对相邻屏幕经各自色彩校正查找表校正后的颜色值进行加权混合的具体步骤如下：以拼缝中心线为基准，向两侧各延伸预设像素宽度作为融合带；对融合带所覆盖的相邻屏幕各自像素，分别经其所属屏幕的色彩校正查找表校正，得到各自校正后的颜色值；对融合带内的每个像素，根据其到拼缝中心线的有向距离计算混合权重；将各自校正后的颜色值按混合权重进行加权混合，作为该像素的最终输出颜色值。

11、一种多屏拼接图像色彩一致性校正系统，包括：几何自校正单元，用于采集拼接屏的多帧图像序列，并对图像序列进行几何归一化，获得正视图像序列，拼接屏包含至少基准屏和其余作为待校正屏的屏幕；响应盲标定单元，用于从正视图像序列中提取拼缝区域作为零辐亮度参考，利用零辐亮度参考以及检测到的时空一致像素块，估计摄像头的逆响应函数，并应用逆响应函数将正视图像序列转换为线性辐亮度图像序列；屏间色彩映射估计单元，用于在线性辐亮度图像序列中，沿拼缝在其两侧分别定义属于相邻屏幕的采样带，从采样带中基于局部平坦度条件提取跨屏像素对，并通过多帧统计回归，估计出每块待校正屏到基准屏的色彩映射函数；色彩校正融合单元，用于基于色彩映射函数，生成各待校正屏独立的色彩校正查找表，并在拼缝两侧各定义融合带，在融合带内，对相邻屏幕经各自色彩校正查找表校正后的颜色值进行加权混合，以作为最终输出颜色值。

12、本发明具有以下有益效果：

13、（1）、该多屏拼接图像色彩一致性校正方法，通过几何归一化与摄像头逆响应函数处理，消除拍摄变形与设备采集偏差带来的干扰，并提取画面里拼缝线条做聚类处理，算出透视变换矩阵把所有采集帧转换成正视画面，保证每处像素都匹配屏幕真实点位，同时利用拼接屏自带无光拼缝算出摄像头暗电流偏移数值，搭配经过三层筛选得到的时空一致像素块，多重约束求解逆响应函数，把摄像头输出的原始画面转换成和屏幕发光强度成正比的辐亮度图像，是的设备正常播放日常视频就能完成数据采集，不会中断大屏原有业务展示，也能避开摄像头本身感光偏差对色彩对比造成的干扰，以此提高校正精度。

14、（2）、该多屏拼接图像色彩一致性校正方法，通过分层筛选与自适应平坦度校验筛选有效跨屏像素对，搭建覆盖完整色域的色彩映射关系，适配新旧屏幕长时间使用产生的发光差异，且划定远离拼缝光晕的专属采样区域，再从多维度过滤像素块，只保留场景亮度稳定不变的点位参与计算，处理跨屏像素时还会生成自适应判断标准，从多个方向统计区域亮度波动数值，只有四周画面都平缓的像素对才会留存，再以色彩网格做节点划分，结合像素出现频次分配计算权重，样本不足的网格依靠周边节点插值补齐，最终生成完整色彩映射，从而能够精准还原不同灰阶以及不同色调下新旧屏幕之间的发光差值。

15、（3）、该多屏拼接图像色彩一致性校正方法，通过独立校正查找表搭配拼缝融合带加权混合，统一多屏整体观感，彻底消除拼缝位置肉眼可见的色彩分界，每块使用时长不同的屏幕都会生成专属校正查找表，屏幕播放任意画面时，画面像素都会先经过对应表格换算，让所有屏幕输出画面都对齐基准屏的发光表现，即在拼缝两侧划定融合区域，不会占用屏幕主体显示像素，只针对靠近拼缝的少量像素做混合运算，每个融合区域像素会根据自身距离拼缝中心的远近分配对应权重，靠近自身屏幕主体位置时，自身校正画面占据更高占比，越靠近拼缝中线，两块屏幕校正画面的占比越接近，平滑完成画面过渡，使得混合操作基于已经对齐基准屏的色彩数值开展，不会叠加额外色差，在纯白、渐变等均匀画面下，拼缝位置不会再出现割裂色块。

16、（4）、该多屏拼接图像色彩一致性校正系统，通过几何自校正单元自动完成图像采集与几何归一化校正，精准还原屏幕真实成像视野，响应盲标定单元依托拼缝零辐亮度参考与时空稳定像素块完成摄像头响应标定，去除图像采集链路的固有误差，屏间色彩映射估计单元自适应筛选有效跨屏像素样本并回归得到精准屏间映射关系，色彩校正融合单元批量生成独立屏校正查找表并完成拼缝像素平滑混合输出，以此适配大屏在线运行状态下的色差校准需求，从而保障多屏拼接能够长期维持稳定且统一的高清显示效果。

17、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。