视频图像实时电子稳像方法、系统、设备及计算机介质与流程

本技术涉及视频图像处理，具体而言，涉及一种视频图像实时电子稳像方法、系统、设备及计算机介质。

背景技术：

1、现有方案中，基于轮廓或亮斑中心的方法对曝光波动、云雾遮挡、局部过曝、暗部阴影、月相变化及太阳边缘扰动极为敏感，一旦主体轮廓不完整，估算出的中心或边界点便容易跳变；而特征点匹配与常规光流法又高度依赖稳定可重复的局部特征，但太阳或月亮图像往往呈现大面积弱纹理、强烈亮度梯度、周期性纹理或边缘主导的分布，导致误匹配风险显著升高。同时，单尺度配准在大位移时易收敛失败，小位移时又易受局部噪声干扰，且全图配准会将黑边、背景及遮挡区域一并纳入计算，进一步降低可靠性。离线稳像不仅无法在观测过程中即时改善画面显示与录像质量，也不能及时为自动导星、曝光调整或帧质量筛选提供反馈；参考帧若长期固定，则难以适应画面亮度与纹理的渐变，若逐帧更新，又可能引发累计漂移或在低质量帧上错误更新。此外，现有实时实现普遍缺乏置信度评估、roi边界安全性保护以及失败原因的统一判定机制，难以在嵌入式设备或实时观测软件中稳定运行，也给故障排查带来困难。

技术实现思路

1、有鉴于此，本技术实施例的目的在于提供一种视频图像实时电子稳像方法、系统、设备及计算机介质，以改善现有技术中存在的上述问题。

2、第一方面，本技术实施例提供一种视频图像实时电子稳像方法，所述视频图像实时电子稳像方法，包括：获取输入并进行预处理后的视频图像帧，在所述视频图像帧中，提取高亮天体目标的主体区域作为感兴趣区域；在所述感兴趣区域内，基于图像梯度信息生成用于配准的支持掩膜，并根据所述支持掩膜，对当前帧与参考帧进行处理，得到位移向量和相关系数；根据所述相关系数、所述支持掩膜的质量以及所述感兴趣区域的边界安全性，对所述位移向量的有效性进行分级判定，根据所述分级判定的结果输出结果。

3、在上述实现过程中，通过提取高亮天体目标的主体区域作为感兴趣区域，并利用图像梯度信息生成支持掩膜进行配准，再结合相关系数、支持掩膜质量及感兴趣区域的边界安全性对位移向量进行分级判定，能够在电子稳像过程中减少不可靠位移估计带来的画面抖动，帮助维持视频输出的平稳性。

4、可选地，所述获取输入并进行预处理后的视频图像帧，在所述视频图像帧中，提取高亮天体目标的主体区域作为感兴趣区域，包括：将视频图像转换为灰度图，并进行降噪和局部对比度增强；其中，所述局部对比度增强的强度根据目标类型、曝光状态及视频图像质量自适应调节或旁路；对预处理后的所述视频图像进行自适应分割并提取主体轮廓；在未提取到有效轮廓或轮廓面积不满足预设条件的情况下，将所述视频图像作为所述感兴趣区域，并标记为全图回退模式；在所述全图回退模式下，对所述支持掩膜的生成和/或所述位移向量的有效性判定施加相对于非回退模式更严格的限制条件。

5、在上述实现过程中，通过将视频图像转换为灰度图并进行降噪和局部对比度增强，且增强强度能够根据目标类型、曝光状态及视频图像质量自适应调节或旁路，再结合自适应分割提取主体轮廓，并在无法提取到有效轮廓或轮廓面积不满足预设条件的情况下采用全图回退模式，对支持掩膜生成和位移向量有效性判定施加更严格的限制，有助于在复杂观测条件下提高感兴趣区域提取的可靠性，降低因错误分割带来的稳像失效风险。

6、可选地，所述在所述感兴趣区域内，基于图像梯度信息生成用于配准的支持掩膜，包括：在所述感兴趣区域对应的主体掩膜内，排除低置信度像素区域，构建有效像素集；计算所述有效像素集的梯度强度，并根据所述梯度强度的分布自适应选取梯度阈值，生成初始支持掩膜；在所述初始支持掩膜的有效像素数量不满足预设条件的情况下，调整所述梯度阈值；在调整所述梯度阈值之后所述初始支持掩膜的有效像素数量仍不满足预设条件的情况下，则退化使用所述主体掩膜作为所述支持掩膜。

7、在上述实现过程中，在感兴趣区域内生成支持掩膜时，先排除主体掩膜中的低置信度像素区域，再根据有效像素的梯度强度分布自适应选取梯度阈值，并在有效像素数量不满足条件的情况下调整阈值或退化使用主体掩膜，有助于在目标区域纹理强弱变化时获得更为可靠的支持掩膜，降低因掩膜过稀疏或包含不稳定区域导致的配准偏差风险。

8、可选地，所述根据所述支持掩膜，对当前帧与参考帧进行处理，得到位移向量和相关系数，包括：构建所述参考帧感兴趣区域的多尺度图像金字塔及对应的掩膜金字塔并缓存；对当前帧对应的所述感兴趣区域构建当前图像金字塔；从低分辨率层开始，根据所述支持掩膜进行平移配准迭代，并将低分辨率层的估计结果传递至较高分辨率层作为初值，直至得到所述位移向量和相关系数。

9、在上述实现过程中，构建参考帧感兴趣区域的多尺度图像金字塔及对应的掩膜金字塔并缓存，对当前帧构建图像金字塔，从低分辨率层开始根据支持掩膜进行平移配准迭代，并将低层估计结果传递至较高层作为初值，能够在帧间位移较大或目标纹理多尺度变化的情况下，通过由粗到精的搜索方式逐步收敛到位移向量和相关系数，同时利用缓存减少参考帧金字塔的重复构建开销，有助于提高配准稳定性和处理效率。

10、可选地，所述根据所述支持掩膜进行平移配准迭代，并将低分辨率层的估计结果传递至较高分辨率层作为初值，直至得到所述位移向量和相关系数，包括：根据实时状态，确定所述迭代的初值；其中，在初始状态、所述参考帧发生切换或上一帧位移结果无效的情况下，使用零位移作为初值；在连续稳定跟踪且所述上一帧位移结果有效的情况下，使用上一帧的所述位移向量作为初值。

11、在上述实现过程中，在平移配准迭代过程中，根据实时状态确定迭代初值——在初始状态、参考帧切换或上一帧位移无效的情况下使用零位移作为初值，在连续稳定跟踪且上一帧位移有效的情况下使用上一帧的位移向量作为初值，能够使配准搜索在利用帧间运动连续性的同时，避免将错误的历史结果引入新阶段的估计，有助于提高收敛速度和位移向量的可靠性。

12、可选地，所述缓存的构建和更新包括：缓存所述参考帧感兴趣区域、所述多尺度图像金字塔、归一化浮点金字塔和所述掩膜金字塔；在参考帧更新的情况下，优先从当前灰度帧中获取经位移补偿后的对齐感兴趣区域以复用所述缓存；在所述对齐感兴趣区域获取失败或有效区域不足的情况下，对整帧灰度图执行平移补偿并重建所述缓存。

13、在上述实现过程中，缓存参考帧感兴趣区域、多尺度图像金字塔、归一化浮点金字塔和掩膜金字塔，并在参考帧更新时优先尝试从当前灰度帧获取经位移补偿后的对齐感兴趣区域以复用缓存，仅在对齐区域获取失败或有效区域不足的情况下才基于整帧灰度图进行平移补偿并重建缓存，能够减少因频繁重建金字塔带来的重复计算开销，有助于在连续稳像过程中维持处理帧率的平稳性。

14、可选地，所述根据所述相关系数、所述支持掩膜的质量以及所述感兴趣区域的边界安全性，对所述位移向量的有效性进行分级判定，根据所述分级判定的结果输出结果，包括：在所述位移向量的有效性判定为有效的情况下，使用所述位移向量对当前帧执行图像平移补偿，并依据预设规则更新参考帧，所述参考帧包括用于短期跟踪的第一参考帧和用于抑制漂移的第二参考帧。

15、在上述实现过程中，在位移向量被判定为有效的情况下，使用该位移向量对当前帧执行平移补偿，并依据预设规则更新包含短期跟踪用的第一参考帧和抑制漂移用的第二参考帧，能够在连续稳像过程中兼顾对目标短时运动的及时响应和对长时累积漂移的约束，有助于维持输出视频在长时间观测下的位置基准稳定性。

16、可选地，所述根据所述相关系数、所述支持掩膜的质量以及所述感兴趣区域的边界安全性，对所述位移向量的有效性进行分级判定，根据所述分级判定的结果输出结果，还包括：在所述位移向量的有效性判定为无效的情况下，拒绝本次补偿和/或拒绝参考帧更新，并执行对应的异常处理操作。

17、在上述实现过程中，在位移向量被判定为无效的情况下，拒绝本次补偿和/或拒绝参考帧更新并执行对应的异常处理操作，能够防止不可靠的位移估计被施加到稳像输出中，避免画面因错误平移产生突然跳动，同时保护参考帧基准不被错误信息污染，有助于在目标丢失或图像质量恶化等情况下维持稳像的容错能力。

18、第二方面，本技术实施例提供一种视频图像实时电子稳像系统，所述视频图像实时电子稳像系统，包括：图像获取与预处理模块、感兴趣区域提取模块、支持掩膜生成模块、配准处理模块、分级判定与输出模块；所述图像获取与预处理模块，用于获取输入并进行预处理后的视频图像帧；所述感兴趣区域提取模块，用于在所述视频图像帧中，提取高亮天体目标的主体区域作为感兴趣区域；所述支持掩膜生成模块，用于在所述感兴趣区域内，基于图像梯度信息生成用于配准的支持掩膜；所述配准处理模块，用于根据所述支持掩膜，对当前帧与参考帧进行处理，得到位移向量和相关系数；所述分级判定与输出模块，用于根据所述相关系数、所述支持掩膜的质量以及所述感兴趣区域的边界安全性，对所述位移向量的有效性进行分级判定，根据所述分级判定的结果输出结果。

19、在上述实现过程中，通过图像获取与预处理模块、感兴趣区域提取模块、支持掩膜生成模块、配准处理模块以及分级判定与输出模块的协同，对视频图像帧依次完成预处理、主体区域提取、梯度掩膜生成、配准估计和位移有效性分级判定，使得电子稳像处理能够从输入图像到最终输出形成一个有质量筛选的闭环，降低不可靠位移估计对稳像结果的影响，有助于在观测高亮天体目标时维持视频输出的平稳性。

20、第三方面，本技术实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

21、第四方面，本技术实施例还提供了一种计算机介质，所述计算机介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。