一种动态帧率录像方法、装置、电子设备及存储介质与流程

本发明涉及视频监控与图像处理，尤其涉及一种动态帧率录像方法、装置、电子设备及存储介质。

背景技术：

1、随着户外监控与安防补点场景的不断扩展，无市电、弱网络或无网络环境下的持续录像需求日益迫切。此类设备通常依赖太阳能与蓄电池供电，需在白天储能、阴雨弱补能条件下尽量延长可用天数，这对录像方法的功耗控制与时间线连续性提出了严峻挑战。然而，传统的录像技术，如aov（always-on video）类低帧持续录像以及pir/事件触发启录等方案，在应对上述场景的复杂需求时面临诸多不足。

2、传统的aov方案虽能保持低帧持续录像，但静态帧率过低导致过程可判读性不足，且音频往往不同步录制，事件发生时难以提供可用的高帧画质；而pir/事件触发方案多在触发后才启录，事件前的过程与音频易缺失，时间线不连续，无法完整回溯事件全貌。

3、此外，传统方法调帧依据单一导致升帧策略与电量预算脱节；且升帧后缺少回落与档位约束，阴雨续航易被事件高峰耗尽。同时，双摄双主控或事件相机等硬件路径成本高、部署门槛高，难以直接迁移到常规cis户外补点设备。

4、因此，迫切需要一种能够在低功耗前提下实现时间线连续、事件段画质可用、音频全程不断录，且能根据电量与业务模式灵活约束帧率档位的动态帧率录像方法。

技术实现思路

1、本发明各实施例提供一种动态帧率录像方法，以解决现有技术存在的丢过程丢音频、高帧难续航、调帧依据单一、缺预算回落的问题。所述技术方案如下：

2、根据本发明的一个方面，一种动态帧率录像方法，所述方法包括：通过帧率状态机将当前帧率档位设为静态低帧档并控制图像传感器按照对应的曝光与读出节奏输出图像帧，控制麦克风阵列保持固定采样率持续采集音频数据得到连续音频流；根据当前电池soc值与历史平均功耗计算预算紧张度并输出当前允许的最高帧率档位与检测采样间隔，根据所述检测采用间隔从所述图像帧中抽取对应帧基于预设类别集合推理输出各帧的命中类别及其置信度，并累计各类别的连续命中帧数；当出现所述类别的置信度达到对应的置信度阈值，且所述连续命中帧数达到要求，且所述当前允许的最高帧率档位指示可以升帧时通过所述帧率状态机将当前帧率档位切换至功耗预算引擎允许的最高帧率档位；当所述类别命中消失的持续时间达到回落时延，或所述当前允许的最高帧率档位指示不可以升帧，或当前业务模式切换为禁止高帧态时通过所述状态机将当前帧率档位切换回低帧态，更新所述预算紧张度、允许的最高帧率档位与检测采样间隔。

3、在其中一个实施例中，通过帧率状态机将当前帧率档位设为静态低帧档并控制图像传感器按照对应的曝光与读出节奏输出图像帧，控制麦克风阵列保持固定采样率持续采集音频数据得到连续音频流通过以下步骤实现：通过帧率状态机将当前帧率档位初始化为低帧档，向图像传感器输出对应的时钟配置与曝光控制参数，控制所述图像传感器按照与所述低帧档位匹配的曝光时间与读出节奏输出图像帧；所述低帧档的帧率低于动态升帧后的帧率档位；通过麦克风阵列驱动以固定采样率持续采集环境音频数据，并将采集到的音频数据经模数转换后按照采集时间顺序写入音频缓存区，形成连续音频流；所述连续音频流与所述图像帧在时间轴上保持同步采集关系。

4、在其中一个实施例中，根据当前电池soc值与历史平均功耗计算预算紧张度并输出当前允许的最高帧率档位与检测采样间隔，根据所述检测采用间隔从所述图像帧中抽取对应帧基于预设类别集合推理输出各帧的命中类别及其置信度，并累计各类别的连续命中帧数通过以下步骤实现：通过低功耗mcu读取当前电池soc值，统计近期滑动时间窗口内的平均功耗作为历史平均功耗，根据所述当前电池soc值与额定容量计算剩余能量，根据所述历史平均功耗与预设的目标续航时间计算维持目标续航所需的总能量；将所述总能量除以所述剩余能量得到预算紧张度，根据所述预算紧张度所处的数值区间映射得到当前允许的最高帧率档位，根据所述预算紧张度映射得到检测采样间隔，根据所述检测采样间隔从所述图像帧中等间隔抽取待检测帧；基于预设类别集合对所述待检测帧的每一帧进行目标检测推理，输出各帧的类别标签及置信度分数，累计每一类别连续出现且置信度达到对应预设置信度阈值的帧数作为对应的连续命中帧数；所述预设类别集合包括人、车、动物。

5、在其中一个实施例中，当出现所述类别的置信度达到对应的置信度阈值，且所述连续命中帧数达到要求，且所述当前允许的最高帧率档位指示可以升帧时通过所述帧率状态机将当前帧率档位切换至功耗预算引擎允许的最高帧率档位通过以下步骤实现：当任一所述类别的置信度达到预设置信度阈值，且所述类别在当前时刻的连续命中帧数达到预设的连续命中帧数要求时，判定检测到有效目标出现，读取当前允许的最高帧率档位，将所述当前允许的最高帧率档位与当前帧率档位进行比较；若所述当前允许的最高帧率档位高于当前帧率档位则判定所述当前允许的最高帧率档位指示可以升帧，通过所述帧率状态机将当前帧率档位切换至所述当前允许的最高帧率档位，并更新所述图像传感器的时钟配置与曝光控制参数。

6、在其中一个实施例中，当所述类别命中消失的持续时间达到回落时延，或所述当前允许的最高帧率档位指示不可以升帧，或当前业务模式切换为禁止高帧态时通过所述状态机将当前帧率档位切换回低帧态，更新所述预算紧张度、允许的最高帧率档位与检测采样间隔通过以下步骤实现：持续监测所述预设类别集合中各所述类别的连续命中帧数，当所述连续命中帧数归零时记录归零时刻，将当前时刻与所述归零时刻的差值作为所述类别命中消失的持续时间，当所述持续时间达到预设的回落时延时，判定满足回落条件；持续监测所述当前允许的最高帧率档位，当所述当前允许的最高帧率档位发生变化且变化后低于当前帧率档位时，判定所述当前允许的最高帧率档位指示不可以升帧，满足回落条件；持续监测当前业务模式状态，当所述当前业务模式切换为禁止高帧态时，判定满足回落条件；所述禁止高帧态包括低电量保护模式、夜间静默模式或用户强制低帧模式。

7、在其中一个实施例中，当所述类别命中消失的持续时间达到回落时延，或所述当前允许的最高帧率档位指示不可以升帧，或当前业务模式切换为禁止高帧态时通过所述状态机将当前帧率档位切换回低帧态，更新所述预算紧张度、允许的最高帧率档位与检测采样间隔通过以下步骤实现：当任一所述回落条件满足时，通过所述帧率状态机将当前帧率档位切换回低帧档，并更新所述图像传感器的时钟配置与曝光控制参数；重新读取当前电池soc值与统计近期历史平均功耗，更新预算紧张度，并根据更新后的所述预算紧张度重新映射得到更新后的允许最高帧率档位与更新后的检测采样间隔。

8、在其中一个实施例中，所述方法还包括以下步骤：从配置文件中读取预设类别集合中每一类别分别对应的置信度阈值和连续命中帧数要求，推理后将各类别的置信度分数与对应的阈值比较，连续达标帧数与对应的命中帧数要求比较；不同类别对应的置信度阈值和连续命中帧数要求各不相同；从配置文件中读取预设类别集合中每一类别分别对应的回落时延，当任一类别命中消失时启动回落时延计时，计时达标后触发回落；不同类别对应的回落时延各不相同；升帧时帧率状态机将当前帧率档位切换至当前允许的最高帧率档位；触发回落并切回静态低帧档后，重新读取soc值与历史平均功耗，更新预算紧张度、允许最高帧率档位与检测采样间隔，按更新后的所述检测采样间隔继续抽帧检测并累计命中帧数。

9、根据本发明的一个方面，一种动态帧率录像装置，所述装置包括：帧率初始化上电模块，用于通过帧率状态机将当前帧率档位设为静态低帧档并控制图像传感器按照对应的曝光与读出节奏输出图像帧，控制麦克风阵列保持固定采样率持续采集音频数据得到连续音频流；动态抽帧推理模块，用于根据当前电池soc值与历史平均功耗计算预算紧张度并输出当前允许的最高帧率档位与检测采样间隔，根据所述检测采用间隔从所述图像帧中抽取对应帧基于预设类别集合推理输出各帧的命中类别及其置信度，并累计各类别的连续命中帧数；帧率升高调整模块，用于当出现所述类别的置信度达到对应的置信度阈值，且所述连续命中帧数达到要求，且所述当前允许的最高帧率档位指示可以升帧时通过所述帧率状态机将当前帧率档位切换至功耗预算引擎允许的最高帧率档位；帧率降低调整模块，用于当所述类别命中消失的持续时间达到回落时延，或所述当前允许的最高帧率档位指示不可以升帧，或当前业务模式切换为禁止高帧态时通过所述状态机将当前帧率档位切换回低帧态，更新所述预算紧张度、允许的最高帧率档位与检测采样间隔。

10、根据本发明的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的动态帧率录像方法。

11、根据本发明的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的动态帧率录像方法。

12、本发明提供的技术方案带来的有益效果是：

13、在上述技术方案，本发明通过首先由帧率状态机将当前帧率档位初始化为静态低帧档，控制图像传感器按对应曝光与读出节奏输出图像帧，同时控制麦克风阵列以固定采样率持续采集音频数据形成连续音频流，从而保证时间线连续与音频不断录；在此基础上，根据当前电池soc值与历史平均功耗计算预算紧张度，映射得到当前允许的最高帧率档位与检测采样间隔，并按该间隔抽取图像帧基于预设类别集合进行目标推理，输出各帧命中类别、置信度并累计各类别连续命中帧数；然后，当类别置信度达到对应阈值、连续命中帧数达到要求且允许的最高帧率档位指示可以升帧时，通过帧率状态机将当前帧率档位切换至允许的最高帧率档位，实现事件段高帧记录；最后，当类别命中消失持续时间达到回落时延、或允许的最高帧率档位指示不可以升帧、或业务模式切换为禁止高帧态时，通过状态机切回低帧态，并重新读取soc值与历史平均功耗，更新预算紧张度、允许最高帧率档位与检测采样间隔，形成检测—预算—状态机—回落的闭环控制，从而能够有效地解决现有技术丢过程丢音频、高帧难续航、调帧依据单一、缺预算回落的问题。