面向主题驱动的车载多摄像头自适应分镜拍摄方法及系统与流程

本发明涉及分镜拍摄领域，尤其涉及面向主题驱动的车载多摄像头自适应分镜拍摄方法及面向主题驱动的车载多摄像头自适应分镜拍摄系统。

背景技术：

1、随着智能座舱、辅助驾驶及车载图像应用的发展，车辆上通常布置有前视摄像头、后视摄像头、侧视摄像头、环视摄像头、驾驶员监测摄像头和乘员监测摄像头等多类图像采集设备。现有技术通常将上述摄像头用于泊车、盲区辅助、驾驶员状态识别、行车记录或娱乐拍摄等单一场景，较少从“车辆服务”“驾驶服务”“车安全服务”的角度，对多摄像头采集结果进行统一编排与结构化输出。

2、在驾驶过程记录、停车过程复盘、危险目标保留、驾驶员状态关联展示等场景中，现有多摄像头方案通常采用固定平铺预览、单路切换查看或事后人工筛选拼接的方式。这类方式难以根据当前任务主题，在多路异构摄像头之间自动选取与目标最相关的画面，也难以在输出结果中形成主次明确、结构完整、可复盘的分镜结果。

3、进一步地，不同车型的摄像头配置在数量、安装位置、视场角、分辨率、帧率、低照能力、动态范围和可用状态等方面存在明显差异。现有方案普遍依赖固定摄像头组合和固定显示模板，当车辆缺少某些摄像头、部分摄像头暂时故障、画面遮挡严重或性能不足时，输出结果容易出现关键主体缺失、视角重复、结构失衡或生成失败的问题，无法实现跨车型、跨配置的稳定适配。

4、此外，现有多摄像头拍摄方案大多只处理同一时刻的同步画面，对驾驶行为和外部事件的表达停留在瞬时静态拼接层面，缺少围绕事件触发点对不同时间帧进行组织的机制。例如，在窄路会车、倒车入位、紧急制动、驾驶员疲劳提醒等场景中，真正有价值的信息往往分布于事件发生前、中、后的不同时间段，若仅保留同帧图像，无法完整反映车辆、环境与驾驶员之间的动态关系。

5、另一方面，现有方案对生成结果的质量缺少可量化评估，也缺少将历史作品结果反向用于模型训练和拍摄控制优化的闭环机制。换言之，现有系统难以依据主题匹配度、主体覆盖率、关键事件保留率、视角冗余度和同步完整度等评估指标，持续改进摄像头调度策略、关键帧提取策略和分镜编排策略。

6、因此，现有技术至少存在以下问题：一是缺少面向主题任务的多摄像头协同控制与结果生成机制；二是缺少面向异构摄像头配置变化的自适应选摄机制；三是缺少同时帧与跨时间帧联合编排的分镜组织机制；四是缺少基于作品结果的拍摄控制模型持续优化机制。上述问题导致现有方案难以稳定服务于驾驶记录、车外目标保留、车内状态关联展示和车辆安全事件复盘等场景。

技术实现思路

1、本发明的目的在于提供一种面向主题驱动的车载多摄像头自适应分镜拍摄方法及面向主题驱动的车载多摄像头自适应分镜拍摄系统，至少解决多个技术问题中的一个技术问题。

2、核心技术问题：多摄像头结果生成与具体车辆服务场景脱节、难以适配摄像头配置变化、难以完整保留关键过程、难以持续优化控制策略等问题。

3、本发明提供了下述方案：

4、根据本发明的第一个方面，提供一种面向主题驱动的车载多摄像头自适应分镜拍摄方法，包括以下步骤：

5、s1、获取当前任务的主题参数、车辆状态数据以及各车载摄像头的摄像头能力数据；

6、s2、基于主题参数构建主题-视角需求模型，确定当前任务的目标主体、必保留视角与可舍弃视角；

7、s3、根据各车载摄像头的摄像头能力数据、主题-视角需求模型，对各车载摄像头进行贡献评分、优先级排序及角色分配，筛选得到高贡献摄像头并剔除低贡献摄像头筛选可用摄像头；

8、s4、基于筛选后的可用摄像头数量、角色分配结果及当前主题参数，动态生成适配的分镜模板，分镜模板包括：主次不同的分镜区域；还包括根据分镜模板中各区域的面积、位置和层级，将主分镜优先显示与主题最相关的主体，辅助分镜补充空间关系、驾驶员状态、车辆操作或环境上下文；

9、s5、根据对应主题参数的任务需求，选择性执行同步采集模式或跨时序关键帧联合编排模式，获取对应有效图像的帧集合；

10、s6、对有效图像的帧集合进行预处理与分镜合成，输出主题匹配的车载分镜结果；

11、s7、对输出的分镜结果进行质量评估，基于评估数据回流迭代优化拍摄控制策略。

12、进一步的，主题参数包括：

13、主题类型、目标主体类型、目标事件类型、时间窗口、分镜数量上限、结果输出风格、必保留视角、可舍弃视角、安全优先级、触发方式中至少一项；

14、其中，主题参数，支持手动输入和自动生成；

15、根据车辆状态，主题参数自动生成；

16、还包括摄像头能力数据：物理属性、性能指标、状态信息及功能属性；

17、物理属性包括：安装位置、朝向、视场角、分辨率、帧率；

18、性能指标包括：低照能力、动态范围、成像稳定性；

19、状态信息包括：在线状态、故障状态、遮挡状态、同步状态；

20、功能属性包括：目标检测、人脸识别、行为识别能力标签。

21、进一步的，步骤s3中，贡献评分的计算方式包括：

22、基于主题相关性得分r、画面质量得分q、视角协同互补性得分c，加权计算综合得分s，具体为：s=α×r+β×q+γ×c；

23、其中α、β、γ为预设权重系数，r、q、c均归一化至0-100分区间；

24、主题相关性得分r由目标主体像素面积占比、主题特征命中率和事件时窗匹配度计算得到；

25、画面质量得分q由有效清晰像素占比、曝光像素占比、遮挡面积比计算得到；

26、视角协同互补性得分c由新增可视区域比、跨摄像头时间戳差、视角冗余区域占比计算得到；

27、还包括权重动态调整机制：当目标主体像素面积占比、主题特征命中率、事件时窗匹配度满足预设优质条件时，提高主题相关性得分对应的权重α；

28、当主题特征命中率低于预设命中阈值，或/和目标主体有效占比低于预设占比阈值时，降低权重α并本轮判定对应摄像头为低贡献摄像头。

29、进一步的，主题-视角需求模型，包括建立主题与主角对象、视角集合的映射规则：

30、根据不同主题类型动态切换主角对象，主角对象包括：驾驶员、车外目标、道路风险区域、停车区域、车辆姿态；

31、对应匹配必保留视角、可舍弃视角，进行不同场景下的视角自适应适配。

32、进一步的，步骤s4中，动态生成适配的分镜模板，包括自适应降级机制：

33、当车载摄像头配置完整、可用摄像头数量充足时，生成包括主分镜、辅助分镜、补充分镜、全景分镜的完整模板；

34、当存在摄像头缺失、故障、遮挡或性能不足时，自动缩减辅助分镜数量、扩大主分镜展示面积、剔除冗余分镜，生成简化适配模板；

35、针对不同车型的异构摄像头配置，动态调整分镜模板复杂度，保持主题展示的一致性与完整性。

36、进一步的，同步采集模式的执行逻辑包括：

37、以车载统一时间基准，对多路摄像头图像帧进行时间对齐；

38、其中，设置预设时间偏差阈值，筛选得到同一时刻满足同步条件的图像帧集合；

39、还包括：对超出时间偏差阈值或失效的摄像头帧，采用最近可用帧替代或启用备用视角补偿，并标记非严格同步状态；

40、其中，同步采集模式，优先适用于瞬时状态记录类主题场景。

41、进一步的，跨时序关键帧联合编排模式的执行逻辑包括：

42、根据目标事件确定预设时间窗口，提取时间窗口内各摄像头的候选图像帧；

43、基于主题匹配度、画面质量、事件关键度和视角互补度对候选图像帧进行评分筛选，分别选取事件前、事件中和事件后的关键帧；

44、将不同时序的关键帧分别映射至分镜模板的对应区域，形成可还原完整事件过程的分镜序列。

45、进一步的，步骤s6中预处理包括：

46、畸变矫正、目标区域裁剪、亮度调整、去噪增强、边界生成、标识叠加、风格渲染中的至少一种；

47、风格渲染包括：纪实风、摘要风、漫画风的差异化视觉输出，且风格渲染过程保持目标主体预设分辨率的清晰度。

48、进一步的，步骤s7中质量评估采用多维度量化指标：

49、量化指标包括：主题匹配评分、主体覆盖率、关键事件保留率、视角冗余度、清晰度评分、同步完整度和用户操作反馈指标；

50、将每次分镜结果的评估数据、主题参数、摄像头数据和帧选取数据关联存储为训练样本；

51、基于训练样本迭代更新摄像头评分参数、关键帧提取参数和分镜模板参数，实现拍摄控制策略的持续优化。

52、根据本发明的第二个方面，提供一种面向主题驱动的车载多摄像头自适应分镜拍摄系统，用于执行面向主题驱动的车载多摄像头自适应分镜拍摄方法，面向主题驱动的车载多摄像头自适应分镜拍摄系统包括：

53、主题参数解析模块，用于接收或自动生成当前任务的主题参数；

54、车辆状态获取模块，用于获取车辆状态、环境及驾驶事件数据；

55、摄像头能力建模模块，用于构建并存储各车载摄像头的结构化能力数据；

56、主题-视角需求建模模块，用于根据主题参数确定目标主体与视角需求集合；

57、摄像头评分与低贡献筛除模块，用于完成摄像头贡献评分、排序与低贡献设备剔除；

58、分镜模板生成模块，用于动态生成并自适应降级调整分镜布局模板；

59、同步采集模块与时序关键帧提取模块，分别用于执行同步采集模式与跨时序关键帧编排模式；

60、分镜合成模块，用于完成图像预处理与分镜结果合成输出；

61、作品质量评估模块与拍摄控制模型训练模块，用于完成结果量化评估与策略迭代优化闭环；

62、各模块部署于车载中控终端、座舱计算平台或车载域控制器中。

63、通过上述方案，获得如下有益的技术效果：

64、本发明通过引入主题参数、摄像头能力建模、自适应选摄与舍弃、同步采集与跨时序关键帧联合编排以及作品数据训练闭环，解决现有技术中多摄像头结果生成与具体车辆服务场景脱节、难以适配摄像头配置变化、难以完整保留关键过程、难以持续优化控制策略的问题。

65、本发明根据当前主题自动识别突出显示的目标主体，形成主次明确、结构完整、可复盘的分镜结果；根据摄像头能力差异自动决定主分镜、辅助分镜、补充分镜和低贡献分镜；在同一时刻同步采集与跨时间窗口关键帧抽取之间进行模式切换；在摄像头缺失、性能下降或临时故障时，对分镜布局进行降级重构；基于历史作品结果训练拍摄控制模型，以提升后续分镜结果质量。

66、本发明围绕驾驶安全、车辆服务和场景记录主题，自动提高目标主体在结果中的覆盖率和显示优先级，提升分镜结果与实际任务的匹配度。

67、本发明能够在不同车型、不同摄像头数量和不同设备能力条件下，对多路摄像头执行能力评估、优先级排序和低贡献筛除处理，提高跨车型分镜生成成功率，降低由于摄像头缺失或异常导致的输出失败率。

68、本发明能够在同步采集模式下保证多路图像的时刻一致性，在跨时序编排模式下保留事件发生前、中、后的关键帧，提高驾驶过程和安全事件的复盘完整性。

69、本发明能够根据主题参数动态调整主角对象，既可以将驾驶员作为主角，也可以将车外目标、道路风险、停车区域或车辆姿态作为主角，提高输出结果的任务适配性。

70、本发明能够通过作品质量评估结果反向训练拍摄控制模型，持续提升主题匹配评分、主体完整性评分和关键事件保留率，形成可持续优化的技术闭环。

71、本发明在用户交互层面，系统可通过一次主题选择和一次触发操作自动完成多摄像头调度、关键帧筛选、分镜合成和结果输出，从而减少人工切换、筛选和编辑操作，提升系统易用性和落地价值。