基于多模态融合的智能终端自适应采集与云端事件生成系统的制作方法

本发明涉及智能硬件、物联网、移动感知、云计算、云端存储、计算机视觉、音频处理、多模态人工智能和数字内容生成，更具体的公开了基于多模态融合的智能终端自适应采集与云端事件生成系统。

背景技术：

1、随着物联网与人工智能技术的飞速发展，移动智能终端已广泛渗透至宠物监护、户外运动、安全记录等多样化场景，用户对“关键事件不遗漏、生成内容可追溯”的智能化记录需求日益迫切。

2、现有技术中，宠物项圈相机、运动相机、可穿戴记录仪等设备普遍采用固定策略进行数据采集，以手动触发、连续录像或固定间隔拍照为主要工作模式，定位、音频、图像、视频等多模态数据相互独立存储与管理，难以形成可自动理解和长期检索的结构化完整事件记录。这一现状在实际应用中暴露出如下缺陷：

3、固定高频采集会产生大量重复、模糊或无事件价值的冗余数据，大幅增加终端功耗、本地存储占用、网络传输流量与云端存储成本；而固定低频采集又容易遗漏位置切换、快速运动、显著声学事件、主体交互等关键场景，造成重要事件记录缺失。部分现有方案虽依据网络带宽调整上传策略，却未从采集源头基于事件本身的重要程度进行动态适配，无法从根本上解决无效数据泛滥与关键事件遗漏之间的矛盾。

4、不同传感器的采样频率、时钟精度、可用状态存在天然差异，多模态数据融合机制过于简单：现有技术多基于单一时间窗口进行粗略数据对齐，或仅依靠单模态特征进行事件分割，缺少严格的时空约束前置校验与多模态可靠度修正机制，容易将同一事件错误分割为多个片段，或将不同时间、不同地点的记录错误合并为同一事件，最终导致生成的日记、视频等内容出现时间错位、地点错配、内容重复等问题。

5、自动生成内容的来源可追溯性与证据一致性不足：现有ai生成的数字日记、行程摘要、短视频等内容，通常仅与原始数据建立粗粒度关联，无法实现从生成内容反向逐级定位至原始媒体数据的精准追溯；同时缺少生成内容与原始采集证据的一致性校验机制，当算法模型升级、用户删除原始数据或权限变更时，难以对生成内容进行精准的局部更新与合规校验，也无法验证生成内容是否真实基于采集数据产出。

6、综上所述，行业内急需一种能够覆盖“端侧自适应采集-云端多模态融合-结构化内容生成-全链路可追溯”完整链路的技术方案，在降低无效数据开销的同时提升事件记录的准确性与生成内容的可信度。

技术实现思路

1、本发明主要解决的技术问题是提供基于多模态融合的智能终端自适应采集与云端事件生成系统，能够解决背景技术中所提出的问题。

2、为解决上述技术问题，根据本发明的一个方面，更具体的说是基于多模态融合的智能终端自适应采集与云端事件生成系统，包括：智能记录终端、云端平台和用户终端；

3、所述智能记录终端包括图像采集模块、音频采集模块、定位模块、通信模块、运动感知模块、本地存储模块和边缘处理模块，用于持续或周期性采集定位数据和音频数据，按照预设采集策略、手动触发指令或遥控指令采集视觉媒体数据，所述视觉媒体数据包括静态图像数据和动态视频数据中的至少一种，所述动态视频数据包括连续录像数据或视频片段，基于统一时间基准为定位数据、音频数据和视觉媒体数据写入时间信息，形成多模态数据单元并上传至云端平台，所述边缘处理模块用于根据运动、位置、声音和视觉数据的变化程度、对应传感数据的可靠度、跨模态一致性及与前序事件的历史连续性计算统一事件重要度评分，并根据统一事件重要度评分协同调整视觉媒体采集策略、定位采样频率、音频保留范围、本地缓存层级和上传优先级；

4、所述云端平台包括接入服务、存储系统、多模态处理系统和内容生成系统，所述多模态处理系统用于依次根据时间约束筛选、空间连续性约束筛选，再根据可靠度修正的融合相似度与预设合并阈值和分割阈值的比较确定事件边界，其中所述合并阈值高于所述分割阈值，将多个多模态数据单元融合为多个事件对象，并根据事件对象形成事件时间轴，所述内容生成系统用于根据事件时间轴生成数字日记、行程摘要和短视频中的至少一种，在原始媒体对象、多模态数据单元、事件对象和生成内容之间建立事件血缘追溯关系，并将生成内容中的内容陈述单元与对应事件对象或原始媒体证据进行一致性校验；

5、所述用户终端用于显示轨迹、事件时间轴或生成内容，并用于控制所述智能记录终端执行静态图像拍摄、动态视频录制或设置采集策略。

6、更进一步的，所述预设采集策略包括静态图像采集间隔和动态视频录制参数，所述静态图像采集间隔为10秒至30分钟中的任一值，默认值为60秒；所述智能记录终端在低活动状态下延长静态图像采集间隔，并执行降低动态视频帧率或码率、缩短动态视频保留时长、停止录像中的至少一种操作；在检测到位置变化、速度变化、姿态变化、显著声音、显著视觉目标或遥控拍摄指令时，执行缩短静态图像采集间隔、立即拍摄静态图像、启动动态视频录制、延长视频片段时长、提高动态视频帧率或码率中的至少一种操作。

7、更进一步的，所述音频采集模块将连续音频按照预设时长分片写入环形缓存；所述边缘处理模块根据声学事件的发生时间和事件评分，保留声学事件发生前后的音频片段，对未检测到有效声学特征的音频片段执行降采样、压缩或删除处理；所述边缘处理模块还用于对多模态数据单元执行质量筛选和重复抑制，所述质量筛选包括对静态图像或动态视频执行模糊度检测、曝光检测、遮挡检测、视频丢帧检测，对音频执行信噪比检测，对定位数据执行有效性检测中的至少一种；所述重复抑制基于静态图像或视频关键帧的感知哈希、视觉特征向量、视频指纹、音频指纹、位置距离和时间距离中的至少两项识别重复或近似重复数据，并优先保留质量评分较高的数据。

8、更进一步的，所述用户终端通过蓝牙低功耗通信、无线局域网通信或蜂窝网络中的至少一种发送遥控拍摄指令，所述遥控拍摄指令包括拍照指令、开始录像指令、停止录像指令和预设时长视频片段采集指令中的至少一种；每一遥控拍摄指令具有命令标识、命令类型、生成时间和有效期限，所述智能记录终端在验证设备身份和有效期限后执行相应拍摄并返回拍摄结果；所述智能记录终端还包括用于触发手动拍照、启动录像或停止录像的物理按键或触摸输入部件；待上传数据被写入断点续传队列，队列项至少包括数据分片、内容校验值、事件评分、数据类型、创建时间和上传状态，上传优先级由事件评分、数据类型、网络质量、剩余电量和本地存储余量中的至少两项共同确定；在弱网或蜂窝网络条件下优先上传定位数据、事件元数据、代表图像、视频关键帧、低码率视频预览片段和低码率音频摘要中的至少一种，并延迟上传高分辨率静态图像或原始动态视频。

9、更进一步的，所述边缘处理模块分别计算运动评分、位置评分、声音评分和视觉评分，并根据各评分对应传感数据的有效性确定可靠度系数；根据可用评分与对应可靠度系数的归一化加权结果、同一时间窗口内的跨模态一致性，所述跨模态一致性是指同一时间窗口内的视觉数据、音频数据和运动数据在事件语义或场景变化上的匹配程度、当前数据与前序事件在时间、轨迹或语义上的历史连续性、用户触发优先项及数据质量缺陷抑制项，得到统一事件重要度评分；所述边缘处理模块对统一事件重要度评分执行时间平滑，并采用第一阈值和低于所述第一阈值的第二阈值进行具有滞回特性的状态切换，当平滑后的统一事件重要度评分达到第一阈值时进入重要事件状态，当平滑后的统一事件重要度评分低于第二阈值并持续达到预设时长时进入低活动状态；动态视频录制的启动条件、停止条件、片段时长、帧率、分辨率或码率根据平滑后的统一事件重要度评分确定，并根据剩余电量、设备温度和本地存储余量中的至少一项进行二次约束；同一统一事件重要度评分用于协同确定视觉媒体采集策略、定位采样频率、音频保留范围、本地缓存层级和上传优先级。

10、更进一步的，所述存储系统包括对象存储和元数据数据库，所述对象存储用于保存静态图像、原始动态视频、音频、生成视频和轨迹渲染文件，所述元数据数据库用于保存设备标识、统一时间戳、轨迹点、媒体对象标识、媒体内容校验值、事件标识、访问权限和处理版本；每一事件对象至少关联开始时间、结束时间、轨迹段、代表图像或视频片段、音频片段、事件标签、事件评分和媒体对象引用；所述内容生成系统在原始媒体对象、多模态数据单元、事件对象、事件时间轴和生成内容之间建立事件血缘追溯图，所述事件血缘追溯图中的各级对象分别保存对象唯一标识、内容校验值、父对象标识、处理版本和处理时间，生成内容还保存其引用的事件对象标识和媒体对象标识、生成模型或规则版本、生成配置版本及生成内容校验值；当重新执行事件处理或内容生成时，为新结果建立新版本并保留父版本标识，使生成内容能够反向定位至对应事件对象、多模态数据单元和原始媒体对象，所述内容生成系统还将生成内容拆分为多个内容陈述单元，为每一内容陈述单元关联至少一个事件对象标识或媒体对象标识，并计算证据覆盖率和内容冲突度；当证据覆盖率低于预设阈值或内容冲突度高于预设阈值时，对相应内容陈述单元执行删除、修正、重新生成或待核验标记。

11、一种利用智能记录终端和云端平台生成多模态事件及数字内容的方法，包括：

12、由智能记录终端持续或周期性采集定位数据和音频数据，并按照预设采集策略、手动触发指令或遥控拍摄指令采集视觉媒体数据，所述视觉媒体数据包括静态图像数据和动态视频数据中的至少一种，所述动态视频数据包括连续录像数据或视频片段；

13、基于统一时间基准为定位数据、音频数据和视觉媒体数据写入时间信息，对采集数据执行时间对齐并形成多模态数据单元；

14、根据运动、位置、声音和视觉数据的变化程度、对应传感数据的可靠度、跨模态一致性及与前序事件的历史连续性计算统一事件重要度评分，并根据统一事件重要度评分协同调整视觉媒体采集策略、定位采样频率、音频保留范围、本地缓存层级和上传优先级；

15、将多模态数据单元上传至云端平台；

16、由云端平台依次根据时间约束筛选、空间连续性约束筛选，再根据可靠度修正的融合相似度与预设合并阈值和分割阈值的比较确定事件边界，其中所述合并阈值高于所述分割阈值，将多个多模态数据单元融合为多个事件对象，并根据事件对象形成事件时间轴；

17、根据事件时间轴生成数字日记、行程摘要和短视频中的至少一种，在原始媒体对象、多模态数据单元、事件对象和生成内容之间建立事件血缘追溯关系，并对生成内容中的内容陈述单元与对应事件对象或原始媒体证据执行一致性校验。

18、一种智能记录终端，包括处理器、存储器、图像采集模块、音频采集模块、定位模块、通信模块以及运动感知模块；

19、所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使所述智能记录终端：持续或周期性采集定位数据和音频数据，按照预设采集策略、手动触发指令或遥控拍摄指令采集视觉媒体数据，所述视觉媒体数据包括静态图像数据和动态视频数据中的至少一种，所述动态视频数据包括连续录像数据或视频片段；

20、基于统一时间基准为各类采集数据写入时间信息，形成多模态数据单元；

21、根据运动、位置、声音和视觉数据的变化程度、对应传感数据的可靠度、跨模态一致性及与前序事件的历史连续性计算统一事件重要度评分，并根据统一事件重要度评分协同调整视觉媒体采集策略、定位采样频率、音频保留范围、本地缓存层级和上传优先级；

22、按照包含时间信息、定位信息、媒体对象标识、内容校验值和统一事件重要度评分的数据格式，向云端平台发送多模态数据单元。

23、一种云端服务器系统，包括至少一个处理器和与所述至少一个处理器通信连接的存储器；

24、所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使所述云端服务器系统：接收智能记录终端上传的定位数据、音频数据、视觉媒体数据和统一事件重要度评分，所述视觉媒体数据包括静态图像数据和动态视频数据中的至少一种，所述动态视频数据包括连续录像数据或视频片段；

25、依次根据时间约束筛选、空间连续性约束筛选，再根据可靠度修正的融合相似度与预设合并阈值和分割阈值的比较确定事件边界，其中所述合并阈值高于所述分割阈值，将多个多模态数据单元融合为多个事件对象，并根据事件对象形成事件时间轴；

26、根据事件时间轴生成数字日记、行程摘要和短视频中的至少一种；

27、在原始媒体对象、多模态数据单元、事件对象和生成内容之间建立事件血缘追溯关系，并对生成内容中的内容陈述单元与对应事件对象或原始媒体证据执行一致性校验。

28、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7所述的方法。

29、本发明基于多模态融合的智能终端自适应采集与云端事件生成系统的有益效果为：

30、通过边缘端基于多模态显著度、传感可靠度及历史连续性的统一事件重要度评分机制，实现了采集策略、定位频率、音频保留与上传优先级的协同自适应调整，有助于在降低无效数据开销的同时减少关键事件的遗漏风险；

31、通过云端依次经时间约束、空间连续性约束及可靠度修正融合相似度的分层事件边界检测，并采用高于分割阈值的合并阈值，有助于减少因传感器异步或单一模态波动导致的事件误分割与误合并；

32、另外，通过在原始媒体、多模态数据单元、事件对象与生成内容之间建立包含对象标识、校验值及父版本的血缘追溯关系，并对内容陈述单元执行证据一致性与覆盖率校验，使得生成内容能够逐级反向核验来源，也有助于在版本升级或数据变更时进行局部更新与合规验证。本方案在提升事件记录完整性与准确性的同时，也增强了生成内容可核验性与系统可维护性。