基于多源信息融合的车辆尾灯情感交互方法、系统及车辆与流程

本发明涉及智能网联汽车人机交互，特别涉及一种基于多源信息融合的车辆尾灯情感交互方法、系统及车辆。

背景技术：

1、近年来，随着智能网联汽车技术的发展，车辆与行人、其他车辆及环境之间的交互需求日益增长。传统车辆尾灯仅具备转向、制动、位置指示等基本灯光功能，功能单一、表达静态，无法传达驾驶意图之外的更多信息。现有技术中已有通过尾灯显示预设图案或动画的方案，但其显示内容固定、缺乏对动态情境的感知和响应能力，仅能在有限场景下执行预编程的灯光效果，无法根据车辆所处的具体时空环境、用户情绪状态及周围环境语义进行个性化、自适应的动态表达。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供了一种基于多源信息融合的车辆尾灯情感交互方法、系统及车辆。

2、为实现以上目的，本发明的第一个方面提供了一种基于多源信息融合的车辆尾灯情感交互方法，包括：

3、获取多源信息，所述多源信息包括环境数据、时空数据、车辆数据、用户生物特征数据以及车外视觉场景数据；

4、根据所述车辆数据判断当前是否满足预设的交互触发条件；

5、当满足所述交互触发条件时，将所述环境数据、所述时空数据、所述用户生物特征数据以及所述车外视觉场景数据输入情感计算模型，经所述情感计算模型融合处理后输出连续情感向量，所述连续情感向量为在valence-arousal二维情感坐标系中表征当前综合情境的情感坐标点；

6、将所述连续情感向量和所述车外视觉场景数据中的环境色彩向量与场景语义标签输入图案生成引擎，经所述图案生成引擎动态生成尾灯显示图案指令；

7、将所述图案指令发送至尾灯显示控制器，驱动尾灯屏幕展示情感化图案。

8、进一步，所述图案生成引擎还获取用户个性化偏好档案作为输入，并以所述连续情感向量、所述环境色彩向量、所述场景语义标签和所述偏好档案中的偏好向量共同作为条件输入，生成所述图案指令。

9、进一步，所述情感计算模型通过以下方式输出所述连续情感向量：

10、分别计算各输入模态的情感分量，各模态的所述情感分量表示为二维向量，其中，为valence分量，为arousal分量；

11、评估各输入模态的置信度，并根据各模态的所述置信度计算融合权重；

12、根据各模态的所述情感分量及所述融合权重，采用加权求和方式计算融合情感向量，其中，，所述融合情感向量即为所述连续情感向量。

13、进一步，所述置信度根据传感器信号质量评分经sigmoid函数映射得到：

14、

15、其中，为灵敏度参数，为偏置参数，为传感器信号质量评分；

16、所述融合权重通过对各模态所述置信度进行带温度系数的softmax归一化得到：，其中，为温度系数。

17、进一步，所述图案生成引擎采用基于连续情感向量的条件生成模型，以所述连续情感坐标和所述环境色彩向量为条件输入，动态生成图案的视觉元素、色彩方案、动态序列及变化节奏；

18、所述图案生成引擎还包括环境光自适应色彩映射模块，所述环境光自适应色彩映射模块根据所述环境色彩向量和当前环境亮度，动态调整生成图案的色相、饱和度和亮度。

19、进一步，所述车外视觉场景数据通过以下方式获取并处理：

20、通过车外后向摄像头采集实时图像帧；

21、对所述实时图像帧进行场景分类，输出场景语义标签；

22、对所述实时图像帧进行像素级聚类提取主色调集合，并按各聚类像素占比加权计算环境色彩向量，其中，为第k个聚类的像素占比，为第k个聚类中心；

23、所述场景语义标签和所述环境色彩向量作为所述图案生成引擎的附加输入。

24、进一步，还包括用户个性化偏好模型更新步骤：

25、构建情境特征向量，所述情境特征向量由时间特征、地点特征和情感坐标特征拼接而成；

26、建立情境-偏好条件概率模型，其中，为偏好风格类别，为模型参数；

27、在模型参数更新时，对历史交互记录施加时间衰减权重，其中，为衰减率，为当前时间，为第k条历史记录的时间；

28、通过最小化加权损失函数更新所述模型参数。

29、进一步，对于新用户，通过主动偏好探测机制在车机屏幕上展示若干组候选风格供用户选择，根据用户选择的偏好风格初始化偏好模型的先验分布：

30、

31、其中，为候选风格总数，为平滑系数。

32、进一步，所述环境数据至少包括通过车联网服务获取的实时天气状况、温度、空气质量指数及公共节日信息；所述时空数据至少包括通过全球导航卫星系统获取的精确时间、日期、季节信息及高精度地理位置；所述车辆数据至少包括通过车载总线获取的车速、挡位、车门状态及车辆模式；所述用户生物特征数据至少包括通过车内摄像头获取的驾驶员面部图像以及通过麦克风获取的车内语音信号；

33、所述交互触发条件至少包括：车辆处于静止或极低速状态且持续时长超过第一预设阈值，同时车辆位于允许进行灯光交互的公共道路区域。

34、进一步，当所述车辆数据表明所述交互触发条件不再满足时，控制所述尾灯屏幕上的情感化图案平滑淡出并恢复至常规照明模式；

35、在情感化图案展示期间，当检测到所述车辆数据中的车速信号触发紧急制动时，所述情感化图案立即被全屏红色警示替代。

36、本发明的第二个方面提供了一种基于多源信息融合的车辆尾灯情感交互系统，包括：

37、多源信息采集模块，包括车联网通信单元、定位与授时单元、车载总线接口、面向驾驶员的车内摄像头及麦克风阵列、以及车外后向摄像头，用于采集环境数据、时空数据、车辆数据、用户生物特征数据以及车外视觉场景数据；

38、中央处理与决策模块，包括处理器及存储器，所述存储器存储有情感计算模型和图案生成引擎；所述情感计算模型用于对所述环境数据、所述时空数据、所述用户生物特征数据以及所述车外视觉场景数据进行融合处理后输出连续情感向量，所述连续情感向量为在valence-arousal二维情感坐标系中表征当前综合情境的情感坐标点；所述图案生成引擎用于根据所述连续情感向量和所述车外视觉场景数据中的环境色彩向量与场景语义标签动态生成尾灯显示图案指令；

39、智能尾灯显示模块，包括至少两块集成于车尾两侧的高分辨率、可独立像素控制的led点阵显示屏及其显示驱动控制器，用于接收所述图案指令并展示情感化图案；

40、系统控制总线，用于在所述多源信息采集模块、所述中央处理与决策模块和所述智能尾灯显示模块之间传输数据与控制指令。

41、进一步，所述存储器还存储有用户个性化偏好档案，所述图案生成引擎还获取所述用户个性化偏好档案作为输入，并以所述连续情感向量、所述环境色彩向量、所述场景语义标签和所述偏好档案中的偏好向量共同作为条件输入生成所述图案指令。

42、进一步，所述情感计算模型包括：

43、连续情感空间建模模块，采用valence-arousal二维情感坐标系对情感进行连续空间建模，输出为在所述二维情感空间中的连续情感坐标点；

44、多模态置信度融合模块，用于实时评估各输入模态的数据质量与置信度，当某一模态的置信度低于预设阈值时自动提高其他模态的融合权重；

45、视觉场景语义理解模块，用于对所述车外后向摄像头采集的图像进行场景分类和主色调提取，输出场景语义标签和环境色彩向量。

46、进一步，所述图案生成引擎包括：

47、条件生成模型，以所述连续情感坐标和所述环境色彩向量为条件输入，动态生成图案的视觉元素、色彩方案、动态序列及变化节奏，并支持在valence-arousal情感空间中对相邻情感状态进行平滑插值；

48、环境光自适应色彩映射模块，用于根据所述环境色彩向量和当前环境亮度动态调整生成图案的色相、饱和度和亮度。

49、进一步，所述系统还包括环境适应性调节机制：通过环境光传感器监测车外光照强度，自动调节所述尾灯显示屏的亮度；通过后向雷达或所述车外后向摄像头监测车后方行人与车辆距离，当距离小于第二预设阈值时自动降低图案亮度或切换至静态模式；

50、所述情感计算模型对所述用户生物特征数据的处理在车端离线完成，仅输出脱敏后的所述连续情感向量，原始图像与音频数据在完成实时分析后立即丢弃。

51、本发明的第三个方面提供了一种车辆，包括本发明的第二个方面提供的基于多源信息融合的车辆尾灯情感交互系统。

52、与现有技术相比，本发明提供的一种基于多源信息融合的车辆尾灯情感交互方法、系统及车辆，通过获取包括环境数据、时空数据、车辆数据、用户生物特征数据以及车外视觉场景数据在内的多源信息，经情感计算模型融合处理后输出valence-arousal二维情感坐标系中的连续情感向量，再以该情感向量和环境色彩向量、场景语义标签为条件输入图案生成引擎动态生成尾灯图案指令并驱动显示，实现了尾灯显示内容从静态预设到动态生成、从单一功能到情境自适应表达的技术跨越，使车辆尾灯能够根据当前综合情境实时生成具有情感语义的个性化图案，显著提升了车辆与外部环境之间的交互丰富度和用户体验。