一种可驻留补能的便携式声光电一体化具身智能展示平台的制作方法

本发明涉及人机交互，尤其涉及一种可驻留补能的便携式声光电一体化具身智能展示平台。

背景技术：

1、随着数字展陈技术的发展，各类智能服务机器人、多媒体展示屏等设备被广泛应用于展会、博物馆、商业大厅等场景中。然而，传统的展示设备在实际落地于高动态、高复杂度的公共空间时，仍然存在虚度不足；

2、目前，公布号为202411634140.4的一项中国发明，提供了一种基于声光交互的照明场景生成方法及实现声光交互的智能控制系统，主要用于获取目标音乐的音轨信息；对音轨信息进行处理，得到音频数据；识别音频数据确定目标音乐的特征；根据特征控制灯具生成与目标音乐相匹配的照明场景，能够实现音乐与灯光的完美融合，增强观众的沉浸感；

3、但是上述交互逻辑属于被动的控制，缺乏空间维度的具身感知能力，声学处理机制在复杂环境下的鲁棒性极差，意图判定方式单一，无法过滤无效围观造成的算力与能源浪费；缺乏宏观的场景状态调度与系统级的能源管理能力。

技术实现思路

1、本发明解决的技术问题是：现有技术难以识别人群的真实交互意图，且容易被无效围观干扰，展示反馈缺乏具身智能的自适应能力，能源调度与交互任务存在冲突。

2、为解决上述技术问题，本发明提供如下技术方案：一种可驻留补能的便携式声光电一体化具身智能展示平台，包括：

3、视觉分析模块，用于采集图像流数据和用户图像数据，并进行特征识别处理，得到设备反馈数据和用户行为数据；

4、声学定位模块，用于采集环境音频数据，并进行降噪定位处理，得到声源信号数据；

5、智能决策模块，用于对设备反馈数据、用户行为数据和声源信号数据进行自适应算法匹配处理，输出控制参数指令；

6、场景渲染模块，用于根据控制参数指令执行场景渲染，输出控制信号；

7、能源调度模块，用于根据当前的控制信号对设备进行预归位判定，得到充电控制信号和设备移动指令。

8、优选地，所述视觉分析模块包括采集单元和特征识别单元；

9、所述采集单元用于采集图像流数据和用户图像数据；

10、在舞台部署的双摄像头组件，所述双摄像头组件包括上摄像头组件和下摄像头组件，通过下摄像头组件进行低仰角斜向上拍摄触控展示屏，得到图像流数据，通过上摄像头组件进行正视角拍摄站台前方的用户，得到用户图像数据。

11、优选地，所述特征识别单元用于对图像流数据和用户图像数据，并进行特征识别处理，得到设备反馈数据和用户行为数据；

12、将图像流数据和用户图像数据发送到边缘计算中心，执行特征识别处理：

13、将所述图像流数据通过透视变换矩阵进行矫正，同时采用运动目标追踪算法，识别设备底盘的标志点轮廓，计算得到像素坐标，以触控屏的宽和高作为触控坐标系，将所述像素坐标映射到触控坐标系中，得到设备空间坐标矩阵、航向姿态向量和运动状态向量，并保存为设备反馈数据；

14、将所述用户图像数据进行人脸关键点检测，截取得到人脸区域，并进行压缩脱敏处理，得到人脸特征向量，同时在内存中立即销毁所述人脸区域，同时识别用户头部偏转角和身体运动幅度，并进行空间标定，得到用户空间定位矩阵，根据人脸特征向量中的眼部停留时长和视线偏角得到行为指标向量，将所述人脸特征向量、用户空间定位矩阵和行为指标向量保存为用户行为数据。

15、优选地，所述声学定位模块包括噪声评估单元和噪声判别单元；

16、所述噪声评估单元用于对环境音频数据进行降噪定位处理，得到声源信号数据；

17、通过部署在下壳体前部的定向麦克风，对展台前方进行高频采样，得到环境音频数据，所述环境音频数据为的音频波形矩阵，其中m为马可夫通道数，s为一帧内的数据采样点；

18、将所述环境音频数据输入到边缘计算中心并进行预处理，得到噪声频域信号，所述预处理包括去直流分量、带通滤波、分帧加窗和时域对齐补偿；

19、构建短时观察窗口，将所述噪声频域信号划分为若干个短时能量序列，对若干个短时能量序列累加平均计算，得到平均噪声基底，同时计算短时能量序列偏离的离差平方和的均值，得到短时波动方差，并映射为嘈杂度得分，设置第一阈值和第二阈值，对所述嘈杂度得分进行等级判定：

20、当所述嘈杂度得分小于第一阈值时，判定为第一等级，表示当前处于安静环境；

21、当第一阈值嘈杂度得分第二阈值时，判定为第二等级，表示当前处于一般嘈杂；

22、当嘈杂度得分第二阈值时，判定为第三等级，表示当前处于高度嘈杂；

23、将所述平均噪声基底、嘈杂度得分和等级判定结果进行向量拼接，得到声学环境评估向量。

24、优选地，所述噪声判别单元用于通过双重短时能量判定器，对噪声频域信号判别，得到声源信号数据：

25、在边缘计算中心构建双重短时能量判定器，利用所述声学环境评估向量中的嘈杂度等级，对所述噪声频域信号进行分类，逐帧输出布尔标志位，所述布尔标志位包括0和1，0代表纯噪声，1代表含有效人声，当所述布尔标志位为1时，以阵列几何中心为原点，预设覆盖展台前方扇形区域的k个导向方向，通过最小方差无畸变响应算法，计算各个导向方向角的空间协方差矩阵和复数权重向量，并进行多通道信号加权求和，得到k个单通道频域音频；

26、选取功率最大值对应的方向作为主声源方向，并将主声源方向上的单通道频域音频通过逆傅里叶变换重建为时域增强语音，同时，基于广义互相关相位加权的声源定位算法，估计声源绝对方位角，并经卡尔曼滤波平滑后得到稳定方位角和对应的置信度；

27、当所述置信度高于预设门限时，将所述稳定方位角、置信度、时域增强语音和时间戳保存为声源信号数据。

28、优选地，所述智能决策模块包括热度特征算子单元和控制参数单元；

29、所述热度特征算子单元用于通过设备反馈数据、用户行为数据和声源信号数据计算得到交互热度算子；

30、将所述设备反馈数据、用户行为数据和声源信号数据按照时间戳进行时间窗口对齐，统计所述用户空间定位矩阵中的有效用户数量，根据所述行为指标向量中提取用户的眼部停留视线偏角，计算有效用户的平均眼部停留时长和视线偏角方差，提取声源信号数据中各帧的布尔标志位序列，计算标志位为1的帧数占总帧数的比例，得到语音激活帧占比，提取当前时间窗口的各个有效声源帧置信度的均值作为当前声源置信度，计算当前空间的交互热度算子：

31、

32、。

33、优选地，所述控制参数单元用于根据状态转移方程对当前场景判定生成控制参数指令；

34、所述控制参数指令包括第一控制指令和第二控制指令；

35、所述第一控制指令的处理逻辑为：

36、构建多状态机模型，并根据所述交互热度算子、有效用户数量、设备剩余电量和连续空闲时长进行场景状态转移，得到状态标签，所述状态标签包括驻留补能、展会互动、讲解教学和自动巡航，所述状态转移的处理逻辑为：

37、当设备剩余电量预设电量阈值，或连续空闲时长预设时长阈值且有效用户数量=0时，状态标签转移为驻留补能；

38、当设备剩余电量预设电量阈值且连续空闲时长预设时长阈值且有效用户数量=0时，状态标签转移为自动巡航；

39、当有效用户数量≥1且预设热度下限≤交互热度算子<预设热度上限时，状态标签转移为展会互动；

40、当有效用户数量≥1且交互热度算子≥预设热度上限时，状态标签转移为讲解教学；

41、所述第二控制指令的处理逻辑为：

42、根据所述状态标签，映射生成系统运行策略、环境适配参数和结构化控制指令；所述环境适配参数通过所述声学环境评估向量动态生成，当处于高度嘈杂等级时，自动提高音频输出增益参数和屏幕对比度参数；

43、所述结构化控制指令包括基于所述稳定方位角和用户空间定位矩阵生成的目标朝向角和跟随移动速度。

44、优选地，所述场景渲染模块包括视听渲染单元和光影渲染单元；

45、所述视听渲染单元用于根据系统运行策略和环境适配参数，输出视觉特效信号、交互界面显示信号和环绕声控制信号；

46、提取所述用户空间定位矩阵中的用户身高估计值和视线偏角，动态计算ui界面的最佳倾斜角和字体缩放比例，生成交互界面显示信号；

47、在展会互动或讲解教学状态下，根据提取的主声源方向和时域增强语音，驱动虚拟数字人模型进行唇音同步计算与面部微表情渲染，生成视觉特效信号；

48、根据所述目标朝向角与声源绝对方位角，利用hrtf函数计算多通道音频的相位差和幅度差，控制平台内置的环绕声阵列，生成环绕声控制信号。

49、优选地，所述光影渲染单元用于根据状态标签输出灯光控制信号：

50、当状态标签为驻留补能时，输出低频呼吸灯光信号；

51、当状态标签为自动巡航时，输出流水灯光信号；

52、当状态标签为展会互动或讲解教学时，提取时域增强语音的短时能量包络，将音频包络映射为rgb色彩空间的饱和度与亮度值，输出声光联动灯光控制信号。

53、优选地，所述能源调度模块包括：

54、实时解析所述控制参数指令中的状态标签，当监测到状态标签切换为驻留补能时，触发预归位判定；

55、获取设备反馈数据中的设备空间坐标矩阵和航向姿态向量，调取展台二维全局栅格地图，以补能坞站的坐标为目标终点，采用a*寻路算法与动态窗口法的路径规划算法，计算出避障返航轨迹，得到设备移动指令发送至设备底盘，设备移动指令包括线速度和角速度；

56、当设备底盘对齐补能坞站，且检测到充电极片接触电压上升至触发阈值时，向平台发送握手协议，握手成功后，获取电池当前的温度和健康度，匹配对应的恒压充电曲线，输出充电控制信号；充电控制信号的处理过程为：若状态标签被用户交互行为中断并重新评估为展会互动或讲解教学，且当前电量大于最低安全阈值，立即断开充电继电器，并重新生成设备移动指令

57、本发明的有益效果：本发明在提取到人脸及姿态特征向量后，立即在内存中销毁原始图像区域，仅保留单向不可逆的脱敏行为矩阵，杜绝了公共空间展示的隐私泄露风险；同时，采用低仰角下摄+正视角上摄的物理分离架构，结合声学模块引入的短时波动方差抗噪评估，使得机器在嘈杂环境或在被物理遮挡遮挡的复杂环境中，依然能够本体定位，并针对外界噪声进行环境辨别的能力；本发明不采用传统的线性权重算法，而是创造性地提出了有效人数和眼部停留时长联合，并将声学激活占比作为正向指数增益，计算出全新的交互热度算子，该热度算子模型能够产生非线性的博弈效应，有效实现精准交互热度预判，节省了无效渲染带来的电量消耗；此外，本发明在视觉和听觉上，能根据实时测算的用户身高动态计算ui界面的透视倾斜角与字体缩放；同时驱动虚拟数字人目光时刻锁定发声者方位，并且融合视听绝对方位角并引入头件声场传输函数，驱动环绕声阵列在空中形成精准对准用户的声学聚光灯，避免展厅音频扰民的情况；

58、本发明的状态转移判定阈值（如电量、时长、用户数）由设备的实时能耗、空间地图距离及人体工程学物理面积动态计算得出，无需人工硬编码，更重要的是，且具备交互优先级抢占机制，即使设备处于充电驻留状态，当检测到安全电量允许且前方出现高热度交互请求，即可瞬间断开继电器脱离坞站进行接待响应，提高设备的续航寿命，保障了用户交互不被中断，可用于后续的多机协同的无缝交互。