基于多模态感知融合的智能电动多功能车控制系统及方法与流程
本发明涉及智能车控制,尤其涉及基于多模态感知融合的智能电动多功能车控制系统及方法。
背景技术:
1、随着人工智能与传感器技术的快速发展,电动多功能车(如电动轮椅、服务机器人、自动导引车等)在医疗、物流、家庭服务等领域的应用日益广泛。现有车辆控制系统通常依赖单一传感器(如仅用视觉或激光雷达)进行环境感知,决策逻辑采用固定阈值控制规则,难以适应复杂多变的环境。
2、现有技术存在以下不足:
3、在低光照、雨雾等恶劣环境下,单一感知模态可靠性差;
4、多传感器数据融合方式简单(如直接叠加),缺乏对不同模态数据质量与任务相关性的动态考量;
5、控制策略固定,无法根据环境复杂度调整感知权重与执行策略,导致适应性和鲁棒性不足。
6、因此,亟需一种能够高效融合多模态感知信息并自适应调整控制策略的智能控制系统。
技术实现思路
1、本发明的目的在于:为了解决上述问题,而提出的基于多模态感知融合的智能电动多功能车控制系统及方法。
2、为了实现上述目的,本发明采用了如下技术方案:
3、基于多模态感知融合的智能电动多功能车控制系统,
4、包括多模态感知单元、ai决策引擎、自适应协同控制单元、执行单元和智能电源管理单元;
5、其中,
6、多模态感知单元包括视觉检测模块、语音识别模块、环境传感器模块和用户行为识别模块;
7、ai决策引擎基于深度学习模型,根据多模态感知数据生成最优控制策略;
8、自适应协同控制单元基于动态权重机制,实现车顶板结构、行走结构和机械臂之间的高效协同。
9、优选地,所述ai决策引擎包括视觉特征提取网络、语音语义分析网络、环境数据处理网络和用户行为分析网络;
10、其中,视觉特征提取网络使用改进的yolov5模型,语音语义分析网络使用transformer模型结合声纹识别技术,环境数据处理网络使用自适应卡尔曼滤波算法,用户行为分析网络使用lstm时序模型。
11、优选地,所述自适应协同控制单元基于动态权重机制,权重计算公式为:w_i=α*s_i+β*c_i+γ*e_i,其中s_i为感知数据质量,c_i为任务相关性,e_i为环境复杂度,α、β、γ为权重系数,根据环境动态调整。
12、优选地,所述多模态感知单元中的视觉检测模块采用全景摄像头,语音识别模块采用四麦克风阵列,环境传感器模块包括高度检测模块、重心检测模块和测距检测模块。
13、优选地,所述信号处理电路包括差分放大器、自适应低通滤波器、可编程增益放大器和adc转换器;
14、其中,差分放大器采用ad8628,自适应低通滤波器基于fir滤波器设计。
15、优选地,所述电源管理电路包括多级dcdc转换器、能量回收电路和电池管理模块;其中,一级dcdc转换器采用ti lm5164,能量回收电路采用ti tps54331。
16、优选地,本系统还配置自适应环境调节模块。
17、基于多模态感知融合的智能电动多功能车控制方法,包括以下步骤:
18、a、通过多模态感知单元获取多源环境与用户行为数据;
19、b、通过ai决策引擎生成最优整机控制策略;
20、c、通过自适应协同控制单元实现整机各机构协同调度;
21、d、通过执行单元落地机械与行走动作;
22、e、通过智能电源管理单元动态优化整机能耗。
23、步骤a中,多模态感知单元通过自适应注意力机制融合各模态数据。
24、步骤c中,自适应协同控制单元根据环境和任务需求动态调整各功能模块的权重。
25、综上所述,由于采用了上述技术方案,本发明的有益效果是:
26、1、本发明通过多模态感知单元融合视觉、语音、环境及用户行为数据,并引入基于动态权重的自适应协同控制机制,能够根据环境复杂度、感知数据质量和任务相关性实时调整各模态的融合权重;在低光照、雨雾、强噪声或路面突变等恶劣条件下,系统自动降低受干扰模态的贡献度,同时增强高可靠性模态(如红外测距、超声波)的权重,避免单一传感器失效导致整车失控。
27、2、本发明通过自适应卡尔曼滤波算法动态优化过程噪声与观测噪声参数,确保高度、重心及测距数据的平稳可靠。环境适应性控制通过闭环反馈持续调整底盘高度调节频率、速度限制和避障策略,使车辆能够平滑应对坡度变化、湿滑路面及动态障碍物。与现有固定融合策略相比,本发明显著提高了电动多功能车在室内外复杂场景下的感知完整性和决策连续性,降低了误判和漏检风险,从而大幅增强整车的环境适应能力和运行安全性。
1.一种基于多模态感知融合的智能电动多功能车控制系统,其特征在于,
2.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,ai决策引擎包括视觉特征提取网络、语音语义分析网络、环境数据处理网络和用户行为分析网络;
3.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,自适应协同控制单元基于动态权重机制,权重计算公式为:w_i=α*s_i+β*c_i+γ*e_i,其中s_i为感知数据质量,c_i为任务相关性,e_i为环境复杂度,α、β、γ为权重系数,根据环境动态调整。
4.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,多模态感知单元中的视觉检测模块采用全景摄像头,语音识别模块采用四麦克风阵列,环境传感器模块包括高度检测模块、重心检测模块和测距检测模块。
5.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,信号处理电路包括差分放大器、自适应低通滤波器、可编程增益放大器和adc转换器;
6.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,电源管理电路包括多级dcdc转换器、能量回收电路和电池管理模块;其中,一级dcdc转换器采用ti lm5164,能量回收电路采用ti tps54331。
7.根据权利要求1所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,还设有自适应环境调节模块,能够根据环境条件自动调整感知参数和控制策略。
8.基于多模态感知融合的智能电动多功能车控制方法,根据权利要求1-7任一所述的基于多模态感知融合的智能电动多功能车控制系统,其特征在于,包括以下步骤:
9.根据权利要求8所述的基于多模态感知融合的智能电动多功能车控制方法,其特征在于,步骤a中,多模态感知单元通过自适应注意力机制融合各模态数据。
10.根据权利要求8所述的基于多模态感知融合的智能电动多功能车控制方法,其特征在于,步骤c中,自适应协同控制单元根据环境和任务需求动态调整各功能模块的权重。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com