基于图像识别的车内宠物安全智能控制方法及系统与流程

1.本发明属于智能座舱领域，具体涉及一种基于图像识别的车内宠物安全智能控制方法及系统。


背景技术：

2.在软件定义汽车、智能座舱时代，如何准确识别用户所处场景并推荐相关功能配置，以达到方便驾驶员专心驾驶、减少分心、让服务找人是目前智能座舱发展重要趋势之一，这些功能是衡量一辆车是否符合智能汽车的重要因素。因此，相关方面的工作受到学术界和工业界的重视，越来越多的研究人员、工程师参与其中。
3.目前，公开号为106564461的中国专利公开了一种车辆内人或宠物安全的智能控制系统及其方法；所述系统包括：车内活物检测模块，环境检测模块，环境调节模块，控制模块，控制显示模块，报警模块，通信模块，便携式电子设备，各模块分别与控制模块连接。所述方法包括：a、当检测到驾驶员下车时，判断车内是否有人或活物；b、当检测到车内有人或活物时，则检测车内环境参数是否超过预设环境参数阈值，若为是则检测车辆是否熄火；c、当检测到车辆熄火，则按照预设报警方式自动报警，否则检测车内是否开启环境调节设备；d、当检测到车内未打开环境调节设备，控制开启环境调节设备对车内环境进行调节。该专利能够有效解决人离开车后，车内人或其他生命体在车内安全性得不到保障的问题。然而，在具体使用时，宠物与人在密闭空间下的需求并不相同，该方法不能针对宠物个性化需求来保证宠物安全，同时，在使用过程中，车外行人不能知晓车内宠物的具体情况，容易引起不必要的麻烦。


技术实现要素：

4.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够针对宠物独自留在车内时，对其安全和申明体征进行监测和预警，并提高在车内舒适性的车内宠物安全智能控制方法及系统。
5.为了解决上述技术问题，本发明采用了如下的技术方案：一种基于图像识别的车内宠物安全智能控制方法，其特征在于，它包括如下步骤：步骤1，通过图像识别模块调用车内摄像头所拍摄的车内图片，并对所拍摄图片经过预处理、车内物品及生命体识别后，对车内生命体进行判定后，将判定结果发送至车机控制器；步骤2，当判定结果显示车内没有宠物时，回转回步骤1，继续通过车内摄像头监控车内画面；步骤3，当判定结果实现车内有宠物时，进一步判断车内是否有人；若车内有人，则结束；若车内无人，判定宠物当前状况是否正常；步骤4，若宠物状况正常，通过车机控制器启动宠物模式，若宠物状况反常，向用户远程发送预警信息。这样，先通过图像识别方法识别出车内物品和生命体征的人或动物，然后，在根据识别结果判定是否有人，并根据有人和没人两种情况分别进行相应的处理。这种处理手段能够有效减少车内情况的误判，并减少车机控制模块的分析和计算。同时，能够在只有宠物单独在车内时，开启宠物模式，将预设的个性
化方案面向宠物，使用户能够根据宠物喜好为其提供娱乐，减少宠物的焦躁情绪。同时，先识别宠物当前状况是否正常后，再根据宠物情况调用并启动相应程序，宠物安全性更加有保障。
6.进一步的，步骤1中，图片处理过程如下：s1，通过车载摄像头获取车内图片；s2，对图像进行补洞和滤波的预处理；s3，将预处理后的图像输入cnn网络进行宠物、人、其它物体的识别；s4，对人和宠物的画面通过不同框标示，并分别统计数量。对图片预处理后能够有效减少后续识别难度，提升图像识别的精准性。对不同类别的标的物用不同标定框来标示并统计数量，能为后续的判定提供较大辅助。
7.进一步的，s3中，对宠物、人、其它物体识别前，先将所有图片通过卷积核进行特征抽取，得到多个特征图，然后将每个特征图通过步进为2的pool操作，得到两倍数量的特征图；最后将步进后的特征图输入全连接层，再加一个维度为3的全连接后，输出分类结果。
8.进一步的，步骤3中，通过语音识别模块监测宠物当前状况是否正常，监测前，先预存用户宠物语音，并将宠物语音分类，每一种语音分类的类别对应一种宠物状态；监测时，通过语音识别模块识别实时获取的宠物语音，并与预存的宠物语音进行配比，确定宠物语音类别，再根据宠物语音类别对应的宠物状态，确定宠物当前状况是否正常。根据宠物音频和音量信息的捕捉，将宠物语音分类包括愉悦、警示、难过、愤怒、孤独，当识别到宠物语音为愤怒和警示时，确定宠物反常，向用户远程发送预警信息。宠物异常是通过语音识别模块进行定义的，通过语音识别模块识别出是那一类，用户可以自主设置出现哪些种类时通知主人。
9.进一步的，在图像识别模块调用车内摄像头图片之前，先通过车机控制器确认门窗是否关闭、汽车是否熄火；若车门和车窗关闭，且汽车熄火则调用图像识别模块进行图片提取。
10.进一步的，所述宠物模式通过车机控制器控制音乐播放器播放预设音乐或视频显示模块播放预设视频，同时，将车内温度设定在19-25℃之间。预设音乐和预设视频可以是宠物喜欢的类型，从而能够针对不同宠物进行个性化设定，有效提升宠物舒适性，减少焦躁情绪。而所设定的温度适中，能确保宠物不冷不热，保持一个较好的状态。
11.进一步的，在开启宠物模式的同时，通过车机控制器开启车内信息显示模块或语音模块，通过文字或语音提示车外行人宠物情况。
12.一种基于图像识别的车内宠物安全智能控制系统，其特征在于，包括图像识别模块、车机控制模块、预警模块以及移动电子设备，所述图像识别模块用于调用车内摄像头所拍摄的车内图片、对所拍摄图片经过预处理、车内物品及生命体识别，并将识别结果发送给车机控制模块；所述车机控制模块与预警模块和移动电子设备通讯连接，用于提取图像识别模块的识别结果，并根据图像识别结果作出相应的判定结果，然后根据判定结果开启预设程序；所述预警模块用于当满足预设条件时，按照预设报警方式自动报警；所述移动电子设备用于接收预警模块和车机控制模块所发送的信息。
附图说明
13.图1为实施例中车内宠物安全智能控制系统的示意图；图2为实施例中车内宠物安全智能控制方法的流程示意图；
图3为实施例中图像处理模块的图像处理流程图；图4为实施例中图像识别cnn网络结构图；图5为实施例中语音识别流程图；图6为实施例中语音识别网络结构图。
具体实施方式
14.下面结合附图和实施例对本发明进一步说明。
15.实施例：如图1所示，本实施例中的车内宠物安全智能控制系统包括图像识别模块、车机控制模块、预警模块以及移动电子设备，所述图像识别模块用于调用车内摄像头所拍摄的车内图片、对所拍摄图片经过预处理、车内物品及生命体识别，并将识别结果发送给车机控制模块；所述车机控制模块与预警模块和移动电子设备通讯连接，用于提取图像识别模块的识别结果，并根据图像识别结果作出相应的判定结果，然后根据判定结果开启预设程序；所述预警模块用于当满足预设条件时，按照预设报警方式自动报警；所述移动电子设备用于接收预警模块和车机控制模块所发送的信息。具体的，图像判别模块部署在车机控制器上，除此之外，车载摄像头(前后两个)、音响与车机控制器相连并受其控制，并且车机可以通过网络和移动电子设备通讯。
16.如图2所示，本实施例中车内宠物安全智能控制方法如下：步骤1，通过图像识别模块调用车内摄像头所拍摄的车内图片，并对所拍摄图片经过预处理、车内物品及生命体识别后，对车内生命体进行判定后，将判定结果发送至车机控制器；步骤2，当判定结果显示车内没有宠物时，回转回步骤1，继续通过车内摄像头监控车内画面；步骤3，当判定结果实现车内有宠物时，进一步判断车内是否有人；若车内有人，则结束；若车内无人，判定宠物当前状况是否正常；步骤4，若宠物状况正常，通过车机控制器启动宠物模式，若宠物状况反常，向用户远程发送预警信息。
17.如图3所示，步骤1中，图片处理过程如下：s1，通过车载摄像头获取车内图片；s2，对图像进行补洞和滤波的预处理；s3，将预处理后的图像输入cnn网络进行宠物、人、其它物体的识别；s4，对人和宠物的画面通过不同框标示，并分别统计数量。本实施例中，在每个人区域标记为圆圈，在每个宠物区画方框，然后分别统计圆圈和方框个数来统计车内人数和宠物个数。当然，具体设置是，可以将人和宠物的标定框设为不同形状或不同颜色的方式来进行区分标定。
18.如图4所示，s3中，对宠物、人、其它物体识别前，先将大小为128x128大小的图片，通过8个5x5的卷积核进行特征抽取，得到8个128x128的特征图；将每个特征图通过步进为2的pool操作，得到16个64x64的特征图；最后将步进后的特征图输入一个128维的全连接层，再加一个维度为3的全连接后，输出人、宠物、其它分类结果。
19.进一步的，步骤4中，宠物反常是通过图5和图6所示的流程图和神经网络图来判断的。首先，收集到的音频转换为16khz 采样率的单声道 wav 文件，然后输入yamnet，得到（n，1024）的embedding向量，其中n表示声音文件的帧数。yamnet模块是google开源的声音分类模型，本专利中利用其获取音频embedding特征，然后将得到的特征输入我们自己设计的三层神经网络，第一层1024个节点，第二层512个节点，第三层的节点数是分类的种类数，
本实例中采用6中，最后连接softmax层，对结果进行归一化，选择最大的作为预测的种类。
20.进一步的，具体实施例时，以宠物狗为例，用户可将宠物狗的声音文件分为以下几种：类别1，声音音调高，短促，频率不高的叫声表达兴奋，配合活泼的肢体动作，是想要邀请人或者自己的小伙伴来互动玩耍，不具威胁性，是快乐的声音；类别2，声音音调低沉，持续时间长，频率低，是宠物让自己更加具有气势并且具有威胁性，警告其他动物，如果继续动作可能会被攻击，是警示音；类别3，声音音调高，但是声音小，频率高，就像“嘤嘤”的声音，是宠物放低自己的姿态，撒娇，请求主人满足自己的要求，想要和主人玩耍，是礼貌的行为，是温柔的声音；类别4，声音音调刺耳，音调高，频率高，短促的声音时受到惊吓和严重刺激才会有的声音；类别5，声音音调低，时间中等，频率不高，嗯嗯的声音，并且配合收敛的动作，表示宠物难过；类别6，声音音调高且粗狂，短促，频率高，有威胁性警告意图，是愤怒的声音；类别7，声音像狼嚎，嗷呜的声音，这个声音是呼唤同伴，对宠物来说是孤独的声音。
21.进一步的，具体实施时，由于宠物个性差异，用户可根据宠物性格，预设各种音频、音量下宠物对应的声音类别，并对声音类别进行预设，同时，在声音类别为4、5、6、7时，发出预警，通知主人。
22.进一步的，在图像识别模块调用车内摄像头图片之前，先通过车机控制器确认门窗是否关闭、汽车是否熄火；若车门和车窗关闭，且汽车熄火则调用图像识别模块进行图片提取。
23.进一步的，所述宠物模式通过车机控制器控制音乐播放器播放预设音乐或视频显示模块播放预设视频，同时，将车内温度设定为21℃。
24.进一步的，在开启宠物模式的同时，通过车机控制器开启车内信息显示模块或语音模块，通过文字或语音提示车外行人宠物情况。
25.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，尽管申请人参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。