车载遗留物监控告警方法及其5G系统与流程

车载遗留物监控告警方法及其5g系统
技术领域
1.本技术涉及车载监控遗留物及图像处理领域，尤其是涉及一种车载遗留物监控告警方法及其5g系统。


背景技术：

2.随着网络及移动设备的发展，网约车、出租车成为当下人们出行方式的一个新的选择。在搭乘服务的过程中，由于搭乘人的粗心大意，容易发生物品遗留情况；同时，下车后，搭乘人又不便再次联系司机，即便联系至司机，有时也难以重新获取遗失物品，因此本技术提出一种新的技术方案。


技术实现要素：

3.为了改善乘客的搭乘体验，本技术提供一种车载遗留物监控告警方法及其5g系统。
4.第一方面，本技术提供一种车载遗留物监控告警方法，采用如下的技术方案：一种车载遗留物监控告警方法，包括：q1、确认乘客订单；q2、判断车辆是否到达订单中的约定地点，如果是，则相应车载设备激活并开始采集车内图像信息；以及，q3、发送图像信息至图像处理云台进行识别和分析处理，且图像处理云台在识别出存在乘客遗留物后，再次识别物品明细，并将识别和分析处理所得信息发送至对应的司机端和/或乘客端。
5.可选的，所述确认乘客订单包括：接收预设的网约车app的司机端的接单反馈。
6.可选的，所述获取车内图像信息包括：获取订单确认后至车门开启时的多张a类图像；获取汽车启动至订单结束时的多张b类图像；以及，获取订单结束后x时间的多张c类图像。
7.可选的，所述b类图像的采集频率根据订单的行程长度选定。
8.可选的，所述图像处理云台进行识别和分析处理包括：缓存接收的a类图像、b类图像以及c类图像；对图像通过高斯混合模型建立模型背景，并采用背景差分法得到背景图像a、背景图像b与背景图像c，并缓存；以及，处理背景图像之间的差异性，判断是否存在遗留物。
9.可选的，所述处理背景图像之间的差异性，判断是否存在遗留物，其包括：将所述背景图像a放入第一个背景缓存区cb，并将所述背景图像b放入第二个背景缓冲区pb；将所述背景缓冲区pb与cb相减，得到某块连通域，若所述连通域超过一定的阀值，
则判断为存在可疑遗留物；将所述背景图像b放入第一个背景缓存区cb，并将所述的背景c放入第二个背景缓冲区pb；以及，将所述背景缓冲区pb与cb相减，得到某块连通域，若所述连通域超过一定的阀值，则判断为存在乘客遗留物。
10.可选的，还包括：q4、当存在乘客遗留物，图像处理云台基于图像信息识别获取乘客人脸信息，并发送识别和分析处理结果信息至另一二级云台存储；以及，q5、二级云台进行预提醒分析处理；所述预提醒分析处理包括：判断t1周期内，同一乘客遗留物品次数与总搭乘次数的比值，如果比值超出对应阈值，则在下一次出现该乘客的订单时，根据乘客订单，在订单结束前发送遗忘预提醒信息至对应的司机端和/或乘客端。
11.可选的，所述二级云台还用于司机反馈响应，所述司机反馈响应包括：获取本次订单的司机端反馈信息；根据反馈信息判别遗留物品的类别是常规、垃圾或其他；如果遗留物品的类别是垃圾，则判断t2周期内，同一乘客遗留物品为垃圾的次数与总搭乘次数的比值，如果比值超出对应阈值，则在下一次出现该乘客的订单时，根据乘客订单，在订单结束时发送卫生预提醒信息至对应的乘客端。
12.可选的，所述司机反馈响应包括：当判别遗留物品的类别是其他，且为危险品，则登记该乘客进入黑名单，获取本次的乘客订单和搭乘过程的关联信息，并存入安防警备库；以及，当确认订单时，如果判别订单所属为黑名单乘客，则发送过往危险品遗留记录至对应的司机端。
13.第二方面，本技术提供一种5g车载遗留物监控告警系统，采用如下的技术方案：一种5g车载遗留物监控告警系统，包括：广角摄像头，其设置于车辆内，且被配置为：用于拍摄角度覆盖乘客位置，且在指定时间，以预设频次拍摄多幅图像信息；5g设备，其连接于广角摄像头的输出端，且被配置为：接收广角摄像头拍摄的图像信息，并将图像信息通过5g网络传输上传；以及，图像处理云平台，其连接于5g设备，且其如上述车载遗留物监控告警方法。
14.综上所述，本技术包括以下至少一种有益技术效果：1、不仅可以根据车内各阶段的图像，多次分析识别是否有物品遗留，并在有物品遗留时及时提醒司机、乘客；还可以根据乘客过往行为记录，在乘客下车前做预提醒其携带随身物品；在司机确认订单时，预提醒乘客的过往记录，从而有效改善乘客的乘车体验和司机的服务体验；2、在有了图像处理云平台的前提，能更好的导入数据库，检测车上遗留物的种类；也可与其他库进行结合，将车载遗留物识别这一技术集成化，即若与剧毒化学品的库相结合，就能检测到车上遗留物是否是危险物品。同时，其考虑到应用场景的复杂性，5g网络存在一定优势，在 5g 网络技术的支持下，基于服务的架构可以使上述业务场景构建更加简
单明了；具体而言，在有源天线处理单元内测，大规模多路输入、多路输出天线需要完成对摄像头所处位置的 3d 波束赋形，使信号强度得到增强，而且降低了信号的干扰，将组网问题的最后一公里得到解决。
附图说明
15.图1是本技术的系统的工作流程图。
16.图2是本技术的图像处理云平台工作流程图；图3是本技术的图像处理云平台功能模块图。
具体实施方式
17.以下结合附图1
‑
3对本技术作进一步详细说明。
18.本技术实施例公开了一种5g车载遗留物监控告警系统。
19.5g车载遗留物监控告警系统包括：广角摄像头、5g设备以及图像处理云平台，且其可连接网约车平台及app，多平台配合使用。
20.其中，广角摄像头装设在车内顶层中部，拍摄角度覆盖乘客位置（如后座），且其在指定时间，以预设频次拍摄3个类型的图像：a类图像，乘客订单确认后至车门开启时的采集，即乘客上车前规定时间内的多幅图像；b类图像，汽车启动至订单结束时采集，即乘客乘车过程中的多幅图像，b类图像的采集频率根据订单的行程长度选定；以及，c类图像，订单结束后x时间采集，即乘客下车后规定时间内的多幅图像。
21.上述a、c类图像中的规定时间由摄像头拍照后发送相关计时指令至5g设备计时确定；计时指令和b类图像的具体频次，均由工作人员预确定。a、b、c图像分别为多张，a、c可为至少10张，b至少 2张，可为10张。
22.关于图像采集流程，具体如下：驾驶员操作手机等移动设备登陆网约车app司机端，通过其接受网约车平台的发布的乘客订单；当（云台/5g设备通过网约车平台，或对比订单信息和车载导航系统的位置信息判定）驾驶员到达约定点，输出触发信号激活广角摄像头，采集图片信息，如包括：在乘客上车前规定时间内，广角摄像头按一定频率拍照车内图像，取得多幅a类型图像；在乘客乘车期间，广角摄像头按一定频率拍照车内图像，取得多幅b类型图像；在乘客下车后，广角摄像头按一定频率拍照车内图像，取得多幅c类型图像。
23.5g设备，是指能够进行5g网络通信的电子设备，同时兼具信息数据缓存的功能。5g设备接收广角摄像头的图像信息，通过5g网络传输将图像信息数据发送至图像处理云平台。
24.图像处理云平台，包括：原始信息图像模块，其用于缓存5g设备发送来的多幅各类型图像数据；背景模型模块，其用于缓存图像处理云平台利用背景差分的方法，对原始图像进行处理后生成的背景图像；背景缓冲模块，其用于装载背景图像信息，在两块背景缓冲区域相减后，得到连通
域用于识别遗留物；以及，告警系统模块，其用于将遗留物识别结果通过5g网络传输技术将相关信息数据告知司机及乘客，避免物品遗失。
25.根据上述内容，本技术有了图像处理云平台的前提，能更好的导入数据库，检测车上遗留物的种类；也可与其他库进行结合，将车载遗留物识别这一技术集成化，即若与剧毒化学品的库相结合，就能检测到车上遗留物是否是危险物品。
26.同时，其考虑到应用场景的复杂性，5g网络存在一定优势，在 5g 网络技术的支持下，基于服务的架构可以使上述业务场景构建更加简单明了；具体而言，在有源天线处理单元内测，大规模多路输入、多路输出天线需要完成对摄像头所处位置的 3d 波束赋形，使信号强度得到增强，而且降低了信号的干扰，将组网问题的最后一公里得到解决。
27.本技术实施例还公开一种车载遗留物监控告警方法，其可通过上述系统实现。
28.车载遗留物监控告警方法包括：q1、确认乘客订单；q2、判断车辆是否到达订单中的约定地点，如果是，则相应车载设备激活并开始采集车内图像信息；以及，q3、发送图像信息至图像处理云台进行识别和分析处理，且图像处理云台在识别出存在乘客遗留物后，再次识别物品明细，并将识别和分析处理所得信息发送至对应的司机端和/或乘客端。
29.其中，图像处理云台进行识别和分析处理包括：缓存接收的a类图像、b类图像以及c类图像；以及，对图像通过高斯混合模型建立模型背景，并采用背景差分法得到背景图像a、背景图像b与背景图像c，并缓存。
30.具体的，采用高斯混合模型建立模型背景的方法为：先对一帧图像的每一个像素点对应的高斯分布进行初始化，对均值、权值、方差按实际情况进行赋值，实际情况与摄像头拍摄的车内无人无物正常环境相关，建立高斯分布模型；随后获取新一帧图像，取所述一帧图像的一个新的像素点与其对应的高斯分布模型进行比较，若比较结果和所述高斯分配模型的均值偏差在一定范围内，则认为该像素点与该模型相匹配，否则不匹配。
31.若像素点与所述高斯分布模型相匹配，则参照所述像素点的特征向量参数，更新所述高斯分布模型。
32.若像素点与所述高斯分布模型不匹配，则利用所述高斯分布模型自身权值参数进行更新，更新后，进行权值归一化处理。
33.最后选出更新后的高斯混合模型作为所述背景模型。
34.而上述采用背景差分法，即将a类型多幅图像利用背景差分的方法建立背景模型称为背景a，将b类型多幅图像利用背景差分的方法建立背景模型称为背景b,将c类型多幅图像利用背景差分的方法建立背景模型称为背景c。
35.具体的：若上述像素点与所有高斯分布模型均比较完毕后，对当前像素点的高斯混合模型进行排序，选取排序靠前不少于10个作为所述模型背景，即背景（图像）a、背景b与背景c。
36.图像处理云台进行识别和分析处理还包括：处理背景图像之间的差异性，判断是否存在遗留物。具体如：将所述背景图像a放入第一个背景缓存区cb，并将所述背景图像b放入第二个背景缓冲区pb；将所述背景缓冲区pb与cb相减，得到某块连通域，若所述连通域超过一定的阀值，则判断为存在可疑遗留物；将所述背景图像b放入第一个背景缓存区cb，并将所述的背景c放入第二个背景缓冲区pb；以及，将所述背景缓冲区pb与cb相减，得到某块连通域，若所述连通域超过一定的阀值，则判断为存在乘客遗留物。
37.根据上述可知，本方法并非一次判别，而是至少分为两部分，先做可疑判别，再二次判别，即通过多次对比，提高了监控的实效性和准确率。
38.判断乘客遗留物后，云台可采用计算机神经识别算法再次识别该物品得知其明细（如具体的种类）。之后，通过5g网络传输技术将相关信息告知司机和/或乘客，如利用网约车app发送信息，或根据订单中的乘客的联系方式采用短信通知，以使得乘客、司机两者避免不必要的损失和麻烦。
39.本方法除了上述对遗留物品识别进行提醒外，还包括：q4、当存在乘客遗留物，图像处理云台基于图像信息识别获取乘客人脸信息，并发送识别和分析处理结果信息至另一二级云台存储；以及，q5、二级云台进行预提醒分析处理；其中，预提醒分析处理包括：判断t1周期内（如一个季度），同一乘客遗留物品次数与总搭乘次数的比值，如果比值超出对应阈值，则在下一次出现该乘客的订单时，根据乘客订单，在订单结束前发送遗忘预提醒信息至对应的司机端和/或乘客端。
40.关于订单结束前的判别，其可为：云台从网约车平台获取本次行程数据；当网约车平台反馈表示距离目的地≤1000m时，即为上述遗忘预提醒信息发送时间节点。
41.若二级云台仅仅用作上述，相对浪费资源，为此，其还用于司机反馈响应，司机反馈响应包括：以获取本次订单的司机端反馈信息；根据反馈信息判别遗留物品的类别是常规、垃圾或其他；如果遗留物品的类别是垃圾，则判断t2周期内（如一个季度），同一乘客遗留物品为垃圾的次数与总搭乘次数的比值，如果比值超出对应阈值，则在下一次出现该乘客的订单时，根据乘客订单，在订单结束时发送卫生预提醒信息至对应的乘客端。
42.同时，当判别遗留物品的类别是其他，且为危险品，则登记该乘客进入黑名单，获取本次的乘客订单和搭乘过程的关联信息（过程数据），并存入安防警备库；以及，在本方法的第一步确认订单时，如果判别订单所属为黑名单乘客，则发送过往危险品遗留记录至对应的司机端。
43.综上所述，应用本方法不仅可以根据车内各阶段的图像，识别是否有物品遗留，并在有物品遗留时及时提醒司机、乘客；还可以根据乘客过往行为记录，在乘客下车前做预提醒其携带随身物品；在司机确认订单时，预提醒乘客的过往记录，从而有效改善乘客的乘车
体验和司机的服务体验。
44.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。