一种安全告警方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，更具体地说，涉及一种安全告警方法、装置、电子设备及存储介质。


背景技术：

2.随着计算机网络技术的发展，智能打车，如网约车等打车方式逐渐成为交通出行的主要手段。
3.在出行的过程中，无论是司机还是乘客均可能会将身体伸出窗外，这样的行为极具危险性，容易酿成事故。所以，在行车过程中，如何检测乘客和司机的身体是否伸出窗外是一个亟待解决的问题。


技术实现要素：

4.为了解决上述现有技术中的问题，本技术实施例提供了一种安全告警方法，可以实时监测车内的司机或乘客是否存在将身体靠近窗户或伸出窗外的行为，并给出相应告警，保证人员安全。
5.第一方面，本技术实施例提供了一种安全告警方法，所述方法包括：
6.对获取的目标车辆的车内图像进行人体关键点检测，得到多个人体关键点的坐标位置；
7.若所述多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则获取所述目标车辆的车外图像；所述设定区域用于指示所述目标车辆的车窗在所述车内图像中对应的区域；所述车外图像中包含所述目标车辆的车窗；
8.若所述车外图像中包含人体图像区域，则输出安全告警信息。
9.在一种可能的实现方式中，所述对获取的目标车辆的车内图像进行人体关键点检测，得到多个人体关键点的坐标位置，包括：
10.通过关键点检测模型，对所述车内图像进行人体关键点检测，得到所述关键点检测模型输出的多个人体关键点的坐标位置；所述关键点检测模型是基于具有人体位置标注信息的样本图像进行训练得到的。
11.在一种可能的实现方式中，所述关键点检测模型包括第一卷积子网络和第一输出子网络；所述通过关键点检测模型，对所述车内图像进行人体关键点检测，得到所述关键点检测模型输出的多个人体关键点的坐标位置，包括：
12.将所述车内图像输入所述第一卷积子网络，通过所述第一卷积子网络对所述车内图像进行特征提取，得到第一车内图像特征图；
13.将所述第一车内图像特征图输入所述第一输出子网络，得到所述第一输出子网络输出的所述多个人体关键点的坐标位置。
14.在一种可能的实现方式中，所述关键点检测模型包括第二卷积子网络、第一分类子网络、第一回归子网络和第二输出子网络；所述通过关键点检测模型，对所述车内图像进
行人体关键点检测，得到所述关键点检测模型输出的多个人体关键点的坐标位置，包括：
15.将所述车内图像输入所述第二卷积子网络，通过所述第二卷积子网络对所述车内图像进行特征提取，得到第二车内图像特征图；
16.将所述第二车内图像特征图输入所述第一分类子网络，通过所述第一分类子网络对所述第二车内图像特征图中包含的对象进行分类，得到第一分类特征图；
17.将所述第一分类特征图输入所述第一回归子网络，通过所述第一回归子网络，在所述第一分类特征图在标注人体区域的位置，得到车内标注特征图；
18.将所述车内标注特征图输入所述第二输出子网络中，得到所述第二输出子网络基于所述车内标注特征图输出的所述多个人体关键点的坐标位置。
19.在一种可能的方式中，所述若所述多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则获取所述目标车辆的车外图像，包括：
20.若所述至少一个人体关键点的坐标位置位于所述目标车辆左侧车窗对应的设定区域内，则获取所述目标车辆左侧的车外图像；
21.若所述至少一个人体关键点的坐标位置位于所述目标车辆右侧车窗对应的设定区域内，则获取所述目标车辆右侧的车外图像。
22.在一种可能的方式中，所述若所述车外图像中包含人体图像区域，则输出安全告警信息之前，所述方法包括：
23.通过区域检测模型，对所述车外图像进行人体检测，并根据所述区域检测模型的输出，确定所述车外图像中是否包含人体图像区域；所述区域检测模型是基于具有人体关键点位置标注信息的训练图像进行训练得到的。
24.在一种可能的方式中，所述区域检测模型包括第三卷积子网络和第二回归子网络；所述通过区域检测模型，对所述车外图像进行人体检测，并根据所述区域检测模型的输出，确定所述车外图像中是否包含人体图像区域，包括：
25.将所述车外图像输入所述第三卷积子网络，通过所述第三卷积子网络对所述车外图像进行特征提取，得到第一车外图像特征图；
26.将所述第一车外图像特征图输入所述第二回归子网络，若得到标注有人体区域的车外标注图像，则确定所述车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定所述车外图像中不包含人体图像区域。
27.在一种可能的实施方式中，所述区域检测模型包括第四卷积子网络、第二分类子网络和第三回归子网络；所述通过区域检测模型，对所述车外图像进行人体检测，并根据所述区域检测模型的输出，确定所述车外图像中是否包含人体图像区域，包括：
28.将所述车外图像输入所述第四卷积子网络，通过所述第四卷积子网络对所述车外图像进行特征提取，得到第二车外图像特征图；
29.将所述第二车外图像特征图输入所述第二分类子网络，通过所述第二分类子网络对所述第二车外图像特征图中包含的对象进行分类，得到第二分类特征图；
30.将所述第二分类特征图输入所述第三回归子网络，若得到标注有人体区域的车外标注图像，则确定所述车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定所述车外图像中不包含人体图像区域。
31.第二方面，本技术实施例提供了一种安全告警装置，包括：
32.确定单元，用于对获取的目标车辆的车内图像进行人体关键点检测，得到多个人体关键点的坐标位置；
33.判断单元，用于若所述多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则获取所述目标车辆的车外图像；所述设定区域用于指示所述目标车辆的车窗在所述车内图像中对应的区域；所述车外图像中包含所述目标车辆的车窗；
34.告警单元，用于若所述车外图像中包含人体图像区域，则输出安全告警信息。
35.在一种可能的实现方式中，所述确定单元，还用于：
36.通过关键点检测模型，对所述车内图像进行人体关键点检测，得到所述关键点检测模型输出的多个人体关键点的坐标位置；所述关键点检测模型是基于具有人体位置标注信息的样本图像进行训练得到的。
37.在一种可能的实现方式中，所述确定单元，还用于：
38.将所述车内图像输入所述第一卷积子网络，通过所述第一卷积子网络对所述车内图像进行特征提取，得到第一车内图像特征图；
39.将所述第一车内图像特征图输入所述第一输出子网络，得到所述第一输出子网络输出的所述多个人体关键点的坐标位置。
40.在一种可能的实现方式中，所述确定单元，还用于：
41.将所述车内图像输入所述第二卷积子网络，通过所述第二卷积子网络对所述车内图像进行特征提取，得到第二车内图像特征图；
42.将所述第二车内图像特征图输入所述第一分类子网络，通过所述第一分类子网络对所述第二车内图像特征图中包含的对象进行分类，得到第一分类特征图；
43.将所述第一分类特征图输入所述第一回归子网络，通过所述第一回归子网络，在所述第一分类特征图在标注人体区域的位置，得到车内标注特征图；
44.将所述车内标注特征图输入所述第二输出子网络中，得到所述第二输出子网络基于所述车内标注特征图输出的所述多个人体关键点的坐标位置。
45.在一种可能的实施方式中，所述判断单元，还用于：
46.若所述至少一个人体关键点的坐标位置位于所述目标车辆左侧车窗对应的设定区域内，则获取所述目标车辆左侧的车外图像；若所述至少一个人体关键点的坐标位置位于所述目标车辆右侧车窗对应的设定区域内，则获取所述目标车辆右侧的车外图像。
47.在一种可能的实施方式中，所述安全告警装置，还包括：
48.检测单元，用于通过区域检测模型，对所述车外图像进行人体检测，并根据所述区域检测模型的输出，确定所述车外图像中是否包含人体图像区域；所述区域检测模型是基于具有人体关键点位置标注信息的训练图像进行训练得到的。
49.在一种可能的实施方式中，所述检测单元，还用于：
50.将所述车外图像输入所述第三卷积子网络，通过所述第三卷积子网络对所述车外图像进行特征提取，得到第一车外图像特征图；
51.将所述第一车外图像特征图输入所述第二回归子网络，若得到标注有人体区域的车外标注图像，则确定所述车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定所述车外图像中不包含人体图像区域。
52.在一种可能的实施方式中，所述区域检测模型包括第四卷积子网络、第二分类子
网络和第三回归子网络；所述检测单元，还用于：
53.将所述车外图像输入所述第四卷积子网络，通过所述第四卷积子网络对所述车外图像进行特征提取，得到第二车外图像特征图；
54.将所述第二车外图像特征图输入所述第二分类子网络，通过所述第二分类子网络对所述第二车外图像特征图中包含的对象进行分类，得到第二分类特征图；
55.将所述第二分类特征图输入所述第三回归子网络，若得到标注有人体区域的车外标注图像，则确定所述车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定所述车外图像中不包含人体图像区域。
56.第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述第一方面中任一项安全告警方法的步骤。
57.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中任一项安全告警方法中的步骤。
58.本技术实施例提供的安全告警方法，通过获取目标车辆的车内图像，对车内图像进行人体关键点检测，得到多个人体关键点的坐标位置，若多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则证明车内有乘客或司机将身体中的某个部位靠近窗户或伸向窗外，则获取目标车辆的车外图像，车外图像中包含目标车辆的车窗，若车外图像中包含人体图像区域，检测车外图像中是否包含人体区域图像，若存在，则证明确实有乘客或司机将身体伸出窗外，则输出安全告警信息，以提醒车内人员注意，减少事故的发生，保证人员安全。
附图说明
59.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
60.图1为本技术实施例提供的一种安全告警方法的流程示意图；
61.图2为本技术实施例提供的一种关键点检测模型的结构示意图；
62.图3为本技术实施例提供的另一种关键点检测模型的结构示意图；
63.图4为本技术实施例提供的一种区域检测模型的结构示意图；
64.图5为本技术实施例提供的另一种区域检测模型的结构示意图；
65.图6为本技术实施例提供的关键点检测模型训练过程所使用的一种结构示意图；
66.图7为本技术实施例提供的区域检测模型训练过程所使用的一种结构示意图；
67.图8本技术实施例提供的另一种安全告警方法的流程示意图；
68.图9为本技术实施例提供的一种安全告警装置的结构示意图；
69.图10为本技术实施例提供的另一种安全告警装置的结构示意图；
70.图11为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
71.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
72.需要说明的是，本技术的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
73.在出行的过程中，无论是司机还是乘客均可能会将身体伸出窗外，这样的行为极具危险性，容易酿成事故，为了实时提醒乘客或司机，本技术实施例提供一个安全告警方法，通过获取目标车辆的车内图像，对车内图像进行人体关键点检测，得到多个人体关键点的坐标位置，若多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则证明车内有乘客或司机将身体中的某个部位靠近窗户或伸向窗外，则获取所述目标车辆的车外图像，设定区域用于指示目标车辆的车窗在车内图像中对应的区域，车外图像中包含目标车辆的车窗，若车外图像中包含人体图像区域，检测车外图像中是否包含人体区域图像，若存在，则证明确实有乘客或司机将身体伸出窗外，则输出安全告警信息，告诫车内人员。通过本技术中的安全告警方法可以准确的判断车内的人员是否存在将身体靠近窗户或伸出窗外的行为，保证车内人员的安全。
74.图1示出了本技术实施例提供的一种安全告警方法的流程示意图；该安全告警方法可以应用于电子设备，具体可用于车载终端或司机的手机等电子设备，下文以车载终端为例进行说明。如图1所示，该安全告警方法包括如下步骤：
75.步骤s101：对获取的目标车辆的车内图像进行人体关键点检测，得到多个人体关键点的坐标位置。
76.在一种可能的实施例中，司机可以选择在行驶过程中打开目标车辆的车载终端，车载终端连接车内摄像头以及连接安装在车外后视镜上的车外摄像头。车内摄像头可以选择使用dvr(digital video recorder)摄像头，用于获取目标车辆的车内图像；车外摄像头可以选择使用bsd(blind spot detection)摄像头，用于获取目标车辆的车外图像。
77.车载终端利用车内摄像头获取目标车辆的车内图像，并对获取的目标车辆的车内图像进行人体关键点检测，可以输出车内图像中的多个人体关键点的坐标位置。其中，人体关键点可以是不同人体部位的关键点，例如头部关键点或肢体的关键点等。对获取的车内图像进行人体关键点检测，可以得到车内图像中包含的所有人体关键点的坐标位置。
78.在另一些实施例中，在目标车辆静止时，也可以获取目标车辆的车内图像，检测是否有车内人员的肢体伸出车外。例如，在目标车辆等待红灯时，或目标车辆停放在停车场时，也可以检测是否有车内人员的肢体伸出车外。
79.步骤s102：若多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则获取目标车辆的车外图像。
80.在一种可能的实施例中，得到多个人体关键点的坐标位置后，车载终端可以确定多个人体关键点的坐标位置是否位于设定区域内。其中，设定区域是预先标定的区域，可以
用于指示目标车辆的车窗在车内图像中对应的区域。如果车内摄像头的安装位置和角度不改变，该设定区域在车内图像中的位置不变；如果车内摄像头的安装位置或角度调整，则需要在车内摄像头采集的车内图像中重新标定设定区域的位置。
81.如果任意一个或多个人体关键点的坐标位置位于设定区域内，则说明车内人员将部分身体部位靠近车窗或伸出窗外，则利用车外摄像头获取目标车辆的车外图像。车外图像中包含目标车辆的车窗，用于对是否存在部分身体部位伸出窗外进行进一步确定。
82.在满足多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内时，才打开车外的摄像头对车外图像进行采集，如果多个人体关键点的坐标位置均没有在设定区域内，则说明车内人员没有将身体靠近或者伸出车窗，则无需打开车外的摄像头，可以避免车外摄像头一直打开浪费资源，并且一直打开车外摄像头的话，车附近有行人经过也可能被检测到，导致误触发安全告警信息，所以，本技术实施例可以减少误触发的情况。
83.在一种可能的实施方式中，目标车辆可以在车辆左侧的后视镜和车辆右侧的后视镜上分别安装一个车外摄像头。针对车内摄像头采集的车内图像，可以标定两个设定区域，其中一个为左侧车窗对应的设定区域，另一个为右侧车窗对应的设定区域。
84.如果至少一个人体关键点的坐标位置位于目标车辆左侧车窗对应的设定区域内，则说明车内人员将部分身体部位靠近车辆左侧的车窗或伸出窗外，此时，可以通过车辆左侧的车外摄像头获取目标车辆左侧的车外图像。如果至少一个人体关键点的坐标位置位于目标车辆右侧车窗对应的设定区域内，则说明车内人员将部分身体部位靠近车辆右侧的车窗或伸出窗外，此时，可以通过车辆右侧的车外摄像头获取目标车辆右侧的车外图像。如果在左侧车窗对应的设定区域和右侧车窗对应的设定区域均检测存在至少一个人体关键点的位置坐标，再选择打开两侧的车外摄像头，对车外图像进行采集。这样有针对性的采集车外图像，可以节省资源。
85.步骤s103：若车外图像中包含人体图像区域，则输出安全告警信息。
86.在一种可能的实施例中，获取车外图像后，检测车外图像中是否存在人体图像区域，若存在人体图像区域，则说明有车内人员将身体部位伸出窗外，可以通过语音提示或其他提示方式发出安全告警信息。例如，可以发出语音提示“请不要将头或身体伸出窗外”。
87.通过本技术中的安全告警方法可以准确的判断车内的人员是否存在将身体靠近窗户或伸出窗外的行为，及时发生警告，以减少事故的发生，保证车内人员的安全。
88.在一种可能的实施方式中，上述步骤s101中，可以通过关键点检测模型，对车内图像进行人体关键点检测，得到关键点检测模型输出的多个人体关键点的坐标位置。
89.例如，车载终端上可以搭载已经训练好的关键点检测模型，车内摄像头获取到车内图像之后，可以将车内图像输入到关键点检测模型中，利用已训练的关键点检测模型对车内图像进行人体关键点检测，得到多个人体关键点的坐标位置。其中，关键点检测模型是基于具有人体位置标注信息的样本图像进行训练得到的。
90.在一种实施例中，关键点检测模型的结构可以如图2所示，包括第一卷积子网络和第一输出子网络。通过关键点检测模型对车内图像进行处理的过程包括：将车内图像输入第一卷积子网络，通过第一卷积子网络对车内图像进行特征提取，得到第一车内图像特征图，将第一车内图像特征图输入第一输出子网络，得到第一输出子网络输出的多个人体关键点的坐标位置。判断得到的多个人体关键点的位置坐标中的至少一个人体关键点的坐标
位置是否在预设区域内就可以判断出车内是否有人员将身体部位靠近或伸出窗户。
91.在另一种实施例中，关键点检测模型的结构可以如图3所示，包括第二卷积子网络、第一分类子网络、第一回归子网络和第二输出子网络。通过关键点检测模型对车内图像进行处理的过程包括：将车内图像输入第二卷积子网络，通过第二卷积子网络对车内图像进行特征提取，得到第二车内图像特征图，将第二车内图像特征图输入第一分类子网络，通过第一分类子网络对第二车内图像特征图中包含的对象进行分类，得到第一分类特征图，将第一分类特征图输入第一回归子网络，通过第一回归子网络，在第一分类特征图在标注人体区域的位置，得到车内标注特征图，将车内标注特征图输入第二输出子网络中，得到第二输出子网络基于车内标注特征图输出的多个人体关键点的坐标位置。判断得到的多个人体关键点的位置坐标中的至少一个人体关键点的坐标位置是否在预设区域内就可以判断出是车内是否有人员将身体部位靠近或伸出窗户。
92.在一种可能的实施方式中，在确定车外图像中是否包含人体图像区域时，可以通过区域检测模型，对车外图像进行人体检测，并根据区域检测模型的输出，确定车外图像中是否包含人体图像区域。
93.具体地，车载终端可以搭载已经训练好的区域检测模型，车外摄像头获取到车外图像之后，可以选择将车外图像输入到区域检测模型中，利用已训练的区域检测模型对车外图像进行人体图像区域检测，确定车外图像中是否包含人体图像区域，此人体图像区域可以为人体关键点部位的图像区域。其中，区域检测模型是基于具有人体关键点位置标注信息的训练图像进行训练得到的。
94.在一种实施例中，区域检测模型对车外图像的处理过程为：将车外图像输入第三卷积子网络，通过第三卷积子网络对车外图像进行特征提取，得到第一车外图像特征图；将第一车外图像特征图输入第二回归子网络，若得到标注有人体区域的车外标注图像，则确定车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定车外图像中不包含人体图像区域。
95.在另一种实施例中，区域检测模型对车外图像的处理过程为：将车外图像输入第四卷积子网络，通过第四卷积子网络对车外图像进行特征提取，得到第二车外图像特征图；将第二车外图像特征图输入第二分类子网络，通过第二分类子网络对第二车外图像特征图中包含的对象进行分类，得到第二分类特征图；将第二分类特征图输入第三回归子网络，若得到标注有人体区域的车外标注图像，则确定车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定车外图像中不包含人体图像区域。
96.下面分别介绍上述实施例中所使用的关键点检测模型和区域检测模型的训练过程。
97.在一种可能的实施例中，在训练图2所示的关键点检测模型时，可以采用分类子网络和回归子网络对关键点检测模型进行辅助训练。具体地，如图6所示，辅助训练的分类子网络、辅助训练的回归子网络以及第一输出子网络为并行连接，训练过程中，第一卷积子网络的输出分别作为辅助训练的分类子网络、辅助训练的回归子网络以及第一输出子网络的输入。
98.其中，图2所示的关键点检测模型的具体训练过程包括：
99.步骤a1，获取第一训练数据集，其中，第一训练数据集中的样本图像为具有人体位
置标注信息的样本图像。人体位置标注信息中包括人体的类别标签、人体关键点部位的标注框以及人体关键点具体的坐标位置。
100.步骤b1，从第一训练数据集中抽取样本图像，将抽取的样本图像输入第一卷积子网络，得到第一卷积样本特征图。
101.步骤c1，将第一卷积样本特征图输入辅助训练的分类子网络，得到包含人体位置的辅助分类人体样本特征图像以及分类损失值。
102.辅助训练的分类子网络用于对车内图像中的人体部位的特征图和非人体部位的特征图进行分类，并输出得到辅助分类人体样本特征图，也就是车内图像中确定是人体部位的样本特征图像。利用辅助训练的分类子网络的输出和包含人体的类别标签的样本图像进行损失计算，确定分类损失值。
103.示例性地，确定分类损失值的损失函数公式如下：
[0104][0105]
其中，y为辅助训练的分类子网络输出的辅助分类特征图，y
*
为第一训练数据集中带有人体类别标签的特征图。
[0106]
步骤d1，将第一卷积样本特征图输入辅助训练的回归子网络中，得到辅助人体关键点样本特征图和回归损失值。
[0107]
辅助训练的回归子网络用于确定第一卷积样本特征图中的人体关键点部位的具体位置，并将第一卷积样本特征图中是人体关键点的部位打上标注框。利用辅助训练的回归子网络的输出和带有人体位置标注信息的图像进行损失计算，确定回归损失值。
[0108]
确定回归损失值的损失函数如下：
[0109][0110]
t为辅助训练的回归子网络输出的辅助回归特征图，t
*
为第一训练数据集中带有人体关键点部位的标注框的特征图。
[0111]
其中，确定回归损失值的损失函数具体还包括：
[0112][0113]
β2(t，t
*
)＝(x
p1
‑
x
p2
)2 (y
p1
‑
y
p2
)2[0114]
x
p1
＝x
t2
‑
x
t1
，y
p1＝
y
t2
‑
y
t1
[0115]
x
p2
＝x
t*2
‑
x
t*1
，y
p2＝
y
t*2
‑
y
t*1
[0116]
c2＝(x
c1
‑
x
c2
)2 (y
c1
‑
y
c2
)2[0117]
x
c1
＝min(x
t1
，x
t*1
)，x
c2
＝min(x
t2
，x
t*2
)
[0118]
y
c1
＝min(y
t1
，y
t*1
)，y
c2
＝min(y
t2
，y
t*2
)
[0119]
其中，iou(intersection over union，交并比)，为带有人体关键点部位的标注框的图像和回归子网络输出的图像的交集除以它们的并集，值越大则重叠的区域越多，就证明输出的图像与带有人体关键点部位的标注框的图像的重合越多，训练的效果越好，损失值也越满足预设要求。
[0120]
上述关键点检测模型的损失函数中的m具体是根据回归子网络的损失函数中的交并比进行取值的，若交并比大于0.5，则m取值为1；若交并比小于0.5，则m取值为0。
[0121]
其中，x
p1
，x
t2
，x
t1
，x
p2
等内容中的p，t等内容仅起到区分效果。(x
t1
，y
t1
)，(x
t2
，y
t2
)指的是回归子网络输出的图像中左上角的坐标和右下角的坐标，(x
t*1
，y
t*1
)，(x
t*2
，y
t*2
)为带有人体关键点部位的标注框的图像的左上角的坐标和右下角的坐标。c2＝(x
c1
‑
x
c2
)2 (y
c1
‑
y
c2
)2为计算坐标点之间的距离。
[0122]
步骤e1，将第一卷积样本特征图像输入第一输出子网络中，得到第一输出子网络对应的多个人体关键点的坐标位置和第一输出损失值。
[0123]
第一输出子网络用于得到多个人体关键点的坐标位置，利用输出的多个人体关键点的坐标位置和带有人体关键点坐标位置标注的图像进行损失计算，确定第一输出损失值。
[0124]
确定第一输出损失值的损失函数如下：
[0125][0126]
l为第一输出子网络输出的多个人体关键点的坐标位置，l
*
为人体关键点具体的坐标位置。
[0127]
步骤f1，根据分类损失值、回归损失值和第一输出损失值，调整关键点检测模型的网络参数，直至得到训练好的关键点检测模型。
[0128]
具体地，可以根据分类损失值、回归损失值和第一输出损失值，确定关键点检测模型的总损失值。
[0129]
示例性地，关键点检测模型的总损失值loss可以通过如下公式确定：
[0130]
loss
关键点
＝k1l
class
(y，y
*
) k2ml
bbox
(t，t
*
) k3ml
pts
(l，l
*
)
[0131]
l
class
(y，y
*
)为辅助训练的分类子网络的损失函数，k1表示辅助训练的分类子网络的损失函数的权重。
[0132]
l
bbox
(t，t
*
)为辅助训练的回归子网络的损失函数，k2表示辅助训练的回归子网络的损失函数的权重；m根据回归子网络的损失函数的大小进行取值。
[0133]
l
pts
(l，l
*
)为第一输出子网络的损失函数，k3表示第一输出子网络的损失函数的权重。
[0134]
根据关键点检测模型的总损失值，调整关键点检测模型的网络参数，若关键点检测模型的总损失值满足预设范围，则说明关键点检测模型训练完成；若关键点检测模型的的总损失值不满足预设范围，则回到步骤b1，继续训练关键点检测模型，直至关键点检测模型的总损失值满足预设范围，输出已训练好的关键点检测模型。
[0135]
关键点检测模型训练完成后，由于在应用过程中，得到多个人体关键点的坐标位置就可以满足使用，所以，可以选择关闭辅助训练的分类子网络和辅助训练的回归子网络，可以节省车载终端的数据处理压力，节约资源。若想要得到辅助训练的分类子网络和辅助训练的回归子网络的输出结果，也可以选择在应用过程中同样使用分类子网络和回归子网络。
[0136]
在一种可能的实施例中，在训练图3所示的关键点检测模型时，如图3所示，第一分
类子网络、第一回归子网络和第二输出子网络是依次连接。
[0137]
其中，图3所示的关键点检测模型的具体训练过程包括：
[0138]
步骤a2，获取第一训练数据集，所述训练数据集中包括带有人体位置标注信息的样本图像，人体位置标注信息中包括人体的类别标签、人体关键点部位的标注框以及人体关键点具体的坐标位置。
[0139]
步骤b2，从第一训练数据集中抽取样本图像，将抽取的样本图像输入第二卷积子网络，得到第二卷积样本特征图。
[0140]
步骤c2，将第二卷积样本特征图像输入第一分类子网络中，得到包含人体位置的第一分类人体样本特征图像以及第一分类损失值。
[0141]
其中，第一分类子网络的网络结构可以与上述内容中的辅助训练的分类子网络的网络结构相同，并且第一分类子网络利用与辅助训练的分类子网络相同的损失函数确定第一分类损失值。
[0142]
步骤d2，将第一分类人体样本特征图像输入第一回归子网络中，得到第一回归人体关键点样本特征图像以及、第一回归损失值。
[0143]
其中，第一回归子网络的网络结构可以与上述内容中的辅助训练的回归子网络的网络结构相同，并且第一回归子网络利用与辅助训练的回归子网络相同的损失函数确定第一回归损失值。
[0144]
步骤e2，将第一回归人体关键点样本特征图像输入到第二输出子网络中，得到第二输出子网络对应的多个人体关键点的坐标位置以及第二输出损失值。
[0145]
其中，第二输出子网络的网络结构可以与上述内容中的第一输出子网络的网络结构相同，并且第二输出子网络利用与第一输出子网络相同的损失函数确定第二输出损失值。
[0146]
步骤f2，基于第一分类损失值、第一回归损失值和第二输出损失值确定关键点检测模型的总损失值，调整关键点检测模型的网络参数，若关键点检测模型的总损失值满足预设范围，则说明关键点检测模型训练完成；若关键点检测模型的的总损失值不满足预设范围，则回到步骤b2，继续训练关键点检测模型，直至关键点检测模型的总损失值满足预设范围，输出已训练好的关键点检测模型。
[0147]
其中，关键点检测模型利用与上述内容中的关键点检测模型相同的损失函数确定关键点检测模型的网络参数。
[0148]
关键点检测模型中包括的子网络是串联连接的，利用上一子网络中的输出作为输入，可以更准确的确定损失值，以此可以得到效果更好的关键点检测模型，得到的多个人体关键点的坐标位置更为准确。
[0149]
在一种可能的实施例中，在训练图4所示的关键点区域检测模型时，可以采用分类子网络对区域检测模型进行辅助训练。具体地，如图7所示，辅助训练的分类子网络和第二回归子网络的并行连接的。训练过程中，第三卷积子网络的输出分别作为辅助训练的分类子网络和第二回归子网络的输入。其中，图4所示的区域检测模型的具体训练过程包括：
[0150]
步骤a3，获取第二训练数据集，第二训练数据集中包括带有人体关键点位置标注信息的样本图像。
[0151]
步骤b3，从第二训练数据集中抽取样本图像，将抽取的样本图像输入第三卷积子
网络，得到第三卷积样本特征图。
[0152]
步骤c3，将第三卷积样本特征图像输入辅助训练的分类子网络中，得到包含人体关键点位置的辅助分类人体关键点样本特征图和辅助训练的分类损失值。
[0153]
具体地，辅助训练的分类子网络的输入为第三卷积样本特征图像，输出为辅助分类人体关键点样本特征图，就是按照人体部位的类别分类的分类特征图。区域检测模型中辅助训练的分类子网络可以与关键点检测模型中的分类子网络相同，并且区域检测模型中辅助训练的分类子网络利用与关键点检测模型中的分类子网络相同的损失函数确定该分类损失值。
[0154]
步骤d3，将第三卷积样本特征图像输入第二回归子网络中，得到第二回归人体关键点样本特征图像和第二回归损失值。
[0155]
具体地，第二回归子网络中的输入为第三卷积样本特征图像，输出为第二回归人体关键点样本特征图像，就是标注有人体图像区域标注框的特征图。第二回归子网络可以与关键点检测模型中的回归子网络相同，并且第二回归子网络利用与关键点检测模型中的回归子网络相同的损失函数确定第二回归损失值。
[0156]
步骤e3，基于辅助训练的分类损失值和第二回归损失值确定第一区域检测模型的损失值，调整第一区域检测模型的网络参数，若区域检测模型的总损失值满足预设范围，则说明区域检测模型训练完成；若区域检测模型的的总损失值不满足预设范围，则回到步骤b3，继续训练区域检测模型，直至区域检测模型的总损失值满足预设范围，输出已训练好的区域检测模型。
[0157]
通过损失函数得到的损失值来调整区域检测模型的网络参数，直至区域检测模型训练完成，区域检测模型的损失函数如下：
[0158][0159]
为辅助训练的分类子网络的损失函数，与关键点检测模型中辅助训练的分类子网络使用的损失函数相同。其中，y
i
为辅助训练的分类子网络输出的按照人体部位的类别分类的分类特征图，为标注有人体各部位的类别标签的样本图，k1表示辅助训练的分类子网络的损失函数的权重。
[0160]
为第二回归子网络的损失函数，与关键点检测模型中辅助训练的回归子网络使用的损失函数相同。其中，t
i
为第二回归子网络输出的标注有人体图像区域标注框的特征图，为带有人体图像区域标注框的样本图。k2表示第二回归子网络的损失函数的权重；m根据第二回归子网络的损失函数的大小进行取值。
[0161]
区域检测模型训练完成后，由于在应用过程中，判断只需要判断车外图像中是否存在人体图像区域就可以了。所以，可以选择关闭辅助训练的分类子网络，可以节省车载终端的数据处理压力，节约资源。若想要得到辅助训练的分类子网络的输出结果，也可以选择在应用过程中同样使用辅助训练的分类子网络。
[0162]
在一种可能的实施例中，在训练图5所示的区域检测模型时，如图5所示，第二分类子网络和第三回归子网络是依次连接的。
[0163]
其中，图5所示的区域检测模型的具体训练过程包括：
[0164]
步骤a4，获取第二训练数据集，第二训练数据集中包括带有人体关键点位置标注
信息的第二样本图像。步骤b4，从第二训练数据集中抽取样本图像，将抽取的样本图像输入第四卷积子网络，得到第四卷积样本特征图。
[0165]
步骤c4，将第四卷积样本特征图像输入第二分类子网络，得到包含人体关键点位置的第二分类人体样本特征图像和第二分类损失值。
[0166]
具体地，第二分类子网络可以与区域检测模型中辅助训练的分类子网络相同，并且第二分类子网络利用与区域检测模型中辅助训练的分类子网络相同的损失函数确定第二分类损失值。
[0167]
步骤d4，将第二分类人体样本特征图像输入第三回归子网络，得到第三回归人体关键点样本特征图像和第三回归损失值。
[0168]
具体地，第三回归子网络可以与区域检测模型中的第二回归子网络相同，并且第三回归子网络利用与区域检测模型中第二回归子网络相同的损失函数确定第三回归损失值。
[0169]
基于第二分类损失值和第三回归损失值确定区域检测模型的损失值，调整区域检测模型的网络参数，，若区域检测模型的总损失值满足预设范围，则说明区域检测模型训练完成；若区域检测模型的的总损失值不满足预设范围，则回到步骤b4，继续训练区域检测模型，直至区域检测模型的总损失值满足预设范围，输出已训练好的区域检测模型。
[0170]
其中，该区域检测模型利用与上述内容中的区域检测模型相同的损失函数确定区域检测模型的网络参数。
[0171]
区域检测模型区域检测模型中包括的子网络的网路结构是串联连接的，利用上一子网络中的输出作为输入，可以更准确的确定损失值，以此可以得到效果更好的区域检测模型，得到的多个人体关键点的坐标位置更为准确。
[0172]
为了更便于理解本技术实施例，图8示出一种安全告警方法的具体实现流程，如图8所示，该方法可以包括如下步骤：
[0173]
步骤s801：获取目标车辆的车内图像。
[0174]
步骤s802：通过关键点检测模型确定目标车辆的车内图像中的多个人体关键点的坐标位置。
[0175]
步骤s803：判断预设区域内是否包含多个人体关键点的坐标位置中的至少一个人体关键点的坐标位置；若是，则执行步骤s804，若否，则返回执行步骤s801，获取下一时刻的车内图像。
[0176]
步骤s804：获取目标车辆的车外图像。
[0177]
步骤s805：通过区域检测模型判断目标车辆的车外图像中是否包含人体图像区域；若是，则执行步骤s806，若否，则返回执行步骤s801，获取下一时刻的车内图像。
[0178]
步骤s806：输出安全告警信息。
[0179]
在一种可能的实施例中，车载终端调用dvr摄像头抓取车内图像，将车内图像输入到已训练的关键点检测模型中，得到多个人体关键点的坐标位置，判断人体关键点的坐标位置中的至少一个人体关键点的坐标位置是否在预设区域内，也就是判断车内人员的身体部位是否靠近窗户或伸出窗户，若不是，车内摄像头持续获取车内图像，继续判断下一时刻获取的车内图像中的多个人体关键点的坐标位置是否在预设区域内。若是，则调用bsd摄像头获取目标车辆的车外图像，将车外图像输入到区域检测模型中，检测车外图像中是否存
在人体图像区域，也就是检测是车外图像中是否有车内人员的身体部位，若不存在，则车内摄像头继续获取车内图像，车外摄像头关闭，等待调用；若存在，则证明有人将身体靠近或伸出窗外，则发出安全告警信息，警示车内人员注意安全，将身体收回车内。
[0180]
基于同一种构思，本技术实施例还提供了一种安全告警装置，图9为本技术实施例提供的一种安全告警装置的结构示意图；如图9所示，该安全告警装置包括：
[0181]
确定单元901，用于对获取的目标车辆的车内图像进行人体关键点检测，得到多个人体关键点的坐标位置；
[0182]
判断单元902，用于若多个人体关键点中至少一个人体关键点的坐标位置位于设定区域内，则获取目标车辆的车外图像；设定区域用于指示目标车辆的车窗在车内图像中对应的区域；车外图像中包含目标车辆的车窗；
[0183]
告警单元903，用于若车外图像中包含人体图像区域，则输出安全告警信息。
[0184]
在一种可能的实现方式中，确定单元901，还用于：
[0185]
通过关键点检测模型，对车内图像进行人体关键点检测，得到关键点检测模型输出的多个人体关键点的坐标位置；关键点检测模型是基于具有人体位置标注信息的样本图像进行训练得到的。
[0186]
在一种可能的实现方式中，确定单元901，还用于：
[0187]
将车内图像输入第一卷积子网络，通过第一卷积子网络对车内图像进行特征提取，得到第一车内图像特征图；
[0188]
将第一车内图像特征图输入第一输出子网络，得到第一输出子网络输出的多个人体关键点的坐标位置。
[0189]
在一种可能的实现方式中，确定单元901，还用于：
[0190]
将车内图像输入第二卷积子网络，通过第二卷积子网络对车内图像进行特征提取，得到第二车内图像特征图；
[0191]
将第二车内图像特征图输入第一分类子网络，通过第一分类子网络对第二车内图像特征图中包含的对象进行分类，得到第一分类特征图；
[0192]
将第一分类特征图输入第一回归子网络，通过第一回归子网络，在第一分类特征图在标注人体区域的位置，得到车内标注特征图；
[0193]
将车内标注特征图输入第二输出子网络中，得到第二输出子网络基于车内标注特征图输出的多个人体关键点的坐标位置。
[0194]
在一种可能的实施方式中，判断单元902，还用于：
[0195]
若至少一个人体关键点的坐标位置位于目标车辆左侧车窗对应的设定区域内，则获取目标车辆左侧的车外图像；若至少一个人体关键点的坐标位置位于目标车辆右侧车窗对应的设定区域内，则获取目标车辆右侧的车外图像。
[0196]
在一种可能的实施方式中，如图10所示，上述安全告警装置还可以包括：
[0197]
检测单元1001，用于通过区域检测模型，对车外图像进行人体检测，并根据区域检测模型的输出，确定车外图像中是否包含人体图像区域；区域检测模型是基于具有人体关键点位置标注信息的训练图像进行训练得到的。
[0198]
在一种可能的实施方式中，检测单元1001，还用于：
[0199]
将车外图像输入第三卷积子网络，通过第三卷积子网络对车外图像进行特征提
取，得到第一车外图像特征图；
[0200]
将第一车外图像特征图输入第二回归子网络，若得到标注有人体区域的车外标注图像，则确定车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定车外图像中不包含人体图像区域。
[0201]
在一种可能的实施方式中，检测单元1001，还用于：
[0202]
将车外图像输入第四卷积子网络，通过第四卷积子网络对车外图像进行特征提取，得到第二车外图像特征图；
[0203]
将第二车外图像特征图输入第二分类子网络，通过第二分类子网络对第二车外图像特征图中包含的对象进行分类，得到第二分类特征图；
[0204]
将第二分类特征图输入第三回归子网络，若得到标注有人体区域的车外标注图像，则确定车外图像中包含人体图像区域；若得到未标注人体区域的图像，则确定车外图像中不包含人体图像区域。
[0205]
与上述方法实施例相对应地，本技术实施例还提供了一种电子设备。该电子设备可以是服务器，也可以是移动终端或计算机等终端设备，该电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、cpu、gpu(graphics processing unit，图形处理单元)、dsp或fpga实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本技术实施例的安全告警方法的流程中的各个步骤。
[0206]
图11为本技术实施例提供的一种电子设备的结构示意图；如图11所示，本技术实施例中该电子设备1100包括：处理器1110、显示器1120、存储器1130、输入设备1160、总线1105和通讯模块1140；该处理器1110、存储器1130、输入设备1160、显示器1120和通讯模块1140均通过总线1150连接，该总线1150用于该处理器1110、存储器1130、显示器1120、通讯模块1140和输入设备1160之间传输数据。
[0207]
其中，存储器1130可用于存储软件程序以及模块，处理器1110通过运行存储在存储器1130中的软件程序以及模块，从而执行电子设备1100的各种功能应用以及数据处理，如本技术实施例提供的安全告警方法。存储器1130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备1100的使用所创建的数据等。此外，存储器1130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0208]
处理器1110是电子设备1100的控制中心，利用总线1150以及各种接口和线路连接整个电子设备1100的各个部分，通过运行或执行存储在存储器1130内的软件程序和/或模块，以及调用存储在存储器1130内的数据，执行电子设备1100的各种功能和处理数据。可选的，处理器1100可包括一个或多个处理单元，如cpu、gpu(graphics processing unit，图形处理单元)、数字处理单元等。
[0209]
处理器1110还可以通过通讯模块1140利用蓝牙等方式连接车内摄像头和车外摄像头，将获取到的车内图像和车外图像发送到电子设备中。
[0210]
输入设备1160主要用于获得用户的输入操作，当该电子设备不同时，该输入设备1160也可能不同。例如，当该电子设备为智能手机、平板电脑等便携设备时，该输入设备
1160可以为触控屏。
[0211]
本技术实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本技术任一实施例所记载的安全告警方法。
[0212]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0213]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。