基于图像处理和力学分析的室内人体碰撞警报方法及装置与流程

1.本发明属于防碰撞报警技术领域，具体涉及一种基于图像处理和力学分析的室内人体碰撞警报方法及装置。


背景技术：

2.随着工作量大、长辈人数增多、父母同时外出工作的情况越来越多，居家老人、小孩无人看管，加之老人骨质较差、小孩较小、承受能力低、爱活动，容易与屋内物体人员碰撞后受伤，且受伤后医护人员无法准确得知伤者情况，影响救援效率。如何准确得知家中人员受伤情况成为了较为重要的事情。且现有居家监护设备仅通过随身携带的传感器进行基础设施读取，例如cn110477882a:指环式监护设备及监护系统装置读取心跳血氧等，传感器非医用级别，容易造成误判，且需要人为穿戴，人员在实际生活难以自律性穿戴物品。例如cn107454830a：健康监护方法及健康监护服装虽然针对信息进行判断人员是否需要救援，但缺少对事前、事发后伤员情况的推断，容易导致事前在场的监护人员不注意潜在的危险而导致事故发生以及事后救护人员在不了解情况下缺少携带必要设备而降低救援效率。


技术实现要素：

3.为了解决在夜间人员在室内活动时因视线昏暗而与物体碰撞后其他人无法得知受伤以及居家无人看护下老人小孩受力学碰撞后无法评估受伤情况。本发明提出了一种基于图像处理和力学分析的室内人体碰撞警报装置结合了红外温度传感器、激光测距传感器、双目摄像头、舵机等。利用双目摄像头读取室内画面并识别人员姿态和骨骼，利用双目摄像头、激光测距传感器对距离进行测算修正，在三维空间坐标下推算人与物体的接触过程情况。基于该情况得出碰撞点及其力度，带入力学仿真做数据计算推测人员可能的受伤程度，对此做警报并在事故发生后将病况发送给监护人与医院，方便救护人员携带合适设备进行救援，提高效率。
4.本发明至少通过如下技术方案之一实现。
5.一种基于图像处理和力学分析的室内人体碰撞警报方法，包括以下步骤：
6.s1、采集检测装置采集环境图像信息，识别图像中的人体和物体；
7.s2、采集检测装置对物体图像进行边缘识别，并分析对人体肢体；
8.s3、基于边缘识别，将物体图像和人体图像的像素划分长度和高度，对比物体和人体像素点的高度和宽度寻找物体和人体的可接触区，并根据人体肢体判断接触的躯干部位；
9.s4、基于步骤s3的划分，对于物体同高度下的人体区域进行边缘检测，基于像素位置，得到可接触区内不同躯干位置离物体的距离；
10.s5、实时获取人体移动速度，并判断人体与物体碰撞时所受到的力；
11.s6、将人体与物体碰撞时所受到的力和碰撞点导入仿真公式中，得到损伤情况信息。
12.优选的，所述人体与物体碰撞时所受到的力通过以下公式判断：
13.v＝|d1-d2|/δt
14.f
t
＝m v
1-m v215.其中，d1表示t1时刻人体与物体的距离，d2表示t2时刻人体与物体的距离，δt表示t1时刻与t2时刻之间的间隔时间，v表示间隔时间δt内人体移动的速度，m表示人体质量，v1、v2分别表示t1时刻与t2时刻人体的速度。
16.优选的，步骤s6的仿真是通过力学仿真，得出人体不同部位受力与人体仿真位移数值之间的关系，根据openpose算法识别到的人体位置将受到的力代入对应骨头下进行仿真，得出的数值为骨头位移值，根据骨头位移值判断骨折程度，以得到对应的病情，仿真过程如下：
17.基于现有人体骨部位ct图，逆向三维拟合成骨体三维模型，设定模型密度和材质，基于ansys软件，在不同部位设定施力点，以关节处设定为固定点，进行仿真，以此得出不同力、不同部位下的骨位移，针对于同一受力点，以位移为y轴，力为x轴，不同力对应不同位移，记录多组数据；通过matlab进行数据拟合，导出对应公式。
18.基于图像处理和力学分析的室内人体碰撞警报方法的装置，包括底座、与底座转动连接的转动部件；所述底座通过转动部件与转动部件连接；所述转动部件通过控制器控制，所述转动部件上安装有用于采集环境信息的采集检测装置，所述采集检测装置将采集到的信息传输至所述控制器，通过控制器得到获取人体与物体碰撞信息以及人体碰撞情况。
19.优选的，所述控制器内包括高性能处理器，所述高性能处理器用于控制舵机以及接收和处理采集检测装置采集到的信息，通过人骨力学仿真模型判断人体碰撞情况。
20.优选的，所述采集检测装置包括有双目摄像头、红外测温传感器、激光测距传感器、转动轴；所述红外测温传感器对检测范围内的人体进行测温，以此判断是否为人体。
21.优选的，所述双目摄像头基于tensorflow训练的模型在范围内搜寻物体、人体，并基于双目摄像头进行测距。
22.优选的，所述采集检测装置将激光测距传感器读取的数值与双目摄像头的测距数值进行比对，设定图像亮度值为h，当亮度值大于h时，以双目摄像头测距距离为准，激光测距传感器测距数值为辅助，当激光测距传感器读数与双目摄像头数值差距占双目摄像头数值比例不超过10％时，以激光测距传感器读取的数值为人与物体的距离数值；当超过10％时，取双目摄像头数值为最后结果；
23.当亮度小于h时，以激光测距传感器测距数值为准，当激光测距传感器读数的数值与双目摄像头的数值差距占激光测距传感器读数比例不超过10％时，设定为正确，不修正；当超过该比例时，取激光测距传感器读数为最后结果。
24.优选的，所述转动部件内置有姿态传感器或者陀螺仪。
25.优选的，采集检测装置读取识别人与物体的距离，并根据检测到人与物体的距离时相对原点转动的角度，通过三角函数计算得到人、物体的二维坐标，以本装置的朝向人、物体方向为y轴，以装置平行与人、物体方向为x轴；当识别到的人、物体在y轴处坐标大小相近，二者相差值占人在y轴坐标数值的比例小于等于2％时，视为二者在x轴方向有碰撞可能，若超过2％，则舍弃识别；
26.当转动部件旋转时，姿态传感器或陀螺仪反馈采集检测装置基于三维坐标下的转动角度，采集检测装置基于转动部件旋转来探测人员，当探测到人员时，采集检测装置相对于原点已绕z轴转动相应的角度，该角度即为相对原点转动角度。
27.与现有的技术相比，本发明的有益效果为：
28.本发明优点在于加入了力学仿真处理，同时加入图像识别、测距与温度传感器，更加准确识别人体与室内物品的碰撞可能与碰撞后的受伤情况。并且本发明基于摄像头数据进行识别，加入测距与温度传感器进行数据融合，提高识别度。同时本发明加入了4g、sd卡、温度传感器，可在人员不佩戴随身设备的情况下，利用装置检测到的信息，结合力学仿真推断现有病况，通过4g向家属、医院发送人员受伤情况，使得医院和家属在不在场的情况能更直观的了解现有病人情况，并提前准备好相应药物、装置，提高救援效率。本发明可用于对居家人员受伤情况进行分析推断，方便看护人和医院了解病情。避免了装置穿戴和对病况的及时分析与事故发生的预警，同时通过对人员碰撞后的人骨力学仿真模型分析以及病况信息的上传，医护人员可及时携带必要物品进行救援，提高救援效率。
附图说明
29.图1为本发明一种基于图像处理和力学分析的室内人体碰撞警报装置的立体图；
30.图2为本发明一种基于图像处理和力学分析的室内人体碰撞警报装置的侧视图
31.图3为本发明装置整体原理图；
32.图中，1-双目摄像头，2-红外测温传感器，3-激光测距传感器，4-转动轴，5-语音播放口，6-底座，7-4g主天线，8-4g副天线，9-sim卡座，10-sd卡座，11-电源接口。
具体实施方式
33.下面将结合附图对本发明的技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或设备必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相正对地重要性。
34.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“装载”、“附着”、“安装”、“布设”应做广义理解，例如，安装指按照一定的程序或方法，规格把机械或器材固定在一定的位置上。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
35.如图1所示，一种基于图像处理和力学分析的室内人体碰撞警报装置，包括底座6、与底座6转动连接的转动部件，所述转动部件上安装有用于采集环境信息的采集检测装置，所述采集检测装置包括双目摄像头1、红外测温传感器2、激光测距传感器3；所述底座6通过转动轴4与转动部件连接。
36.所述底座6内设有控制器和4g传输模块；所述控制器为以高性能处理器(jetson nx高性能处理器)及其外围电路组成，所述转动部件通过控制器控制，所述控制器操控舵机，使舵机带动转动轴4旋转，同转动轴4带动转动部件转动。双目摄像头1、红外测温传感器
2、激光测距传感器3是因为转动部件的的转动而转动。
37.4g传输模块包括4g主天线7、4g副天线8、4g芯片模组，将受伤情况通过4g网络上传至医院相关系统和监护人手机；
38.所述底座6上还设有与所述控制器连接的语音播放口5、sim卡座9、sd卡座10、电源接口11等；所述4g主天线7与4g副天线8起到减小信号衰弱、提高信噪比，避免在老旧校区或在角度墙体阻隔下无法通讯的问题，保证信息数据能及时上传至医院和监护人手机。
39.所述控制器包括高性能处理器(jetson nx高性能处理器)，所述高性能处理器用于控制舵机以及接收和处理采集检测装置采集到的信息，通过人骨力学仿真模型判断人体碰撞情况。
40.所述转动部件内置还设有姿态传感器(陀螺仪)，所述姿态传感器放置在转动轴4正上方，姿态传感器输出三维空间坐标至底座6内的高性能处理器，以转动部件中双目摄像头1镜头所在平面与底座语音播放口5所在平面平行且最相近时为坐标原点，以本装置的朝向人、物体方向为y轴，以装置平行与人、物体方向为x轴。
41.所述基于图像处理和力学分析的室内人体碰撞警报装置的方法，包括以下步骤：
42.s1、采集检测装置采集环境图像信息，识别图像中的人体和物体；
43.s2、采集检测装置将采集到的信息传输至控制器，控制器中的高性能处理器对物体图像进行canny边缘识别，对采用openpose算法分析对人体肢体；
44.s3、基于边缘识别，将物体图像和人体图像的像素划分长度和高度，对比物体和人体像素点的高度和宽度寻找物体和人体的可接触区，并根据人体肢体判断接触的躯干部位；
45.s4、基于步骤s3的划分，对于物体同高度下的人体区域进行边缘检测，基于像素位置，得到可接触区内不同躯干位置离物体的距离；
46.s5、实时获取人体移动速度，并判断人体与物体碰撞时所受到的力；
47.s6、将人体与物体碰撞时所受到的力和碰撞点导入仿真公式中，得到损伤情况信息。
48.高性能处理器对人的骨骼分析基于开源人体姿态识别项目openpose进行，基于对人骨骼分析判断部位。
49.初始运行时，控制器向各双目摄像头1、红外测温传感器2、激光测距传感器3、姿态传感器(陀螺仪)发出指令，开始初始化坐标，手机通过蓝牙连接控制器。在用户不手动调整的前提下，高性能处理器读取当前转动部件的姿态传感器反馈的三维坐标作为原点，并控制舵机进行来回转动，通过转动轴4带动转动部件左右旋转。此时高性能处理器读取姿态传感器回馈的信息，读取来回转动时转动部件在向左右两侧旋转的最大角度a、b，将左右两侧角度相加除以2，并减去最大角度a，得出实际原点应向两侧转动的角度，并在转动部件转动后再次初始化姿态传感器，重新设定原点坐标。当用户因个人需求调节时，待设备重新定位原点后，可手动在app上设定装置设备转动角度的大小，以及两侧各旋转的角度，若不设置，则默认左右两侧各转动180
°
。
50.初始化运行后，装置进入工作状态，高性能处理器控制舵机在姿态传感器的反馈下按照既定的范围进行来回转动，通过转动轴4带动转动部件来回扫描。
51.双目摄像头1基于tensorflow训练的模型在范围内搜寻物体、人体，并基于双目摄
像头1进行测距，将激光测距传感器3读取的数值与双目摄像头1的测距数值进行比对，基于图像读取亮度值，值越高越亮。已满额亮度50％为界限，设定为h，当亮度值大于h时，以双目摄像头1测距距离为准，激光测距传感器3测距数值为辅助，当激光测距传感器3读数与双目摄像头1数值差距占双目摄像头1数值比例不超过10％时，设定为正确，不修正。当超过该比例时，取双目摄像头1数值为最后结果。当亮度小于h时，以激光测距传感器3测距数值为准，当激光测距传感器3读数与双目摄像头1数值差距占激光测距传感器3读数比例不超过10％时，设定为正确数值，该数值即为距离数值，不修正(正确数值指的是该数据为合理的距离数据，不需要参考其他传感器读取的数据作为距离数值)。当超过该比例时，取激光测距传感器3读数为最后结果。
52.采集检测装置读取识别人与物体的距离，并根据检测到人与物体的距离时相对原点转动的角度(此处原点指的是一种基于图像处理和力学分析的室内人体碰撞警报方法的装置的采集检测装置的陀螺仪在尚未转动时的位置本身，相对转动角度指的是，采集检测装置内置陀螺仪，当采集检测装置旋转时，陀螺仪反馈基于三维坐标下的转动角度，采集检测装置基于转动部件旋转来探测人员，当探测到人员时，其相对于原点已绕z轴转动一定角度，该角度即为相对原点转动角度)，通过三角函数计算得到人、物的二维坐标，以语音播放口5所在平面为一种基于图像处理和力学分析的室内人体碰撞警报装置的正面，以4g主天线7与底座6连接的平面为背面，当双目摄像头1镜头与双目摄像头1所在的采集检测装置接触的一面平行于语音播放口5所在平面时的转动轴4的轴心为原点，以平行于一种基于图像处理和力学分析的室内人体碰撞警报装置的正面为x轴，左侧为负x轴，右侧为正x轴，以一种基于图像处理和力学分析的室内人体碰撞警报装置的正面的正前方为正y轴。以平行于转动轴4的轴心方向向上为正z轴，当高性能处理器读取双目摄像头1画面并识别到的人、物体在y轴处坐标大小相近，二者相差值占人在y轴坐标数值的比例小于等于2％时，视为二者在x轴方向有碰撞可能，此时装置开始进行下一步计算。若超过2％，则舍弃识别。红外测温传感器2对范围内人体进行测温，以此判断是否为人体。
53.当采集检测装置读取识别人与物体的距离并反馈给控制器内的高性能处理器，当高性能处理器识别到人、物可能碰撞时，高性能处理器基于先前识别到的人、物，对物体进行边缘识别，对人体进行openpose解算，以此在图像内读取到物体边缘线的像素坐标与人体骨骼区域的像素坐标，将两坐标相减，取最小值即为人体运动下可能与物体碰撞的区域，以该最小值所在的人骨像素坐标带入openpose区域，识别此像素坐标所在人体骨部位，以此调用对应的人骨力学仿真模型，所述人骨力学仿真模型基于现有人体骨部位ct图，逆向三维拟合成骨体三维模型，设定模型密度和材质，基于ansys软件，在不同部位设定一个施力点，以关节处设定为固定点，进行仿真，以此可得出不同力、不同部位下骨头受力的位移，针对于同一受力点，以位移为y轴，力为x轴，不同力对应不同位移，这样基于多次仿真，记录多组数据，以此基于多组数据，通过matlab进行数据拟合，导出对应公式，该公式为：
54.z＝a*x1^n b*x2^n1 c，
55.由于不同部位骨质不同、肌肉、软体组织不同，因此系数a、b、c均不同，x1为位移，x2为力值，c为来自对应点处肌肉的缓冲数值，n为位移的次方数、n1为力值的次方数，z为位移值。在摄像头视角内图像数据为二维平面，因此所识别判断的撞击区域为一个撞击点，在仿真时，以骨部位的矢状面上的z轴间隔2mm为一个仿真点，在每个仿真点上施加不同力值
进行仿真，并收集同一个点的不同力值的位移仿真数值，拟合公式，每个公式对应一个撞击点，每个撞击点按数字顺序从头到尾进行编排。
56.模型内，骨位移指的是骨头某点施力前后在水平线上偏移的角度，从整体看表现为骨头受力后弯曲。骨位移为数值，而实际上该位移为骨头弯曲造成，骨头弯曲到一定程度将发生断裂，以断裂时骨头位移为临界点。根据撞击点选用不同公式，将力度带入公式内，当得出数值大于临界点时，则判断为骨折，若未超过临界点，则根据实际调研的痛感与骨体弯曲的关系对现有数值与临界数值的占比进行疼痛度划分。此时采集检测装置连续读取画面内该人体与物体的像素距离s。基于间隔时间t，根据公式：v＝s/t得出不同时刻下人体速度，以此基于动量定理ft＝mv1-mv2和预设的体重数值得出当接触时(人、物可接触点的两坐标间距离为0)，接触点受到的力的大小，将该力的数值、时间、骨区域带入力学仿真模型内进行解算，得出骨偏移数值、压力数值、周围骨和肌肉组织的反应，将压力与痛感的数值比较、股偏移与骨折可能性的比较，得出人员受伤时可能出现的外在表现情况和后续可能的病况信息。基于此结合常用医学每次进行定义(例如针对于腿骨骨折，在常用医学上所能知道的外在表现为人体不能行动，或者随着骨折部位没有及时受到救治，骨骼愈合较慢，例如简单碰撞但未骨折，在常用医学层面可能在撞击点处形成淤青。具体将针对不同骨位移数据与骨折临界点的占比进行对应判断。比如未达到骨折临界点，则根据骨位移数据与骨折临界点的占比结合常用医学对撞击点淤青程度进行判断，撞击较重，淤青明显，较轻，淤青较轻)，并记录仿真部位图，将该图和病况信息通过4g传输模块发送给监护人，由监护人判断是否传送医院。监护人可以使用手机app对传输信息进行控制，app上对病情进行数值化展示，用户可设定当数值达到多少时，装置自动播报并向医院求助。当人体与物体在预先设定的警报距离内时，装置通过语音播放口5发出警报，提醒人员注意前方物体。
57.当人摔倒时，其在图像表象上为：以人体为中心，即将摔倒前足部所在点为原点，人体绕该点旋转一定角度，直至接触到物体或者接触点与原点在同一水平线。由于人摔倒过程中，肢体可能会有变化，并非挺直倒地，因此采集检测装置识别到人体，基于openpose解算各骨骼处人体，并基于各处骨骼向周围进行边缘识别，识别到人体肢体，当肢体相对之前位置有大幅度的角度变化，则识别为摔倒，基于图像内人体像素点坐标，得出不同图片内人体头到足部的像素长度，以此为半径r，基于间隔时间t，转动的角度θ，根据w＝θ/t得出角速度，在基于v＝wr得出线速度，由于t时间较短，认为线速度即为当时时刻下垂直于接触点的速度，并基于此以动量定理得出当人体摔倒时对应部位所受的力，并将力的大小、力的数值、时间、骨区域带入力学仿真模型内进行解算，得出骨偏移数值、压力数值、周围骨和肌肉组织的反应，根据压力与痛感的数值比较、股偏移与骨折可能性的比较，得出人员受伤时可能出现的外在表现情况和后续可能的病况信息。并将该信息反馈给监护人和医护人员做后续处理。
58.部分疾病发病时表现为人员肢体行为频繁，或规律性运作或者突发不规律行为。基于对人体行为的深度学习后的模型(该模型结构为记录疾病诱导肢体行为频繁的病人在疾病发生时行为录像，基于opencv与openpose、tensorflow对录像逐帧识别人体动作摆动位置，再讲逐帧画面位置连接，形成对应部位在该疾病发作下摆动幅度变化数值，并将该变化区域进行图像切割，形成对应部位的摆动模型，将不同部位摆动与对应时间下其他部位摆动情况进行链接，再次组合成一个人体模型。此时该模型针对原录像人体区域内进行卷
积计算，坐标定位摆脱录像内其他参照物，可用于不同录像下人体运动的识别。)，在图像内，根据openpose解算人体骨骼结构，通过连续识别解析，轮流带入一种基于图像处理和力学分析的室内人体碰撞警报方法的装置所存储的病例模型，实时人体行为录像在模型内有对应匹配度，当匹配度达到90％时，则推断人员可能发生的病况。并基于此项监护人和医护人员发生相应信息。同时通过语音播放口5发出警报，提醒周围人员附近有人有发病情况。
59.人骨力学仿真模型基于mimics、ansys进行仿真，得出不同部位人骨在不同受力条件下的骨体偏移、挤压、磨损等，同时导入皮肤、肌肉对力的缓冲影响的系数数值，将得出的连续数值带入拟合，逆推出不同环境下，不同骨部位的受力分析公式，根据openpose对骨位、受力情况进行分析，调用不同骨部位的受力分析公式模型，以此得出所需的骨体偏移等数据，进一步根据该数据，结合设定的病况等级，推出可能发生的病况是哪种，且程度为多少，比如根据现有医学评级，比如骨折和粉碎性骨折，医学如此评级，而在人骨力学仿真模型层面而言，粉碎性骨折为骨质在多个点或单一点受到极大力导致骨多出骨折。
60.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。