多模态人体健康检测可视化方法及系统

1.本发明涉及多模态传感器检测以及可视化技术领域，具体涉及一种多模态人体健康检测可视化方法及系统。


背景技术：

2.足部健康是人体健康的一个重要环节，医疗领域将足型分为正常足，扁平足和高弓足；脊柱侧弯是一种伴有椎体旋转的复杂的脊柱三维畸形。其中大约的患者属于发病原因不明的特发性脊柱侧弯。现代生物力学表明足的健康已经超越了足的本身，影响到了人体的各个方面。足部的疾患常常诱发踝关节、膝关节、骨盆、脊柱的病变。因此关注足和脊柱对人体健康非常重要。
3.当前市场上可以实现足底压力采集的设备主要有平板足底压力分析仪和足底压力鞋垫。平板足底压力分析仪灵敏度较高，但是体积较大，仅限在室内使用，实时性和便携性较差，同时成本高昂，普通用户难以承受。目前现有的智能鞋垫主要基于压阻或电容式传感，大多具有实时监控、可动态监测运动信号等功能。然而，压阻或电容式传感多存在灵敏度较低、共电极电路可靠性较差等问题，同时在测量时均需要外加辅助电源，大大的增加了测量成本、降低了鞋垫的便携性。
4.医学上通常采用支具治疗的方法对轻度或中度侧弯的患者进行矫正。患者通过穿戴定制支具，依靠施加于支具上的外力纠正脊柱的形状。除了在特定时间内进行医学治疗外，患者平时需要一直戴着支具，以限制脊椎侧弯生长速度。但该方法只能在一定范围内限制患者胸腰椎活动空间，不能对患者日常生活中的姿态进行监测，保证患者始终保持良好的姿态。
5.因此，如何提供一种能够对足底压力数据和脊柱压力数据进行的多模态可视化的方法及系统是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提出了一种多模态人体健康检测可视化方法及系统，解决现有技术中人体健康检测的可视化体验感差的技术问题。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明公开了一种多模态人体健康检测可视化系统，包括鞋垫、pvdf柔性传感器件、后端终端和web前端终端；其中，
9.所述鞋垫配备有多个pvdf柔性传感器件且均匀分布在人体行动时足底压力大于设定值的位置；
10.所述pvdf柔性传感器件经处理电路与所述后端终端无线连接，所述后端终端用于接收压力传感数据并编码为数据帧，将所述封装存入缓存池；同时将每一帧数据帧与相应穿戴者的信息以及鞋垫的信息进行绑定，并写入数据库中；
11.所述web前端终端与所述后端终端无线连接，用于动态实时调用所述缓存池中的
数据，以及批量调用数据库中的数据，并显示所述数据。
12.优选的，还包括分布式柔性压阻传感器和脊柱矫形支具；所述分布式柔性压阻传感器设置于矫形支具上，位于所述矫形支具与皮肤之间，用于获取脊柱固定点压力数据；所述分布式柔性压阻传感器经处理电路与所述后端终端无线连接。
13.本发明还提出了一种根据所述的多模态人体健康检测可视化系统的多模态人体健康检测可视化方法，包括如下步骤：
14.动态实时显示步骤：
15.动态实时接收足底多点位的压力传感数据，进行编码形成数据帧，无线发送至后端终端；
16.后端终端无线接收每一帧数据帧并进行解码，获得足底多点位的压力传感数据，并进行flask封装存入缓存池；
17.前端跨域实时异步请求调用所述缓存池中通过flask封装完成的数据并显示，直到缓存池中的数据清零；
18.批量显示步骤：
19.实时获取数据帧的同时，将每一帧数据帧写入数据库中，前端调用所述数据库中数据根据设定时间段显示压力传感数据。
20.优选的，所述数据帧分别由数据长度、帧头、序列号以及压力数据四个部分组成。
21.优选的，所述后端终端无线接收每一帧数据帧并进行解码包括：通过使用python serial包来获取蓝牙发送的串口数据并进行解码，所述串口数据包括：每一帧数据帧。
22.优选的，还包括计算并显示足底的中心线位置以及基本信息的步骤：
23.根据每一帧的整个足底压力传感数据帧计算出cop所连成的曲线，cop为脚部着地过程中足底接触面压力中心运动轨迹的参数；
24.根据每一帧的整个足底压力传感数据帧计算出基本信息，所述基本信息包括足底压强、受压面积、足部轴角、足印长度以及足部负荷信息。
25.优选的，所述前端调用所述数据库中数据根据设定时间段显示压力传感数据包括：
26.根据设定时间段或者鞋垫编号从数据库中获取历史数据并显示。
27.优选的，还包括脊柱压力数据显示步骤：
28.实时获取多个脊柱固定点的脊柱压力数据；
29.对每个脊柱固定点的脊柱压力数据以设定单位时间区间的平均压力变化值进行显示。
30.优选的，使用表格和/或折线图的形式来显示每个脊柱固定点的脊柱压力数据。
31.优选的，还包括：穿戴者信息绑定步骤：将所述数据帧、每个脊柱固定点的脊柱压力数据与相应穿戴者的信息以及鞋垫的信息进行绑定，执行当前穿戴者信息对应的动态实时显示步骤、批量显示步骤或脊柱压力数据显示步骤。
32.经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：
33.本发明采用web端应用来作为主要的表现形式，增加了人机交互的操作并且不断提升了用户操作体验；
34.本发明对足底压力可视化方面设计两种不同的显示模式，第一个是足底压力实时
显示，用于观测当前的足底压力变化以进行及时观察，第二个就是通过对历史数据进行收集，对不用时间段的足底压力来进行分析。并且，在显示足底压力的同时，还能够同步计算其他足部指标，给观测人员更多的参考价值。对于脊柱数据监测方法，本发明针对每一个传感器的压力实时数据以及单位时间区间的压力变化情况来进行可视化，通过一些列的传感器的压力变化可以给专业人士提供判断病人是否有脊柱侧弯的疾病风险的同时，增强了人体健康检测的可视化体验感。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；
36.图1为本发明一种实施例提供的多模态人体健康检测可视化系统的原理框图；
37.图2为本发明一种实施例提供的足底压力传感数据可视化具体流程图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.针对当前扁平足、高弓足和糖尿病足的发病率大幅增长的趋势，迫切需要一款集成多模态柔性传感功能且穿戴舒适的主动康复智能鞋，实现对足底压力、足部运动状态的实时监测，实现对非正常足型的矫正，降低糖尿病足的发病率，并通过智能模式识别进行相关疾病诊断和健康状态预警，采用闭环控制对足部施加物理(光、电、热等)刺激实现主动干预治疗。
40.专业的步态检测的目的在于，用生物力学理论找出足病隐患及足病原因，通过对足底压强分布、足底运动趋势、足稳定性等分析，制定合理科学的预防及矫正方案，使我们的双足得到妥善的呵护。通过对运动状态足底压力特点的检测，分析发生足部和下肢损伤的可能性，找出产生足部问题的原因。对不同时期和不同运动状态时足底压力进行检测，数据进行对比分析研究，可揭示不同发病时期不同状态下足底的压力分布特点，有助于推导足部病情的衍变过程，对运动系统疾病的病因研究、诊断、预防、治疗、康复指导及疗效评定等均具有重要的参考价值。
41.如图1所示，本发明实施例第一方面公开了一种多模态人体健康检测可视化系统，包括鞋垫、pvdf柔性传感器件、后端终端和web前端终端；其中，
42.鞋垫配备有多个pvdf柔性传感器件且均匀分布在人体行动时足底压力大于设定值的位置；
43.pvdf柔性传感器件经处理电路与后端终端无线连接，后端终端用于接收压力传感数据并编码为数据帧，将封装存入缓存池；同时将每一帧数据帧与相应穿戴者的信息以及鞋垫的信息进行绑定，并写入数据库中；
44.web前端终端与后端终端无线连接，用于动态实时调用缓存池中的数据，以及批量调用数据库中的数据，并显示数据。
45.在一个实施例中，结合了压力传感器设计了特殊的鞋垫，每一只鞋垫配备有72个传感器并且均匀分布在人体行动时足底压力较为明显的位置，所采用传感器为基于pvdf的柔性传感器件，pvdf作为一类压电材料，在受到外力的作用下会在两侧产生电势，该电势和压力成正比。足底在给予传感器力时，传感器会产生响应的电势，通过检测电路，经过电荷放大，数模转换后可以输出为电压值，该电压值对应着施加的压力，电压值数据的分布从0～2800，数值越大代表该压力传感器收到的压力也越大。
46.在一个实施例中，还包括分布式柔性压阻传感器和脊柱矫形支具；分布式柔性压阻传感器设置于矫形支具上，位于矫形支具与皮肤之间，用于获取脊柱固定点压力数据；分布式柔性压阻传感器经处理电路与后端终端无线连接。柔性压阻传感器作为一类柔性传感器，在受到外力的作用下电阻会发生变化，该变化和压力成正比。在人体和脊柱侧弯康复辅具的共同作用下，传感器会输出相应的数值，通过检测电路，经过数模转换后可以输出为电压或电流值，该电压或电流值对应着施加的压力。
47.需要说明的是，脊柱侧弯是一种伴有椎体旋转的复杂的脊柱三维畸形。其中大约的患者属于发病原因不明的特发性脊柱侧弯。据统计2-3％的青少年患有青少年特发性进展侧弯，需要接受治疗。在我国，脊柱侧弯的病人超过800万人，80％在10岁至15岁发病，每年新增30万。虽然支具广泛应用于青少年的矫形治疗中，但是其内部的生物力学原理尚未完全明确。本实施例利用分布式传感器网络采用多传感器采集目标物信号，通过对各信号的筛选和分析，有效避免了单一传感器可能带来的数据失效情况。基于以上研究情况，本实施例具体采用分布式触觉压力传感系统，并将其应用于矫形支具上，开展了智能脊柱矫形装置的研究。
48.端终端接收脊柱固定点压力数据实时显示当前脊柱压力传感器数据并且将数据存入数据库当中，以便于对数据库的脊柱压力历史数据来进行进一步的使用。web前端终端实时调用数据库中的数据，并显示数据。
49.本发明第二方面公开了一种根据第一方面的多模态人体健康检测可视化系统的多模态人体健康检测可视化方法，如图2所示，足底压力数据可视化方法：足底压力检测系统主要分为两个部分，动态实时接收鞋垫压力数据以及压力数据的可视化显示。包括如下步骤：
50.动态实时显示步骤，动态实时显示即使用axios工具来实时调用通过flask封装完成的串口数据接口，并且结合多线程和临时缓冲池来解决同步问题：
51.动态实时接收足底多点位的压力传感数据，进行编码形成数据帧，无线发送至后端终端；
52.后端终端无线接收每一帧数据帧并进行解码，获得足底多点位的压力传感数据，并进行flask封装存入缓存池；
53.web前端终端跨域实时异步请求调用缓存池中通过flask封装完成的数据并显示，直到缓存池中的数据清零，具体包括：
54.web前端终端设计来两个定时器即父定时器和子定时器，父定时器每3秒进行一次ajax异步请求来获取后端flask封装完成的串口数据接口，后端接口在该请求获取index作
为缓存池的索引，将当前缓存池中的新增数据全部返回给前端。在获取新增数据后，子定时器启动，根据获取的数据的长度来设定子定时器时间，将新增数据的所有类型数据进行一一展示，从而实现动态实时显示功能。
55.批量显示步骤：
56.实时获取数据帧的同时，将每一帧数据帧写入数据库中，前端调用数据库中数据根据设定时间段显示压力传感数据。
57.在一个实施例中，同时将72个点位的压力值进行了编码形成了特殊的数据帧格式，该数据帧分别由数据长度、帧头、序列号以及压力数据四个部分组成，具体说明如表1所示。
58.表1足底压力数据帧格式说明
[0059] 数据帧长度帧头序列号压力数据占位1byte1byte1byte2*data_num byte说明3 2*data_num0xfa0-255的循环数每个数据占两个字节
[0060]
在一个实施例中，后端终端无线接收每一帧数据帧并进行解码包括：通过使用python serial包来获取鞋垫通过蓝牙发送的串口数据，并且使用特定的解码格式对接收到的每一帧数据进行解码，最终获得到72个传感器收集到的压力数据。
[0061]
在一个实施例中，动态实时显示不仅显示了每一帧穿戴者足底对应传感器的压力信息，同时还需要计算并显示足底的中心线位置以及其他基本信息。中心线位置是又每一帧的整个足底压力计算出的中心点(cop)所连成的曲线，cop是标识一只脚整个着地过程足底接触面压力中心运动轨迹的参数，其同样表示足部着地过程整体重心的移动轨迹，根据压力中心曲线与中轴线的偏移量可以在一定程度判断用户的身体状况。除了压力中心曲线之外动态实时显示还需要计算更多的基础压强信息来给用户提供更多的参考价值，其他信息如表2所示。
[0062]
表2足底压力指标说明
[0063]
[0064][0065]
在一个实施例中，后端终端接口通过flask框架封装好实时数据后，前端使用axios进行跨域实时异步请求，得到当前缓存中的数据并显示，在显示完当前批次数据后再次对缓存池中的后续实时数据获取并显示，直到缓存池中的数据清零。
[0066]
在一个实施例中，在前端页面动态显示足底信息的同时，后台会记录下该穿戴者的信息以及鞋垫的信息，并且将每一帧的足底压力数据以及其他信息都写入数据库中，该系统为用户提供了可以回顾过去使用鞋垫收集的数据，并且可以根据时间段来显示压力。批量显示数据不需要调用串口实时接收的数据，只需要根据用户的需求比如某一个时间段或者某一块鞋垫编号来从数据库中获取历史数据的显示。
[0067]
在一个实施例中，还包括脊柱压力数据显示步骤：
[0068]
实时获取多个脊柱固定点的脊柱压力数据；
[0069]
对每个脊柱固定点的脊柱压力数据以设定单位时间区间的平均压力变化值进行显示。如针对与每个传感器的压力数据的变化来进行监测，并且增加了每个传感器每小时和每日的平均压力数据的具体数值以及压力变化值。
[0070]
本实施例中，使用表格和/或折线图的形式来显示每个脊柱固定点的脊柱压力数据。
[0071]
在一个实施例中，还包括：穿戴者信息绑定步骤：将数据帧、每个脊柱固定点的脊柱压力数据与相应穿戴者的信息以及鞋垫的信息进行绑定，执行当前穿戴者信息对应的动态实时显示步骤、批量显示步骤或脊柱压力数据显示步骤。
[0072]
穿戴者注册及调取数据显示的执行步骤如下：
[0073]
s1、用户(穿戴者)首先进行注册，注册的内容需要绑定用户个人信息以便后续结合压力数据以及指标进行个性化的分析，并且注册时用户可以对鞋垫进行绑定，绑定之后后台会自动记录绑定的鞋垫和用户的数据。
[0074]
s2、用户使用注册信息进行登陆后可以看到三个部分，即足底数据批量显示、足底数据实时显示以及脊柱侧弯监测显示，可以根据不同的需要来进行选择。
[0075]
s3、足底数据批量显示，需要提前准备好在外部获取的足底数据的csv文件，将csv
文件上传，后端程序会自动将csv中的数据进行解压和排序形成页面中足底的分布以及指标的计算，以数据大小为时间长度可以进行对应数据的播放显示。
[0076]
s4、足底数据批量显示，需要将身边的足底鞋垫来进行检测绑定，初步使用蓝牙协议来进行通信，在建立好了软硬件通信后点击开始接受数据并且开启鞋垫的发送指令，即可在系统中实时显示鞋垫的压力数据以及对应的其他指标。
[0077]
s5、脊柱侧弯监测显示，脊柱侧弯显示主要是使用表格和折线图的形式来显示每个传感器的数据，在使用之前也是需要连接对应的脊柱传感器，建立软硬件的通信之后即可获取脊柱实时的数据。
[0078]
以上对本发明所提供的多模态人体健康检测可视化方法及系统进行了详细介绍，本实施例中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
[0079]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本实施例所示的这些实施例，而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。