一种多模态数据融合的盆底功能整体评估方法及设备

1.本发明是一种多模态数据融合的盆底功能整体评估方法及设备，具体涉及一种基于声光电多模态实现人体盆底功能整体评估的方法及实现该方法的计算机设备和计算机可读存储介质，属于医疗诊断检测技术领域。


背景技术：

2.女性盆底功能障碍性疾病（pelvic floor disfunction, pfd)是由多因素导致盆底支持结构薄弱，造成盆腔脏器位置和功能异常的一组疾病，包括：盆腔器官脱垂（pelvic organ prolapse, pop)、尿失禁（urinary incontinence, ui）、粪失禁、性功能障碍和慢性盆腔疼痛等，病程长而且复发率高，是一类严重影响患者生活质量和身心健康的疾病，对个人、家庭和社会造成严重负担，目前pfd已被认为是影响人类生活质量的五大慢性病之一。
3.盆底结构复杂，涉及肌肉、筋膜、韧带、血管和神经等多重组织，构成泌尿、生殖、肛肠等不同器官关联的整体。盆底的肌肉和筋膜形成了整体支撑结构，其中肌肉状态对于盆底支撑功能的实现尤为重要。盆底肌肉由3个层面的肌肉组成，包括盆膈（肛提肌及上下筋膜）、深横肌及筋膜、会阴浅层肌群及筋膜，只有盆底肌肉正常协同收缩，才能正常发挥盆底肌肉的协调控制作用。当盆底肌肉退化、松弛、肌力不足时，会引起盆腔脏器解剖移位、关闭功能异常等情况而导致功能障碍，所以如何衡量评价盆底功能状态是目前盆底疾病诊疗中的重要评价指标和选择治疗方案的前提内容之一。
4.国际指南建议对女性pfd患者首先进行盆底功能整体评估再制订适宜的诊疗方案。临床上最常用的肌力评估法方法是手指触诊和简易气囊阴道测压法。盆底手测肌力很大程度上依靠临床医师的主观经验进行判断，准确度和重复度不高；阴道测压装置简易粗糙，仅能大致反应阴道收缩后气囊内的整体压力变化，并不能真实反映盆底深层和浅层肌肉的收缩力和维持时间。目前临床上常用的间接衡量盆底肌肉收缩能力的表面肌电检测，来大致评估盆底肌功能。市面上的阴道内表面肌电探头可以粗略测量平均肌电，但由于探测棒上的探测片或环位置少（一般两个）、测量精度低、活动后阴道内位移等多个因素的影响，测量并不准确，可重复性差，可能使临床医生判断失误，导致临床治疗方案产生偏差。
5.目前盆底肌活性的评估主要是定性的，关注于信号线的形状，从休息到收缩阶段的信号振幅的数量，耐力收缩期间表面肌电信号的持续时间和质量，比较治疗前后盆底肌功能的变化，仅有少数研究对此类变化进行定量研究。keshwani等对比16款商业化阴道探头发现（neurourol urodyn. 2015 feb;34(2):104-12），所有探头在设计上均有缺陷，包括几何形状、电极大小、数量、位置和配置。
6.现有技术中，针对阴道探头的设计缺陷，公开号为cn114343646a的发明专利公开了一种肌力评定方法使用的多源融合探头，该多源融合探头包括弹性体和弹性体表面的导电电极，利用弹性体采集压力值，导电电极采集肌电值，从而能够将肌电值对应压力值进行数据匹配，从压力值及盆底肌电信号多维度评价盆底肌状态且数据客观、可量化。
7.公开号为cn110916656a的发明专利公开了一种多通道盆底肌肌力评估系统，该系
统利用多通道电极：第一采集电极、第二采集电极和第三采集电极，将采集到的盆底肌表面肌电信号进行相邻肌电信号矩阵关系映射，从而最大效率的实现了多通道电极对盆底肌的精准定位分析，可有效解决现有技术条件下盆底肌电信号检测通道数低，无法实现精准定位病态肌群的缺陷。
8.公开号为cn111012326a的发明专利公开了一种盆底肌校准方法，该方法通过获取超声采集系统采集到的盆底肌超声图像并进行分析，得到基于超声的第一盆底肌评估结果值；以及获取盆底肌生物反馈采集系统采集到的盆底肌生物电信号并进行分析，得到基于盆底肌生物电信号的第二盆底评估结果值；然后根据确定的第一盆底肌盆骨结果值和第二盆底评估结果值的匹配程度，判断该匹配程度是否落在预设的匹配程度范围内，若否，则校准所述盆底肌生物反馈采集系统当前的生物电刺激输出参数，以提高盆底评估的准确性。
9.由此可知，现有阴道探头虽然从信息采集方式、信息采集数量以及信息准确程度等方面有所提升，但仍然存在以下问题：（1）盆底肌检测依靠阴道探头提供的压力信号及电信号作为评估数据，该数据仅能对盆底肌的肌力情况进行判断，无法从整体上对盆底功能提供评估价值。
10.（2）现有盆底肌评估方法仅能获得阴道探头所采集而得到的相关数值，无法获得可视化及影像化的检测结果，依然无法了解整体盆底功能状态。
11.（3）现有技术虽然提出了基于超声影像对盆底肌评估结果进行修正，但需要通过超声采集系统单独对患者采集盆底肌超声图像，增加了检测流程，并无法直接和盆底肌肉参数指标作对映或者整体评价。
12.（4）现有的单独阴道镜或直肠镜可以对黏膜表面做评价，但又是单独的两项检测，因不同检查者和检测时空的变化，导致疾病整体对应性很差。
13.综上所述，目前仍缺乏一体化多模态全方位盆底功能整体评估方法和系统。


技术实现要素：

14.本发明的目的是提供一种多模态数据融合的盆底功能整体评估方法，该评估方法通过光学、超声和压力检测平台的深度融合，能够提升盆膈下精细结构感触和浅深层影像辨识能力，实现盆底诊疗精准度的提升。为此，本发明还提供了实现该盆底功能整体评估方法的计算机设备。
15.本发明通过下述技术方案实现：利用光学成像模块，采集包括阴道内及直肠腔内黏膜状况、异常增生、黏膜膨隆松弛堆叠及解剖位点移位的数据，获得盆底基本信息，利用超声模块，采集包括盆腔空腔脏器黏膜下基质结构及盆腔深部神经、血管、肌肉、骨骼及其相应解剖位移的数据，以获得基于超声影像的盆腔组织和神经、血管、肌骨功能评估信息，利用肌肉肌力和肌电检测模块，采集阴道、直肠、尿道肛提肌裂孔周围的盆底肌肉肌力肌电数据，以获得基于肌力肌电数据的盆底肌功能评估信息，采用多模块融合阴道直肠探头，将光学成像模块、超声模块、肌肉肌力和肌电检测模块集成于多模块融合阴道直肠探头上，多模块融合阴道直肠探头用于将获得的盆底基本信息，盆腔组织和神经、血管、肌骨功能评估信息，盆底肌肉肌力肌电数据发送至计算机，实
现多模块信号融合, 获得盆底功能整体评估信息，所述多模块融合阴道直肠探头为探测指套，将光学成像模块设于探测指套的指尖部位，将超声模块设于探测指套第一指节的指腹部位，将肌肉肌力和肌电检测模块设于整个探测指套表面，并采用透明膜充气启动工作模式。
16.通过控制多模块融合阴道直肠探头倾斜、推拉和/或旋转来实现数据采集。
17.在采用多模块融合阴道直肠探头进行数据采集时，患者行静态、valsalva动态和/或kegal动态。
18.本发明所述多模块信号融合是通过提取影像中所需区域的位置信息，利用u-net网络多分类分割方法确定基本定位，然后再通过图像的半自动重建分割，获得盆底整体功能评估的三维二值图像，最后经人工核验误差和图像转换后，即可构建得到盆底功能整体评估模型，用于盆底功能整体评估信息的表达。
19.一种计算机设备，包括储存器、处理器以及存储在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的盆底功能整体评估方法。
20.一种计算机可读存储介质，所述计算机可读存储介质储存有计算机程序，所述计算机程序被处理器执行时实现如上述的盆底功能整体评估方法。
21.本发明与现有技术相比，具有以下优点及有益效果：（1）本发明首次在盆底功能评估过程中采用多模态数据融合的方式，即光学、超声和压力检测的深度融合，实现了盆腔脏器的内腔及其周围神经、血管、肌骨系统从黏膜表面到间质内部组织状态的全面评价，为盆底诊疗提供更加精确的客观依据，可提升盆底诊疗的精准度。
22.（2）本发明采用多模块融合阴道直肠探头可实现阴道及直肠内全方位的一体化检测，可以同时获取基于光学影像的盆底基本信息、基于超声影像的盆腔组织和神经、血管、肌骨功能评估信息、盆底肌肉肌力肌电数据，这些数据经计算机深度融合后，即可获得全方位立体展示盆底功能的整体状态，是目前所有器械装备还未能解决的问题，可为各种盆底功能疾病的科学研究提供依据。
23.综上所述，本发明实际提供了一种将光学、超声和压力检测集成在多模块融合阴道直肠探头上而进行的一体化盆底功能检测评估方法，该方法实现了光学、超声和压力检测的一体化，可提高检测效率及检测精度（一体化检测使得多项检测过程中体位均能保持一致）；该方法将光学检测的视频影像、超声检测的二维图像和压力检测的曲线图融合得到三维立体图像，可用于实现盆底组织、肌骨、神经等全方位整体状态的展示，为盆底诊疗和科学研究提供客观依据。
附图说明
24.图1为本发明所述多模块融合阴道直肠探头的结构示意图。
25.图2为本发明实施例4中测试者xx的直肠镜图片（一）。
26.图3为本发明实施例4中测试者xx的直肠镜图片（二）。
27.图4为本发明实施例4中测试者xx的肛管横断面图片（a：肛门内括约肌；b肛门外括约肌）。
28.图5为本发明实施例4中测试者xx的肛管纵断面图片（c：肛管矢状切面）。
29.图6为本发明实施例4中测试者xx的尿道阴道纵断面图片（d：尿道；e：阴道）。
30.图7为本发明实施例4中测试者xx的盆底肌电曲线。
31.图8为本发明实施例4中测试者xx的盆底三维示意图（仅显示盆底肌肉）。
32.图9为本发明实施例4中测试者xx的盆底组织的三维示意图（侧位）。
33.图10为本发明实施例4中测试者xx的盆底血管和肌肉的三维示意图（正位）。
34.上述图1中，1—光学成像模块，2—超声模块，3—透明膜，4—手指。
35.上述图2、3、8、9、10中实际获得的图像均为彩图，更便于作为组织形态评价的依据。
具体实施方式
36.下面将本发明的发明目的、技术方案和有益效果作进一步详细的说明。
37.应该指出，以下详细说明都是示例性的，旨在对所要求的本发明提供进一步的说明，除非另有说明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
38.术语解释：盆膈下精细结构是：盆底各组肌肉（耻骨直肠肌、髂尾肌、耻尾肌、耻骨阴道肌、球海绵体肌、会阴浅横肌、坐骨海绵体肌、肛门内外括约肌、尿道内外口括约肌等）、筋膜（耻骨尿道筋膜、耻骨宫颈筋膜、直肠阴道筋膜、盆膈上筋膜等）、韧带（肛提肌腱弓、骶棘韧带、前纵韧带、盆筋膜腱弓等）、神经（阴部神经、骶神经丛、腹下神经丛、盆神经等）、血管（阴部内动静脉、会阴动静脉、直肠下动静脉等）及贯穿盆膈的各器官（膀胱尿道、子宫阴道、肛管直肠）的解剖结构和在完成控尿、控便和生殖等生理功能的各种病理生理状态。
39.valsalva动作是：深吸气后紧闭声门，再用力做呼气动作，呼气时对抗紧闭的会厌，增加胸内压和腹腔内压力的状态。
40.kegal动作是：凯格尔运动又称盆骨运动，是盆底肌锻炼的一种最常用的方式。凯格尔运动常被用来降低尿失禁、妇女的产后尿失禁问题。第一步，收缩盆底肌肉5秒钟，一开始做可能只能收缩2-3秒，这是正常的，长期坚持就好。第二步，放松肌肉10秒钟，给盆底肌肉休息的时间、避免拉伤；第三步，重复练习10次，算是一组凯格尔训练，做完就可以休息了。训练一段时间后，慢慢把每次收缩盆底肌的时间增加到10秒。保持10秒收缩，10秒放松的力度来锻炼，同样是10次一组，每天3-4组。
41.aa点数值是：放松状态下阴道前壁中线距处女膜缘3cm处在valsalva状态下相对于处女膜缘的距离。数值范围为-3～ 3cm。
42.ba点数值是：valsalva状态下，aa点后阴道前壁脱出部最低点距处女膜缘的距离。数值范围-3cm～阴道总长度。
43.ap点数值是：放松状态下阴道后壁中线距处女膜缘3cm处在valsalva状态下相对于处女膜缘的距离。数值范围为-3～ 3cm。
44.bp点数值是：vasalva状态下，ap点后阴道后壁脱出部最低点距处女膜缘的距离。数值范围为-3cm～阴道长度。
45.c点数值是：vasalva状态下，子宫颈外口（子宫切除者则相当于阴道残端）据处女膜缘的距离。数值范围为-阴道长度～阴道长度。
46.d点数值是：valsalva状态下，阴道后穹窿据处女膜缘的距离。数值范围为-阴道长度～阴道长度。
47.实施例1：多模块融合阴道直肠探头如图1所示，本实施例的多模块融合阴道直肠探头为探测指套，在探测指套的指尖部位集成有光学成像模块1，以用于采集阴道内及直肠腔内黏膜状况、异常增生、黏膜膨隆松弛堆叠及解剖位点移位等数据。在探测指套的第一指节的指腹部位集成有超声模块2，以用于采集盆腔空腔脏器黏膜下基质结构及盆腔深部神经、血管、肌肉、骨骼及其相应解剖位移的数据。在探测指套的整个外表面覆盖有肌肉肌力和肌电检测模块，通过透明膜3充气启动工作模式，以用于采集阴道、直肠、尿道肛提肌裂孔周围的盆底肌肉肌力肌电数据。这些数据被收集在多模块融合阴道直肠探头的储存器中，可通过蓝牙或其他无线/有线输送方式传送至计算机，再进行多模态数据融合的盆底功能整体评估。
48.通过透明膜3充气启动工作模式是指探测指套外套设一层透明膜3，当透明膜3充气鼓起时，启动设置于探测指套外表面的肌肉肌力和肌电检测模块工作，以用于收集透明膜3因压力而产生的相关信号，该信号可以是电信号或其他信号等。（图1仅为简单示例，并未示出探测指套以及肌肉肌力和肌电检测模块的具体结构。）在一个具体的实施例中，将检测、传输和储存等功能模块集成于探测指套的相应位置上，探测指套用于套设在手指4前端指节上，探测指套外的透明膜3覆盖于整个手指4上，未充气时，透明膜3可贴合于探测指套及探测指套下端的指节上，充气时可向外鼓起并接触待测部位。
49.实施例2：多模态数据融合的盆底功能整体评估采用图1所示多模块融合阴道直肠探头进行以下操作：步骤一，将多模块融合阴道直肠探头开启电源后与计算机连通后，操作者佩戴多模块融合阴道直肠探头后插入测试者的阴道内进行检测。
50.步骤二，检测过程中，控制多模块融合阴道直肠探头倾斜、推拉和/或旋转来实现数据采集，并通过光学成像模块1获得基于光学影像的盆底基本信息，通过超声模块2获得基于超声影像的盆腔组织和神经、血管、肌骨功能评估信息；通过肌肉肌力和肌电检测模块获得基于肌力肌电数据的盆底肌功能评估信息，其中，盆底基本信息包括但不限于阴道内及直肠腔内黏膜状况、异常增生、黏膜膨隆松弛堆叠及解剖位点移位等数据。可列举的如：黏膜色泽、充血、出血、糜烂、溃疡、上皮厚度、色素沉着、异常血管增生、异常组织增生、窦道、瘘孔、黏膜脱垂程度、静态与valsalva下popq脱垂分度情况，等等。
51.盆腔组织和神经、血管、肌骨功能评估信息包括但不限于盆腔空腔脏器黏膜下基质结构及盆腔深部神经、血管、肌肉、骨骼及其相应解剖位移等数据。可列举的盆底裂孔及脏器移位标志性指标如：测量安静和valsalva状态时膀胱、宫颈和直肠壶腹部最低点与耻骨联合后下缘到骶尾关节水平线的垂直距离，膀胱颈活动度，尿道内口漏斗形成，膀胱后角/尿道旋转角，前列腺体积；以及盆底肌肉体积，肛提肌裂孔面积，尿道及肛门括约肌完整度，膀胱残余尿；以及盆腔髂内外血管及盆底髂内静脉及其分支迂曲情况，阴部内血管及神经，坐骨神经走形及异常，耻骨联合分离及骶尾关节异常，等等。
52.盆底肌功能评估信息包括但不限于阴道、直肠、尿道肛提肌裂孔周围的盆底肌肉
肌力肌电数据。可列举的如：静态和valsalva下盆底肛提肌为主的一类肌和括约肌为主的二类肌肌力、肌电信号和肌电变异度情况。
53.进一步的，在采集上述数据时，使患者保持静态时，进行腔道黏膜色泽、充血、出血、糜烂、溃疡、上皮厚度、色素沉着、异常血管增生、异常组织增生、窦道、瘘孔；黏膜下基质结构及盆腔深部神经、血管、肌肉、骨骼等相关数据采集。使患者行valsalva动态时，进行黏膜及组织脱垂情况，popq分度评分情况（包括aa点数值、ba点数值、ap点数值、bp点数值、c点数值及d点数值的获取），膀胱、宫颈和直肠壶腹部最低点与耻骨联合后下缘到骶尾关节水平线的垂直距离，膀胱颈活动度，尿道内口漏斗形成，膀胱后角/尿道旋转角，盆底肌肉体积，肛提肌裂孔面积，尿道及肛门括约肌完整度等相关数据采集。使患者行kegal动态时，进行一类肌和括约肌为主的二类肌肌力、肌电信号和肌电变异度情况的相关数据采集。
54.在一个具体的实施例中，该步骤中采用的光学成像模块1、超声模块2、肌肉肌力和肌电检测模块均可采用常规功能模块即可实现。
55.步骤三，采集到的数据经多模块融合阴道直肠探头的蓝牙模块传送至计算计中，计算机的处理器将获得的盆底功能整体评估信息进行分析和处理后，即可获得全方位展示盆底功能的立体影像，以作为盆底功能整体评估的依据。
56.实施例3：构建盆底功能整体评估模型步骤一：提取dicom图像（即实施例2步骤二中检测过程所获取的医学图像和相关信息） ，采用window-leveling 算法或其他可行方法进行图像分析，通过分析来提取影像中肛提肌、子宫及阴道、直肠及肛管、膀胱及尿道等影像及位置特征。
57.步骤二：半自动重建分割基于u-net网络多分类分割方法，通过计算机在低分辨率上进行粗分割，确定上述器官和组织的基本定位；然后在原像图上精分割，对每一帧图像进行自标注，通过人工处理和重度结合，完成图像的半自动重建分割，以获得盆底整体功能评估的三维二值图像，准确度约95%以上。
58.进一步的，利用u-net网络多分类分割方法是在提取的影像图像（t2）序列上分割出左尾骨肌、右尾骨肌、左髂尾肌、右髂尾肌、左肛提肌、右肛提肌、肠道、子宫和膀胱9个区域。将t2序列作为模型输入，并将输入维度从三维提高到四维，即：图像原始维度为提高到。将影像图像中等于0的区域裁剪掉，只保留非0的区域。为保证分割的准确性，进行归一化处理，然后对图像进行标准化处理，建立图像分割算法，如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，为影像图像中的每一个点的hu值，该影像图像中所有点的hu均值，为该影像图像中所有点的hu标准差，为进过标准化变换后的结果。
59.然后采用dice损失和交叉熵（ce）损失作为代价函数进行网络的训练，再使用高斯权重码拼接patch及形态学操作对盆底肌组织分割模块得到的mask进行后处理，实现图像的半自动重建分割，其中，后处理又分为高斯权重码拼接patch、连通域分析、图像缩放三个步骤，最终即可得到盆底整体功能评估的三维二值图像。
60.步骤三：人工核验
临床医生和超声医生、盆底核磁共振医生进行人工核验，确定图像识别与定位是否正确，使组织器官定位的误差≤1.0mm。
61.步骤四：图像转化将人工核验后的三维二值图像转化为mesh表面模型，使用gaussian smoothing等算法平滑处理部分模型表面，以提升观察体验，即构建得到盆底功能整体评估模型，从而实现多模态数据的融合，并最终得到有利于作为盆底诊疗依据的整体客观图像。
62.实施例4：针对测试者xx进行的盆底功能整体评估采用图1所示多模块融合阴道直肠探头对测试者xx的盆底功能进行检测同时进行整体评估。
63.首选，需要测试者xx排空直肠，多模块融合阴道直肠探头按阴道超声或直肠指诊方式进行检查，同时获得的盆底基本信息和基于超声影像的评估信息，并实时显示在主机上，如图2、图3所示，为直肠镜图片；如图4、图5所示，为肛管横断面和纵断面图片；如图6所示，为尿道阴道纵断面图片。
64.在获得上述检测数据后，停止多模块融合阴道直肠探头的动作，使测试者xx行平卧位，启动鼓气模式，气囊充气，同时展开测压点，即可获得盆底肌功能评估信息，并实时显示在主机上，参见图7。本实施例的多模块融合阴道直肠探头可用于检测多个位点的压强值，通过在多模块融合阴道直肠探头顶端设置一个测压点，周边再依次设置三组，每组均布4个测压点，共计13个测压点。如图7所示，可以分别显示每个测压点在采样时间10秒内对应的压强曲线，其中，数字0至12代表不同的测压点，压强值（kpa）代表不同测压点对应的平均压强。
65.将上述数据信息输入计算机中，利用实施例3的盆底功能整体评估模型进行分析和处理，即可获得全方位展示盆底功能的立体影像，如图8、图9和图10所示。其中，图8为显示盆底肌肉的三维示意图。图9为显示盆底组织的三维示意图。图10为显示盆底血管和肌肉的三维示意图。
66.在本实施例的应用过程中，在通过多模块融合阴道直肠探头获得所需的信息数据后，可通过计算机将对应的影像或图像融合在一个显示界面中进行展示，例如：用于反映患者直肠镜的图像在一个显示界面中展示，即：图2和图3所示图片同时出现在一个计算机的显示界面中，图4、图5、图6和图7所示图片同时出现在一个计算机的显示界面中。
67.基于以上实施例，本发明具有以下优点：（1）首次提出多模态融合数据（如实施例4所示图8、图9、图10的三维示意图），能够从整体上反映盆底结构的相关功能，而现有传统盆底功能评估方法仍然是盆底肌评估采用阴道探头采集压力信号及电信号作为评估值，盆腔组织评估采用超声检测用于获取相关组织的测量数据，在临床工作中，仍然需要医生根据各自检测获得的评估值或测量数据进行分析和判断，才能获得整体评估数据，临床医生的经验值是判断盆底整体评估准确性的关键。
68.（2）采用指套探测方式即可获得多模态融合数据，数据的获取方式较现有传统盆底功能评估的检测方式更加简单，省略了阴道指诊、盆底超声、肌力肌电检测分开进行等检测方式，极大程度的节省了临床检测时间，为盆底功能整体评估效率的提升做出贡献。
69.（3）多模态融合数据还能解决目前盆底功能障碍性疾病或者关键大数据的短板，
原因是： 指检的同时完成超声检查，将多模态数据进行了有效融合，能够及时准确判断盆底整体功能状态。
70.需要说明的是，本发明所指融合包括两种，一种是通过构建的盆底功能整体评估模型，将多模态数据融合而得到可反映盆底整体功能的立体影像，参见图8、图9和图10；一种是通过多模块融合探头同时进行光学、超声、肌电等检测，将检测所得影像或图像融合在同一计算机的显示界面中展示，避免单独检测的繁琐和数据查阅的不便。
71.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。