基于双目视觉的吞咽检测方法及装置、设备、存储介质

1.本技术涉及医疗设备技术领域，尤其涉及一种基于双目视觉的吞咽检测方法及装置、设备、存储介质。


背景技术：

2.放射治疗程中，对计划靶区(planning target volume，ptv)影响的因素很多，如放疗过程中器官自主或不自主的运动、摆位误差、设备误差等。以喉部肿瘤患者为例，器官运动主要来源于吞咽，其对临床靶体积(clinical target volume，ctv)至ptv外放边界的确定影响较大。因此，准确的患者定位和吞咽运动监测管理是达到喉部肿瘤预期治疗精度和治疗效果的关键。成功的吞咽运动监测与管理能够减少ptv外扩范围，确保放疗计划剂量能够准确而全面的覆盖靶区，并且避免周围重要器官受到不必要的照射，提高生存质量。因此，高效准确的吞咽检测至关重要。
3.目前，对喉和下咽癌等有一定器官运动风险的头颈部肿瘤患者，通过适当控制调强放疗的射野和子野数量，以减少因吞咽运动导致脱靶的情况。使用例如电子计算机断层扫描(computed tomography，ct)或锥形束ct(cone beam ct，cbct)等获取在线三维图像，对靶区和危及器官的运动和位移进行量化分析。如果没有三维图像，则需使用电子摄野影像装置(electronic portal imaging device，epid)。但以上检测方法会增加患者受照剂量和治疗时间，且无法实时获取放射治疗单次时间内患者吞咽运动的真实情况。


技术实现要素：

4.为了解决或至少部分地解决上述技术问题，本技术提供了一种吞咽检测方法及装置、设备、存储介质，能够在例如在放射治疗等各种环境下实现高效准确的吞咽检测。
5.本技术的第一方面，提供一种吞咽检测方法，包括：
6.在患者吞咽过程中，获取患者的连续多帧图像对，每帧所述图像对包含第一喉部图像和第二喉部图像，所述第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；
7.通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，所述三维喉部特征包含喉部关键点三维位置；
8.根据所述多帧图像对的所述喉部关键点三维位置，获得患者的喉部运动数据；
9.根据所述患者的喉部运动数据，获得所述患者的吞咽数据。
10.优选地，所述标记为细条状贴纸，所述细条形贴纸粘贴于患者喉部皮肤表面时所述细条形贴纸的形态与喉部甲状腺软骨皮肤表面呈现的形态一致。
11.优选地，所述通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，包括：从当前帧图像对的第一喉部图像中提取所述标记的第一边缘特征；从所述当前帧图像对的第二喉部图像中提取所述标记的第二边缘特征；根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对；利用
所述匹配特征点对执行点云重建，以得到当前帧图像对的三维喉部特征。
12.优选地，所述根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对，包括：
13.在所述第二边缘特征中，为所述第一边缘特征中每个像素点寻找匹配像素点，以获得第一容器和第二容器，所述第一容器包含第一像素点，所述第一像素点为所述第一边缘特征中能够在第二边缘特征中寻找到匹配像素点的像素点，所述第二容器包含第二像素点，所述第二像素点为所述第一像素点在第二边缘特征中的匹配像素点；
14.在所述第一边缘特征中，为所述第二容器中的每个所述第二像素点寻找匹配像素点，以获得第三容器，所述第三容器包含第三像素点，所述第三像素点为所述第二像素点在所述第一边缘特征中的匹配像素点；
15.依序逐个对比所述第一容器中的第一像素点与所述第三容器中的第三像素点；
16.所述第一容器中的每个第一像素点与第三容器中相同序号的第三像素点相同时，以所述第一容器中的所述第一像素点和所述第二容器中的第二像素点作为所述匹配特征点对。
17.优选地，所述寻找匹配像素点的步骤基于如下的评价函数执行：
[0018][0019][0020][0021][0022]
其中，i1为包含所述第一边缘特征的图像，i2为包含所述第二边缘特征的图像，(u,v)为i1中的一个像素点，以(u,v)为中心在i1中取邻域作为i1的模板，根据i1的模板选择i2的模板，w为模板的代号，m是模板所占像素个数，(x,y)表示预先确定的i2中模板相对于i1中模板的偏移量，表示i1中模板区域的均值，表示i2中模板区域的均值，(u0，v0)表示i1中的另一个像素点，k为预先设定的比例参数，s(x,y)表示评价值，评价值最小时达到最佳匹配。
[0023]
优选地，所述喉部关键点为喉部突出点；所述方法还包括：从所述三维喉部特征中提取所述喉部突出点的三维位置。
[0024]
优选地，所述喉部突出点的三维位置为所述三维喉部特征中喉部前后运动方向坐标值最大的像素点的三维位置。
[0025]
优选地，所述喉部运动数据包括；每帧所述图像对的喉部关键点位移；其中，第n帧所述图像对的喉部关键点位移通过如下公式得到：
[0026][0027]
其中，n为大于1的整数，(xn，yn，zn)表示第n帧图像对的喉部突出点的三维位置，(x1，y1，z1)表示第1帧图像对的喉部突出点的三维位置，d
all
表示第n帧图像对相对于第1帧
图像对的喉部关键点位移。
[0028]
优选地，所述根据患者的喉部运动数据，获得所述患者的吞咽数据，包括：利用所述多帧图像对的所述喉部关键点位移拟合吞咽运动波形；查找所述吞咽运动波形的峰值点和拐点；根据所述峰值点的喉部关键点位移和/或所述拐点的喉部关键点位移，得到患者的吞咽数据，所述吞咽数据包括吞咽次数、吞咽频率、吞咽运动持续时长和/或吞咽幅度。
[0029]
优选地，所述根据患者的喉部运动数据，获得所述患者的吞咽数据，还包括：查找所述吞咽运动波形的峰值点和拐点之前，使用db5小波对所述吞咽运动波形去噪。
[0030]
本技术的第二方面提供了一种吞咽检测装置，包括：
[0031]
图像获取单元，用于在患者吞咽过程中，获取患者的连续多帧图像对，每帧所述图像对包含第一喉部图像和第二喉部图像，所述第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；
[0032]
喉部特征获取单元，用于通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，所述三维喉部特征包含喉部关键点三维位置；
[0033]
喉部数据获取单元，用于根据所述多帧图像对的所述喉部关键点三维位置，获得患者的喉部运动数据；
[0034]
吞咽数据获取单元，用于根据所述患者的喉部运动数据，获得所述患者的吞咽数据。
[0035]
本技术的第三方面提供了一种计算设备，包括至少一个处理器和至少一个存储器，所述存储器存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述的吞咽检测方法。
[0036]
本技术的第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述的吞咽检测方法。
[0037]
本技术的第五方面提供了一种吞咽检测系统，包括计算设备和双目视觉传感器；所述计算设备包括至少一个处理器和至少一个存储器，所述存储器存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述的吞咽检测方法；所述双目视觉传感器，用于在患者吞咽过程中实时采集每帧所述图像对并提供给所述计算设备。
[0038]
优选地，所述双目视觉传感器包括第一镜头、第二镜头、第一相机和第二相机，所述第一镜头与所述第一相机连接，所述第二镜头与所述第二相机连接，所述第一相机与所述第二相机分别与所述计算设备连接；其中，所述第一相机用于通过所述第一镜头采集所述第一喉部图像，所述第二相机用于通过所述第二镜头采集所述第二喉部图像。
[0039]
相比于现有技术而言，本技术具有如下有益效果：
[0040]
本技术，通过在患者吞咽过程中获取多帧图像对，每帧图像对包含第一喉部图像和第二喉部图像，第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记，通过识别第一喉部图像和第二喉部图像中标记的特征得到每帧图像对的喉部关键点三维位置，再根据多帧图像对的喉部关键点三维位置获得患者的喉部运动数据，最后根据患者的喉部运动数据获得患者的吞咽数据。由此，本技术通过例如图像识别等即可获取患者的吞咽数据，只要能够获取到患者的喉部图像即可实现，易于实现，更容易地适用于例如放射治疗等各
种环境。并且，与其他的研究相比，本技术是非接触式的，测量过程连续、稳定、无辐射。
[0041]
此外，考虑到吞咽运动是一个复杂的三维运动，本技术通过获取喉部关键点三维位置等更复杂的运动信息来实现准确地吞咽检测，因此，本技术能够更好地为例如放射治疗等各种过程中肿瘤的移位提供实时跟踪。
[0042]
此外，经实验验证，本技术实施例能够能够在放疗环境下正确检测出吞咽次数并可以较为准确的检测出吞咽运动持续的时间。也即，本技术实施例能够实现高效准确地吞咽检测。
附图说明
[0043]
为了更清楚地说明本技术的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本技术的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
[0044]
图1是本技术实施例提供的吞咽检测方法的流程示意图；
[0045]
图2是本技术一优选实施例中第一喉部图像的示例图；
[0046]
图3是本技术一优选实施例中第一喉部图像的标记特征图像的示例图；
[0047]
图4是本技术一优选实施例中第一喉部图像的边缘特征图的示例图；
[0048]
图5是本技术一优选实施例中一帧图像对的匹配特征点对示意图；
[0049]
图6是本技术一优选实施例中世界坐标系的示例图；
[0050]
图7a是本技术一优选实施例中点云特征图的示例图；
[0051]
图7b是本技术一优选实施例中执行例如过滤、平滑等处理后得到的点云特征图的示例图；
[0052]
图7c是本技术一优选实施例中吞咽到最高位置时的点云特征图的示例图；
[0053]
图8a是本技术实施例中利用患者的喉部运动数据拟合得到的吞咽运动波形的示例图；
[0054]
图8b是本技术实施例中去噪后的吞咽运动波形示例图；
[0055]
图8c是本技术实施例中吞咽运动波形的峰值点和拐点的示例图；
[0056]
图9是本技术实施例提供的吞咽检测装置的结构示意图；
[0057]
图10是本技术实施例提供的计算设备的结构示意图；
[0058]
图11是本技术实施例提供的吞咽检测系统的架构及部署示例图。
具体实施方式
[0059]
下面结合附图，对本技术进行详细说明。
[0060]
吞咽是人体的重要基本生理功能，整个吞咽过程需要众多肌肉和器官的协调参与。经研究发现，每一次吞咽都会使喉部上下移动两次。从解剖生理学的角度来看，吞咽的整个过程可以分为三个阶段：口腔阶段、咽部阶段和食道阶段。在咽部阶段，喉咙做出一系列动作将食物或唾液输送到食道。因此，喉咙的运动经常被视为吞咽和咽部阶段的标志，并且很容易在体表观察和触摸。
[0061]
鉴于此，本技术的实施方式提出了一种吞咽检测方法及装置、设备、存储介质，通过包含多帧图像对的吞咽视频获得患者的喉部运动数据，再通过分析患者的喉部运动数据
得到患者的吞咽数据，从而实现诸如放射治疗等各种环境下高效准确的人体吞咽检测。
[0062]
本技术实施例可适用于各种需检测人体吞咽功能的场景。
[0063]
示例性地，本技术实施例可应用于放射治疗环境，通过准确检测患者吞咽情况，能够减少ptv外扩范围，确保放疗计划剂量能够准确而全面的覆盖靶区，并且避免周围重要器官受到不必要的照射来。
[0064]
此外，本技术实施例还可应用于需采集人体吞咽指标的其他场景。例如，新冠阳性患者和新冠治愈之后的人们的各项生理指标，特别是涉及呼吸道相关研究发现，如果患者获得了新冠病毒感染，致咽喉部不适，咽痛、咳嗽、呼吸困难急促等不适症状，其喉部吞咽运动频率和幅度都会发生不同程度改变，而且，即便新冠得到了治愈，由于咽喉部黏膜损伤导致不可逆的功能性损伤，也依然会影响到相关器官的运动指标改变。此情况下，可通过本技术实施例采集新冠患者及新冠治愈之后的人们的吞咽指标，为新冠的并发症、预后以及相关机理提供研究条件。
[0065]
本技术实施例可适用于各类人群，例如，头颈部肿瘤患者、咽部肿瘤患者、喉部肿瘤患者等。
[0066]
下面详细阐述本技术的具体实施方式。
[0067]
实施例一：吞咽检测方法
[0068]
图1示出了本技术实施例提供的吞咽检测方法的流程示意图。参见图1所示，本技术实施例的吞咽检测方法可以包括：
[0069]
步骤s110，在患者执行吞咽动作的过程中，获取患者的连续多帧图像对，每帧图像对包含第一喉部图像和第二喉部图像，第一喉部图像和第二喉部图像中均包含粘贴于患者喉部皮肤表面的标记；
[0070]
吞咽检测之前，可以将标记粘贴在患者喉部的皮肤表面。标记可以是但不限于贴纸等，便于粘贴、成本低廉，同时还便于通过图像检测等方式进行识别。
[0071]
为便于从图像中分割出标记部分，标记可以选择为与周围皮肤显著不同的颜色，如此，可通过信息量小的灰度图像容易地识别出喉部图像中的标记，从而降低复杂度、提高处理效率。例如，标记可以为蓝色或其他易于识别的颜色。
[0072]
标记可以是但不限于细条状贴纸、圆形贴纸或者其他各种形状的贴纸。考虑到细长型贴纸能够更好地反映喉部侧面轮廓的形状起伏，同时吞咽时喉部皮肤表面的变化由甲状腺软骨的运动引起，因此，一些实施方式中，标记可以为细条状贴纸，该细条形贴纸粘贴于患者喉部皮肤表面时，细条形贴纸的形态与喉部甲状腺软骨皮肤表面呈现的形态一致，能较准确细致地描述吞咽过程中甲状腺软骨的立体形态特征。例如，标记可以为蓝色的细条状贴纸。
[0073]
甲状腺软骨作为喉咙的一部分，吞咽时甲状腺软骨的运动引起喉部皮肤表面的变化，而喉突的位置变化又反映了甲状腺软骨的运动。因此，一些实施方式中，标记可粘贴并附着于患者的喉部皮肤表面后，标记至少部分地覆盖喉突部位，以使得标记的形状能够更加准确细致的描述吞咽时甲状腺软骨的立体形态特征，进而通过图像对中的标记特征高效准确地获取到患者的喉部运动数据。
[0074]
图2示出了一优选实施例中第一喉部图像的示意图。参见图2，标记为细条状贴纸且粘贴并附着于患者的喉部皮肤表面，标记的形状与甲状腺软骨在皮肤表面呈现的形状一
致。
[0075]
步骤s120，通过识别第一喉部图像和第二喉部图像中标记的特征得到每帧图像对的三维喉部特征，三维喉部特征包含喉部关键点三维位置；
[0076]
一些实施方式中，步骤s120的示例性实现过程可以包括如下的步骤a1～步骤a4：
[0077]
步骤a1，从当前帧图像对的第一喉部图像中提取标记的第一边缘特征；
[0078]
一些实施方式中，步骤a1的示例性具体实施过程可以包括如下的步骤a11～步骤a13：
[0079]
步骤a11，将第一喉部图像转换至hsv色域空间；
[0080]
因第一喉部图像通常为rgb图像，rgb图像不适用于图像处理，hsv色域空间通过色相(hue)、饱和度(saturation)、亮度(lightness)这三个维度表示颜色，在hsv色域空间下更容易跟踪特定颜色的物体且易于分割指定颜色的物体，因此，为了从第一喉部图像中更准确地分割出标记，避免干扰，可以先将第一喉部图像转换至hsv色域空间。
[0081]
步骤a12，从hsv色域空间的第一喉部图像中提取标记的特征，获得标记特征图像，该标记特征图包含标记的特征；
[0082]
步骤a13，利用canny边缘检测算法对标记特征图像中标记的特征执行边缘检测以提取标记的第一边缘特征，从而获得边缘特征图，边缘特征图包含标记的边缘特征。
[0083]
一些实施方式中，利用canny边缘检测算法对标记特征图中标记的特征执行边缘检测的示例性具体实施过程可以包括：先使用高斯滤波消除标记特征图中的噪声，再用sobel算子对标记特征图像做卷积操作，计算标记特征图像中每个像素点的梯度值和方向，再对每个像素点的梯度值做筛选和非极大值抑制，最终得到标记的单像素边缘特征，该单像素边缘特征即为标记的第一边缘特征。
[0084]
图3示出了图2所示第一喉部图像的标记特征图像，图3中的白色细条状区域为标记的特征。图4示出了图2所示第一喉部图像的边缘特征图，图4中的白色边缘线为标记的第一边缘特征。
[0085]
步骤a2，从当前帧图像对的第二喉部图像中提取标记的第二边缘特征；
[0086]
这里，步骤a2的具体实现过程与步骤a1相同，不再赘述。即，标记的第二边缘特征也是单像素边缘特征。一些实施方式中，为加快处理速度，步骤a1和步骤a2可以同步执行。
[0087]
步骤a3，根据第一边缘特征与第二边缘特征，获得当前帧图像对的匹配特征点对；
[0088]
一些实施方式中，可以通过立体匹配算法确定当前帧图像对的匹配特征点对。
[0089]
考虑到边缘特征的方向和幅度是相对稳定的匹配属性，可借助边缘特征的方向和幅度查找匹配特征点对。因此，一些实施方式中，步骤a3中确定匹配特征点对的示例性具体实施过程可以包括如下的步骤a31～步骤a33：
[0090]
步骤a31，在第二边缘特征中，为第一边缘特征中每个像素点寻找匹配像素点，以获得第一容器m1和第二容器m2，所述第一容器m1包含第一像素点m1，第一像素点为第一边缘特征中能够在第二边缘特征中寻找到匹配像素点的像素点，第二容器m2包含第二像素点m2，第二像素点m2为第一像素点m1在第二边缘特征中的匹配像素点；
[0091]
具体地，依次对第一边缘特征中的每个像素点执行如下处理，直至第一边缘特征中所有像素点匹配完成：在标记的第一边缘特征中(即，第一喉部图像的边缘特征图)选取一个像素点m1，根据预先标定的基本矩阵(fundamental matrix)(例如，表示双目视觉传感
器中第一相机和第二相机之间位置关系的基本矩阵)确定像素点m1在第二边缘特征中的对应极线l2，通过极线l2确定像素点m1在第二边缘特征中的临时匹配点，利用预定义的评价函数计算像素点m1与其临时匹配点的评价值，取评价值最小的临时匹配点作为像素点m1的匹配像素点，记为第二像素点m2。
[0092]
在第一边缘特征中所有像素点匹配完成之后，部分像素点在第二边缘特征中有其第一匹配点，其他像素点在第二边缘特征中的第一匹配点没有第一匹配点，此时，将能够在第二边缘特征中找到匹配像素点的部分像素点记为第一像素点m1，保存至容器m1中，容器m1中各个像素点在第二边缘特征中的匹配像素点，即第二像素点m2，同时保存至容器m2中。
[0093]
一些实施方式中，确定像素点m1在第二边缘特征中的对应极线l2，可以包括：由相机的基本矩阵中的元素得到像素点m1在第二边缘特征中的对应极线l2的斜率和截距，即可计算出极线l2。
[0094]
由于误差，第一像素点m1在第二边缘特征中的匹配像素点m2可能不会刚好在极线l2上，因此，一些实施方式中，通过极线l2确定像素点m1在第二边缘特征中的临时匹配点的示例性实现过程可以包括：取第二边缘特征中极线l2附近预设距离内的数个像素点作为像素点m1的候选匹配点，利用sobel算子筛选出梯度方向与像素点m1相同的候选匹配点作为像素点m1的临时匹配点。这里，极线l2附近的预设距离可以根据经验选取。例如，l2附近的预设距离可以在3～5个像素点的距离内。
[0095]
这里，容器是指程序中的一个数据结构。
[0096]
步骤a32，在所述第一边缘特征中，为所述第二容器中的每个所述第二像素点寻找匹配像素点，以获得第三容器，所述第三容器包含第三像素点，所述第三像素点为所述第二像素点在所述第一边缘特征中的匹配像素点
[0097]
具体地，依序逐个取容器m2中的第二像素点m2，使用步骤a31的匹配方法在第一边缘特征中查找第二像素点m2的匹配像素点，记为第三像素点m3，保存为容器m1
t
。
[0098]
步骤a33，依序逐个对比第一容器中的第一像素点与所述第三容器中的第三像素点，第一容器中的每个第一像素点与第三容器中相同序号的第三像素点相同时，以第一容器中的第一像素点和第二容器中的第二像素点作为匹配特征点对。
[0099]
具体地，依序(例如，按保存顺序，保存顺序可以是像素坐标中纵坐标值从小到大的顺序)逐个对比容器m1与容器m1
t
中的像素点，若序号相同的像素点的像素坐标相同，则满足了互对应约束，此时，容器m1中的第一像素点m1与容器m2中对应的第二像素点m2即为最终得到的匹配特征点对。如果容器m1中某个或某些像素点m1的像素坐标与其序号相同的第三像素点m3的像素坐标不同，则删除容器m1中的这些第一像素点m1，删除容器m1
t
中相同序号的第三像素点m3，同时可以将容器m2中对应这些第一像素点m1的第二像素点m2删除，直至满足互对应约束。
[0100]
这里，容器m1与容器m1
t
容量大小相同，保存有相同数量的像素点。对比容器m1与容器m1
t
中的点的过程可以包括：将容器m1与容器m1
t
中序号相同的像素点(即序号相同的第一像素点m1和第三像素点m3)的像素坐标对比，如果序号相同的第一像素点m1与第三像素点m3像素坐标相同，表示该第一像素点m1与其序号相同的第三像素点m3互相匹配。如果序号相同的第一像素点m1与第三像素点m3像素坐标不同，表示该第一像素点m1与其序号相同的第三像素点m3不匹配，需要舍弃该像素点，即，删除容器m1中的该第一像素点m1，同时删除容器
m1
t
中同一序号的第三像素点m3，同时可以将容器m2中对应该第一像素点m1的第二像素点m2删除。
[0101]
上述确定匹配特征点对的算法简单实用、计算量小、运算速度快，对边缘清晰的图对能达到较高的匹配率，同时能够获得在边缘上密集的对应点，实际使用效果较好。
[0102]
图5示出了第一喉部图像与第二喉部图像及其匹配特征点对的示意图，图5中的连线表示匹配特征点对的对应关系。
[0103]
通常，立体匹配算法可以包括两部分：基于区域的匹配和基于特征的匹配。即，在灰度上，第一喉部图像与第二喉部图像中匹配特征点对的邻域应该高度相似，可以用互相关函数来评价其灰度的相似性。在几何特征方面，匹配特征点对的几何特征应相似。鉴于此，一些实施方式中，为同时考虑灰度和几何特征的相似性，将基于区域的匹配和基于特征的匹配充分结合，可以通过如下式(1)所示的评价函数来计算第一像素点与其临时匹配点之间的评价值，也即，步骤a31中寻找匹配像素点的步骤基于下式(1)的评价函数执行，该评价函数能够同时评价灰度相似性和几何特征相似性，：
[0104][0105][0106][0107][0108]
其中，i1为包含所述第一边缘特征的图像，即i1为第一喉部图像的边缘特征图，i2为包含所述第二边缘特征的图像，即i2为第二喉部图像的边缘特征图，(u,v)为i1中的一个像素点，以(u,v)为中心在i1中取邻域作为i1的模板，以(u x，v y)为中心在i2中取邻域作为i2的模板，i2的模板与i1的模板大小相等。w为模板的代号，m是模板所占像素个数，设此模板在i2中的平移量为(x,y)，分别表示模板区域的均值。
[0109]
式(1)中的第一项，即描述了模板邻域的灰度相关性。
[0110]
式(1)中第二项，即描述了模板中心像素(即某个第一像素点(u,v)在第二边缘特征中的匹配像素点，即第二像素点m2)的梯度方向及幅值的相关性，(u0，v0)表示i1中区别于(u,v)的另一个像素点。
[0111]
式(1)中，s(x,y)表示评价值，评价值最小时达到最佳匹配。
[0112]
式(1)中，比例参数k的取值与实际使用的梯度计算方法有关。经实验验证，当选用sobel算子计算梯度时，比例参数k取0.2，能达到较好的效果。
[0113]
式(1)中，(x,y)表示i2取的模板相对于i1中模板的偏移量。具体应用中，平移量(x,y)与像素点(u，v)在i2中的极线l2相关，也即，平移量(x,y)可以根据i1中的像素点(u，v)和预先标定的基本矩阵(例如，表示双目视觉传感器中第一相机和第二相机之间位置关系的基本矩阵)预先确定。
[0114]
式(1)中，以一个点为中心向外扩散取一个与该中心相邻的区域即为领域。i2的模板可以根据i1的模板选择。例如，可以先以i1中的一个像素点(u，v)为中心、向四周扩散获得一个预定大小(例如，3
×
3，5
×
5，7
×
7等)的正方形区域，该正方形区域所包含的所有像素点即为i1的模板。然后，可以(u x，v y)为中心在i2中向四周扩散一个正方形区域作为i2的模板，i1、i2中的模板大小相等，只是位置不同。
[0115]
步骤a4，利用匹配特征点对执行点云重建，以得到当前帧图像对的点云特征图，该点云特征图包含三维喉部特征。
[0116]
一些实施方式中，可以利用线性最小二乘法和奇异值分解(singular value decomposition，svd)技术，基于匹配特征点对的坐标信息(即容器m1和容器m2中的像素坐标)求解相应空间点的三维坐标，该空间点可视为喉部轮廓特征点，喉部轮廓特征点的集合即为三维喉部特征。
[0117]
假设匹配特征点对中的像素点为m1＝[u1,v1]
t
和m2＝[u2,v2]
t
，m1属于容器m1，m2属于容器m2，其对应的空间点为m＝[x,y,z]
t
，空间点m可视为像素点对m1和m2的喉部特征点，(x，y，z)是空间点m在世界坐标系中的三维坐标。齐次坐标分别为和m的齐次坐标为
[0118]
已知第一相机的投影矩阵p1和第二相机的投影矩阵p2，第一相机是采集第一喉部图像的相机，第二相机是采集第二喉部图像的相机，则根据相机投影关系可以得到下式(4)～(5)：
[0119][0120][0121]
其中，s1为第一相机的尺度因子，s2为第二相机的尺度因子。
[0122]
消去式(4)～(5)中的s1和s2，可以得到关于x、y、z的四个线性方程，这四个线性方程的矩阵表示如下式(6)所示：
[0123][0124]
其中，表示投影矩阵pk的第i行j列元素，k＝1时，pk为p1，k＝2时，pk为p2。式(6)包含的每个方程均为平面方程，前两个方程联立即为第一相机中通过m1的视线的空间直线方程，后两个方程联立即为第二相机中通过m2的视线的空间直线方程。如果两条视线相交，式(6)中只有3个独立方程，求解式(6)即可得到唯一解。但实际情
况中两条视线通常不相交，此时，式(6)为超定方程组，可以利用最小二乘法求解出空间点m的坐标(x，y，z)。
[0125]
由上可见，通过式(6)和最小二乘法，便可基于匹配特征点对的坐标信息(即容器m1和容器m2中的像素坐标)求解喉部轮廓特征点的三维坐标，从而获得三维喉部特征。
[0126]
这里，空间点m的世界坐标系可以根据需要自由设定。图6示出了本技术实施例适用的世界坐标系的示例图，z轴方向为喉部前后(a-p)方向，y轴方向为喉部上下运动方向(s-i)方向，x轴方向为喉部运动左右(l-r)方向(向左位移为正，向右为负)，世界坐标系的原点为喉突处的某个点(图中未标出)，x-y平面与喉部上下运动方向平行，z轴方向与喉部前后运动方向平行。本技术实施例中，喉部特征点的三维坐标和下文的喉部关键点位移均基于此坐标系来确定。
[0127]
一些实施方式中，执行点云重建之后，还可对点云特征图执行例如滤波、平滑等处理，以使得点云特征图中的三维喉部特征更接近真实的喉部轮廓。图7a示出了包含三维喉部特征的点云特征图的示例图，图7b示出了对图7的点云特征图像执行例如过滤、平滑等处理后得到的点云特征图。通过图7a和图7b可见，通过滤波、平滑等处理，可以去除由于误差而出现的离群点，平滑处理后，三维喉部特征更接近真实的喉部轮廓。
[0128]
一些实施方式中，喉部关键点优选为喉部突出点。步骤s130之前还可包括：从三维喉部特征中提取喉部突出点的三维位置。这里，喉部突出点的三维位置可以为三维喉部特征中喉部前后运动方向坐标值最大的像素点的三维位置。具体地，提取喉部突出点三维位置的方式可以是：在三维喉部特征中查找喉部前后运动方向坐标值(即，图6中z轴坐标值)的像素点，以该像素点作为喉部突出点(laryngeal prominence)，该像素点的三维坐标即为喉部突出点的三维位置。图7b示出了喉部突出点，图7c示出了吞咽到最高位置(即，喉部突出点位移最大时)时的点云特征图及其中的喉部突出点。
[0129]
步骤s130，根据多帧图像对的喉部关键点三维位置，获得患者的喉部运动数据；
[0130]
一些实施方式中，喉部运动数据包括；每帧图像对的喉部关键点位移。
[0131]
一些实施方式中，第n帧图像对的喉部关键点位移可通过如下式(7)得到：
[0132][0133]
其中，n为大于1的整数，(xn，yn，zn)表示第n帧图像对的喉部突出点的三维位置，(x1，y1，z1)表示第1帧图像对的喉部突出点的三维位置，d
all
表示第n帧图像对相对于第1帧图像对的喉部关键点位移。d
all
中综合了三个维度的位移，因d
all
位移量相对比较大，峰值相对突出，因此使用d
all
来识别吞咽是比较合适且更准确的。
[0134]
一些实施方式中，第n帧图像对的喉部关键点位移可通过如下式(8)得到：
[0135]dsi
＝y
n-y1ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0136]
其中，d
si
表示第n帧图像对相对于第1帧图像对的喉部突出点上下方向位移，即图6所示世界坐标系的y轴方向位移。
[0137]
一些实施方式中，第n帧图像对的喉部关键点位移可通过如下式(9)得到：
[0138]dap
＝z
n-z1ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0139]
其中，d
ap
表示第n帧图像对相对于第1帧图像对的喉部突出点前后方向位移，即图6所示世界坐标系的z轴方向位移。
[0140]
一些实施方式中，第n帧图像对的喉部关键点位移可通过如下式(10)得到：
[0141]dlr
＝x
n-x1ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0142]
其中，d
lr
表示第n帧图像对相对于第1帧图像对的喉部突出点左右方向位移，即图6所示世界坐标系的x轴方向位移。
[0143]
步骤s140，根据患者的喉部运动数据，获得患者的吞咽数据。
[0144]
一些实施方式中，吞咽数据可以包括吞咽次数、吞咽频率、吞咽幅度和/或吞咽运动持续时长。
[0145]
一些实施例中，步骤s140具体可以包括：利用多帧图像对的喉部关键点位移拟合吞咽运动波形，查找吞咽运动波形的峰值点和拐点，根据峰值点的喉部关键点位移和/或拐点的喉部关键点位移得到患者的吞咽数据。
[0146]
这里，吞咽运动波形的横坐标x表示时间，吞咽运动波形的纵坐标y表示喉部关键点位移。其中，时间可通过帧数、帧号或者时刻来表示。纵坐标y可以为前文的d
all
、d
si
、d
ap
、d
lr
中任一项。一些示例中，纵坐标优选为d
all
。
[0147]
因检测过程中，人的呼吸或其他动作也会引起某个标记的移动，为确保吞咽数据的准确性，步骤s140中还可以包括：查找吞咽运动波形的峰值点和拐点之前，使用db5小波对吞咽运动波形去噪。
[0148]
图8a示出了利用患者的喉部运动数据拟合得到的吞咽运动波形的示例图，图8b示出了去噪后的吞咽运动波形的示例图，图8c示出了吞咽运动波形的峰值及其拐点的示例图。图8a～图8c的示例中，吞咽运动波形的横坐标x为表示帧数(framenum)，相应双目视觉传感器的每秒传输帧数(frames per second，fps)为15，吞咽运动波形的纵坐标y表示前文的d
all
(displacement)，其单位为毫米(mm)。图8c中，data表示d
all
，p(peak)表示峰值，p(start/end)表示峰值对应的拐点，该拐点为吞咽起点或吞咽终点。
[0149]
为了得到吞咽次数、吞咽频率和/或吞咽运动持续时长等吞咽数据，根据吞咽运动波形的特点，找到吞咽运动波形的峰值点(x
p
，y
p
)(x
p
，y
p
)，然后围绕着峰值寻找吞咽运动波形的拐点，该拐点即为吞咽起点或吞咽终点。吞咽运动波形中，峰值左侧的拐点(即横坐标小于峰值的横坐标的拐点)为吞咽起点(xs，ys)，峰值右侧的拐点(即横坐标大于峰值的横坐标的拐点)为吞咽终点(xe，ye)。
[0150]
一些实施方式中，寻找吞咽运动波形中拐点的过程可以为：沿着峰值点向左和向右寻找，直到找到位移值yn小于位移平均值y
mean
的点，如果该点前后的点的位移值y均大于该点的位移值yn，该点即为拐点。其中，位移平均值y
mean
可以通过吞咽视频对应的标记位移相加后除以吞咽视频的帧数得到。
[0151]
一些实施方式中，吞咽运动持续时长δt可以通过下式(11)得到。
[0152]
δt＝η(x
e-xs)
ꢀꢀꢀꢀ
(11)
[0153]
其中，η为时间常数。一些示例中，η可以为第一相机的帧率。η的取值范围根据相机而定，η的具体取值可在第一相机中自行设置，η的值设定好后即固定，不随时间变化。
[0154]
吞咽运动波形图中的每个峰值表示一次吞咽的发生。一般峰值较为明显的地方视为一次吞咽。一些实施方式中，吞咽运动波形中，位移值大于预设的位移阈值的峰值的数量即为患者的吞咽次数。这里，位移阈值可通过实验统计分析得到或者取经验值。
[0155]
一些实施方式中，吞咽频率可以为吞咽视频对应的吞咽次数与吞咽视频的帧数的
比值。
[0156]
一些实施方式中，吞咽幅度可以通过一次吞咽的最大喉部关键点位移来表示。
[0157]
实施例二：吞咽检测装置
[0158]
图9示出了本技术实施例提供的吞咽检测装置的结构示意图。参见图9，该吞咽检测装置可以包括：
[0159]
图像获取单元91，用于在患者吞咽过程中，获取患者的连续多帧图像对，每帧图像对包含第一喉部图像和第二喉部图像，第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；
[0160]
喉部特征获取单元92，用于通过识别第一喉部图像和第二喉部图像中标记的特征得到每帧图像对的三维喉部特征，三维喉部特征包含喉部关键点三维位置；
[0161]
喉部数据获取单元93，用于根据多帧图像对的所述喉部关键点三维位置，获得患者的喉部运动数据；
[0162]
吞咽数据获取单元94，用于根据患者的喉部运动数据，获得患者的吞咽数据。
[0163]
一些实施方式中，标记为细条状贴纸，细条形贴纸粘贴于患者喉部皮肤表面时细条形贴纸的形态与喉部甲状腺软骨皮肤表面呈现的形态一致。
[0164]
一些实施方式中，喉部特征获取单元92具体可用于：从当前帧图像对的第一喉部图像中提取标记的第一边缘特征；从当前帧图像对的第二喉部图像中提取标记的第二边缘特征；根据第一边缘特征与第二边缘特征，获得当前帧图像对的匹配特征点对；利用匹配特征点对执行点云重建，以得到当前帧图像对的三维喉部特征。
[0165]
一些实施方式中，喉部特征获取单元92具体可用于通过如下方式获得当前帧图像对的匹配特征点对：
[0166]
在第二边缘特征中，为第一边缘特征中每个像素点寻找匹配像素点，以获得第一容器和第二容器，所述第一容器包含第一像素点，所述第一像素点为所述第一边缘特征中能够在第二边缘特征中寻找到匹配像素点的像素点，所述第二容器包含第二像素点，所述第二像素点为所述第一像素点在第二边缘特征中的匹配像素点；
[0167]
在所述第一边缘特征中，为所述第二容器中的每个所述第二像素点寻找匹配像素点，以获得第三容器，所述第三容器包含第三像素点，所述第三像素点为所述第二像素点在所述第一边缘特征中的匹配像素点；
[0168]
依序逐个对比所述第一容器中的第一像素点与所述第三容器中的第三像素点；
[0169]
所述第一容器中的每个第一像素点与第三容器中相同序号的第三像素点相同时，以所述第一容器中的所述第一像素点和所述第二容器中的第二像素点作为所述匹配特征点对。
[0170]
一些实施方式中，喉部特征获取单元92具体可用于基于式(1)～(3)的评价函数执行所述寻找匹配像素点的步骤：
[0171]
一些实施方式中，喉部关键点为喉部突出点；喉部特征获取单元92还可用于从三维喉部特征中提取所述喉部突出点的三维位置。
[0172]
一些实施方式中，所述喉部突出点的三维位置为所述三维喉部特征中喉部前后运动方向坐标值最大的像素点的三维位置。
[0173]
一些实施方式中，喉部运动数据包括；每帧图像对的喉部关键点位移；喉部数据获
取单元93，具体可用于通过前述式(7)～(10)中任一项得到第n帧图像对的喉部关键点位移。优选地，喉部数据获取单元93，具体可用于式(7)得到第n帧图像对的喉部关键点位移。
[0174]
一些实施方式中，吞咽数据获取单元94，具体可用于：利用多帧图像对的所述喉部关键点位移拟合吞咽运动波形；查找吞咽运动波形的峰值点和拐点；根据峰值点的喉部关键点位移和/或拐点的喉部关键点位移，得到患者的吞咽数据，吞咽数据包括吞咽次数、吞咽频率、吞咽运动持续时长和/或吞咽幅度。
[0175]
一些实施方式中，吞咽数据获取单元94，还可用于在查找吞咽运动波形的峰值点和拐点之前，使用db5小波对吞咽运动波形去噪。
[0176]
实际应用中，吞咽检测装置可以通过软件、硬件或两者的结合实现。
[0177]
实施例三：计算设备
[0178]
图10是本技术实施例提供的一种计算设备1000的结构性示意性图。该计算设备1000包括：处理器1100和存储器1200。
[0179]
其中，处理器1100可以与存储器1200连接。存储器1200可以用于存储该程序代码和数据。因此，存储器1200可以是处理器1100内部的存储单元，也可以是与处理器1100独立的外部存储单元，还可以是包括处理器1100内部的存储单元和与处理器1100独立的外部存储单元的部件。
[0180]
存储器1200可以包括只读存储器和随机存取存储器，并向处理器1100提供指令和数据。处理器1100的一部分还可以包括非易失性随机存取存储器。例如，处理器1100还可以存储设备类型的信息。
[0181]
处理器1100可以采用中央处理单元(central processing unit，cpu)、微处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)、cpld或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。在计算设备1000运行时，处理器1100执行存储器1200中的计算机执行指令执行上述吞咽检测方法的操作步骤。
[0182]
可选地，计算设备1000还可包括通信接口和总线等组件。
[0183]
应理解，根据本技术实施例的计算设备1000可以对应于执行根据本技术各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例方法的相应流程，为了简洁，在此不再赘述。
[0184]
实施例四：计算机可读存储介质
[0185]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时使得处理器执行上述的吞咽检测方法。这里，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑磁盘只读存储器、光存储器件、磁存储器件或者上述的任意合适的组合。
[0186]
实施例五：计算机程序产品
[0187]
本技术实施例还提供一种计算机程序产品，其包括计算机程序，所述计算机程序
在被处理器运行时使得该处理器执行上述的吞咽检测方法。这里，计算机程序产品的程序设计语言可以是一种或多种，该程序设计语言可以包括但不限于诸如java、c 等面向对象的程序设计语言、诸如“c”语言等的常规过程式程序设计语言。
[0188]
实施例六：吞咽检测系统
[0189]
本技术实施例还提供了一种吞咽检测系统，吞咽检测系统可以包括计算设备和双目视觉传感器；其中，双目视觉传感器可用于在患者吞咽过程中实时采集每帧图像对并提供给计算设备，计算设备可以为实施例三的计算设备1000。
[0190]
一些实施方式中，双目视觉传感器可以包括第一镜头、第二镜头、第一相机和第二相机，第一镜头与所述第一相机连接，第二镜头与所述第二相机连接，第一相机与所述第二相机分别与所述计算设备连接；其中，第一相机用于通过所述第一镜头采集第一喉部图像，第二相机用于通过第二镜头采集第二喉部图像。这里，若第一相机和第二相机中包含镜头，第一镜头和第二镜头可以省去。
[0191]
为了避免对患者造成影响，需要根据实际环境部署吞咽检测系统。图11示出了本技术实施例提供的吞咽检测系统的架构示意图。图11的示例中，吞咽检测系统包括计算设备1000、第一相机2100和第二相机2200，第一相机2100与计算设备1000连接，第二相机2200与计算设备1000连接，第一相机2100和第二相机2200可在计算设备1000的控制下同步采集第一喉部图像和第二喉部图像。因放疗时，通常患者躺在床上，放疗仪对喉部周围的肿瘤进行放射治疗。因此，可以将第一相机2100和第二相机2200的镜头对角放置在人体咽喉上方，第一相机2100和第二相机2200与患者的垂直距离h可以为1米(m)、与患者咽喉的横向距离d可以为2m。
[0192]
若仅需检测吞咽次数、吞咽运动持续时长等吞咽数据，则只需计算标记在平面内的位移即可，第一相机采用单目视觉传感器，即可满足要求。
[0193]
为实现高效准确地吞咽检测，第一相机和第二相机优选为工业相机。工业相机相较普通相机(单反、手机相机)主要优势有：1)工业相机的性能稳定可靠，易安装，结构紧凑，结实不易损坏，连续工作时间长，可在较差环境下使用。2)工业相机快门时间非常短，可以抓拍高速运动物体。3)工业相机帧率远高于普通相机。4)工业相机输出的是裸数据(raw data)，光谱范围比较宽，比较适合进行高质量的图像处理算法，例如机器视觉应用。
[0194]
实施例七：应用示例
[0195]
在治疗过程中，患者不由自主的吞咽动作将导致喉部产生较大幅度的运动，致使肿瘤靶区存在脱靶的可能，可能导致治疗结果的不确定。虽然在治疗过程中会使用面罩固定病人以减少头部几何运动，然而实际治疗过程中，喉部作为相对运动的器官，在吞咽过程中仍可发生移动，致使待放射区域脱离靶区。根据研究，吞咽液体时，在上-下方向，喉部可移位20-25mm，在前-后方向，喉部移位3-8mm，一次吞咽的时间约为1s。这将会导致放疗效率下降，病人应接受的总剂量相应减少。因此，可以通过本技术实施例检测放疗过程中患者的吞咽次数、吞咽运动持续时长等吞咽数据，以便结合患者的吞咽数据采取相应的补救措施，从而有效减少肿瘤靶区的脱靶可能。
[0196]
实施例八：应用示例
[0197]
由于新冠病毒主要通过呼吸道传播，放射治疗室为密闭空间，患者放疗时又必须脱掉口罩，因此对新冠患者的放射治疗会增加接触者的呼吸传染概率。通过本技术实施例
可以实现此场景中患者喉部吞咽运动的实时监测，因本技术实施例是非接触式的，可以在放射治疗室的外部控制及获取患者的吞咽数据，避免了近距离接触，降低了呼吸传染的概率。
[0198]
最后应说明的是，本领域的普通技术人员可以理解，为了使读者更好地理解本技术，本技术的实施方式提出了许多技术细节。但是，即使没有这些技术细节和基于上述各实施方式的种种变化和修改，也可以基本实现本技术各权利要求所要求保护的技术方案。因此，在实际应用中，可以在形式上和细节上对上述实施方式作各种改变，而不偏离本技术的精神和范围。