吞咽检测方法及装置、设备、存储介质

1.本技术涉及医疗设备技术领域，尤其涉及一种吞咽检测方法及装置、设备、存储介质。


背景技术：

2.放射治疗程中，对计划靶区(planning target volume，ptv)影响的因素很多，如放疗过程中器官自主或不自主的运动、摆位误差、设备误差等。以喉部肿瘤患者为例，器官运动主要来源于吞咽，其对临床靶体积(clinical target volume，ctv)至ptv外放边界的确定影响较大。因此，准确的患者定位和吞咽运动监测管理是达到喉部肿瘤预期治疗精度和治疗效果的关键。成功的吞咽运动监测与管理能够减少ptv外扩范围，确保放疗计划剂量能够准确而全面的覆盖靶区，并且避免周围重要器官受到不必要的照射，提高生存质量。因此，高效准确的吞咽检测至关重要。
3.目前，对喉和下咽癌等有一定器官运动风险的头颈部肿瘤患者，通过适当控制调强放疗的射野和子野数量，以减少因吞咽运动导致脱靶的情况。使用例如电子计算机断层扫描(computed tomography，ct)或锥形束ct(cone beam ct，cbct)等获取在线三维图像，对靶区和危及器官的运动和位移进行量化分析。如果没有三维图像，则需使用电子摄野影像装置(electronic portal imaging device，epid)。但以上检测方法会增加患者受照剂量和治疗时间，且无法实时获取放射治疗单次时间内患者吞咽运动的真实情况。


技术实现要素：

4.为了解决或至少部分地解决上述技术问题，本技术提供了一种吞咽检测方法及装置、设备、存储介质，能够在例如在放射治疗等环境下实现高效准确的吞咽检测。
5.本技术的第一方面，提供一种吞咽检测方法，包括：
6.获取吞咽视频，所述吞咽视频包括多帧喉部图像，所述喉部图像中包含粘贴于患者喉部的标记；
7.以所述多帧喉部图像中的选定帧作为第一图像，检测所述第一图像的标记位置和标记尺寸；
8.以所述多帧喉部图像中所述第一图像的后续帧作为第二图像，根据所述第一图像的标记位置和标记尺寸，通过图像配准确定所述第二图像的标记位置；
9.根据所述第一图像的标记位置和所述第二图像的标记位置，获得患者的喉部运动数据；
10.根据所述患者的喉部运动数据获得患者的吞咽数据。
11.优选地，所述标记粘贴于患者的甲状腺软骨皮肤表面的底部。
12.优选地，所述标记为圆形贴纸；所述检测所述第一图像的标记位置和标记尺寸，包括：采用快速椭圆检测算法检测所述第一图像的标记位置和标记尺寸。
13.优选地，所述根据所述第一图像的标记位置和标记尺寸，通过图像配准确定所述
第二图像的标记位置，包括：根据所述第一图像的标记位置和标记尺寸，提取所述第一图像的标记所属区域，以得到模版图像；基于所述第二图像与所述模版图像之间的图像信息匹配，获得所述第二图像的标记位置。
14.优选地，所述方法还包括：根据所述第一图像的标记位置和标记尺寸，确定感兴趣区域的参数；所述基于所述第二图像与所述模版图像之间的图像信息匹配，获得所述第二图像的标记位置，包括：根据所述感兴趣区域的参数，在所述第二图像的感兴趣区域中，搜索与所述模版图像相似度最高的目标区域，通过所述目标区域的位置得到所述第二图像的标记位置。
15.优选地，所述感兴趣区域参数包含感兴趣区域的长度x和感兴趣区域的宽度y；所述相似度通过归一化相似性度量函数得到，所述归一化相似性度量函数为：
[0016][0017]
其中，ρ(i，j)表示位置为(i，j)的候选目标r
ij
与所述模版图像的相似度，s表示所述模版图像的长度，t表示所述模版图像的宽度，t
ij
(s，t)表示模版图像的特征图像中位置为(s，t)的像素的灰度值，s表示所述模版图像中像素t
ij
(s，t)的横坐标，t表示所述模版图像中像素t
ij
(s，t)的纵坐标，r
ij
(s，t)表示第二图像的特征图像中感兴趣区域内位置为(i，j)的候选目标r
ij
中对应模版图像的特征图像中位置为(s，t)的像素的灰度值；ρ(i，j)取最大值时，相应的候选目标r
ij
即为所述目标区域；
[0018]
其中，i、j满足如下关系：
[0019][0020]
其中，(i，j)可以为第一相机的像素坐标系中候选目标r
ij
左上角像素的坐标或者中心像素的坐标。
[0021]
优选地，所述喉部运动数据包括；所述第二图像的标记位移，所述第二图像的标记位移通过如下公式获得：
[0022][0023]
其中，dis表示所述第二图像的标记位移，n表示所述第二图像的帧号，m表示所述第一图像的帧号，n为大于m的整数，m为大于或等于1的整数，(x1，y1)表示第一图像的标记位置，(xn，yn)表示所述第二图像的标记位置。
[0024]
优选地，所述根据患者的喉部运动数据获得患者的吞咽数据，包括：利用患者的喉部运动数据拟合得到患者的吞咽运动波形；寻找所述吞咽运动波形中的峰值以及所述峰值对应的拐点，以获得患者的吞咽数据。
[0025]
优选地，所述根据患者的喉部运动数据获得患者的吞咽数据，还包括：寻找所述吞咽运动波形中的峰值以及所述峰值对应的拐点之前，使用db5小波对所述吞咽运动波形去噪。
[0026]
本技术的第二方面提供一种吞咽检测装置，包括：
[0027]
视频获取单元，用于获取吞咽视频，所述吞咽视频包括多帧喉部图像，所述喉部图像中包含粘贴于患者喉部的标记；
[0028]
检测单元，用于以所述多帧喉部图像中的选定帧作为第一图像，检测所述第一图像的标记位置和标记尺寸；
[0029]
匹配单元，用于以所述多帧喉部图像中所述第一图像的后续帧作为第二图像，根据所述第一图像的标记位置和标记尺寸，通过图像配准确定所述第二图像的标记位置；
[0030]
数据获取单元，用于根据所述第一图像的标记位置和所述第二图像的标记位置，获得患者的喉部运动数据；
[0031]
吞咽分析单元，用于根据所述患者的喉部运动数据获得患者的吞咽数据。
[0032]
本技术的第三方面提供一种计算设备，包括至少一个处理器和至少一个存储器，所述存储器存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器上述的吞咽检测方法。
[0033]
本技术的第四方面提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述的吞咽检测方法。
[0034]
相比于现有技术而言，本技术具有如下有益效果：
[0035]
在放射治疗环境下，获取包含粘贴于患者喉部的标记的多帧喉部图像，通过图像检测、图像匹配即可获取患者的吞咽数据。经实验验证，本技术实施例能够在放疗环境下正确检测出患者的吞咽次数、吞咽频率和/或吞咽运动持续的时间等吞咽数据。此外，本技术实施例的检测属于非接触式，适用于例如放射治疗等环境，测量过程连续、稳定、无辐射。
附图说明
[0036]
为了更清楚地说明本技术的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本技术的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
[0037]
图1是本技术实施例提供的吞咽检测方法的流程示意图；
[0038]
图2是本技术一具体实施例中标记粘贴位置的示意图；
[0039]
图3是本技术实施例中标记粘贴位置的实验位置示意图；
[0040]
图4a是本技术一具体实施例中标记粘贴于位置a的吞咽运动波形示意图；
[0041]
图4b是本技术一具体实施例中标记粘贴于位置b的吞咽运动波形示意图；
[0042]
图4c是本技术一具体实施例中标记粘贴于位置c的吞咽运动波形示意图；
[0043]
图5是本技术一具体实施例中标记中心、标记图像、模版图像和感兴趣区域的关系示意图；
[0044]
图6a是本技术实施例中模版图像或其特征图像的示意图；
[0045]
图6b是本技术实施例中第二图像感兴趣区域中搜索候选目标的示意图；
[0046]
图7是本技术实施例中步骤s120～步骤s140的示例性具体实施过程示意图；
[0047]
图8a是本技术实施例中利用患者的喉部运动数据拟合得到的吞咽运动波形的示例图；
[0048]
图8b是本技术实施例中去噪后的吞咽运动波形的示例图；
[0049]
图8c是本技术实施例中吞咽运动波形的峰值及其拐点的示例图；
[0050]
图9是本技术实施例提供的吞咽检测装置的结构示意图；
[0051]
图10是本技术实施例提供的计算设备的结构示意图；
[0052]
图11是本技术实施例提供的吞咽检测系统的架构及部署示例图。
具体实施方式
[0053]
下面结合附图，对本技术进行详细说明。
[0054]
吞咽是人体的重要基本生理功能，整个吞咽过程需要众多肌肉和器官的协调参与。经研究发现，每一次吞咽都会使喉部上下移动两次。从解剖生理学的角度来看，吞咽的整个过程可以分为三个阶段：口腔阶段、咽部阶段和食道阶段。在咽部阶段，喉咙做出一系列动作将食物或唾液输送到食道。因此，喉咙的运动经常被视为吞咽和咽部阶段的标志，并且很容易在体表观察和触摸。鉴于此，本技术的实施方式提出了一种吞咽检测方法及装置、设备、存储介质，基于单目视觉方式检测患者的喉部运动，进而高效准确地检测出患者的吞咽数据，实现在放疗环境下的吞咽检测。
[0055]
本技术实施例可适用于各种需检测人体吞咽功能的场景。
[0056]
本技术实施例可应用于放射治疗环境，通过准确检测患者吞咽情况，能够减少ptv外扩范围，确保放疗计划剂量能够准确而全面的覆盖靶区，并且避免周围重要器官受到不必要的照射来。
[0057]
本技术实施例还可应用于需采集喉部运动指标或吞咽指标的其他场景。例如，新冠阳性患者和新冠治愈之后的人们的各项生理指标，特别是涉及呼吸道相关研究发现，如果患者获得了新冠病毒感染，致咽喉部不适，咽痛、咳嗽、呼吸困难急促等不适症状，其喉部吞咽运动频率和幅度都会发生不同程度改变，而且，即便新冠得到了治愈，由于咽喉部黏膜损伤导致不可逆的功能性损伤，也依然会影响到相关器官的运动指标改变。此情况下，可通过本技术实施例采集新冠患者及新冠治愈之后的人们的吞咽指标，为新冠的并发症、预后以及相关机理提供研究条件。
[0058]
本技术实施例可适用于各类人群，例如，头颈部肿瘤患者、咽部肿瘤患者、喉部肿瘤患者等。
[0059]
下面详细阐述本技术的具体实施方式。
[0060]
实施例一：吞咽检测方法
[0061]
图1示出了本技术实施例提供的吞咽检测方法的流程示意图。参见图1所示，本技术实施例的吞咽检测方法可以包括：
[0062]
步骤s110，获取吞咽视频，吞咽视频包括多帧喉部图像，喉部图像中包含粘贴于患者喉部的标记；
[0063]
实际应用中，吞咽检测之前，可以将标记粘贴在患者喉部的皮肤表面。标记可以是但不限于贴纸等，便于粘贴、成本低廉，同时还便于通过图像识别等方式进行识别。
[0064]
为便于区分标记与喉部皮肤，标记可以选择为与周围皮肤显著不同的颜色，如此，可通过信息量小的灰度图像容易地识别出喉部图像中的标记，从而降低复杂度、提高处理效率。例如，标记可以为蓝色或其他易于识别的颜色。
[0065]
标记的形状可以是但不限于四边形、圆形、椭圆形或者其他形状。考虑到圆形贴纸的中心位置易于准确检测，并且圆形贴纸在图像中通常呈现为椭圆，而椭圆检测相对容易实现并且准确性较高，因此，一些实施例中，标记可以为圆形贴纸。
[0066]
标记的大小可以以能够覆盖喉突为主。例如，标记可以为直径8毫米的蓝色圆形贴
纸。
[0067]
由于标记的粘贴位置是影响吞咽检测结果的重要因素，因此，如何选择标记的粘贴位置至关重要。
[0068]
甲状腺软骨作为喉咙的一部分，在男性身体中尤为突出。吞咽时，甲状腺软骨的运动引起喉部皮肤表面的变化，喉突的位置变化反映了甲状腺软骨的运动。因此，可通过检测喉突位置的变化，实现患者喉部运动的检测，进而完成患者吞咽功能的分析和检测。
[0069]
一些实施方式中，参见图2的示例，标记可粘贴于患者的喉突皮肤表面。
[0070]
一些实施方式中，标记可粘贴于甲状腺软骨皮肤表面的底部(即下文图3中的c位置)。经实验分析发现，标记粘贴于甲状腺软骨皮肤表面的底部时，基于视觉的喉部运动波形具有较好的稳定性和重复性，吞咽检测的结果具有较好的可靠性。
[0071]
为找到较佳的标记粘贴位置，设计了如下的实验。参见图3的示例，对于同一受试者，将标记贴在甲状腺软骨皮肤表面的顶部(即，图3中的位置a)、中部(即，图3中的位置b)和底部(即，图3中的位置c)，重复采集同一位置的喉部运动数据(即，标记位移数据)，以获得该位置的吞咽运动波形，该吞咽运动波形可反映标记的位移(即，喉部运动)与时间的关系。图4a示出了位置a的吞咽运动波形，图4b示出了位置b的吞咽运动波形，图4c示出了位置c的吞咽运动波形。对比图4a、图4b和图4c可见，位置c的波形形状重复性最高，且三个实验的波峰值大小最相近，也即，位置c的稳定性和重复性较好。
[0072]
步骤s120，以多帧喉部图像中的选定帧作为第一图像，检测第一图像的标记位置和标记尺寸；
[0073]
一些实施方式中，可以多帧喉部图像中任一帧作为第一图像。可以理解地，可根据需要以多帧喉部图像中的其他帧(例如，某一中间帧)作为第一图像。对此，本技术不做限制。
[0074]
一些实施方式中，相机拍摄的吞咽视频是彩色(rgb)图像，与灰度图像相比，它的信息量太大，且大部分信息是无用的。因此，为降低计算复杂度、滤除一些干扰噪声、提高处理效率、节省计算资源，可以在检测第一图像的标记位置和标记尺寸之外，先对第一图像执行预处理，以将第一图像转换为信息量相对较小的二值图像，再利用该二值图像检测标记位置和标记尺寸即可。
[0075]
示例性地，对第一图像执行预处理的过程可以包括：对第一图像依次执行图像灰度处理、图像去噪、二值化，从而将第一图像转换为信息量相对较小的二值图像。优选地，可使用基于动态阈值的二值化方法来实现上述的二值化。
[0076]
目前，大多数圆形特征检测方法是基于霍夫变换的，但其适用性较差。鉴于此，一些实施方式中，标记为圆形贴纸时，可以采用快速椭圆检测算法检测第一图像的标记位置和标记尺寸。
[0077]
一些实施方式中，标记位置可以为标记图像中选定像素点的位置，例如标记中心的位置。标记尺寸则取决于标记形状。以标记为圆形贴纸为例，标记在图像中的投影为椭圆，标记尺寸可以通过该椭圆的半轴或者椭圆的直径来表示，标记位置可以为该椭圆的中心位置。
[0078]
示例性地，采用快速椭圆检测算法检测第一图像的标记位置和标记尺寸的过程可以包括：从第一图像或者第一图像的二值图像中提取弧，根据边缘方向和凸度对弧进行分
类，利用椭圆的几何性质，即“椭圆中平行弦的中点共线”，估计给定弧对的椭圆中心e
ab
。
[0079]
例如，假设给定弧对为和第一相机的像素坐标系中椭圆中心的坐标(x,y)可以通过下式(1)计算得到：
[0080][0081]
其中，k1和k2是平行弦组的中弧线的斜率。表示第一相机的像素坐标系中的坐标，表示第一相机的像素坐标系中的坐标，和是弧对和的平行弦集合上的两组中点。这里，第一相机即为采集吞咽视频的相机。
[0082]
当给定弧的方向角为θ时，椭圆的半轴a可由下式(2)～(3)得到：
[0083]
a＝a
x
/cosθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0084][0085]
其中，n为圆弧的求值系数，λ＝b/a，b表示椭圆短轴，a表示椭圆长轴。这里，θ为已知给定的椭圆倾角，具体应用中可以在图像处理时根据检测的椭圆形状和位置估算。
[0086]
步骤s130，以多帧喉部图像中第一图像的后续帧作为第二图像，根据第一图像的标记位置和标记尺寸，通过图像配准确定第二图像的标记位置；
[0087]
本技术实施例中，可以采用基于图像信息的匹配、基于特征的匹配或其他各种方式实现图像配准。
[0088]
考虑到基于特征的配准，需要在两幅图像之间建立特定的特征关系，算法相对耗时。为了加快图像处理速度，可基于图像信息配准的模版匹配来确定后续图像中标记的位置。
[0089]
一些实施方式中，步骤s130可以包括：根据第一图像的标记位置和标记尺寸，提取第一图像的标记所属区域，以得到模版图像；基于第二图像与模版图像之间的图像信息匹配，获得第二图像的标记位置。由此，基于图像信息配准的模版匹配即可确定第二图像的标记位置，可有效提升处理速度，减少计算资源的消耗。
[0090]
一些实施方式中，还可包括：根据第一图像的标记位置和标记尺寸，确定感兴趣区域(roi)的参数。该实施方式中，基于第二图像与模版图像之间的图像信息匹配，获得第二图像的标记位置，可以包括：根据感兴趣区域的参数，在第二图像的感兴趣区域中，搜索与模版图像相似度最高的目标区域，通过目标区域的位置即可获得第二图像的标记位置。由此，可以通过设置感兴趣区域和局部搜索的策略，可进一步减少计算时间、提高处理效率、加快处理速度和节省计算资源。
[0091]
这里，模版图像是从第一图像中取出来的一部分，模版图像的大小取决于标记尺寸和标记位置。例如，可以将第一图像中的标记全貌作为模版图像。为提高模版匹配的精度和运算速度，模版图像优选为边与图像边缘(也即，图像坐标系的x轴和y轴)平行的矩形。以标记为圆形贴纸为例，可以将检测到的圆形标记以外接矩形包围，该外接矩形所圈定的图像区域即为模版图像。
[0092]
一些实施方式中，感兴趣区域可以以第一图像中标记位置为中心、且大小固定的图像区域，感兴趣区域的具体尺寸可以预先设定，只需大于模版图像即可。以标记为圆形贴纸为例，图5示出了优选示例中标记中心、标记图像、模版图像和感兴趣区域的关系。
[0093]
一些实施方式中，模板匹配的过程可以模版图像的特征构建、以及模版图像与第二图像感兴趣区域中候选目标的相似性度量。
[0094]
模版图像的特征构建可以包括：获取模版图像的灰度信息，也即，模版图像中所有像素的灰度值。例如，可以直接从第一图像的二值图像中提取模板图像的特征图像t(s，t)，该模板图像的特征图像t(s，t)包含模版图像的灰度信息。再例如，可以先从第一图像中提取模版图像，再经过例如灰度处理等方式获得相应的特征图像t(s，t)。
[0095]
模版图像与第二图像感兴趣区域中候选目标的相似性度量可以包括：依次从第二图像感兴趣区域的左上角开始，从左到右、从上到下依次选取候选目标r(i，j)，并将候选目标r(i，j)与模板图像的特征图像t(s，t)匹配，从而找到与模板图像的特征图像t(s，t)相似度最高的目标区域。
[0096]
一些实施方式中，模版图像与第二图像感兴趣区域匹配之前，可以预先对第二图像或第二图像感兴趣执行例如灰度处理、去噪等预处理，以获得第二图像感兴趣区域的特征图像，如此，可直接使用第二图像感兴趣区域的特征图像执行模版图像与第二图像感兴趣区域的匹配处理。因特征图像信息量相对小，由此，可进一步降低计算复杂度、减少计算时间、节省计算资源，从而加快吞咽检测速度。
[0097]
示例性地，第二图像的预处理可以与前文第一图像的预处理相同。实际应用中，第二图像与第一图像的预处理可以同步执行。也即，可以在步骤s110之后即直接对多帧喉部图像执行前文的预处理，将多帧喉部图像转换为信息量较小的二值图像。如此，不仅可进一步节省计算时间、提高处理效率，而且利于硬件实现。参见图6a所示，对于一个模版图像或其特征图像t(s，t)，假设其尺寸为s
×
t。参见图6b所示，对于第二图像感兴趣区域中搜索到的候选目标r(i，j)，候选目标r(i，j)为第二图像感兴趣区域中与模版图像大小一致的区域。
[0098]
一些实施方式中，通过将模板图像t(s，t)叠加在候选目标r(i，j)上执行例如卷积等运算，估算候选目标r(i，j)与模板图像t(s，t)之间的相似度。
[0099]
常用的基于灰度的相似性度量标准函数有：平均绝对误差(mad)、均方误差和(msd)、绝对误差值(sad)和归一化相关(ncc)。mad、msd和sad函数简单，易于实现，计算复杂度低。当图像背景简单，图像灰度变化不大时，可以获得较好的匹配效果。但是它们对噪音相当敏感。一旦光照变化很大，匹配跟踪就会失败。ncc测量功能具有一定的抑制噪声的能力，对图像亮度和对比度的变化不是很敏感。因此，一些实施方式中，相似度可以通过归一化相似性度量函数得到，该归一化相似性度量函数可以为下式(4)所示：
[0100][0101]
其中，ρ(i，j)表示位置为(i，j)的候选目标r
ij
与模版图像的相似度，s表示模版图像的长度，t表示模版图像的宽度，t
ij
(s，t)表示模版图像的特征图像中位置为(s，t)的像素的灰度值，s表示模版图像的特征图像中像素t
ij
(s，t)的横坐标，t表示模版图像的特征图像
中像素t
ij
(s，t)的纵坐标，r
ij
(s，t)表示第二图像的特征图像中感兴趣区域内位置为(i，j)的候选目标r
ij
中对应模版图像的特征图像中位置为(s，t)的像素的灰度值。ρ(i，j)值越大，相应的候选目标与模板图像越相似，候选目标与模板图像越相似，该候选目标包含第二图像中标记图像的概率越高。
[0102]
一些实施方式中，感兴趣区域的参数可以包含感兴趣区域的长度x和感兴趣区域的宽度y。搜索第二图像感兴趣区域中的每个候选目标，获得相似度ρ(i，j)的最大值，ρ(i，j)取最大值时的候选目标r
ij
即为与模版图像相似度最高的目标区域，通过该目标区域r
ij
对应的坐标(i，j)即可获得第二图像的标记位置。
[0103]
其中，i、j满足如下式(5)所示的关系：
[0104][0105]
其中，(i，j)可以为第一相机的像素坐标系中候选目标r
ij
左上角像素的坐标或者候选目标r
ij
中心像素的坐标。
[0106]
一些示例中，若(i，j)为r
ij
左上角像素的坐标，因r
ij
的长度和宽度与模板图像相同，因此，可由ρ(i，j)取最大值时的(i，j)估算出r
ij
中心像素的坐标，r
ij
中心像素的坐标即为第二图像中标记中心的坐标，也即，r
ij
中心像素的坐标即为第二图像的标记位置。
[0107]
一些示例中，若(i，j)为r
ij
中心像素的坐标，ρ(i，j)取最大值时的(i，j)即为第二图像中标记中心的坐标，也即，ρ(i，j)取最大值时的(i，j)即为第二图像的标记位置。
[0108]
步骤s140，根据第一图像的标记位置和第二图像的标记位置，获得患者的喉部运动数据；
[0109]
一些实施方式中，喉部运动数据可以包括；第二图像的标记位移，第二图像的标记位移可通过下式(6)获得：
[0110][0111]
其中，dis表示第二图像的标记位移，n表示第二图像的帧号，m表示第一图像的帧号，n为大于m的整数，m为大于或等于1的整数，(xm，ym)表示第一图像的标记位置，(xn，yn)表示第二图像的标记位置。
[0112]
一些实施方式中，(xm，ym)和(xn，yn)可以为第一相机的像素坐标系中的坐标值。具体地，(xm，ym)可以为第一相机的像素坐标系中第一图像的标记中心的坐标值，(xn，yn)可以为第一相机的像素坐标系中第一图像的标记中心的坐标值。
[0113]
图7示出了步骤s120～步骤s140的示例性具体实施过程。参见图7，该具体实施方式过程可以包括：
[0114]
首先，以第1帧喉部图像作为第一图像，通过步骤s120的方式检测第一图像中标记中心的像素坐标(x
c,1
，y
c,1
)，该像素坐标(x
c,1
，y
c,1
)即为第一图像的标记位置。
[0115]
其次，对于每帧第二图像，例如第i帧喉部图像(i为大于1的整数)，通过模版匹配，即将第i帧喉部图像的roi与第一图像中的模版图像匹配，可确定该第i帧喉部图像中标记中心的像素坐标(x
c,i
，y
c,i
)，该标记中心的像素坐标(x
c,i
，y
c,i
)即为第i帧喉部图像的标记位置。
[0116]
第三，可通过下式(7)计算像素坐标(x
c,i
，y
c,i
)与像素坐标(x
c,1
，y
c,1
)之间的像素
位移(x
c,i
，y
c,i
)，像素位移(x
c,i
，y
c,i
)表示第一相机的像素坐标系中第i帧喉部图像中标记中心相对于第1帧喉部图像中标记中心的位移，也即第i帧喉部图像的标记位移。
[0117]
(x
c,i
，y
c,i
)＝(x
c,i
，y
c,i
)-(x
c,1
，y
c,1
)
ꢀꢀꢀꢀꢀꢀ
(7)
[0118]
这里，像素位移(x
c,i
，y
c,i
)、像素坐标(x
c,i
，y
c,i
)与像素坐标(x
c,1
，y
c,1
)均属于第一相机的像素坐标系。这里，式(7)的具体计算方式与前文式(6)相同。
[0119]
第四，可利用第一相机的转换系数s(单位：毫米每像素(mm/pixel))通过下式(8)估算物理位移(xi，yi)，物理位移(xi，yi)表示第一相机的相机坐标系中第i帧喉部图像中标记中心相对于第1帧喉部图像中标记中心的位移。
[0120]
(xi，yi)＝s
×
(x
c,i
，y
c,i
)
ꢀꢀꢀꢀꢀꢀ
(8)
[0121]
其中，物理位移(xi，yi)属于第一相机的相机坐标系。
[0122]
实际应用中，可以像素位移(x
c,i
，y
c,i
)和/或物理位移(xi，yi)作为第i帧喉部图像的标记位移。
[0123]
需要说明的是，图7中的物理位移的估算为可选步骤。
[0124]
步骤s150，根据患者的喉部运动数据获得患者的吞咽数据。
[0125]
一些实施方式中，吞咽数据可以包括吞咽次数、吞咽频率、吞咽幅度和/或吞咽运动持续时长等。
[0126]
一些实施例中，步骤s150具体可以包括：利用患者的喉部运动数据拟合得到患者的吞咽运动波形，寻找所述吞咽运动波形中的峰值以及所述峰值对应的拐点以获得患者的吞咽次数、吞咽频率和/或吞咽运动持续时长等吞咽数据。
[0127]
这里，吞咽运动波形的横坐标x表示时间，吞咽运动波形的纵坐标y表示标记位移。其中，时间可通过帧数、帧号或者时刻来表示。纵坐标y可以为前文的像素位移，也可以为前文的物理位移。
[0128]
因检测过程中，人的呼吸或其他动作也会引起某个标记的移动，为确保吞咽数据的准确性，步骤s150中还可以包括：在寻找所述吞咽运动波形中的峰值以及该峰值对应的拐点之前，可使用db5小波对患者的吞咽运动波形去噪。
[0129]
图8a示出了利用患者的喉部运动数据拟合得到的吞咽运动波形的示例图，图8b示出了去噪后的吞咽运动波形的示例图，图8c示出了吞咽运动波形的峰值及其拐点的示例图。图8a～图8c的示例中，吞咽运动波形的横坐标x为表示帧数(framenum)，相应第一相机的每秒传输帧数(frames per second，fps)为15，吞咽运动波形的纵坐标y表示前文的物理位移(displacement)，其单位为毫米(mm)。图8c中，data表示标记位移，p(peak)表示峰值，p(start/end)表示峰值对应的拐点，该拐点为吞咽起点或吞咽终点。
[0130]
为了得到吞咽次数、吞咽频率和/或吞咽运动持续时长等吞咽数据，根据吞咽运动波形的特点，找到吞咽运动波形的峰值(x
p
，y
p
)，然后围绕着峰值寻找吞咽运动波形的拐点，该拐点即为吞咽起点或吞咽终点。吞咽运动波形中，峰值左侧的拐点(即横坐标小于峰值的横坐标的拐点)为吞咽起点(xs，ys)，峰值右侧的拐点(即横坐标大于峰值的横坐标的拐点)为吞咽终点(xe，ye)。
[0131]
一些实施方式中，寻找吞咽运动波形中拐点的过程可以为：沿着峰值点向左和向右寻找，直到找到位移值yn小于位移平均值y
mean
的点，如果该点前后的点的位移值y均大于该点的位移值yn，该点即为拐点。其中，位移平均值y
mean
可以通过吞咽视频对应的标记位移
相加后除以吞咽视频的帧数得到。
[0132]
一些实施方式中，吞咽运动持续时长δt可以通过下式(9)得到。
[0133]
δt＝η(x
e-xs)
ꢀꢀꢀꢀ
(9)
[0134]
其中，η为时间常数。一些示例中，η可以为第一相机的帧率。η的取值范围根据相机而定，η的具体取值可在第一相机中自行设置，η的值设定好后即固定，不随时间变化。
[0135]
吞咽运动波形图中的每个峰值表示一次吞咽的发生。一般峰值较为明显的地方视为一次吞咽。一些实施方式中，吞咽运动波形中，位移值大于预设的位移阈值的峰值的数量即为患者的吞咽次数。这里，位移阈值可通过实验统计分析得到或者取经验值。
[0136]
一些实施方式中，吞咽频率可以为吞咽视频对应的吞咽次数与吞咽视频的帧数的比值。
[0137]
一些实施方式中，吞咽幅度可以通过一次吞咽的最大标记位移来表示。
[0138]
实施例二：吞咽检测装置
[0139]
图9示出了本技术实施例提供的吞咽检测装置900的结构示意图。参见图9，该吞咽检测装置可以包括：
[0140]
视频获取单元91，用于获取吞咽视频，所述吞咽视频包括多帧喉部图像，所述喉部图像中包含粘贴于患者喉部的标记；
[0141]
检测单元92，用于以所述多帧喉部图像中的选定帧作为第一图像，检测所述第一图像的标记位置和标记尺寸；
[0142]
匹配单元93，用于以所述多帧喉部图像中所述第一图像的后续帧作为第二图像，根据所述第一图像的标记位置和标记尺寸，通过图像配准确定所述第二图像的标记位置；
[0143]
数据获取单元94，用于根据所述第一图像的标记位置和所述第二图像的标记位置，获得患者的喉部运动数据；
[0144]
吞咽分析单元95，用于根据所述患者的喉部运动数据获得患者的吞咽数据。
[0145]
一些实施方式中，所述标记粘贴于患者的甲状腺软骨皮肤表面的底部。
[0146]
一些实施方式中，所述标记为圆形贴纸；检测单元92，具体用于采用快速椭圆检测算法检测所述第一图像的标记位置和标记尺寸。
[0147]
一些实施方式中，匹配单元93，具体用于：根据所述第一图像的标记位置和标记尺寸，提取所述第一图像的标记所属区域，以得到模版图像；基于所述第二图像与所述模版图像之间的图像信息匹配，获得所述第二图像的标记位置。
[0148]
一些实施方式中，匹配单元93还可用于：根据所述第一图像的标记位置和标记尺寸，确定感兴趣区域的参数。匹配单元93具体可用于：根据所述感兴趣区域的参数，在所述第二图像的感兴趣区域中，搜索与所述模版图像相似度最高的目标区域，通过所述目标区域的位置得到所述第二图像的标记位置。
[0149]
一些实施方式中，感兴趣区域参数包含感兴趣区域的长度x和感兴趣区域的宽度y；相似度通过归一化相似性度量函数得到，归一化相似性度量函数为前文式(4)所示。
[0150]
一些实施方式中，喉部运动数据包括；第二图像的标记位移。数据获取单元94具体可用于通过式(6)获得第二图像的标记位移。
[0151]
一些实施方式中，吞咽分析单元95，具体用于：利用患者的喉部运动数据拟合得到患者的吞咽运动波形；寻找所述吞咽运动波形中的峰值以及所述峰值对应的拐点，以获得
患者的吞咽数据。
[0152]
一些实施方式中，吞咽分析单元95，还可用于：寻找所述吞咽运动波形中的峰值以及所述峰值对应的拐点之前，使用db5小波对所述吞咽运动波形去噪。
[0153]
实际应用中，吞咽检测装置可以通过软件、硬件或两者的结合实现。
[0154]
实施例三：计算设备
[0155]
图10是本技术实施例提供的一种计算设备1000的结构性示意性图。该计算设备1000包括：处理器1100和存储器1200。
[0156]
其中，处理器1100可以与存储器1200连接。存储器1200可以用于存储该程序代码和数据。因此，存储器1200可以是处理器1100内部的存储单元，也可以是与处理器1100独立的外部存储单元，还可以是包括处理器1100内部的存储单元和与处理器1100独立的外部存储单元的部件。
[0157]
存储器1200可以包括只读存储器和随机存取存储器，并向处理器1100提供指令和数据。处理器1100的一部分还可以包括非易失性随机存取存储器。例如，处理器1100还可以存储设备类型的信息。
[0158]
处理器1100可以采用中央处理单元(central processing unit，cpu)、微处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)、cpld或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。在计算设备1000运行时，处理器1100执行存储器1200中的计算机执行指令执行上述吞咽检测方法的操作步骤。
[0159]
可选地，计算设备1000还可包括通信接口和总线等组件。
[0160]
应理解，根据本技术实施例的计算设备1000可以对应于执行根据本技术各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例方法的相应流程，为了简洁，在此不再赘述。
[0161]
实施例四：计算机可读存储介质
[0162]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时使得处理器执行上述的吞咽检测方法。这里，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑磁盘只读存储器、光存储器件、磁存储器件或者上述的任意合适的组合。
[0163]
实施例五：计算机程序产品
[0164]
本技术实施例还提供一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器运行时使得该处理器执行上述的吞咽检测方法。这里，计算机程序产品的程序设计语言可以是一种或多种，该程序设计语言可以包括但不限于诸如java、c 等面向对象的程序设计语言、诸如“c”语言等的常规过程式程序设计语言。
[0165]
实施例六：吞咽检测系统
[0166]
本技术实施例还提供了一种吞咽检测系统，吞咽检测系统可以包括第一相机和计
算设备，第一相机与计算设备可通信。第一相机用于采集患者的吞咽视频并提供给计算设备，计算设备可用于利用患者的吞咽视频执行吞咽检测。这里，计算设备可以为实施例三的计算设备1000。
[0167]
为了避免对患者造成影响，需要根据实际环境部署吞咽检测系统。图11示出了本技术实施例提供的吞咽检测系统的架构示意图。图11的示例中，吞咽检测系统包括计算设备1000和第一相机2000，第一相机2000与计算设备1000连接。因放疗时，通常患者躺在床上，放疗仪对喉部周围的肿瘤进行放射治疗。因此，可以将第一相机的镜头对角放置在人体咽喉上方，第一相机与患者的垂直距离h可以为1米(m)，第一相机与患者咽喉的横向距离d可以为2m。
[0168]
若仅需检测吞咽次数、吞咽运动持续时长等吞咽数据，则只需计算标记在平面内的位移即可，第一相机采用单目视觉传感器，即可满足要求。
[0169]
第一相机可以包括图像采集卡和镜头，图像采集卡和镜头可以是一体结构，也可以独立设置。
[0170]
为实现高效准确地吞咽检测，第一相机优选为工业相机。工业相机相较普通相机(单反、手机相机)主要优势有：1)工业相机的性能稳定可靠，易安装，结构紧凑，结实不易损坏，连续工作时间长，可在较差环境下使用。2)工业相机快门时间非常短，可以抓拍高速运动物体。3)工业相机帧率远高于普通相机。4)工业相机输出的是裸数据(raw data)，光谱范围比较宽，比较适合进行高质量的图像处理算法，例如机器视觉应用。
[0171]
实施例七：应用示例
[0172]
在治疗过程中，患者不由自主的吞咽动作将导致喉部产生较大幅度的运动，致使肿瘤靶区存在脱靶的可能，可能导致治疗结果的不确定。虽然在治疗过程中会使用面罩固定病人以减少头部几何运动，然而实际治疗过程中，喉部作为相对运动的器官，在吞咽过程中仍可发生移动，致使待放射区域脱离靶区。根据研究，吞咽液体时，在上-下方向，喉部可移位20-25mm，在前-后方向，喉部移位3-8mm，一次吞咽的时间约为1s。这将会导致放疗效率下降，病人应接受的总剂量相应减少。因此，可以通过本技术实施例检测放疗过程中患者的吞咽次数、吞咽持续时间等吞咽数据，以便结合患者的吞咽数据采取相应的补救措施，从而有效减少肿瘤靶区的脱靶可能。
[0173]
实施例八：应用示例
[0174]
由于新冠病毒主要通过呼吸道传播，放射治疗室为密闭空间，患者放疗时又必须脱掉口罩，因此对新冠患者的放射治疗会增加接触者的呼吸传染概率。通过本技术实施例可以实现此场景中患者喉部吞咽运动的实时监测，因本技术实施例是非接触式的，可以在放射治疗室的外部控制及获取患者的吞咽数据，避免了近距离接触，降低了呼吸传染的概率。
[0175]
最后应说明的是，本领域的普通技术人员可以理解，为了使读者更好地理解本技术，本技术的实施方式提出了许多技术细节。但是，即使没有这些技术细节和基于上述各实施方式的种种变化和修改，也可以基本实现本技术各权利要求所要求保护的技术方案。因此，在实际应用中，可以在形式上和细节上对上述实施方式作各种改变，而不偏离本技术的精神和范围。