智能化乳房外形3D测量方法及系统与流程

智能化乳房外形3d测量方法及系统
技术领域
1.本发明属于医疗检测技术领域，具体说是一种智能化乳房外形3d测量系统及方法。


背景技术：

2.乳房测量是女性乳房整形和乳腺疾病术前术后的必要过程，用于确定手术点位、假体体积、对称性美观性评估等。测量类别可分为体积测量、外形测量和表面积测量，每个类别都包括了多种测量方法，各种测量方法的机制、可靠性及可行性各不相同。其中体积测量方法根据其机制可以进一步分为自然外形法、几何近似法等方法。若要对乳房更客观的评价，需要综合考虑乳房的体积、外形和表面积三个方面。
3.现有的测量方法为人工测量，工具主要为皮尺、游标卡尺；对称性美观性的评估方法主要为人为主观评估。现有的测量方法和工具需要人工读取测量值，然后根据人工测量值计算或估算。人工测量时，测量工具需要紧贴人体表面，而由于乳房的柔软性，工具接触会导致形变，产生错误结果的情况极多，误差大；准确测量对测量者要求高，且一般需要多次测量求取平均值以减少误差，耗时较长。由于测量经验不足或测量误差，将影响术后效果，导致术后两侧乳房体积、形态不一致，类似手术失败的案例也屡见不鲜。
4.因此，快速、精准的乳房测量方法和系统，对于乳房疾病手术和乳房整形手术意义重大，将极大改善术前手术位置标定、乳房假体计算、术后塑形预测、手术效果评估。


技术实现要素：

5.针对上述现存技术手段的不足，本发明目的是提供一种智能化乳房外形3d测量设备及系统，以解决上述困难和技术缺陷。
6.本发明为实现上述目的所采用的技术方案是：智能化乳房外形3d测量系统，包括：
7.拍摄装置，包括多个相机，用于拍摄胸部点云图像；
8.图像处理模块，用于对多个相机拍摄的点云图像进行预处理和配准融合，形成一幅三维图像，并根据拼接后的三维图像绘制胸部特征曲线；
9.测量计算模块，用于根据三维图像和显示标定模块发送的特征点对胸部进行测量得到胸部几何信息，并将胸部几何信息发送至显示标定模块；
10.显示标定模块，用于标定特征点，将特征点发送至测量计算模块，并接收测量计算模块反馈的胸部几何信息进行显示。
11.所述拍摄装置包括三个相机，三个相机设于支架上；第一相机与第三相机等高且位于同一水平面，并以第一相机与第三相机连线中点对称设置；所述第一相机的光轴与第三相机光轴相交于一点；第二相机位于所述中点正下方，且光轴与所述水平面所成角度为锐角。
12.智能化乳房外形3d测量方法，包括以下步骤：
13.多个相机同时拍摄胸部形成点云图像；
14.将多个点云图像进行预处理和配准融合，形成一幅三维图像；
15.根据拼接后的三维图像绘制胸部特征曲线；
16.在三维图像上标定特征点；
17.通过特征点三维坐标和胸部特征曲线得到胸部几何信息，实现对胸部的测量。
18.所述将多个点云图像进行预处理和配准融合，包括以下步骤：
19.图像预处理:以第二相机拍摄的点云图像为基准图像，记为pcd-2；将第一相机拍摄的点云图像作为待拼接图像，记为pcd-1；将第三相机拍摄的点云图像作为待拼接图像，记为pcd-3；
20.所有点云图像以各自相机镜头为空间原点；第二相机的空间坐标为(0，0，0)，第一相机相对第二相机的空间坐标为(x1，y1，0)；将pcd-1点云数据进行坐标变换，转变为以第二相机为空间原点的图像数据，即对所有点进行矢量运算(-x1，-y1，0)；形成新的点云z-pcd-1；
21.第三相机相对第二相机的空间坐标为(x3，y3，0)；将pcd-3点云数据进行坐标变换，转变为以第二相机为空间原点的图像数据，即对所有点进行矢量运算(-x3，-y3，0)；形成新的点云z-pcd-3；
22.图像配准：计算z-pcd-1与基准图像pcd-2的重叠部分，将z-pcd-1与pcd-2的不重叠的部分截取，记为pz-pcd-1；
23.计算z-pcd-3与基准图像pcd-2的重叠部分，将z-pcd-3与pcd-2的不重叠的部分截取，记为pz-pcd-3；
24.图像融合：将pz-pcd-1，pcd-2，pz-pcd-3依次连接，形成完整图像。
25.所述图像融合后进行边界平滑：对融合后的图像，按垂直边界进行截断、拟合补全，实现平滑边界。
26.所述根据拼接后的三维图像绘制胸部特征曲线，包括以下步骤：
27.选取三维图像空间上距离三个相机所成平面最近的2点作为顶定a，顶点b；
28.分别以顶点a、b为原点，按设定间隔绘制平行于顶点垂直面的等高线，形成纬线；最低纬线所在平面为胸部基面；所述垂直面为与三个相机所成平面平行的平面；
29.分别以顶点a、b为原点，以12点钟方向为0度线，按顺时针增加设定值，形成经线；
30.纬线和经线构成胸部特征曲线。
31.所述通过特征点三维坐标和胸部特征曲线得到胸部几何信息，具体为：在三维图像上通过标记的特征点形成直线和曲线，计算直线和曲线的距离；根据空间中的点与胸部表面轮廓上的点构成的直线和曲线，计算直线和曲线的距离；显示直线和曲线以及直线长度、曲线长度。
32.所述通过特征点三维坐标和胸部特征曲线得到胸部几何信息，包括：
33.点标定：在三维图像的胸部表面轮廓上选择某个点并标记；
34.直线/曲线标定：在三维图像的胸部表面轮廓上选择2个点a、c，以及胸部表面轮廓内部空间的某个点b；在三维图像上绘制出两点之间的直线ac，计算并显示出直线距离d
ac
、体表曲线距离c
ac
、透视方向三角形abc的边ab和边cb的长度d
ab
、d
cb
、b到ac的高h；
35.截面标定：选定三维图像胸部表面轮廓上某个点，选定该点所处的纬线截面并标记。
36.所述对融合后的图像，按垂直边界进行截断、拟合补全，包括：
37.在融合后的图像数据中，当乳房下皱襞imf因被下垂的乳房体遮挡而不存在于胸部表面轮廓可见范围时，选取胸部基面为weft-base截面，通过计算胸部表面轮廓中在weft-base截面垂直方向上距离weft-base截面最远的点标记为乳房顶点g，乳房与其下方非乳房轮廓的结合处曲线记为junction-curve；
38.对junction-curve上的点，在weft-base截面垂直方向，通过移动最小二乘法拟合延伸从junction-curve上的点到与weft-base截面的曲线，与weft-base截面相交的曲线标记为imf，形成imf被下垂乳房遮挡状态下，乳房闭合体拟合构建。
39.所述胸部几何信息包括：肋间上界、肋间下界、胸骨缘内界、腋中线外界、乳房下皱襞、乳房基底直径、乳房高度、双乳间距、乳房厚度、经腋窝胸围、经乳头胸围、经下皱襞胸围、乳房整体体积、乳房截断体积、去体表体积、肋间位置、胸骨中线、胸乳距、乳胸中线距、胸中正中距、乳头间宽、乳房内侧半径、乳房外侧半径、乳房上侧半径、乳房下侧半径、乳头至下皱襞体表距离、乳头至下界体表距离、乳头直径、乳头面积、乳晕直径。
40.本发明具有以下有益效果及优点：
41.1.本发明操作简单、安全、无公害、无辐射，拍摄装置可根据实际需求自由调节；适用范围广，可用于术前测量、标记、评估，术后测量、评估；测量快速，完成拍摄和图像生成低于2秒；作为测量设备，测量过程中不存在任何伤害人身安全的风险。
42.2.本发明图像处理速度快，3d相机拍摄成像耗时低于1秒、准确度高且成像清晰，依赖于3d相机的分辨率，精度范围可达0.1mm-2mm。
43.3.本发明采用在点云图上进行点线标定的方式，对8项特定点线标记后，系统自动完成22项测量指标值自动计算，测量的指标数量远多于现有的手动测量。
44.4.本发明为女性乳房的对称性评估和美观度量化表达给出了一种快速测量方法和数据指标体系。
45.5.本发明支持在点云图上自由标定，透视计算，为手术方案的制订、刀口宽度、深度测算，提供了数字化支持。
46.6.本发明可准确计算出乳房的整体体积、截断体积以及去体表体积，可用来从乳房体积角度评估乳房对称性，精准计算乳房假体体积。
47.7.因人体器官下垂遮挡的部分垂直截面，本发明具备数据运算拟合能力，在三维数据中通过移动最小二乘法拟合可实现垂直截面的闭合，对形态异常的乳房也可以进行测量。
48.8.本发明支持任意体位拍摄，支持在术前、术后以及康复期的数字化测量，用于精准术前位置标定、评估乳房对称性、美观度、自动化精确量化各种测量值的变化程度。
49.9.本发明建立了人体乳房数字化测量基准，量化了手术效果，有助于乳腺相关手术医疗纠纷的证据客观化、数字化。
附图说明
50.图1为系统结构示意图；
51.图2a为相机布局示意图一；
52.图2b为相机布局示意图二；
data)，使用图像拼接算法将3幅点云图像拼接形成完整的一幅以点云图像数据表示的人体乳房3d点云图像。图像处理模块对拼接后的图像自动完成特征线绘制，包括体表纬度(等高线)绘制，以最高点为中心的经度线绘制，如图4所示；对拼接完整的3d点云图像数据，显示标定模块支持三维显示和标定，包括对3d图像手动旋转、缩放显示，手工标定点、线、截面；测量与计算模块支持根据标定的点自动计算点之间的直线距离、体表距离、透视距离。测量和计算模块根据标定的特定点、线、截面，自动计算各种测量值，具体参见图5a-5b。对于异常人体形状，如乳房严重下垂的，系统支持按图形曲面趋势，做一定的拟合延展，以使图形闭合，具体参见图8。
69.使用图像拼接算法完成具有图像重叠部分的多幅点云图像的拼接，形成完整的人体乳房3d点云图像，包括以下步骤：
70.3台3d相机固定于拍摄装置的不同位置，镜头方向与被拍摄体的角度各不相同，但拍摄视野必须有重合的部分，布局如图2a-2d所示，以便实现图像数据的有效拼接；拍摄时，人体相对拍摄装置是静止的；拍摄时的体位示意图如图3a-3c所示。
71.图像处理模块从3台相机分别获取所拍摄的点云格式的图像。
72.图像处理模块根据3台相机的相对位置，结合各个相机所拍摄图像的重叠部分，进行图像拼接，最终形成一幅完整的点云格式的三维图像。
73.图像处理模块对拼接后的图像自动完成特征线绘制，包括以下步骤：
74.图像处理模块自动运算，选取三维图像空间上距离拍摄装置垂直面最近的2点作为顶定a，顶点b；
75.图像处理模块自动以顶点a为原点，按一定的间隔，绘制平行于顶点垂直面的等高线，等高间隔可根据实际需要调整设置；
76.图像处理模块自动以顶点b为原点，按一定的间隔，绘制平行于顶点垂直面的等高线，等高间隔可根据实际需要调整；
77.图像处理模块自动以顶点a为原点，以12点钟方向为0度线，绘制经度，经度线间隔可根据实际需要调整；
78.图像处理模块自动以顶点b为原点，以12点钟方向为0度线，绘制经度，经度线间隔可根据实际需要调整；
79.图像处理模块自动绘制的特征曲线样式可参考图4。
80.显示标定模块可对拼接后的点云图像进行三维显示和标定，具体包括：
81.支持将点云数据以三维图像形式显示，可对图像进行旋转、缩放，并可默认的以正对拍摄装置的状态呈现；
82.点标定：可根据实际需求在三维图像上自由选择某个点，标记其名称；
83.直线/曲线标定：可根据实际需求在三维图像上自由选择2个点a，c，以及图像内部空间的某个点b；系统在图像上自动绘制出两点之间的直线ac，计算并显示出直线距离d
ac
、体表曲线距离c
ac
、透视方向三角形abc的边ab和cb的长度d
ab
,d
cb
(即透视距离)、b到ac的高h，如图7所示；可对各个线段或曲线标记自定义的名称，例如标定为“刀口长度”，“刀口深度”；
84.截面标定：选定三维图像上某个点，可选定该点所处的纬线截面；如图4所示；可对截面标记名称。
85.测量计算模块根据标定的特定点、线、截面(纬线)，自动计算各种测量值，具体包括表1所列的标定项和测量项:
86.表1标定测量项一览表
[0087][0087][0088]
以上标定及测量项的图示见图5a-5b。标定项与自动计算量分类见以下表2标定项与自动计算项；
[0089]
表2标定项与自动计算项
[0090][0091]
本发明采用拟合预测算法，可实现垂直截面的闭合，参见图8。
[0092]
在已绘制了特征线的三维图像上，选定一条纬度特征线，以该纬度线所在平面作为截面，系统计算由该截面到乳房顶点整个体表包围闭合体的体积。
[0093]
在已绘制了特征线的三维图像上，选定2条纬度特征线，系统计算出这2条纬度特征线所在截面与三维图形体表共同构成的闭合体的体积。
[0094]
在已绘制了特征线的三维图像上，选定2条纬度特征线作为截面，并手工输入表皮厚度，系统计算出闭合体剩余部分的体积。
[0095]
如图9所示，本发明的方法包括以下步骤，：
[0096]
1.本发明包含4个部分，拍摄装置、测量计算处理模块、显示与人机操作模块，如图1所示。
[0097]
2.拍摄装置将3台相机固定于适当位置，确保3台相机的视野包含被拍摄者的胸部整体区域，如图2a-2d所示。
[0098]
3.拍摄时，将拍摄装置移动到适当位置，人相对拍摄装置静止，3台相机同时拍摄，形成点云文件(point cloud data)。以立拍为例，拍摄时的角度如图2d侧视图所示；
[0099]
4.图像处理模块自动拼接3台相机拍摄的图像，形成完整的一幅三维图像；图像处理模块根据拼接后的图像数据自动完成乳房特征曲线的绘制，如图4所示；系统自动拟合预测因人体器官下垂遮挡造成的垂直截面不能闭合情况，如图8所示；
[0100]
5.医生根据临床经验在3d图形上自由标定点，系统根据标定点自动绘制两点间的直线、曲线，计算并显示直线段、体表最短曲线段长度、透视距离和深度等值，如图7所示；
[0101]
6.测量计算模块可根据图片的特征纬线及医生标定的特征点、线、面，计算各个测量项，如图5a-5b所示；乳房整体体积或去体表体积，如图6所示。
[0102]
以立拍为例，上述步骤3的详细步骤包括：
[0103]
a.启动前拍摄装置位于初始位置；
[0104]
b.拍摄装置根据高度传感器，通过机械装置自动将相机移动到合适高度；
[0105]
c.医生根据实际情况对拍摄装置的位置进行上下微调；
[0106]
d.执行拍摄动作；
[0107]
e.拍摄完成后医生可实时预览拍摄效果(拼接完成的图形)，根据成像情况可选择重新调整相机位置重新拍摄或保留图片，形成待处理的点云文件。
[0108]
上述步骤4的详细步骤包括：
[0109]
图像拼接主要分为四个主要步骤：图像预处理、图像配准、图像融合与边界平滑。
[0110]
a：图像预处理:以中央相机(图2a、2c、2d中的2号相机)拍摄的点云图为基准图像，记为pcd-2；将1号相机拍摄的图形作为待拼接图像，记为pcd-1；所有的pcd图形以各自相机镜头为空间原点；已知1号相机与2号相机镜头中心点的距离，且二者位于同一垂直平面，计2号相机镜头中心点的空间坐标为(0，0，0)，记1号相机相对中央相机的空间坐标为(x1，y1，0)；将pcd-1点云数据进行坐标变换，转变为以中央相机为空间原点的图形数据，即对所有点进行矢量运算(-x1，-y1，0)；形成新的点云z-pcd-1。
[0111]
b:图像配准：计算z-pcd-1与基准图形pcd-2的重叠部分，如：(x,y,z)相等，将z-pcd-1与pcd-2的不重叠的部分截取，记为pz-pcd-1；
[0112]
对相机3重复步骤a-b,得到相机3的不重叠图形数据pz-pcd-3；
[0113]
c:图像融合：将pz-pcd-1，pcd-2，pz-pcd-3连接，形成完整图形。
[0114]
d:边界平滑：对融合后的图像，按垂直边界进行截断、拟合补全，形成平滑边界。例如，按两侧相机(1号，3号)镜头中心线与图像交叉点所处的垂直线切割。
[0115]
上述步骤4中特征线的绘制方法包括：
[0116]
a.纬度：在面向相机镜头的表面绘制闭合曲线为纬度(纬度按等高绘制，高度间隔可配置)；以纵深最高点为0纬度(距离1-3号相机镜头所处垂直截面最近的点)；纬度线在边沿区域可以不闭合；
[0117]
b.经度：经度0
°
为12点钟方向，按顺时针增加值；经度支持按一定度数间隔绘制。
[0118]
c.所有特征线，可选择隐藏、显示、独立设置颜色。
[0119]
上述步骤4中的遮挡拟合方法包括：
[0120]
由于乳房下垂导致乳房下皱襞(imf)被遮挡，如图8所示，系统通过采用算法做拟合预测，使拍摄到的乳房融合3d图像的结合处曲线junction-curve，系统可根据图形弧度，构建虚拟的图像点，拟合到垂直截面weft-base所处纬线处截面，从而实现遮挡状态下的imf预测闭合。
[0121]
本实施例中，当被测量人员因乳房下垂严重，导致imf被遮挡时，系统可基于融合后的图像，使用移动最小二乘法(moving least squares，mls)进行曲面拟合预测。测量人员选取乳房某纬线截面作为乳房基底截面，记为weft-base截面，系统自动标记该乳房的顶点为g，下垂乳房与皮肤的结合处曲线记为junction-curve，系统根据融合后的图像数据，使用mls算法，自动拟合junction-curve到weft-base截面的图像区域，实现在遮挡情况下的imf预估标记，如附图8所示。
[0122]
上述步骤5中的自由标定与计算方法包括：
[0123]
自由标定与计算是指在三维图像上通过标记点，以及通过标记点形成线和曲线，计算直线和曲线的距离；透视计算是指在空间中的点(不在图形上)与图形上的点构成的线、三角形高相关计算；如图7所示。
[0124]
a.点标定：可在三维图像上自由选择某个点，标记该点名称，如图中的点a，c；
[0125]
b.直线标定：可在三维图像上自由选择2个点，系统在图像上自动标定出二者之间的直线，并计算显示直线的距离，如图中直线ac；
[0126]
c.曲线标定：可在三维图像上自由选择2个点，系统在图像上自动绘出两点的最短
体表曲线，并计算显示曲线距离，如图中曲线ac；
[0127]
d.透视计算：在三维图像上自由选择2个点，如图中点a，c；在图像内部选择一个空间内的点b；系统自动计算并显示直线ab，bc的距离，空间点b到直线ac的高h的值。
[0128]
如图6所示，上述步骤6中整体体积、截断体体积和去体表体积计算方法如下：
[0129]
基于点云的不规则三维图形的体积计算，较成熟的一种方法为切片法。原理为从基底截面开始，使用行列式模型法计算点云切片面积，按一定纵深高度，近似计算柱体体积；循环步进，从而累积计算出整体体积。
[0130]
a.整体体积计算：当需要获取乳房整体体积数据时，由医生在三维图像中选定纬度特征线所在平面作为截面，系统立即计算出该截面到乳房顶部整个部件体积。一般的，此纬度截面即imf所处截面。
[0131]
b.截断体体积计算：当需要获取部分乳房体积数据时，由医生在三维图像中选定2条纬度特征线，系统立即计算出这2条纬度特征线所在截面之间部分的图形体积。
[0132]
c.去体表体积计算：当需要获取乳房部分去表皮体积时，可在三维图像中选定2条纬度特征线，并在系统中输入表皮厚度，系统自动计算出这2条纬度特征线所在截面之间部分的图形的去表皮体积。