三维影像动态矫正评估与矫具辅助设计方法及其系统与流程

1.本发明涉及一种三维影像动态矫正评估与矫具辅助设计方法及其系统。


背景技术：

2.目前脊椎侧弯矫具制作仍普遍采用传统石膏取模方式。然而，绷带的缠绕方式与松紧不一会造成取模误差，且取模时间较长，患者不易保持固定姿势造成取模误差。因此，石膏取模耗时费力又难保证取得正确的躯干前后左右对称性，脊椎侧弯矫具也因此无法获得正确的制作依据，后续患者的穿著矫正功能与舒适性也受到影响，有待进一步改善。


技术实现要素：

3.本发明是有关于一种三维影像动态矫正评估与矫具辅助设计方法及其系统，用以改善现行疗程患者矫治过程的舒适性及矫治效果。
4.根据本发明的一方面，提出一种三维影像动态矫正评估与矫具辅助设计方法，包括下列步骤：取得人体的三维扫描信息。取得该人体的多个二维影像进行辨识，计算该些二维影像像素数值，并合成原始三维脊椎曲线。合成人体的该些二维影像与该三维扫描信息。以影像变形预测矫正体型方法产生该人体的变形后体型。以脊椎材料特性与力学模型预估方法根据变形后体型预测矫具对该人体的施力位置、施力方向及施力大小的参数值。
5.根据本发明的一方面，提出一种三维影像动态矫正评估与矫具辅助设计系统，包括三维扫描装置、运算单元、影像变形预测矫正体型单元、以及脊椎材料特性与力学模型预估单元。三维扫描装置用以取得人体的三维扫描信息。运算单元用以取得该人体的多个二维影像进行辨识，计算该些二维影像像素数值，并合成原始三维脊椎曲线。运算单元用以合成人体的该些二维影像与该三维扫描信息。影像变形预测矫正体型单元用以产生该人体的变形后体型。脊椎材料特性与力学模型预估单元根据该变形后体型预测矫具对该人体的施力位置、施力方向及施力大小的参数值。
附图说明
6.图1a绘示依照本发明一实施例的三维影像动态矫正评估与矫具辅助设计系统的示意图；
7.图1b绘示依照本发明一实施例的三维影像动态矫正评估与矫具辅助设计方法的示意图；
8.图2绘示依照本发明一实施例的将原始三维脊椎曲线影像以及矫正后三维脊椎曲线影像叠合人体的外型影像的示意图；
9.图3绘示辨识人体的三维脊椎类型的示意图；
10.图4绘示矫具对人体的施力位置、施力方向及施力大小的示意图；
11.图5a至5d绘示利用影像变形预测矫正体型方法计算三角网格上的端点的弹性位能、位移量、弹性位能最小值及变形后体型的示意图；
12.图6绘示依照本发明一实施例的影像变形预测矫正体型方法的示意图；
13.图7绘示依照本发明一实施例的脊椎材料特性与力学模型预估方法的示意图；
14.图8绘示各椎体与椎间盘的杨氏模数(e值)的示意图；及
15.图9a至9f绘示另一实施例中利用影像变形预测矫正体型方法计算三角网格上的端点的弹性位能、位移量、弹性位能最小值及变形后体型的示意图。
16.上述附图中，附图标记含义如下：
17.100：三维影像动态矫正评估与矫具辅助设计系统
18.101：三维扫描信息
19.102：深度影像
20.103：二维影像
21.104：人体的外型影像
22.105：原始三维脊椎曲线
23.106：矫正后三维脊椎曲线
24.107：弹性位能
25.108：位移量
26.109：弹性位能最小值
27.109a：变形后体型
28.110：三维扫描装置
29.111：施力位置
30.112：施力方向
31.113：施力大小
32.114：三角网格
33.115：矫具
34.116：有限元素模型
35.130：运算单元
36.140：影像变形预测矫正体型单元
37.150：脊椎材料特性与力学模型预估单元
38.c：冠状面
39.s：矢状面
40.t：椎体旋转
41.p：压力
42.v：椎体
43.d，e，f，g，h，i，j，k，l，d，旋e，旋f，旋g，旋h，旋i
′
：点
44.g1，g2，i2，i3，g1，转g2，转h1，转i1，转i2，转i3，：中继点
具体实施方式
45.请参照图1a及1b，其中图1a绘示依照本发明一实施例的三维影像动态矫正评估与矫具辅助设计系统100的示意图，图1b绘示依照本发明一实施例的三维影像动态矫正评估与矫具辅助设计方法的示意图。
46.依照本发明的一实施例，此系统100包括一三维扫描装置110、一运算单元130、一影像变形预测矫正体型单元140以及一脊椎材料特性与力学模型预估单元150。
47.三维扫描装置110用以产生多个深度影像102，对深度影像102进行建模，以产生人体的三维扫描信息101，以建构人体的外型影像104。如图1b所示，在步骤s110中，对深度影像102进行建模，以取得人体的三维扫描信息101。三维扫描装置110例如由多台深度摄影机或光达模组所形成，除了通过机构设计及光机电整合，设置完整包覆待扫描肢体躯干的扫描空间以扫描人体的外型外，还配置运算及建模软体，可以将扫描所取得的深度影像102，计算深度信息，并且将影像叠合建模，使得三维扫描装置110可以在很短的时间内建立人体三维模型。
48.运算单元130取得x光片的二维影像103，以产生原始三维脊椎曲线105及矫正后三维脊椎曲线106。原始三维脊椎曲线105例如是使用患者当下所拍摄的x光片叠合生成的影像，而矫正后三维脊椎曲线106例如是利用患者所拍摄的x光片，预估可能的矫正曲线叠合生成的影像。也就是说，运算单元130进行x光片的二维影像103处理，例如，运算单元130使用文字探测(text detection)实现x光片尺标数字及尺标倾斜自动校正，并使用光学文字辨识(optical character recognition，ocr)技术自动辨识二维影像103中的尺标数字并计算像素实际数值。如图1b所示，在步骤s120中，取得人体的多个二维影像103进行辨识，计算此些二维影像1.03像素数值，并合成原始三维脊椎曲线105。
49.合成后的原始三维脊椎曲线105可与资料库中的资料比对，以辨识原始三维脊椎曲线105为何种的脊椎类型。若判断为需矫正的脊椎类型，判断此脊椎为何种弯曲型态以规划矫正计划，并且合成出预测矫正后三维脊椎曲线106，将此原始三维脊椎曲线105、矫正后三维脊椎曲线106与三维扫描装置110扫描的人体的外型影像104进行叠合。如图1b所示，在步骤s130中，合成人体的这些二维影像103与三维扫描信息101。
50.另外，影像变形预测矫正体型单元140用以产生人体的变形后体型109a。当运算单元130判断原始三维脊椎曲线105为需矫正的脊椎类型，影像变形预测矫正体型单元140可进行三维脊椎曲线与身体外型的变形，显示原始三维脊椎曲线105、矫正后三维脊椎曲线106及人体的外型影像104的变化过程及结果，并可通过大数据累积来修正此变形模型。如图1b所示，在步骤s140中，以影像变形预测矫正体型方法产生人体的变形后体型109a。
51.此外，脊椎材料特性与力学模型预估单元150用以预测矫具115对人体的施力位置111、施力方向112及施力大小113的参数值。当分析人员取得需矫正的人体脊椎的变形模型之后，脊椎材料特性与力学模型预估单元150可根据生物力学模型及前后身体变化结果评估矫具施力位置111、施力方向112及施力大小113的参数值，以获得最适当的施力参数，作为后续矫治管理与辅护具设计的依据。如图1b所示，在步骤s150中，以脊椎材料特性与力学模型预估方法根据变形后体型109a预测矫具对人体的施力位置111、施力方向112及施力大小113的参数值。
52.请参照图2及图3，其中图2绘示依照本发明一实施例的将原始三维脊椎曲线105影像以及矫正后三维脊椎曲线106影像叠合人体的外型影像104的示意图，图3绘示辨识人体的三维脊椎曲线类型的示意图。通过上述的三维影像动态矫正评估与矫具辅助设计系统100及其方法，可帮助骨科及复健科医师预测矫正后体型并进行动态矫正规划评估。在一实施例中，动态矫正规划可包括预估矫正期间及动态辅助矫正设计。矫正进展与预期效果评
估可协助判断患者所需矫正期间，也可藉由矫正前后三维体型的变形模型，合理计算每次调整可改善的角度及所需时间。此外，动态矫正设计可依据矫正前后三维体型的变形模型，计算各阶段的变形后体型109a及矫具115对人体的施力位置111、施力方向112及施力大小113，并归纳分类及分析矢状面s的75个偏差样态动态矫正、冠状面c及椎体旋转t等三面向偏差模型，即可估算各椎体所需矫正范围及矫正所需强度。
53.请参照图4，其绘示矫具115对人体的施力位置111、施力方向112及施力大小113的示意图。后续进行矫具辅助设计时，可搭配有限元素法分析人体脊椎的生物力学模型，对于三维脊椎侧弯矫正及矫具设计提供更大的帮助。对于脊椎侧弯矫具设计的最佳化量化信息，例如计算矫具115施以多大的压力p使能产生预定中的侧弯角度减少，施力点的方向，垫片的面积大小，各椎体的受力应力分布状况等等，均可通过生物力学模型评估以智慧化三维影像动态矫正所获得的矫治规划方案，经数值计算后可获得“侧弯角度施力大小”、“椎间盘应力”、“荐椎应力”等结果。以供医师及矫具设计工程师将数值分析结果，进行综合评量以决定个别患者最佳三维侧弯矫治角度及用以进行达成矫治方案的脊椎侧弯参数设计。
54.请参照图4，以特定患者脊椎侧弯为基础建立有限元素模型116，过程中由患者的电脑断层扫描医学影像为数据进行几何建置。将患者的脊椎几何转换为有限元素模型116进行相关生物力学分析，但是生物力学模型中若采用且高品质的三维六面体元素，将会严重影响计算效率。为了解决这些问题，本实施例利用具有人体的冠状面、矢状面的x光片(二维影像)将高品质的三维模型降阶为两个冠状面c与矢状面s二维等效有限元素模型。本实施例利用此模型进行脊椎侧弯矫正过程的受力情况分析，以此分析结果回馈至矫具设计。目的以模拟和迭代地改善脊椎侧弯矫具设计，可在冠状面c、矢状面s两个平面上计算矫治变形量所需的施力位置111、施力大小113、施力方向112与各椎体v所受的应力状况，以作为矫具设计时的量化参数值。
55.请参照图5a至5d及图6，其中图5a至5d绘示利用影像变形预测矫正体型方法计算三角网格上的端点的弹性位能107、位移量108、弹性位能最小值109及变形后体型109a的示意图，图6绘示依照本发明一实施例的影像变形预测矫正体型单元140的各个部分执行的步骤的示意图。
56.请参照图5a，将身体外型每一个三角网格114的每个端点(d，e，f)各自连接到原始三维脊椎曲线105上最近的点(g，h，i)或节点，假设每条线(f-e，f-d，f-i)由弹簧牵引并遵守虎克定律(f(x)＝kx)，其中k为弹性系数，x为位移量108。如第6图所示，以影像变形预测矫正体型单元140的硬体部分及/或软体部分执行各步骤为例，在步骤s210中，将身体外型的多个三角网格114的端点各自连结到原始三维脊椎曲线105上最近的点，各自计算此些三角网格114上的端点的弹性位能107。
57.请参照图5b，当脊椎矫正过程中，身体外型由原始三维脊椎曲线105逼近矫正后三维脊椎曲线106时，使得点(g，h，i)逼近点(j，k，l)，各自计算三角网格114的每个端点(d，e，f)的弹性位能(ep(x)＝1/2kx2)。请参照图5c，当i逼近l时，以f为端点的三条线(f-e，f-d，f-i)会移动到以f’为端点的三条线(f
’‑
e，f
’‑
d，f
’‑
l)而得到三角网格114的每个端点的最小弹性位能，以产生f与f’的位移量。如图6所示，在步骤s220中，当原始三维脊椎曲线105逼近矫正后三维脊椎曲线106时，各别计算此些三角网格114上的端点的弹性位能107，使得弹性位能107达弹性位能最小值109，以产生这些端点的位移量108。
58.请参照图5d，依据相对应的身体外型参数设定，以迭代运算计算所有三角网格114的每个端点的弹性位能107，使得整体弹性位能达最小值，得到新三角网格114’(d’，e’，f’)并根据每个端点的位移量108产生变形后体型。如图6所示，在步骤s230中，依据身体外型参数，迭代运算计算此些三角网格114上的端点的弹性位能107使整体位能达最小值，得到新三角网格114’并根据各自端点的位移量108产生变形后体型109a。在一实施例中，身体颈椎、胸椎及腰椎给予相同的力会有不同的变形量，上述的身体外型参数系指依据身体的力学模型计算变形的难易程度而给予不同的变形参数(例如杨氏系数)。
59.如上所述，通过上述图5a至5d及图6中的影像变形预测矫正体型方法可准确地预测欲矫正人体的各自端点的位移量108，据以产生矫正前后三维体型的变形模型，做为变形后体型109a。上述的矫正不限定一次完成脊椎曲线的矫正，可依照医师及矫具设计工程师的判断多阶段完成脊椎曲线的矫正。也就是说，矫正后三维脊椎曲线106为多张不同阶段的矫正后三维脊椎曲线所形成。
60.请参照图7及8，图7绘示依照本发明一实施例的脊椎材料特性与力学模型预估单元150的各个部分执行的步骤的示意图，图8绘示各椎体与椎间盘的杨氏模数(e值)的示意图。
61.椎体与椎间盘材料特性与生物力学模型预估方法例如为通过生物力学模拟配合实验回归分析进行迭代求得。在一实施例中，实验部分例如为患者以吊单杠受自重力作用下，对脊椎进行冠状面的x光成像，各脊体与椎间盘受到自重力作用后所产生的位移作为目标函数。在生物力学模型中以患者吊单杠受自重力作用的条件进行建模，配合相关的椎体v与椎间盘几何形状来进行最佳化回归分析以评估椎体v与椎间盘的刚度。如图7所述，以脊椎材料特性与力学模型预估单元150的硬体部分及/或软体部分执行各步骤为例，步骤s310中，以人体吊单杠受自重力作用下，对人体脊椎进行x光成像，人体的各椎体与椎间盘受到自重力作用后所产生的位移作为目标函数，进行最佳化回归分析以评估椎体v与椎间盘的刚度。
62.最佳化回归分析如下：通过杨氏系数(e值)的迭代计算可得到每节椎体v与椎间盘元素节点的位移(δ1)，计算各节点的位移(δ1)与目标函数的位移进行误差分析，杨氏系数(e值)迭代收敛确认条件为此些节点的位移均方根值达到最小值(误差约为0.1至0.3)，计算后所得知各椎体v与椎间盘的杨氏系数(e值)如图8所示。如图7所述，步骤s320中，以脊椎拉直时施力状态的迭代计算可得到人体每节椎体v与椎间盘元素节点的位移，对这些节点的位移与目标函数的位移进行误差分析，使这些位移的均方根值达到最小值，获得最适当的施力位置111、施力方向112及施力大小113的参数值。
63.请参照图9a至9f，其绘示另一实施例中利用影像变形预测矫正体型方法计算三角网格114上的端点的弹性位能107、位移量108、弹性位能最小值109及变形后体型109a的示意图。
64.请参照图9a，依照杨氏系数代入的中继点密度，在原始三维脊椎曲线105上产生例如相对应密度的点。此外，请参照图9b，依照点云密度在身体内部产生若干中继点，中继点例如可依人体构造产生或均匀产生。请参照图9c，将身体外型每一个三角网格114的每个端点(d，e，f)各自连接到最近的中继点(g1，h1，i1)，并寻找可能的中继点，例如：中继点(g1)
二再以中继点(g2)连接到原始脊椎曲线105上最近的点(g)，中继点(i1)再以中继点(i2、i3)连接到原始脊椎曲线105上最近的点(i)。请参照图9d，假设连接的每条线由弹簧牵引并遵守虎克定律(f(x)＝kx)，目前的长度为最低位能态。请参照图9e，当脊椎矫正过程中，依使用者需求调整或旋转脊椎，身体外型由原始三维脊椎曲线105逼近矫正后三维脊椎曲线106时，节点(g，h，i)逼近节点(g’，h’，i
′
)，使得各中继点(g1，g2，h1，i1，i2，i3)移动至新的锚点(g1’，g2’，h1’，i1’，i2’，i3’)，各自计算三角网格114的每个端点及中继点的弹性位能107而使弹性位能107达到弹性位能最小值109，以产生这些端点的位移量108及旋转量。请参照图9e及9f，依据身体外型参数，迭代运算计算此些三角网格114上的端点及中继点的弹性位能107使整体弹性位能达最小值，得到新三角网格114’(d’，e’，f’)，以产生变形后体型109a。
65.如上所述，通过上述图9a至9d中的影像变形预测矫正体型方法可准确地预测欲矫正人体的各自端点的位移量108及旋转量，据以产生矫正前后三维体型的变形模型，做为变形后体型。
66.本发明上述实施例的三维影像动态矫正评估与矫具115辅助设计方法，可通过三维扫描取得三维扫描信息，并合成人体的二维影像与三维扫描信息，用以辨识人体的三维脊椎曲线类型。除了可提供设计者准确的矫正后三维脊椎曲线，更可累积大数据给分析人员提供所需要的动态矫正评估与矫具115辅助设计，克服传统石膏取模方式制作矫具115的缺点，以改善现行疗程患者矫治过程的舒适性及矫治效果。
67.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。