显微成像拼接装置及其方法与流程

1.本发明有关一种成像拼接装置及其方法，尤指应用于显微成像且可呈现待测皮肤的曲率的一种显微成像拼接装置及其方法。


背景技术：

2.目前市面上一般的数字显微装置，无论是手持式的消费性电子显微镜、手机外挂显微镜头或桌上型的生物显微镜，其使用方式都只能针对待测物表面做有限视野的放大倍率的显微影像的观察，其所能观察到的范围大小受限于光学显微系统的光路设计或电子元件(例如ccd或cmos)的大小限制，假如观察者所选取的镜头倍数越高，视野范围也就越小。此时若是欲观察的待测区域大于视野范围的话，就必须移动数字显微装置或是移动待测物到不同区域进行观察。对于放大倍率相对一般肉眼较高的显微观测领域来说，较高阶的商用生物显微镜可进一步藉由拍摄连续相邻的数张照片，再分别显示放大后的各张照片，以观察与分析较大视野区域下的各放大照片的细节，尤其对于判断某一特定区域的生物特征极其重要(例如，大范围病理特征分析、病征扩散状态等等)。
3.尽管现有技术可分别显示放大后的各张照片，但对于人体面积最大的器官“皮肤”来说，并没有办法一次性地呈现具有数字显微装置的数倍视野的单一显微图像。进一步而言，前述现有技术的各张照片皆是二维(two-dimentional)的平面照片，若欲观察的表面为非平面，例如人体的皮肤，无论是脸部皮肤、四肢皮肤或躯干等各部位皮肤，都是立体曲面的而非平面，若仅显示平面影像会因为透视变形(perspective distortion)而扭曲了皮肤上的几何特征，例如桶状变形(barrel distortion)或枕状变形(pincushion distortion)，在使用时容易造成误判。因此，现行数字显微装置无法解决前述使用情境的需求。
4.为此，如何设计出一种显微成像拼接装置及其方法，特别是解决现有技术的无法改善皮肤几何特征的透视变形以及无法一次性地呈现具有数倍视野的单一显微图像的技术问题，乃为本案发明人所研究的重要课题。


技术实现要素：

5.本发明的一目的在于提供一种显微成像拼接装置，解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
6.为了达到前述目的，本发明所提出的显微成像拼接装置应用于检测待测皮肤，所述显微成像拼接装置包括光学腔体、分光器、影像感测器、位移感测器以及控制电路。其中，光学腔体具有彼此平行设置的第一平面以及第二平面的截顶正圆锥体，小于第二平面的第一平面接触待测皮肤，第二平面对第一平面发光且接收反射自待测皮肤的反射光。分光器通过显微镜头接收反射光，且沿着两相异方向输出第一待测光以及第二待测光。影像感测器接收第一待测光，且输出影像信号。位移感测器接收第二待测光，且输出位移信号。控制
电路耦接影像感测器以及位移感测器，控制电路接收影像信号以及位移信号，且依据多数个位移信号将多数个影像信号拼接为拼接影像。
7.进一步而言，控制电路更接收至少一皮肤部位标记，各皮肤部位标记包括对应各待测皮肤的预设曲率，且控制电路依据多数个位移信号以及至少一皮肤部位标记将多数个影像信号拼接为具有预设曲率的拼接影像。
8.进一步而言，所述的显微成像拼接装置更包括耦接控制电路的三轴陀螺仪，三轴陀螺仪固设于壳体内，且输出三维信号至控制电路，控制电路接收影像信号、位移信号以及三维信号，且依据多数个位移信号以及多数个三维信号将多数个影像信号拼接为具有实际曲率的拼接影像。
9.进一步而言，所述的显微成像拼接装置更包括环设于第二平面的多数个光单元，多数个发光单元朝第一平面发光，且多数个发光单元的每一个的侧边的延伸线与第一平面的法线所夹的最小角度为30
°
。
10.进一步而言，在控制电路接收其中一影像信号时，控制电路依据阀值以及至少一位移信号，判断是否继续接收另一影像信号。
11.进一步而言，阀值为2mm，且影像感测器的视野为3mm x 3mm。
12.进一步而言，第一待测光的光强度占反射光的光强度的比例为99％、95％或90％，第二待测光的光强度占反射光的光强度的比例为1％、5％或10％。
13.本发明的另一目的在于提供一种显微成像拼接方法，解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
14.为了达到前述另一目的，本发明所提出的显微成像拼接方法应用于检测待测皮肤，所述显微成像拼接方法包括下列步骤：自截顶正圆锥体对待测皮肤发光；分光器通过显微镜头接收反射自待测皮肤的反射光，且沿着两相异方向输出第一待测光以及第二待测光；影像感测器接收第一待测光且输出影像信号；位移感测器接收第二待测光且输出位移信号；以及控制电路接收影像信号以及位移信号，且依据多数个位移信号将多数个影像信号拼接为拼接影像。
15.进一步而言，控制电路更接收至少一皮肤部位标记，各皮肤部位标记包括对应各待测皮肤的预设曲率，且控制电路依据多数个位移信号以及至少一皮肤部位标记将多数个影像信号拼接为具有预设曲率的拼接影像。
16.进一步而言，控制电路更接收三维信号，且依据多数个位移信号以及多数个三维信号将多数个影像信号拼接为具有实际曲率的拼接影像。
17.进一步而言，所述的显微成像拼接方法更包括一步骤：在控制电路接收其中一影像信号时，控制电路依据阀值以及至少一位移信号，判断是否继续接收另一影像信号。
18.进一步而言，阀值为2mm，且影像感测器的视野为3mm x 3mm。
19.进一步而言，影像感测器的视野的周缘内缩1mm的区域为其中一影像信号与另一影像信号进行影像拼接的重叠处。
20.进一步而言，第一待测光的光强度占反射光的光强度的比例为99％、95％或90％，第二待测光的光强度占反射光的光强度的比例为1％、5％或10％。
21.进一步而言，所述的显微成像拼接方法更包括一步骤：截顶正圆锥体于待测皮肤
上进行速度为1mm/s的移动。
22.在使用本发明所述的显微成像拼接装置时，是通过光学腔体接收反射自待测皮肤的反射光，接着由分光器输出第一待测光至影像感测器(例如ccd或cmos)，且输出第二待测光至位移感测器(例如光学式xy二维感测器)，由于反射光的大多数的能量还是分配给予影像感测器，故不会对后续拼接影像的建立造成影响，又因为位移感测器与影像感测器可以是同步进行地(若控制电路判断位移信号大于阀值)，故控制电路能够均匀地且平滑地对多数个影像信号进行拼接处理。详细地来说，可在测量前输入或预设储存对应各待测皮肤的皮肤部位标记，由于各皮肤部位标记包括各待测皮肤的曲率(例如人体下巴皮肤的曲率大于人体额头皮肤的曲率)，控制电路可依据多数个位移信号以及皮肤部位标记，将多数个影像信号拼接为具有曲率的拼接影像，所述曲率可以是符合大多数人体皮肤型态的预设值，可以使控制电路获得相较于传统完全平面图像具有较少透视变形的拼接影像，有效降低对于皮肤几何特征的误判，如搭配耦接控制电路的三轴陀螺仪则可更进一步地获得具有精确曲率的拼接影像。
23.为此，本发明所述的显微成像拼接装置能够解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
24.为了能更进一步了解本发明为达成预定目的所采取的技术、手段及功效，请参阅以下有关本发明的详细说明与附图，相信本发明特征与特点，当可由此得一深入且具体的了解，然而所附图式仅提供参考与说明用，并非用来对本发明加以限制者。
附图说明
25.图1为本发明显微成像拼接装置的系统架构图；
26.图2为本发明显微成像拼接装置的第一实施例的架构示意图；
27.图3为本发明显微成像拼接装置的皮肤部位标记示意图；
28.图4以及图5为本发明显微成像拼接装置的拼接影像示意图；
29.图6为本发明显微成像拼接装置的第二实施例的架构示意图；以及
30.图7为本发明显微成像拼接装置的脸部皮肤成像示意图。
31.其中，附图标记：
32.1:待测皮肤
33.2:壳体
34.3:移动路径
35.10:光学腔体
36.11:第一平面
37.12:第二平面
38.13:环状面
39.20:分光器
40.30:影像感测器
41.40:位移感测器
42.50:控制电路
43.60:三轴陀螺仪
44.70:显示单元
45.80:传输线
46.100:反射光
47.101:第一待测光
48.102:第二待测光
49.103:影像信号
50.104:位移信号
51.105:皮肤部位标记
52.106:拼接影像
53.107:三维信号
54.121:显微镜头
55.122:发光单元
56.a:额头
57.b:右眼
58.c:左眼
59.d:右颊
60.e:左颊
61.f:下巴
62.r:曲率半径
63.200:按钮
64.201:指示灯
具体实施方式
65.以下系藉由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。本发明亦可藉由其他不同的具体实例加以施行或应用，本发明说明书中的各项细节亦可基于不同观点与应用在不悖离本发明的精神下进行各种修饰与变更。
66.须知，本说明书所附图式绘示的结构、比例、大小、元件数量等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应落在本发明所揭示的技术内容得能涵盖的范围内。
67.兹有关本发明的技术内容及详细说明，配合图式说明如下。
68.请参阅图1至图2。其中，图1为本发明显微成像拼接装置的系统架构图，图2为本发明显微成像拼接装置的第一实施例的架构示意图。
69.在本发明所述的第一实施例中，显微成像拼接装置包括光学腔体10、分光器20、影像感测器30、位移感测器40、控制电路50以及三轴陀螺仪60。其中，光学腔体10具有彼此平行设置的第一平面11以及第二平面12的截顶正圆锥体，小于第二平面12的第一平面11直接
地接触待测皮肤1，第二平面12对第一平面11发光且接收反射自待测皮肤1的反射光100。进一步而言，本发明所述的显微成像拼接装置更包括环设于第二平面12的多数个发光单元122，且第二平面12穿设有接收反射光100的显微镜头121。多数个发光单元122朝第一平面11发光，且照射接触于第一平面11的待测皮肤1。多数个发光单元122的每一个的侧边的延伸线与第一平面11的法线所夹的最小角度为30
°
。其中，第一平面11的侧边与第二平面12的侧边之间具有不透光的环状面13，环状面13上覆设有用以反射光线的铝金属薄膜。在本发明的第一实施例中，多数个发光单元122包括彼此交错排列的多数个白光发光单元(图中未示)以及多数个激发光发光单元(图中未示)，多数个白光发光单元不会与多数个激发光发光单元同时发光，且各激发光发光单元所发出波长介于350纳米至400纳米之间的激发光，用以使人体皮肤激发出萤光。
70.尤其是，激发光的最佳化的特定波长为365纳米(误差值于正负5纳米之内)，属于紫外光(uv)。以容易引起皮肤疾病的痤疮丙酸杆菌(propionibacterium acnes)为例，其是一种常见于皮肤表层毛孔内的菌群，也是造成粉刺(acne)的主要原因之一。皮肤上的毛孔清洁干净程度，也影响了引发皮肤疾病的机率，但是一般毛孔平均孔径只有大约0.9mm，需要用显微镜才能观察。但一般以可见光做为主要光源的数字式显微装置，由于其波长限制而难以有效分辨与观察出毛孔内的痤疮丙酸杆菌的滋生状况与是否被有效清洁。为此，需要萤光显微镜进行检测。前述痤疮丙酸杆菌在代谢过程中会产生一种叫“紫质”(porphyrin)的化学物质，而紫质的化学结构可以被属于紫外光波段的激发光(主要吸收峰值为365nm)激发出可见光波段的橘红光萤光(主要放射峰值为660nm)。因此可以藉由观察橘红光点的光强度、点状区域大小、点状分布来间接得知痤疮丙酸杆菌在各皮肤区域的滋生情形。前述痤疮丙酸杆菌仅示例性地说明，本发明的应用不受此限制。
71.分光器20通过显微镜头121接收反射光100，且沿着两相异方向输出第一待测光101以及第二待测光102。进一步而言，分光器20将第一待测光101输出至影像感测器30，分光器20将第二待测光102输出至位移感测器40。在本发明所述的第一实施例中，所述分光器20可以是光束分离器(bean splitter)，其可包括谐波分离器(harmonic separator)或二向色分束镜(dichroic beam splitter)。分光器20通过将属于某波长范围的反射光100的部分能量进行反射而形成第二待测光102，且将属于其余波长范围的反射光100的部分能量进行透射而形成第一待测光101。在本发明所述的第一实施例中，第一待测光101的光强度占反射光100的光强度的比例可以是99％、95％或90％，第二待测光102的光强度占反射光100的光强度的比例可以是1％、5％或10％。即是，第一待测光101与第二待测光102的关系为99％:1％、95％:5％或90％:10％。由于反射光100的大多数的能量还是分配给予影像感测器30，故不会对后续拼接影像的建立造成影响。所述分光器20可用于萤光能量共振转移(fluorescence resonance energy transfer,fret)、即时活细胞成像(real-time live-cell imaging)或萤光成像(fluorescence imaging)等领域，然而前述仅示例性地说明，本发明的应用不受此限制。
72.影像感测器30接收第一待测光101且输出影像信号103。其中，所述影像感测器30可以是ccd或cmos所构成的感光元件，且可包括微透镜(micro lens)结构加强ccd或cmos的低光感测灵敏度。在本发明的第一实施例中，由显微镜头121与影像感测器30所构成的视野(fov)为3mm x 3mm。使用时，可以截顶正圆锥体的第一平面11平贴着待测物表面(例如脸部
皮肤)做扫描式的移动，例如进行速度为1mm/s的移动，并同时连续或非连续的拍照以获得拼接用的照片集。
73.位移感测器40接收第二待测光102且输出位移信号104。其中，所述位移感测器40可以是光学式xy二维感测器。所述光学式xy二维感测器可包括低解析度cmos以及微控制器(mcu)，藉由低解析度cmos的快速处理的特点快速地判断前后连续两张影像的差异，其速度可达到1500pc/s(张/秒)。藉此，可以使mcu通过数字影像关联与追踪(digital image correlation and tracking,dic and tracking)的相关技术，得知当前视野的影像移动的方向或位移感测器40移动的方向，进而输出包括(x,y)的二维数值的位移信号104供后续应用，而其中的x、y的每一个数值代表了相对于一预设的绝对零点的各方向的移动距离。由于前述第一平面11是接触待测皮肤1，故另一维度z为定值不需检测(如图2所示)。值得一提的是，在xy的二维方向的位移感测上，无法选择其他感测方式像是物理性的三轴加速度计(accelerometer)做为替代，其主要原因是三轴加速度计的位移的速度很低。进一步而言，规格属于low g的加速度计其精度亦显不足，而可用于光学滑鼠用的光学式xy二维感测器的精度则可足够皮肤显微成像的应用，而且利用原本光路直接对反射光100分光后即可达成，整合设计较容易。
74.控制电路50耦接影像感测器30以及位移感测器40，控制电路50接收影像信号103、位移信号104以及皮肤部位标记105，且依据多数个位移信号104以及皮肤部位标记105，将多数个影像信号103拼接为具有预设曲率的拼接影像106，且控制电路50将拼接影像106输出至显示单元70。所述预设曲率可以是预先内建且储存的，且各皮肤部位标记105包括对应各待测皮肤的预设曲率，即本发明可预先内建虚拟脸部影像。所述控制电路50可以是包括影像信号处理器(image signal processor,isp)的电路板。在本发明的第一实施例中，影像感测器30所构成的视野(例如3mm x 3mm)的周缘内缩1mm的区域为其中一影像信号103与另一影像信号103进行显微成像拼接(microscopic imaging stitching)的重叠处，可做为影像叠合(superimposed images)、转折处的曲线拟合(curve fitting)、消除噪声或影像纹理修饰等用途。其中，控制电路50是通过传输线80耦接显示单元70，从而使拼接影像106通过传输线80输出至显示单元70。
75.三轴陀螺仪60固设于耦接第二平面12的壳体2内，且输出三维信号107至控制电路50。控制电路50接收影像信号103、位移信号104、皮肤部位标记105以及三维信号107，且依据多数个位移信号104、皮肤部位标记105以及多数个三维信号107将多数个影像信号103拼接为具有实际曲率的拼接影像106。所述实际曲率可以是具有当前待测者的真实人脸表面的真实曲率，且可以由实际测量待测者的人脸表面的多数个三维信号107而获得。在本发明的第一实施例中，所述三维信号107包括了(a,b,c)的三维数值，而其中a、b、c的每一个数值代表了相对于一预设的绝对零点的各方向的旋转角度(如图2所示)。进一步而言，在控制电路50接收其中一影像信号103时，控制电路50依据阀值以及至少一位移信号104，判断是否继续接收另一影像信号103。在本发明的第一实施例中，所述阀的值可以是2mm，即当控制电路50判断影像信号103与当前位置已位移了2mm时，则接收另一影像信号103进行影像拼接。由于座标的定义是以一个视野为一个点(例如3mm x 3mm的中心点)，故连续两个影像信号103以相距2mm的方式重叠即产生前述1mm的重叠处。
76.请参阅图3所示，为本发明显微成像拼接装置的皮肤部位标记示意图。其中，各皮
肤部位标记105包括各待测皮肤1的预设曲率。在本发明的第一实施例中，皮肤部位标记105可以包括额头a、右眼b、左眼c、右颊d、左颊e以及下巴f。由于考量到在实际检测人体皮肤时，并非必要对整个脸部或甚至是全身皮肤进行完整的检测才得以显示当前检测区域是位于人体的正确相对位置。为此，可以在对待测皮肤1进行检测前或检测同时输入皮肤部位标记105，由于控制电路50可以通过皮肤部位标记105知道目前正在检测的人体部位是在哪里，故就算没有对整个脸部或甚至是全身皮肤进行完整的检测，显示单元70依然可以依据各皮肤部位标记105对于各待测皮肤1的预设曲率等等数值的差异，而于一虚拟脸部影像上呈现已检测的部分人体皮肤的拼接影像106。例如皮肤部位标记105是右眼b时，显示单元70呈现的拼接影像106不会因误判而呈现为左眼c。又进一步而言，由于本发明可结合对应各待测皮肤的预设曲率以及三轴陀螺仪60所输出的三维信号107，因此本发明的显微成像拼接装置可以使所述虚拟脸部影像与所依据真实所检测待测皮肤1所获得的三维数值(a,b,c)相互搭配且彼此部分地组合以形成更精确的人脸影像。或者是，亦可以在所述虚拟脸部影像的基础上，依据真实所检测待测皮肤1所获得的三维数值(a,b,c)修正虚拟脸部影像，进而呈现符合真实状况的拼接影像106，即控制电路可以依据实际曲率对预设曲率进行实时地同步修正。然而前述仅示例性地说明，本发明的应用不受此限制。
77.请参阅图4以及图5所示，为本发明显微成像拼接装置的拼接影像示意图。在实际使用本发明的显微成像拼接装置时，在影像信号103必须是连续的条件之下控制电路50才有办法进行影像拼接。如图4所示，在第一平面11于待测皮肤1上的移动路径3中，多数个影像信号103是依序地进行拼接以及部分重叠。当遇到非平面的待测皮肤1时，控制电路50依据皮肤部位标记105以及三维信号107，对多数个影像信号103进行曲率(即1/r，其中r为曲率半径)的实时修正，控制电路50可以对转折处的多数个影像信号103进行曲线拟合(curve fitting)，使之产生平滑(smooth)的曲线，或可达到信号降噪的效果。
78.三轴陀螺仪60则是用来测量每一个视野(例如3mm x 3mm)的绝对旋转角度或是相对前一影像信号103的相对旋转角度，再加上x、y的位移量，即可整合五个物理量(x、y、a、b、c)拼接出三维立体的表面影像。有点像是三维的立体拼图，每一块拼图都具有独自的以及本身所拍摄的视野。因为每一次的扫描都是独立的事件，即重新归零的原点(绝对零点)，当影像感测器30拍摄了第一张照片后有了原点的(x＝0,y＝0,a＝0,b＝0,c＝0)后开始移动。若通过软体或演算法定义为视野每移动2mm即拍摄另一张照片，且位移感测器40已经从绝对零点移动超过了2mm之后即触发(trigger)控制电路50撷取另一影像信号103，使影像感测器30进行拍照的动作，且同时控制电路50也撷取了三轴陀螺仪60的三维信号107。即可获得例如为(x＝2,y＝1,a＝1,b＝1,c＝1)的资讯，使控制电路50对连续两个影像信号103于三维空间中进行拼接。
79.图6为本发明显微成像拼接装置的第二实施例的架构示意图。本发明的第二实施例与前述第一实施例大致相同，惟壳体2包覆至环状面13外，使第一平面11露出，且于壳体2外配置有按钮200以及指示灯201。所述按钮200得以让使用者定义对待测皮肤1进行扫描检测的起点与终点。指示灯201可显示当前检测模式或电力状态。前述的实体的按钮200亦可由软体上的虚拟按钮取代，然而前述仅示例性地说明，本发明的应用不受此限制。
80.在使用本发明所述的显微成像拼接装置时，是通过光学腔体10接收反射自待测皮肤1的反射光，接着由分光器20输出第一待测光101至影像感测器30(例如ccd或cmos)，且输
出第二待测光102至位移感测器40(例如光学式xy二维感测器)，由于反射光100的大多数的能量还是分配给予影像感测器30，故不会对后续拼接影像的建立造成影响，又因为位移感测器40与影像感测器30可以是同步进行地(若控制电路判断位移信号大于阀值)，故控制电路50能够均匀地且平滑地对多数个影像信号103进行拼接处理。详细地来说，可在测量前输入或预设储存对应各待测皮肤1的皮肤部位标记105，由于各皮肤部位标记105包括各待测皮肤1的曲率(例如人体下巴皮肤的曲率大于人体额头皮肤的曲率)，控制电路50可依据多数个位移信号104以及皮肤部位标记105，将多数个影像信号103拼接为具有曲率的拼接影像106，可以使控制电路50获得相较于传统完全平面图像具有较少透视变形的拼接影像106，有效降低对于皮肤几何特征的误判。当遇到非平面的待测皮肤1时，控制电路50依据皮肤部位标记105以及三轴陀螺仪60的三维信号107，对多数个影像信号103进行曲率(即1/r)的实时修正。如图7所示，为本发明显微成像拼接装置的脸部皮肤成像示意图。
81.对于皮肤科的显微影像的判断分析，本发明可提供前所未有的观察方式，克服了传统数字见树不见林(只见小区域却不见大范围)的缺点，同时在技术上舍弃纯用影像特征的方式做影像拼接，本发明配合实际物理量参数(x、y、a、b、c)可以知道实际影像的空间分布，进而建构出真实尺寸的三维表面分布模型，可利于视觉化的判读与比较追踪，提供更多的影像资讯。
82.为此，本发明所述的显微成像拼接装置能够解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
83.以上所述，仅为本发明较佳具体实施例的详细说明与图式，惟本发明的特征并不局限于此，并非用以限制本发明，本发明的所有范围应以下述的申请专利范围为准，凡合于本发明申请专利范围的精神与其类似变化的实施例，皆应包括于本发明的范畴中，任何熟悉该项技艺者在本发明的领域内，可轻易思及的变化或修饰皆可涵盖在以下本案的专利范围。