一种透射式超分辨率显微数字成像方法及系统与流程

1.本发明涉及一种显微镜电子图像处理领域，具体涉及一种透射式超分辨率显微数字成像方法及系统。


背景技术：

2.光学显微镜的成像分辨力(最小可分辨的物体尺寸)主要受到物镜光学解析力限制。其中，物镜的光学解析力由其数值孔径和光源波长共同决定，数值孔径越高、光源波长越短、解析力越强。但是，数值孔径不仅有物理极限(空气介质下不超过1)，而且提高其的成本很高；光源波长受到成像色彩范围限制，如果是典型的彩色图像，则必须选取400～700nm。因此，物镜光学解析力提升是困难的。
3.目前，提高光学显微镜图像分辨力的方法有cn106104356b、cn212276089u的共聚焦显微镜，本质是结构化光源和成像系统以抑制衍射，从结构、使用方法到成本超出了一般光学显微镜的结构范畴；或者类似cn112200152a的插值法，本质是对超分辨率细节的预测，存在很高的制造伪影、噪声风险，无法用于医学诊断。


技术实现要素：

4.本发明要解决的技术问题是：提出一种如何既不改变物镜数值孔径，也不改变光学显微镜基本结构的前提下，提高既有显微镜光学解析力的方法及系统。
5.本发明为解决上述技术问题提出的技术方案(一)是：一种透射式超分辨率显微数字成像方法，在通过显微镜成像传感器在标准白光下采集得第一图像的基础上，还包括以下特征步骤：
6.通过所述显微镜成像传感器采集标本在紫外光透射下的第二图像，所述紫外光的光源与所述显微镜成像传感器分别位于所述标本两侧，所述紫外光线穿透过标本后到达所述显微镜成像传感器；
7.若所述采集得的所述第一图像为非yuv(亦称ycbcr)图像，将第一图像转换为yuv色域图像，第一图像中任一像素的y值记为y
1,x,y
，所述第一图像中任一像素的u值记为u
1,x,y
，所述第一图像中任一像素的v值记为v
1,x,y
；
8.若所述采集得的所述第二图像为非yuv图像，将第二图像转换为yuv色域图像，第二图像中任一像素的y值记为y
2,x,y
；
9.建立关于第二图像的高斯核滤波图像，即用二维高斯核矩阵与第二图像进行卷积运算，建立时所采用的高斯核矩阵计算方法为：已知传感器象元尺寸p纳米，物镜的红光解析力为q纳米，预设效正系数u，则高斯核半径r为(uq/p)个像素向上取整，所述高斯核滤波图像中的任一像素的y值记为y
gaussian,x,y
；
10.对所述第二图像中每一像素的y值进行归一化处理，获得归一化后的y值y
norm,x,y
；
11.通过所述y
norm,x,y
、u
1,x,y
和v
1,x,y
，获得目标图像。
12.进一步的，所述紫外光的波长为220nm
‑
400nm。
13.进一步的，在获取第二图像后，还进行图像相位修正，
14.在所述图像相位修正时，利用surf特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配，
15.在对准匹配后，仅保留第一图像和第二图像均包括的图像像素点信息，并重新统计保留后的所有像素的x轴和y轴位置信息。
16.进一步的，在对所述第二图像进行所述归一化处理时，y
norm,x,y
＝y
2,x,y
/y
gaussian,x,y
*y
1,x,y
。
17.进一步的，在通过所述surf特征点匹配时，先在第一图像中提取出第一组特征点，再在第二图像中通过相同方法也提取出相同的第二组特征点，通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息，
18.并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其x轴和y轴位置信息。
19.进一步的，所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，
20.在每幅图像内使用surf或sift特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的hessian特征矩阵的行列式；
21.预设特征点数目上限值k
max
以限制计算负荷上限，以及特征显著性最低门限值t
min
以判定是否存在任何可用特征最低门限值t
min
；
22.将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于t
min
，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目k
exp
＝(1
‑
p)k
max
；
23.将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前k
exp
个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
24.本发明为解决上述技术问题提出的技术方案(二)是：一种透射式超分辨率显微数字成像系统，该系统包括显微镜成像传感器和标准白光照明组件，其特征在于：还包括紫外光源、控制单元和处理单元，
25.所述控制单元连接到所述标准白光照明组件、紫外光源和显微镜成像传感器的受控端，
26.所述紫外光源与所述显微镜成像传感器分别位于标本两侧，所述紫外光源适于发出紫外光并照射所述标本的底面，紫外光穿透过标本后到达所述显微镜成像传感器；
27.所述控制单元的适于控制显微镜成像传感器采集标本在标准白光照射或透射下的第一图像；适于控制显微镜成像传感器采集标本在紫外光透射下的第二图像；
28.所述处理单元包括色域转换模块、高斯核滤波模块、归一化处理模块和目标图像生成模块，
29.所述色域转换模块，适于在所述第一图像为非yuv图像时，将第一图像转换为yuv色域图像，第一图像中任一像素的y值记为y
1,x,y
，所述第一图像中任一像素的u值记为u
1,x,y
，所述第一图像中任一像素的v值记为v
1,x,y
；还适于在所述第二图像为非yuv图像时，将第二图像转换为yuv色域图像，第二图像中任一像素的y值记为y
2,x,y
；
30.所述高斯核滤波模块，适于建立关于第二图像的高斯核滤波图像，高斯核滤波图像中的任一像素的y值记为y
gaussian,x,y
；
31.所述归一化处理模块，适于对所述第二图像中每一像素的y值进行归一化处理，获得归一化后的y值y
norm,x,y
，
32.所述目标图像生成模块，适于通过所述y
norm,x,y
、u
1,x,y
和v
1,x,y
，生成获得目标图像。
33.进一步的，所述紫外光的波长为220nm
‑
400nm。
34.进一步的，所述处理单元还包括图像相位修正模块，
35.所述图像相位修正模块，适于利用surf特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配，在对准匹配后，仅保留第一图像和第二图像均包括的图像像素点信息，并重新统计保留后的所有像素的x轴和y轴位置信息。
36.进一步的，所述图像相位修正模块在通过所述surf特征点匹配时，先在第一图像中提取出第一组特征点，再在第二图像中通过相同方法也提取出相同的第二组特征点，通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息，
37.并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其x轴和y轴位置信息。
38.本发明原理在于：
39.使用中紫外或远紫外光源(如220nm波长)进行透射式照明，以高分辨率cmos成像传感器采集高解析力灰度图像(图像2)。由于深紫外波长远短于彩色光波长(400～700nm)，其解析力因此远高(2至3倍)。由于深紫外的穿透力弱，对于显微镜这样的投射成像系统，多数色彩的样本都会对深紫外光发生吸收。
40.尽管不同色彩样本的绝对透射率不同，但在局部而言，相邻像素的相对透射率的差异正比于其浓度，即与彩色图像中y通道的梯度成比例，因而紫外成像中y通道的梯度可以用来估算彩色成像中y通道的梯度。对于显微图像中的细节，例如细胞核和极小的颗粒形态，其色彩(即uv通道)在局部变化极小，并且人眼对色彩的敏感性远低于明暗(即y)，因而uv通道较低的解析力没有影响，提高y通道解析力即可提高画面整体解析力。
41.本发明的有益效果是：
42.通过本发明中的方法或系统，通过将紫外光环境下图像的y通道解析力结合到标准白光下的图像中，实现了在不改变物镜数值孔径、不改变光学显微镜基本结构前提下，不仅能够提高其光学解析力，还能保持真彩色图像的色彩还原度(并且本发明中技术方案可适用于近乎透明的样本)。采用透射式而非反射式照明，主要优点是其效率高(常见透射率在90％左右，反射率在10％左右)，并且可识别透明样本。
附图说明
43.下面结合附图对本发明的透射式超分辨率显微数字成像方法及系统作进一步说明。
44.图1是本发明中透射式超分辨率显微数字成像系统显微镜部的结构示意图(白光照明成像场景)；
45.图2是本发明中透射式超分辨率显微数字成像系统显微镜部的结构示意图(紫外照明成像场景)；
46.图3是本发明的处理流程图。
具体实施方式
47.根据图1所示，本发明涉及的透射式超分辨率显微数字成像系统，包括显微镜成像传感器(图中即摄像头)和标准白光照明组件(即图中rgb光源，其中，rgb光源可以为一组，亦可以为两组甚至多组)，系统还包括紫外光源、控制单元和处理单元。紫外光源适于发出中紫外光或远紫外光，波长范围为220
‑
400nm。
48.通过前述系统，主要实现本发明的透射式超分辨率显微数字成像方法，该方法包括以下步骤(即通过前述控制单元和处理单元亦实现以下步骤)：
49.步骤：在通过显微镜成像传感器在标准白光下采集得第一图像的基础上。可以作为优选的是：前述在标准白光下是指在白光光源的透射下。如图1所示。
50.步骤：通过显微镜成像传感器采集标本在中紫外光或远紫外光(如220nm波长)透射下的第二图像，如图2所示，中紫外光或远紫外光的光源(即图中uv)与所述显微镜成像传感器分别位于所述标本两侧，所述紫外光线穿透过标本后到达所述显微镜成像传感器。
51.可选步骤：若采集得的第一图像为非yuv(亦称ycbcr)图像，将第一图像转换为yuv色域图像，第一图像中任一像素的y值记为y
1,x,y
，第一图像中任一像素的u值记为u
1,x,y
，第一图像中任一像素的v值记为v
1,x,y
。
52.若采集得的第二图像为非yuv图像，将第二图像转换为yuv色域图像，第二图像中任一像素的y值记为y
2,x,y
。因为仅关注第二图像的解析力信息，因此可以作为优选的是：在第二图像转换为yuv色域图像时，可以直接将第二图像中任一像素的u值和v值均记为0。
53.在本方法中，若在第一图像与第二图像的获取过程中，机械系统发生抖动，造成两幅图片在实际内容上存在偏差，那么可以进行的优选步骤是：在获取第二图像后，还进行图像相位修正。在图像相位修正时，利用surf特征点匹配或最大互信息法(即搜索得到使两幅图像互信息最大化的像素偏移量。每两幅图像互信息的计算方法为：设两幅图像同一坐标处的y值联合分布为p(x,z)，边缘分布为p(x)和p(y)，互信息i(x,z)计算公式为将第一图像与第二图像进行对准匹配，在对准匹配后，仅保留第一图像和第二图像均包括的图像像素点信息，并重新统计保留后的所有像素的x轴和y轴位置信息。
54.若选用surf特征点匹配方法进行修正，可以进一步的优选的是：在通过surf特征点匹配时，先在第一图像中提取出第一组特征点，再在第二图像中通过相同方法也提取出相同的第二组特征点，通过两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息。并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其x轴和y轴位置信息。
55.关于特征点提取，具体可以优选的是：特征点提取采用自适应门限策略，自适应门限策略进行特征点提取时，
56.在每幅图像内使用surf或sift特征点处理算法，计算每个像素点的特征点显著性，显著性的数学含义是这个像素点的hessian特征矩阵的行列式；
57.预设特征点数目上限值k
max
以限制计算负荷上限，以及特征显著性最低门限值t
min
以判定是否存在任何可用特征最低门限值t
min
；
58.将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于t
min
，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目k
exp
＝(1
‑
p)k
max
；
59.将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前k
exp
个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
60.关于图像匹配修正，此为现有技术，在申请人此前提交的专利申请中亦有对此进行描述，因此在此不再赘述。
61.步骤：建立关于第二图像的高斯核滤波图像，即用二维高斯核矩阵与第二图像进行卷积运算。建立时所采用的高斯核矩阵计算方法为：已知传感器象元尺寸p纳米，物镜的红光解析力为q纳米(该红光可为波长700纳米)，预设效正系数u，则高斯核半径r为(uq/p)个像素向上取整。根据高斯核半径r，可计算高斯方差为σ＝r/3，按照标准公式，长宽均为r的二维高斯核矩阵中各个元素的值为exp(
‑
d^2/2/σ^2)/σ/sqrt(2π)，其中d是元素到矩阵中心的距离，exp()是自然指数函数,sqrt()是开根号计算。这一计算将短波长的紫外光近似视为理想的无衍射成像(物体上每一个点在传感器上呈现为一个点，各点间互不影响)，而长波长的彩色光(以红色为最长)发生了衍射(其物体上每一个点在传感器上呈现为点扩散函数而向周围像素扩散，发生相互干扰)，则紫外向彩色图像之间的转换过程就是高斯核滤波。高斯核滤波图像中的任一像素的y值记为y
gaussian,x,y
。
62.步骤：对第二图像中每一像素的y值进行归一化处理，获得归一化后的y值y
norm,x,y
。具体可以作为优选的是：在对第二图像进行归一化处理时，
63.y
norm,x,y
＝y
2,x,y
/y
gaussian,x,y
*y
1,x,y
。由于第一图像的y通道是第二图像的y通道的低解析力版本，所以其中每个像素的亮度可以看作是第二图像对应像素及其周边的高斯模糊。由于紫外光的亮度响应和彩色可能不同，所以应当对幅度进行归一化的计算。
64.步骤：通过y
norm,x,y
、u
1,x,y
和v
1,x,y
，获得目标图像。在获得目标图像时，可以通过y
norm,x,y
、u
1,x,y
和v
1,x,y
信息重新生成一幅新的图像，亦可以复制第一图像信息并将其中的y
1,x,y
替换成对应的y
norm,x,y
，u
1,x,y
和v
1,x,y
信息保持不变。
65.处理单元亦主要用于实现上述步骤中的方法，具体处理单元包括：色域转换模块、高斯核滤波模块、归一化处理模块和目标图像生成模块。具体概括如下：
66.色域转换模块，适于在第一图像为非yuv图像时，将第一图像转换为yuv色域图像，第一图像中任一像素的y值记为y
1,x,y
，第一图像中任一像素的u值记为u
1,x,y
，第一图像中任一像素的v值记为v
1,x,y
；还适于在第二图像为非yuv图像时，将第二图像转换为yuv色域图像，第二图像中任一像素的y值记为y
2,x,y
。
67.高斯核滤波模块，适于建立关于第二图像的高斯核滤波图像，高斯核滤波图像中的任一像素的y值记为y
gaussian,x,y
。
68.归一化处理模块，适于对第二图像中每一像素的y值进行归一化处理，获得归一化后的y值y
norm,x,y
，
69.目标图像生成模块，适于通过y
norm,x,y
、u
1,x,y
和v
1,x,y
，生成获得目标图像。
70.如前所述，为解决可能出现的机械系统抖动影响成像，对于处理单元还可以包括
图像相位修正模块。
71.图像相位修正模块，适于利用surf特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配，在对准匹配后，仅保留第一图像和第二图像均包括的图像像素点信息，并重新统计保留后的所有像素的x轴和y轴位置信息。
72.图像相位修正模块在通过surf特征点匹配时，先在第一图像中提取出第一组特征点，再在第二图像中通过相同方法也提取出相同的第二组特征点，通过两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息，
73.并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其x轴和y轴位置信息。
74.系统框图如图3所示。
75.本发明的不局限于上述实施例，本发明的上述各个实施例的技术方案彼此可以交叉组合形成新的技术方案，另外凡采用等同替换形成的技术方案，均落在本发明要求的保护范围内。