一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

显微镜系统、控制方法、计算机可读介质与流程

2021-11-27 00:02:00 来源:中国专利 TAG:


1.本说明书的公开涉及一种显微镜系统、控制方法、计算机可读介质。


背景技术:

2.通过使用显微镜系统,利用者能够观察放大了被摄体的图像。另一方面,由于越放大被摄体,则显微镜系统的视场越窄,因此难以使被摄体的观察对象部位收敛于视场内。另外,越要求高的分辨率,则焦深越浅,因此难以使显微镜系统的焦点对准观察对象部位。因此,为了使显微镜系统发挥其高性能,需要在开始正式的观察前进行各种调整、设定,这些作业所需的工夫成为利用者很大的负担。
3.例如在专利文献1中记载了与这样的技术性课题有关的技术。在专利文献1中记载了如下的技术:获取被摄体的宏观图像,参照获取到的宏观图像,设定将标本包括在内的图像获取范围等来作为微观图像的摄像条件。即,记载了一种通过根据宏观图像检测标本来自动地设定微观图像的摄像条件的技术。
4.现有技术文献
5.专利文献
6.专利文献1:日本特开2007

233098号公报


技术实现要素:

7.发明要解决的问题
8.然而,在宏观观察中未必能够检测标本。宏观观察的观察倍率和分辨率比微观观察的观察倍率和分辨率低,因此有时例如无法检测细胞等小标本。在专利文献1所记载的技术中,在未检测到标本的情况下,利用者不得不自身进行麻烦的调整、设定。
9.根据以上的实际情况,本发明的一个方面所涉及的目的在于提供一种利用者不用进行繁杂的作业就能够开始使用显微镜系统进行标本的观察的技术。
10.用于解决问题的方案
11.本发明的一个方式所涉及的显微镜系统具备:图像获取部,其至少以第一倍率和比所述第一倍率高的第二倍率获取图像;以及控制部,其中,所述控制部获取识别放置有标本的容器的种类的识别信息,基于所述识别信息来确定放置有所述标本的所述容器的种类,所述控制部在以所述第二倍率开始进行被放置于所述容器中的所述标本的观察时,针对所述图像获取部以所述第一倍率获取到的包括所述容器的第一图像进行与所述容器的种类相应的物体检测,由此确定与通过将所述图像获取部以比所述第一倍率高的倍率获取的多个第二图像拼接来构建的映射图像对应的映射区域,并使显示部显示所述第一图像和所述第一图像上的所述映射区域的范围。
12.本发明的一个方式所涉及的控制方法为具备至少以第一倍率和比所述第一倍率高的第二倍率获取图像的图像获取部的显微镜系统的控制方法,计算机获取识别放置有标本的容器的种类的识别信息,基于所述识别信息来确定放置有所述标本的所述容器的种
类,所述计算机在以所述第二倍率开始进行被放置于所述容器中的所述标本的观察时,针对所述图像获取部以所述第一倍率获取到的包括所述容器的第一图像进行与所述容器的种类相应的物体检测,由此确定与通过将所述图像获取部以比所述第一倍率高的倍率获取的多个第二图像拼接而构建的映射图像对应的映射区域,并使显示部显示所述第一图像和所述第一图像上的所述映射区域的范围。
13.本发明的一个方式所涉及的计算机可读介质存储有程序,程序使具备至少以第一倍率和比所述第一倍率高的第二倍率获取图像的图像获取部的显微镜系统的计算机执行以下处理:获取识别放置有标本的容器的种类的识别信息,基于所述识别信息来确定放置有所述标本的所述容器的种类,在以所述第二倍率开始进行被放置于所述容器中的所述标本的观察时,针对所述图像获取部以所述第一倍率获取到的包括所述容器的第一图像进行与所述容器的种类相应的物体检测,由此确定与通过将所述图像获取部以比所述第一倍率高的倍率获取的多个第二图像拼接来构建的映射图像对应的映射区域,并使显示部显示所述第一图像和所述第一图像上的所述映射区域的范围。
14.发明的效果
15.根据上述的方式,利用者不用进行繁杂的作业就能够开始使用显微镜系统进行标本的观察。
附图说明
16.图1是例示出显微镜系统1的结构的图。
17.图2是例示出计算机10的结构的图。
18.图3是用于说明获取识别标本容器的识别信息的方法的图。
19.图4是表示显微镜系统1进行的观察准备处理的流程图的一例的图。
20.图5是例示出用于选择电动台101的参数的表的图。
21.图6是显示于显示装置14的画面的一例。
22.图7是表示显微镜系统1进行的宏观图像分析处理的流程图的一例的图。
23.图8是表示显微镜系统1进行的标签处理的流程图的一例的图。
24.图9是例示出明亮度校正前后的直方图的图。
25.图10是用于说明针对载玻片标本的物体检测结果的图。
26.图11是用于说明针对培养皿标本的物体检测结果的图。
27.图12是用于说明针对多孔板标本的物体检测结果的图。
28.图13是表示用于选择电动台101的参数的表的其它例的图。
29.图14是表示用于选择电动台101的参数的表的另一其它例的图。
30.图15是例示出用于选择微观观察的观察法的表的图。
31.图16是显示于显示装置14的画面的其它例。
32.图17是显示于显示装置14的画面的另一其它例。
33.图18是用于说明扫描映射区域的扫描方法的一例的图。
34.图19是用于说明扫描映射区域的扫描方法的其它例的图。
35.图20是用于说明扫描映射区域的扫描方法的另一其它例的图。
36.图21是显示于显示装置14的画面的另一其它例。
37.图22是显示于显示装置14的画面的另一其它例。
38.图23是显示于显示装置14的画面的另一其它例。
39.图24是例示出显微镜系统2的结构的图。
40.附图标记说明
41.1、2:显微镜系统;10:计算机;11:处理器;12:存储器;14:显示装置;20:显微镜控制器;100、500:显微镜;110:容器支承件保持部;112、112a~112c:霍尔元件;120:载玻片支承件;122、122a~122c、132、132a、132b、150:磁体;130:培养皿支承件;140:多孔板;141、141a~141f:孔;150:通用容器支承件;160、161~163、161a~161d:载玻片;164~166、164a~164d、173b:玻璃盖片;167~169:标签;170、171a~171c:培养皿;172b、172c:孔部;180:烧瓶;200:宏观图像获取部;300:微观图像获取部;c:细胞;m1、m2、m5:宏观图像;m3:微观图像;m4、m6:映射图像;mt:多个组织;s:标本;st:染色组织;ut:非染色组织。
具体实施方式
42.图1是例示出显微镜系统1的结构的图。图2是例示出显微镜系统1中包括的计算机10的结构的图。显微镜系统1通过使在以往的显微镜系统中利用者需要在观察开始前自行进行的各种调整和设定的作业(之后记载为观察准备作业。)中的至少一部分自动化,能够减轻利用者的作业负担,并且能够通过高品质的显微镜图像进行标本观察。在下面,参照图1和图2来说明显微镜系统1的结构。
43.如图1所示,显微镜系统1具备显微镜100、控制显微镜系统1整体的计算机10以及控制显微镜100的显微镜控制器20。显微镜100与显微镜控制器20可通信地连接,进一步地,计算机10与显微镜控制器20彼此可通信地连接。
44.显微镜100具备以比较低的观察倍率(第一倍率)获取图像的宏观图像获取部200和以比宏观图像获取部200的观察倍率高的观察倍率(第二倍率)获取图像的微观图像获取部300。即,显微镜100是至少以第一倍率和第二倍率获取图像的图像获取部的一例。显微镜100还具备设置有容器支承件保持部110的电动台101。此外,之后根据需要将宏观图像获取部200获取到的图像记载为宏观图像或第一图像,将微观图像获取部300获取到的图像记载为微观图像或第二图像。
45.电动台101具有马达102和原点传感器103。电动台101通过马达102旋转来在与宏观图像获取部200和微观图像获取部300这两方的光轴正交的方向(xy方向)上移动。电动台101由显微镜控制器20进行控制。更详细地说,显微镜控制器20以通过原点传感器103检测到的xy方向上的原点为基准来控制马达102,由此电动台101将被载置于容器支承件保持部110的被摄体向宏观图像获取部200的光轴上或微观图像获取部300的光轴上搬送。在此,被摄体是指摄像对象物之类的含义,与利用者主要观察的对象物即标本区别开。此外,被摄体能够包括标本。进一步地,通过由显微镜控制器20控制马达102,电动台101能够使被摄体上的任意的位置对准宏观图像获取部200的视场的中心或微观图像获取部300的视场的中心。此外,显微镜控制器20适当地或者根据请求向计算机10输出电动台101的位置信息。
46.宏观图像获取部200具备宏观用光源201、宏观光学系统202以及摄像装置203。另外,宏观图像获取部200还可以具备向被摄体照射从宏观用光源201射出的照明光的照明光学系统。宏观用光源201例如为氙气灯等灯光源、发光二极管(led)。宏观光学系统202的观
察倍率(第一倍率)是使至少后述的标本容器收敛于宏观光学系统202的视场中的倍率即可,更期望的是使被容器支承件保持部110保持的容器支承件收敛于一张或两张宏观图像中的倍率。摄像装置203为ccd(charge

coupled device:电荷耦合器件)图像传感器、cmos(complementary mos:互补金属氧化物半导体)图像传感器等。
47.在宏观图像获取部200中,通过宏观光学系统202将透过被摄体后的光聚光在摄像装置203上,摄像装置203拍摄被摄体来获取被摄体的宏观图像。摄像装置203还将被摄体的图像数据经由显微镜控制器20输出至计算机10。此外,从宏观用光源201射出的照明光量或向被摄体照射的照明光量由显微镜控制器20进行控制。另外,通过摄像装置203进行的摄像动作等也由显微镜控制器20进行控制。例如,显微镜控制器20可以根据来自计算机10的输入来控制摄像装置203,以进行自动增益控制的开/关切换、增益的设定、自动曝光控制的开/关切换、曝光时间的设定、边缘增强度的设定以及伽玛校正的设定等。
48.微观图像获取部300具备微观用光源301、聚光器302、装设于换镜旋座306的多个物镜(物镜304、物镜305)以及摄像装置307。微观图像获取部300能够通过多个观察法获取图像,在该例中,能够通过明视场观察法和相位差观察法获取图像。聚光器302与多个观察法对应,例如在通过相位差观察法获取图像时,如图1所示,在聚光器302内配置环形狭缝。此外,环形狭缝配置为插脱自如,例如在通过明视场观察法获取图像时,聚光器302在将环形狭缝拆卸至光路外的状态下被使用。此外,微观图像获取部300可以具备与观察法相应的多个聚光器。另外,物镜304为在相位差观察法中使用的相位差物镜,在与环形狭缝对应的位置包括相位膜。物镜305为在明视场观察法中使用的物镜。换镜旋座306为切换被配置于光轴上的物镜的切换机构。另外,换镜旋座306还作为通过沿着光轴移动来使物镜在光轴方向上移动的聚焦装置发挥功能。摄像装置307为ccd(charge

coupled device:电荷耦合器件)图像传感器、cmos(complementary mos:互补金属氧化物半导体)图像传感器等。
49.在微观图像获取部300中,从微观用光源301射出的照明光经由聚光器照射于被摄体。之后,将透过被摄体的光经由物镜和未图示的成像透镜聚光至摄像装置307上,由此摄像装置307拍摄被摄体来获取被摄体的微观图像。摄像装置307还将被摄体的图像数据经由显微镜控制器20输出至计算机10。此外,从微观用光源301射出的照明光量或照射于被摄体的照明光量由显微镜控制器20进行控制。另外,通过摄像装置307进行的摄像动作等也由显微镜控制器20进行控制。例如,显微镜控制器20可以根据来自计算机10的输入来控制摄像装置307,以进行自动增益控制的开/关切换、增益的设定、自动曝光控制的开/关切换、曝光时间的设定、边缘增强度的设定以及伽玛校正的设定等。
50.换镜旋座306具有未图示的马达和原点传感器。换镜旋座306通过马达旋转来在微观图像获取部300的光轴方向(z方向)上移动。换镜旋座306由显微镜控制器20进行控制。更详细地说,显微镜控制器20以通过原点传感器检测到的z方向上的原点为基准来控制马达,由此换镜旋座306能够使物镜在微观图像获取部300的光轴方向上运动来调整焦点。在该情况下,换镜旋座306作为聚焦装置发挥功能。此外,显微镜控制器20适当地或根据请求向计算机10输出换镜旋座306的位置信息。在该例中,示出了换镜旋座306作为聚焦装置发挥功能的例子,但可以是电动台101代替换镜旋座306在光轴方向上移动。
51.显微镜控制器20为控制显微镜100的控制器,在计算机10的控制下控制显微镜100中包括的全部电动装置(除了摄像装置203和摄像装置307以外)。具体地说,显微镜控制器
20例如进行控制电动台101来变更观察位置的处理、控制换镜旋座306来变更焦点的处理、切换物镜和聚光器来变更观察倍率或观察方法的处理、控制光源(宏观用光源201、微观用光源301)来进行调光的处理以及控制由摄像装置203和摄像装置307进行的摄像动作的处理等。另外,显微镜控制器20还进行将显微镜100的状态通知给计算机10的处理。
52.计算机10为控制显微镜系统1整体的控制部的一例,控制显微镜100和显微镜控制器20。例如如图2所示,计算机10具备处理器11、存储器12、输入装置13、显示装置14以及通信i/f 15,以上这些通过总线16彼此连接。此外,图2是计算机10的结构的一例,计算机10并不限定于该结构。计算机10可以由工作站、个人计算机之类的通用计算机实现,也可以由专用的计算机实现。
53.处理器11包括一个以上的处理器。一个以上的处理器例如可以包括中央处理装置(cpu:central processing unit)、gpu(graphics processing unit:图形处理单元)、dsp(digital signal processor:数字信号处理器)等。另外,可以包括asic(application specific integrated circuit:专用集成电路)、fpga(field

programmable gate array:现场可编程门阵列)等。处理器11可以例如通过执行规定的软件程序来进行例如图4所示的后述的处理。
54.存储器12包括保存有处理器11执行的软件程序的非暂态性的计算机可读介质。处理器11例如可以包括一个或多个任意的半导体存储器,还可以包括一个或多个其它存储装置。半导体存储器例如包括ram(random access memory:随机存取存储器)等易失性存储器、rom(read only memory:只读存储器)、可编程rom、闪存等非易失性存储器。ram例如可以包括dram(dynamic random access memory:动态随机存取存储器)、sram(static random access memory:静态随机存取存储器)等。其它存储装置可以包括例如包括磁盘的磁存储装置、例如包括光盘的光学存储装置等。
55.输入装置13为检测显微镜系统1的利用者的操作来输入操作信息的装置。输入装置13例如为键盘、鼠标、手柄、控制杆、各种开关等。显示装置14为基于来自处理器11的显示信号来显示画面的显示部的一例。显示装置14例如为液晶显示器装置、有机el(ole:organic electro

luminescence:有机电致发光元件)显示器装置、crt(cathode ray tube:阴极射线管)显示器装置等。显示装置14可以具备触摸面板传感器,在该情况下,显示装置14还作为输入装置13发挥功能。通信i/f 15与显微镜100及显微镜控制器20之间发送接收信号。
56.此外,在图1中示出显微镜系统1中包括的显微镜100为倒置显微镜的例子,但显微镜100不限于倒置显微镜,可以为正置显微镜。另外,在图1中示出显微镜100采用透过照明法的例子,但显微镜100可以采用落射照明法。另外,示出了使显微镜100使用专用的物镜在明视场观察法与相位差观察法之间进行切换的例子,但还可以相对于光瞳位置插脱相位调制元件(相位膜),由此不将物镜切换为其它物镜地在明视场观察法与相位差观察法之间进行切换。另外,示出了显微镜100与明视场观察法和相位差观察法对应的例子,但显微镜100也可以与其它观察法、例如荧光观察法、微分干涉观察法、偏光观察法、暗视场观察法等对应。
57.另外,示出了宏观图像获取部200和微观图像获取部300分别具有摄像装置的例子,但宏观图像获取部200和微观图像获取部300可以通过调整为彼此的像位置位于同一平
面来共享摄像装置。另外,示出了微观图像获取部300包括两个物镜的例子,但可以包括三个以上的物镜,也可以包括与多个不同的观察倍率对应的物镜。另外,聚光器也可以包括两个以上。
58.另外,示出了在显微镜系统1中计算机10、显微镜控制器20、显微镜100分别构成为单独的装置的例子,但这些的一部分或全部可以一体地构成。例如,可以是显微镜100和显微镜控制器20构成为一体,也可以是显微镜100、计算机10以及显微镜控制器20构成为一体。
59.另外,示出了计算机10包括输入装置13和显示装置14的例子,但输入装置13和显示装置14也可以为与计算机10分体的装置。计算机10可以可通信地与相对于计算机10独立的输入装置13以及显示装置14连接。
60.图3是用于说明获取识别标本容器的识别信息的方法的图。显微镜系统1具有获取识别标本容器的识别信息、基于获取到的识别信息来确定标本容器的种类的功能。在下面,参照图3来说明获取识别信息的方法。
61.如图3所示,在设置于电动台101的容器支承件保持部110形成有开口111。通过以封闭开口111的方式设置用于保持标本容器的容器支承件,利用者能够使用显微镜系统1来观察被收容于各种标本容器内的标本。另外,在容器支承件保持部110的规定位置设置有作为非接触型的磁传感器的多个霍尔元件112(霍尔元件112a、霍尔元件112b、霍尔元件112c)。
62.在观察被固定于载玻片160的标本s的情况下,将作为容器支承件的一种的载玻片支承件120设置于容器支承件保持部110即可。通过将载玻片嵌入形成于载玻片支承件120的开口121(开口121a、开口121b、开口121c),载玻片支承件120能够同时最多保持三张载玻片。此外,在载玻片支承件120固定有三个磁体122。更具体地说,在将载玻片支承件120设置于容器支承件保持部110时与霍尔元件112a相对的位置固定有磁体122a,在与霍尔元件112b相对的位置固定有磁体122b,在与霍尔元件112c相对的位置固定有磁体122c。因此,当将载玻片支承件120设置于容器支承件保持部110时,全部的三个霍尔元件112探测磁体。
63.另外,在观察被收容于培养皿170中的标本s的情况下,将作为容器支承件的一种的培养皿支承件130设置于容器支承件保持部110即可。通过将培养皿嵌入形成于培养皿支承件130的开口131(开口131a、开口131b、开口131c),培养皿支承件130能够同时最多保持三个培养皿。此外,在培养皿支承件130固定有两个磁体132。更具体地说,在将培养皿支承件130设置于容器支承件保持部110时与霍尔元件112a相对的位置固定有磁体132a,在与霍尔元件112b相对的位置固定有磁体132b。因此,当将培养皿支承件130设置于容器支承件保持部110时,两个霍尔元件112探测磁体。
64.另外,在观察被收容于多孔板140的孔141中的标本s的情况下,将多孔板140本身设置于容器支承件保持部110即可。此外,在多孔板140未固定有磁体。因此,当将多孔板140设置于容器支承件保持部110时,三个霍尔元件均不探测磁体。
65.另外,在观察被收容于烧瓶180中的标本s的情况下,将作为容器支承件的一种的通用容器支承件150设置于容器支承件保持部110即可。在通用容器支承件150形成有开口151,因此通过以使标本s位于开口151上的方式将烧瓶180放置于通用容器支承件150,能够观察标本s。此外,在通用容器支承件150固定有一个磁体152。更具体地说,在将通用容器支
承件150设置于容器支承件保持部110时与霍尔元件112a相对的位置固定有磁体152。因此,当将通用容器支承件150设置于容器支承件保持部110时,一个霍尔元件112(霍尔元件112a)探测磁体。此外,可以在通用容器支承件150配置烧瓶180以外的标本容器。
66.像这样,在显微镜系统1中,根据设置于容器支承件保持部110的容器支承件(载玻片支承件120、培养皿支承件130、通用容器支承件150)的种类或标本容器(多孔板140)的种类的不同,霍尔元件112所检测的磁体的数量发生变化。因此,计算机10通过经由显微镜控制器20获取与霍尔元件112检测到的磁体的数量有关的信息,能够基于获取到的信息确定被放置于电动台101的标本容器的种类。即,在显微镜系统1中,计算机10获取与检测到的磁体的数量有关的信息来作为识别放置有标本的标本容器的种类的识别信息,基于获取到的识别信息来确定放置有标本的标本容器的种类。
67.此外,显微镜系统1具备将识别信息直接或者间接地输出至计算机10的检测部即可,检测部检测与标本容器的种类相应的、设置于保持标本容器的容器支承件或标本容器本身的识别构造即可。在图3的例子中示出了设置于容器支承件或标本容器本身的磁体作为识别构造发挥功能、霍尔元件作为检测识别构造的检测部发挥功能的例子,但例如也可以按容器支承件的种类在固定有磁体的位置形成不同的数量的开口,在容器支承件保持部110设置检测经由这些开口入射的光的光传感器。在该情况下,设置于容器支承件或标本容器本身的开口作为识别构造发挥功能,光传感器作为检测识别构造的检测部发挥功能。
68.另外,在图3中示出了在容器支承件保持部110设置有检测部的例子,但检测部只要能够检测识别构造则可以配置于任意的位置。检测部可以不设置于容器支承件保持部110,而例如设置于电动台101,也可以设置于显微镜100内的其它部位。此外,容器支承件所保持的容器的数量不限于图3的例子。例如,可以将能够嵌入四张以上的载玻片的载玻片支承件保持于容器支承件保持部110,也可以将能够嵌入四个以上的培养皿的培养皿支承件保持于容器支承件保持部110。另外,可以将各种孔数(例如6、12、24、48、96等)的多孔板保持于容器支承件保持部110。
69.如以上那样构成的显微镜系统1通过使在以往显微镜系统中利用者需要在观察开始前自行进行的观察准备作业的至少一部分自动化,利用者不用进行繁杂的作业就能够开始标本的观察。更具体地说,显微镜系统1例如使在观察准备作业之中带来特别大的作业负担的标本搜索自动化。由此,能够大幅度减轻利用者的负担,并且即使是不具有关于显微镜的专业知识的轻量级用户,也能够容易且在短时间内开始标本的观察。另外,显微镜系统1例如自动地判断应该构建映射图像的范围(映射区域)并提议给利用者。在以高观察倍率正式地观察标本的情况下,视场窄,因此能够掌握标本的整体像与当前的观察位置的关系的映射图像是非常有益的。通过由显微镜系统1提议应该构建映射图像的范围,利用者能够节省探索并设定构建映射图像的范围的工夫。由此,能够大幅度减轻利用者的负担,并且即使是不具有关于显微镜的专业知识的轻量级用户也能够容易且在短时间内开始标本的正式观察。
70.图4是表示显微镜系统1进行的观察准备处理的流程图的一例的图。在下面,参照图4来说明使观察准备作业的至少一部分自动化的观察准备处理。观察准备处理例如通过利用者在将标本容器配置于容器支承件保持部110后使用输入装置13向显微镜系统1指示观察开始来开始。此外,图4所示的观察准备处理是计算机10进行的显微镜系统1的控制方
法的一例,例如通过处理器11执行存储器12所保存的程序来进行。
71.当开始观察准备处理时,显微镜系统1首先使配置于容器支承件保持部110的标本容器向宏观摄影位置移动(步骤s1)。在此,通过计算机10控制显微镜控制器20,显微镜控制器20使电动台101运动,以使容器支承件保持部110位于宏观图像获取部200的光轴上。此时,显微镜控制器20不论标本容器的种类如何,均根据初始设定来控制电动台101的移动。
72.当标本容器向宏观摄影位置移动时,显微镜系统1确定标本容器的种类(步骤s2)。在此,通过设置于容器支承件保持部110的霍尔元件112检测与容器支承件相应的数量的磁体来输出用于识别标本容器的种类的识别信息,计算机10基于输入来的识别信息来确定标本容器的种类。具体地说,计算机10在识别信息表示磁体的数量为三个的情况下,将标本容器的种类确定为载玻片。另外,计算机10在识别信息表示磁体的数量为两个的情况下,将标本容器的种类确定为培养皿。另外,计算机10在识别信息表示磁体的数量为一个的情况下,将标本容器的种类确定为烧瓶等其它标本容器。另外,计算机10在识别信息表示磁体的数量为0的情况下,将标本容器的种类确定为多孔板。
73.当确定出标本容器的种类时,显微镜系统1将显微镜系统1的设定变更为与确定出的标本容器的种类相应的设定(步骤s3)。在此,计算机10从预先被保存于存储器12中的图5所示的表t1中读出与通过步骤s2确定出的标本容器的种类对应的参数组,并设定给显微镜系统1。
74.图5是例示出用于选择电动台101的参数的表的图。在图5所示的表t1中按标本容器的种类保存有与期望的电动台101的驱动有关的参数组(参数组ps1~参数组ps4)。与电动台101的驱动有关的参数组例如包括电动台101的加速度、初速度、最高速度之类的参数。当比较表t1中保存的参数组时,除载玻片以外的标本容器用的参数组(参数组ps2~参数组ps4)示出了相比于载玻片用的参数组ps1使电动台101更缓和或缓慢地运动的值。这是因为,在除载玻片以外的标本容器中,标本以浸在液体中的状态被收容的可能性高,当快速或突然使电动台101运动时,标本和浸渍标本的液体会伴随电动台101的移动大幅度摇动,存在对图像的质量产生不良影响的可能性。此外,示出了在表中保存有参数组的例子,但参数组的保存方式并不特别限于该例。参数组能够以能够确定与标本容器的种类相应的参数组的任意的形式进行保存。
75.通过在步骤s3中设定与标本容器相应的参数组,在将标本被固定而不易摇动的载玻片放置于电动台101的情况下,电动台101高速地移动,能够缩短图像获取所需的时间。另外,在将除载玻片以外的标本容器放置于电动台101的情况下,电动台10以不影响图像质量的方式比较缓和地移动。像这样根据标本容器来控制电动台101的驱动,由此能够在避免图像质量下降的同时以尽可能短的时间获取图像。
76.当在步骤s3中变更了设定时,显微镜系统1进行宏观摄影(步骤s4)。在此,通过计算机10控制显微镜100和显微镜控制器20,宏观图像获取部200以第一倍率拍摄被摄体。更详细地说,宏观图像获取部200首先拍摄被容器支承件保持部110保持的容器支承件的上半部。接着,显微镜控制器20使电动台101运动,以使容器支承件的下半部进入宏观图像获取部200的视场。此时,电动台101按照通过步骤s3所设定的参数进行动作。之后,宏观图像获取部200拍摄被容器支承件保持部110保持的容器支承件的下半部。最后,宏观图像获取部200将拍到了容器支承件整体的两张宏观图像输出至计算机10。
77.此外,在宏观摄影中,可以通过一张图像拍摄容器支承件整体。期望在通过步骤s4获取到的宏观图像中拍到容器支承件的大部分,但无需一定拍到整体。在宏观图像中至少拍到标本容器即可。即,宏观图像为包括标本容器的图像。另外,可以根据需要由计算机10对通过宏观摄影获取到的宏观图像进行各种校正处理。计算机10例如可以对宏观图像进行亮暗校正、畸变像差校正、倍率色像差校正等校正处理。
78.当宏观摄影结束时,显微镜系统1显示宏观图像(步骤s5)。在此,计算机10在显示装置14中显示包括通过步骤s4获取到的宏观图像的图6所示的画面400。
79.图6是在步骤s5中显示于显示装置14的画面的一例。图6所示的画面400包括微观图像区域410、映射图像区域420、宏观图像区域430以及操作区域440。微观图像区域410为显示微观图像获取部300获取到的微观图像的区域。映射图像区域420为显示通过拼接微观图像来生成的映射图像的区域。宏观图像区域430为显示宏观图像获取部200获取到的宏观图像的区域。操作区域440为配置供利用者向显微镜系统1输入指示的gui(graphical user interface:图形用户界面)控制器的区域。在步骤s5中,在宏观图像区域430中,通过拼接在步骤s4中获取到的两张宏观图像来生成的一张宏观图像m1以根据宏观图像区域430的大小被放大或缩小后的状态被显示。
80.在图6所示的宏观图像m1中示出了容器支承件为载玻片支承件120、在载玻片支承件120配置有三张载玻片(载玻片161、载玻片162、载玻片163)的情形。另外,还示出了在各载玻片放置有覆盖了标本的玻璃盖片(玻璃盖片164、玻璃盖片165、玻璃盖片166)、进一步地贴附有标签(标签167、标签168、标签169)的情形。此外,标签印刷或记载有用于管理载玻片标本的信息。标签通常由纸等相比于载玻片具有更低的透过率的构件构成,因此在宏观图像m1上表现为特别暗的区域。
81.当显示宏观图像时,显微镜系统1进行宏观图像分析处理(步骤s6)。在此,计算机10对通过步骤s4获取到的宏观图像进行图像分析处理。
82.图7是表示显微镜系统1进行的宏观图像分析处理的流程图的一例的图。图8是表示显微镜系统1进行的标签处理的流程图的一例的图。图9是例示出明亮度校正前后的直方图的图。图10是用于说明针对载玻片标本的物体检测结果的图。图11是用于说明针对培养皿标本的物体检测结果的图。图12是用于说明针对多孔板标本的物体检测结果的图。在下面,参照图7至图12来说明通过步骤s6进行的宏观图像分析处理。
83.当开始图7所示的宏观图像分析处理时,显微镜系统1首先判定标本容器的种类是否为载玻片(步骤s20)。在此,计算机10基于通过步骤s2确定出的标本容器的种类来判定是否为载玻片。当判定为标本容器的种类是载玻片时,显微镜系统1进行图8所示的标签处理(步骤s21)。另一方面,当判定为标本容器的种类不是载玻片时,显微镜系统1省略步骤s21。
84.当开始图8所示的标签处理时,显微镜系统1首先检测载玻片上的标签部分(步骤s30)。在此,计算机10根据宏观图像m1来检测被贴附于载玻片上的标签的区域(标签部分)。标签几乎不透过光,因此标签部分在宏观图像m1中表现为特别暗的区域。因此,计算机10可以将宏观图像m1中包括的具有比规定的阈值低的像素值的区域检测为标签部分。另外,假定标签部分具有一定程度的大小,因此计算机10可以将宏观图像m1中包括的、具有比规定的阈值低的像素值且具有固定以上的面积的连续的区域检测为标签部分。此外,标签部分的检测方法不特别限定于这些方法。可以通过其它方法检测标签部分。例如,计算机10可以
将预先设定的区域检测为标签部分,也可以通过模板匹配等图案匹配处理来检测标签部分。另外,计算机10可以使用利用了yolo(you only look once)、ssd(single shot detector:单步检测)等深度学习的物体检测方法来检测标签部分。
85.当检测出标签部分时,显微镜系统1对标签部分执行图像处理(步骤s31)。在此,计算机10可以调整宏观图像m1的标签部分的明亮度,例如可以使标签部分的增益比其它部分的增益大(例如10倍等)等来增强标签部分中的些微的明亮度的差异。由此,宏观图像m1被转换为标签所印刷或记载的信息相对于背景浮起的宏观图像m2。此外,为了更容易看到标签的信息,可以对宏观图像m2的标签部分进行平滑化处理等来去除噪声,也可以还校正对比度。
86.以在通过步骤s31进行的图像处理中进行明亮度调整的情况为例,参照图9来进一步详细地进行说明。图9所示的直方图h1是步骤s31的图像处理执行前的宏观图像m1的像素值的直方图的一例。图9所示的直方图h2是步骤s31的图像处理执行后的宏观图像m2的像素值的直方图的一例。如图9所示,贴附有标签的载玻片标本的宏观图像m1的直方图h1包括由除标签部分以外的像素值形成的峰p1和由标签部分的像素值形成的峰p2。通过图像处理来调整被确定为标签部分的小于阈值th的像素值,由此在图像处理后的直方图h2中,与峰p2对应的峰p3具有比峰p2高的像素值。另外,通过增益的调整来进行像素值的调整,由此包括峰p3的分布具有比包括峰p2的分布大的分散。因此,在图像处理后的宏观图像m2中,标签部分的明亮度变亮,并且标签部分的像素间的明亮度的差异变大,由此能够目视确认标签所印刷或记载的信息。此外,通过利用图像处理对图像的一部分的明亮度进行调整来得到标签部分的信息的图8所示的标签处理相比于例如分别通过透过照明和落射照明获取图像的方法等,具有以下等优点:由于能够抑制摄像次数,因此能够以短时间得到所需的信息,以及由于不需要复杂的装置结构,因此能够抑制成本。
87.显微镜系统1在之后对宏观图像进行物体检测(步骤s22)。在此,计算机10基于宏观图像m1或宏观图像m2来检测与通过步骤s2确定出的标本容器的种类相应的构造。计算机10可以进一步基于宏观图像m1或宏观图像m2来检测被放置于标本容器中的标本,还可以检测标本的染色状态。
88.在步骤s22中,如果标本容器的种类为载玻片,则计算机10将玻璃盖片作为与标本容器的种类相应的构造来进行检测。进一步地,从玻璃盖片内的区域检测标本。关于标本,期望例如将通过he(hematoxylin eosin:苏木精伊红)染色等染色后的标本(之后记载为染色标本)与其以外的非染色标本区别开进行检测。此外,非染色标本例如为通过相位差观察进行观察的透明的标本,但也可以为通过荧光观察进行观察的结合有dapi等荧光色素的标本。即,期望计算机10根据宏观图像确定物体的位置并将该物体分类为包括染色标本、非染色标本以及玻璃盖片的至少三类。
89.针对载玻片的物体检测例如可以使用利用了yolo(you only look once)、ssd(single shot detector:单步检测)等深度学习的物体检测算法。由此,例如,如果是在宏观图像中拍到通过载玻片161a和玻璃盖片164a夹着染色组织st的载玻片标本的情况,则如图10的(a)所示,检测到重叠于载玻片161a的玻璃盖片164a的范围r1和染色组织st的范围r2。另外,例如如果是在宏观图像中拍到通过载玻片161b和玻璃盖片164b夹着非染色组织ut的载玻片标本的情况,则如图10的(b)所示,检测到玻璃盖片164b的范围r3和非染色组织
ut的范围r4。另外,例如如果是在宏观图像中拍到通过载玻片161c和玻璃盖片164c夹着细胞c的载玻片标本的情况,则由于宏观图像不具有能够识别细胞c的程度的分辨率,因此如图10的(c)所示,只检测到玻璃盖片164c的范围r5。另外,例如如果是在宏观图像中拍到通过载玻片161d和玻璃盖片164d夹着多个组织mt的载玻片标本的情况,则如图10的(d)所示,检测到玻璃盖片164d的范围r7和多个组织mt的各组织的范围r8。上述的物体检测可以针对宏观图像整体进行,也可以只针对宏观图像中的载玻片内的区域进行。此外,载玻片的位置受载玻片支承件120限制,因此是已知的。
90.在步骤s22中,如果标本容器的种类为培养皿,则计算机10将设置于培养皿的孔部作为与标本容器的种类相应的构造来进行检测。进一步地,从孔部的区域中检测标本。期望标本例如被区别为染色标本和非染色标本来进行检测。即,期望计算机10根据宏观图像确定物体的位置并将该物体分类为包括染色标本、非染色标本以及孔部的至少三类。此外,培养皿也被称作为浅底盘、皮氏培养皿,通常由玻璃、透明的塑料等构成。培养皿根据底面的构造能够大致分为通常的培养皿、玻璃底培养皿、膜底培养皿这三个。其中,在玻璃底培养皿和膜底培养皿中存在孔部。玻璃底培养皿在培养皿底面形成孔,并以封闭该孔的方式从培养皿的背侧贴附玻璃盖片。另一方面,膜底培养皿是通过一体成型在培养皿底面形成了孔部的培养皿。
91.针对培养皿进行的物体检测也与针对载玻片进行的物体检测同样,例如可以使用利用了yolo(you only look once)、ssd(single shot detector:单步检测)等深度学习的物体检测算法。由此,例如,如果是在宏观图像中拍到在通常的培养皿171a中收容有细胞c的培养皿标本的情况,则如图11的(a)所示,检测不到孔部,也检测不到细胞c。另外,例如,如果是在宏观图像中拍到在底面贴附有玻璃盖片173b的玻璃底培养皿171b的孔部172b中收容有细胞c的培养皿标本的情况,则如图11的(b)所示,检测不到细胞c,但检测到孔部172b的范围r11。另外,例如如果是在宏观图像中拍到在一体成型有孔部172c的膜底培养皿171c中收容有细胞c的培养皿标本的情况,则如图11的(c)所示,检测不到细胞c,但检测到孔部172c的范围r12。上述的物体检测可以针对宏观图像整体进行,也可以只针对宏观图像中的培养皿内的区域进行。此外,培养皿的位置受培养皿支承件130限制,因此是已知的。
92.在预先知道被放置于培养皿中的标本是细胞等难以根据宏观图像检测到的标本的情况下,计算机10可以只确定孔部的位置。在该情况下,由于只要能够检测孔部的形状即圆形状即可,因此可以使用基于霍夫变换的圆检测等其它公知技术来代替利用了深度学习的物体检测算法。另外,可以通过利用了深度学习的物体检测算法来检测标本,通过霍夫变换来检测孔部。
93.在步骤s22中,如果标本容器的种类为多孔板,则计算机10将孔作为与标本容器的种类相应的构造来进行检测。进一步地,从孔的区域中检测标本。期望标本例如被区分为染色标本和非染色标本进行检测。即,期望计算机10根据宏观图像确定物体的位置并将该物体分类为包括染色标本、非染色标本以及孔的至少三类。
94.针对多孔板进行的物体检测也与针对载玻片、培养皿进行的物体检测同样,例如使用利用了yolo(you only look once)、ssd(single shot detector:单步检测)等深度学习的物体检测算法。由此,例如如果是在宏观图像中拍到在6孔类型的多孔板140的孔中收容有细胞c的多孔板标本的情况,则如图12所示,检测不到细胞c,检测到六个孔(141a~
141f)的各自的范围r20。此外,多孔板的孔的位置根据孔数而不同。另外,即使为相同孔数的多孔板,也有时由于生产商不同而位置不同。因此,关于针对多孔板进行的物体检测,期望针对宏观图像整体来进行。
95.此外,在图10中示出了使用矩形来确定检测到的物体的范围的例子,但检测到的物体的范围例如可以使用圆形、其它形状来确定。另外,如图11和图12所示,可以不使用预先决定的形状而根据物体形状来以1个像素为单位确定检测到的物体的范围。
96.另外,物体检测至少针对一个标本容器进行即可。例如,在宏观图像内存在多个标本容器的情况下,可以按照预先决定的优先级只对处于优先级最高的位置的标本容器进行物体检测。在优先级最高的位置不存在标本容器的情况下,可以对处于优先级第二高的位置的标本容器进行物体检测。此外,也可以对全部的标本容器进行物体检测。
97.当物体检测结束时,显微镜系统1确定观察开始位置和映射区域(步骤s23、步骤s24),结束图7所示的宏观图像分析处理。在此,计算机10基于宏观图像来确定与标本容器的种类相应的观察开始位置和与标本容器的种类相应的映射区域。更详细地说,计算机10针对宏观图像进行与标本容器的种类相应的物体检测,基于物体检测的结果来确定观察开始位置和与标本容器的种类相应的映射区域。
98.此外,观察开始位置是以下位置:在利用者对显微镜系统1指示了观察开始后显微镜系统1自动地进行的一系列的处理结束而利用者能够手动地操作显微镜系统1时,利用者使用显微镜系统1能够首先观察的被摄体上的位置。即,是成为利用者自身能够进行操作的状态时的显微镜系统1的视场的位置或视场的中心位置。另外,映射区域是成为映射图像的对象的区域,通常是标本存在的区域或假定标本存在的区域,该映射图像是在利用者进行观察时为了掌握标本的整体像与当前的观察位置的关系而显示的图像。映射图像为通过拼接以比宏观图像获取部200的观察倍率高的观察倍率获取到的多个图像来构建成的图像。此外,为了构建映射图像而获取的多个图像例如为以观察开始时的观察倍率(第二倍率)获取到的图像,但并不限于此。为了构建映射图像而获取的多个图像只要为以比宏观图像的倍率(第一倍率)高的倍率获取到的图像即可,可以为以观察开始时的观察倍率(第二倍率)以下的倍率获取到的图像。
99.在步骤s23中,计算机10基于通过步骤s22进行的物体检测的结果来确定观察开始位置。具体地说,计算机10至少基于通过步骤s22检测到的与标本容器的种类相应的构造的检测结果来确定观察开始位置即可,更期望的是,基于通过步骤s22检测到的与标本容器的种类相应的构造的检测结果和该标本容器内的标本的检测结果来确定观察开始位置。也就是说,计算机10在能够检测到标本的情况下,使用标本的位置、大小的信息来确定标本存在的位置作为观察开始位置,在无法检测到标本的情况下,使用标本容器的构造的位置、大小的信息来估计标本存在的位置,将估计出的位置确定为观察开始位置。
100.例如,如果标本容器的种类为载玻片,则计算机10从通过步骤s22检测到的玻璃盖片内确定观察开始位置。更具体地说,如图10的(a)、图10的(b)和图10的(d)例示的那样,如果在步骤s22中检测到玻璃盖片和标本这两方,则计算机10将检测到的标本的中心确定为观察开始位置。此外,例如,如图10的(d)例示的那样,如果检测到多个标本,则将任一标本的中心确定为观察开始位置即可。另外,由于将观察开始位置确定为标本上的位置即可,因此计算机10也可以在进一步识别出标本的重心位置、标本中的病变部的基础上将这些位置
(重心位置、病变部的位置)确定为观察开始位置。另外,如图10的(c)例示的那样,如果在步骤s22中只检测到玻璃盖片,则计算机10将标本存在的可能性高的玻璃盖片的中心确定为观察开始位置。
101.例如,如果标本容器的种类为培养皿,则计算机10从培养皿内确定观察开始位置,如果在步骤s22中还检测到孔部,则从该孔部内确定观察开始位置。更具体地说,如图11的(b)和图11的(c)例示的那样,如果在步骤s22中检测到孔部,则计算机10将检测到的孔部的中心确定为观察开始位置。另外,如图11的(a)例示的那样,如果在步骤s22中未检测到孔部,则计算机10将培养皿的中心确定为观察开始位置。
102.例如,如果标本容器的种类为多孔板,则计算机10从多孔板的孔内确定观察开始位置。更具体地说,计算机10从在步骤s22中检测到的多个孔中选择一个孔,将该孔的中心确定为观察开始位置。关于孔的选择,可以根据预先决定的规则进行选择,例如选择位于多孔板的最中心的孔等,也可以基于物体检测的检测结果进行选择,例如选择被检测到标本的孔等。
103.例如,如果标本容器的种类为其它标本容器,则计算机10将通用容器支承件150的开口151的中心确定为观察开始位置。此外,由于通用容器支承件150的开口151的位置是已知的,因此在标本容器的种类为其它标本容器的情况下,也可以省略步骤s22的物体检测。但是,由于根据宏观图像的像素值的分布等也能够估计开口151,因此即使在标本容器的种类为其它标本容器孔的情况下,也可以使用物体检测的检测结果来确定观察位置。
104.在步骤s24中,计算机10基于通过步骤s22进行的物体检测的结果来确定映射区域。具体地说,计算机10至少基于通过步骤s22检测到的与标本容器的种类相应的构造的检测结果来确定映射区域即可,更期望的是,基于通过步骤s22检测到的与标本容器的种类相应的构造的检测结果和该标本容器内的标本的检测结果来确定映射区域。也就是说,计算机10在能够检测到标本的情况下,使用标本的位置、大小的信息,将标本存在的区域确定为映射区域,在无法检测到标本的情况下,使用标本容器的构造的位置、大小的信息来估计标本存在的区域,将估计出的区域确定为映射区域。
105.例如,如果标本容器的种类为载玻片,则计算机10从通过步骤s22检测到的玻璃盖片内确定映射区域。更具体地说,如图10的(a)、图10的(b)和图10的(d)例示的那样,如果在步骤s22中检测到玻璃盖片和标本这两方,则计算机10将检测到的标本的范围(范围r2、范围r4、范围r8)确定为映射区域。另外,计算机10也可以在进一步识别出标本中的病变部的基础上将病変部的范围确定为映射区域。另外,如图10的(c)例示的那样,如果在步骤s22中只检测到玻璃盖片,则计算机10将玻璃盖片的范围的全部或一部分确定为映射区域。
106.例如,如果标本容器的种类为培养皿,则计算机10从培养皿内确定映射区域,如果在步骤s22中还检测到孔部,则从该孔部内确定映射区域。更具体地说,如图11的(b)和图11的(c)例示的那样,如果在步骤s22中检测到孔部,则计算机10将检测到的孔部的整个范围(范围r11、范围r12)或自孔部的中心起的规定范围确定为映射区域。另外,如图11的(a)例示的那样,如果在步骤s22中未检测到孔部,则计算机10将自培养皿的中心起的规定范围确定为映射区域。
107.例如,如果标本容器的种类为多孔板,则计算机10从多孔板的孔内确定映射区域。更具体地说,计算机10将在步骤s23中选择出的孔的整个范围或自该孔的中心起的规定范
围确定为映射区域。
108.例如,如果标本容器的种类为其它标本容器,则计算机10从通用容器支承件150的开口151的范围内确定映射区域。更具体地说,计算机10将开口151的范围整体或其一部分确定为映射区域即可。
109.当宏观图像分析处理结束时,显微镜系统1将显微镜系统1的设定变更为适于利用者进行观察的设定(步骤s7)。图13是表示用于选择电动台101的参数的表的其它例子的图。图14是表示用于选择电动台101的参数的表的另一其它例的图。图15是例示出用于选择微观观察的观察法的表的图。在下面,参照图13至图15来说明设定变更的具体例。
110.在步骤s7中,计算机10例如可以基于物体检测的检测结果来更新电动台101的参数。如果通过物体检测得到了与标本容器的尺寸有关的信息,如图13所示,可以参照表t2至表t5来代替在步骤s3中参照的表t1,读出除了标本容器的种类以外还考虑了标本容器的尺寸的参数组,并设定给显微镜系统1。另外,如果通过物体检测得到了与标本的种类有关的信息,如图14所示,可以参照表t6代替在步骤s3中参照的表t1,读出考虑了标本的种类的参数组,并设定给显微镜系统1。
111.此外,表t2至表t5中的载玻片用的表t2中保存的参数组ps5、其它标本容器用的表t5中保存的参数组ps15分别与表t1中保存的载玻片用的参数组ps1、表t1中保存的其它标本容器用的参数组ps4相同。与此相对,在表t3和表t4中按标本容器的尺寸保存有不同的参数组(参数组ps6~参数组ps9)。具体地说,在培养皿用的表t3中保存有用于随着培养皿的直径越大则使电动台101越缓和或缓慢地运动的参数组。这是因为,相比于直径小的培养皿,直径大的培养皿的液面容易缓和且大幅度摇动,对图像质量产生的不良影响大。另外,在多孔板用的表t4中保存有用于随着孔数越少(也就是孔越大)则使电动台101越缓和或缓慢地运动的参数组(参数组ps10~参数组ps14)。这是因为,相比于孔数多的情况,孔数少的情况下的液面容易缓和且大幅度摇动,对图像质量产生的不良影响大。
112.另外,在表t6中按标本的种类保存有参数组。具体地说,保存有浮游标本用的参数组ps16、粘接标本用的参数组ps17、以及不处于液体中的标本用的参数组ps17,这些参数组所示的值按照以上这个顺序使电动台101更快或更剧烈地运动。这是因为,不处于液体中的标本不易由于电动台101的移动而摇动,因此即使电动台101高速地移动,对图像质量的影响也小。另外,相比于浮游标本,粘接标本不易由于液体的摇动产生标本的摇动,因此能够将伴随电动台101的移动产生的对图像质量的影响抑制得较小。
113.在步骤s7中,计算机10也可以例如基于物体检测的检测结果来变更显微镜100的观察法的设定,根据计算机10的指示,显微镜控制器20将与观察法相应的物镜和聚光透镜配置于光路上。如果通过物体检测检测到标本的染色状态,则计算机10参照图15所示的表t7,将微观图像获取部300的观察法的设定变更为与染色状态的检测结果相应的观察法。
114.在表t7中按标本的染色状态保存有表示期望的观察法的参数组。具体地说,保存有染色标本用的参数组ps21、非染色标本用的参数组ps22、未检测到标本时用的参数组ps23。此外,参数组ps21表示明视场观察。这是因为,如果为染色标本,则能够通过明视场观察进行观察。另外,参数组ps22表示相位差观察。这是因为,如果为非染色标本,则认为相比于明视场观察,通过相位差观察能够进行更良好的观察。另外,参数组ps23表示相位差观察。这是因为,在未检测到标本的情况下通过明视场观察难以进行良好的观察,期望通过相
位差观察进行观察。
115.当步骤s7的设定变更结束时,显微镜系统1更新宏观图像显示(步骤s8)。在此,计算机10在显示装置14中显示包括宏观图像、表示观察开始位置的显示(十字线cl)以及表示映射区域的范围的显示(边界框bb)的图16所示的画面400a。
116.图16是在步骤s8中显示于显示装置14的画面的一例。图16所示的画面400a在包括微观图像区域410、映射图像区域420、宏观图像区域430以及操作区域440这一点与图6所示的画面400相同。画面400a与画面400的不同点在于,在宏观图像区域430中显示宏观图像m2代替显示宏观图像m1这一点,以及在宏观图像m2上重叠有表示观察开始位置的显示(十字线cl)和表示映射区域的范围的显示(边界框bb)这一点。
117.此外,宏观图像m2是对宏观图像m1实施了标签处理后的图像,如图16所示,能够目视确认标签167、标签168、标签169所记载的信息这一点与宏观图像m1不同。另外,在画面400a中,例示出十字线cl作为表示观察开始位置的显示,但不特别限定观察开始位置的显示方法。观察开始位置可以通过其它方法显示。另外,在画面400a中,例示出边界框bb作为表示映射区域的范围的显示,但不特别限定映射区域的显示方法。映射区域可以通过其它方法显示。
118.之后,显微镜系统1使配置于容器支承件保持部110的标本容器向微摄影位置移动(步骤s9)。在此,通过计算机10控制显微镜控制器20,由此显微镜控制器20以使容器支承件保持部110位于微观图像获取部300的光轴上的方式使电动台101运动。更详细地说,计算机10以使通过步骤s23确定出的观察开始位置被包括在微观图像获取部300的第二倍率下的视场范围中的方式控制微观图像获取部300相对于标本的相对位置,期望的是,以使通过步骤s23确定出的观察开始位置位于视场范围的中心的方式来控制相对位置。此外,在此时,显微镜控制器20不论标本容器的种类如何均按照步骤s7的设定来控制电动台101的移动。
119.当向微摄影位置移动时,显微镜系统1进行调焦(步骤s10)。调焦的方法不特别限定,可以使换镜旋座306移动至按标本容器预先决定的位置来进行调焦,也可以使用公知的自动调焦技术来进行调焦。此外,在标本容器为多孔板的情况下,至孔的底面为止的高度由于生产商、个体差异而容易出现偏差。因此,相比于使换镜旋座306移动至预先决定的位置,期望使用自动调焦技术。
120.当微摄影位置处的调焦结束时,显微镜系统1开始微观图像的实时显示(步骤s11)。在此,计算机10经由显微镜控制器20控制摄像装置307,使微观图像获取部300以规定的帧频获取微观图像。而且,在显示装置14中显示包括获取到的微观图像m3的图17所示的画面400b。
121.图17是在步骤s11中显示于显示装置14的画面的一例。图17所示的画面400b在包括微观图像区域410、映射图像区域420、宏观图像区域430以及操作区域440这一点与图16所示的画面400a相同。画面400b与画面400a的不同点在于,在微观图像区域410中显示微观图像m3。
122.当开始实时显示时,利用者能够操作显微镜系统1,显微镜系统1暂时成为等待利用者的输入的状态。即,当利用者向显微镜系统1指示观察开始时,通过显微镜系统1进行步骤s1至步骤s11为止的一系列的处理来在显示装置14中显示包括宏观图像和微观图像的画面。由此,利用者不用进行麻烦的作业就能够从与标本容器相应的观察位置起开始标本的
观察。
123.利用者一边观看画面400b,一边判断边界框bb所示的映射区域是否恰当,根据需要来调整映射区域。另外,利用者也可以调整用于映射图像摄影的其它条件。显微镜系统1判定利用者是否指示了映射图像摄影条件的设定变更(步骤s12),在指示了设定变更的情况下,根据该指示来变更设定(步骤s13)。此外,在此,变更的映射图像摄影条件除了映射区域以外,例如还包括观察倍率、观察法、在摄影中使用的物镜、照明光量、曝光时间、曝光模式、增益、分辨率等微观图像获取部300的各种设定。
124.映射区域的调整可以通过利用者指定任意的范围作为映射区域来进行,也可以通过利用者从显微镜系统1确定出的多个不同的映射区域候选中选择一个映射区域候选作为映射区域来进行。具体地说,如图10的(d)所示,如果通过物体检测检测到多个组织mt,则将与多个组织mt对应的多个区域的各区域设为映射区域候选,可以从这些多个映射区域候选中选择一个区域作为映射区域。另外,也可以从多个映射区域候选中选择与两个以上的组织对应的两个以上的区域作为一个映射区域。在该情况下,期望选择通过将分离的两个以上的区域相连而新制作的一个区域作为映射区域。
125.当利用者指示映射图像摄影时,显微镜系统1开始映射图像摄影(步骤s14)。在此,计算机10控制显微镜控制器20,使微观图像获取部300的视场依次向映射区域的各位置运动,使微观图像获取部300在各位置获取微观图像,由此无间隙地拍摄映射区域。计算机10还通过拼接微观图像获取部300获取到的多个微观图像来构建映射图像。
126.此外,在步骤s14中,计算机10以使获取的多个微观图像彼此以固定量以上重叠的方式来决定微观图像获取部300获取微观图像的位置。通过像这样决定摄影位置,计算机10能够良好地校正在拼接微观图像时可能产生的位置偏离。在良好地校正了位置偏离的拼接位置的决定中,可以使用公知的模板匹配法等,另外,可以使用以与距图像的中心的距离相应的权重来合成图像的所谓的羽化来进行图像间的拼接。
127.另外,在步骤s14中,计算机10可以从图18至图20所示的多个方法之中选择决定摄影位置间的移动的顺序的方法(即扫描映射区域的方法)。计算机10例如可以通过图18所示的龙卷风模式使微观图像获取部300的视场fv运动。在龙卷风模式中,可以使视场fv一边从映射区域的中心起顺时针或逆时针地旋转一边从内侧向外侧移动。另外,计算机10例如可以通过如图19所示的弯曲模式使视场fv运动。在弯曲模式中,视场fv沿副扫描方向从映射区域内的一端移动至另一端、之后视场fv沿主扫描方向位移这样的运动以每当重复该运动时向副扫描方向移动的方向就切换为相反方向的方式重复。另外,计算机10例如可以通过如图20所示的那样的通常的光栅扫描模式使视场fv运动。此外,无论在哪个模式下动作,利用者均能够在任意的定时结束映射图像摄影。计算机10在映射图像摄影在中途结束了的情况下,可以拼接摄影完毕的图像来构建映射图像。另外,在映射图像摄影结束后,计算机10以使通过步骤s23确定出的观察开始位置被包括在微观图像获取部300的视场范围中的方式来控制微观图像获取部300相对于标本的相对位置为宜。由此,能够使当前的观察位置返回映射图像摄影开始前的观察位置。
128.当映射图像摄影结束时,显微镜系统1显示映射图像(步骤s15),结束图4所示的观察准备处理。在此,计算机10在显示装置14中显示包括通过步骤s14构建出的映射图像m4的图21所示的画面400c。
129.图21是在步骤s15中显示于显示装置14的画面的一例。图21所示的画面400c在包括微观图像区域410、映射图像区域420、宏观图像区域430以及操作区域440这一点与图17所示的画面400b相同。画面400c与画面400b的不同点在于,在映射图像区域420中显示映射图像m4。此外,期望映射图像m4包括表示当前的观察位置的显示cp。由此,利用者能够容易地掌握正在观察标本整体的哪个部分。
130.图22是在步骤s8中显示于显示装置14的画面的其它例。在图16中示出了在通过步骤s8更新的宏观图像m2上重叠地显示表示观察开始位置的显示(十字线cl)和表示映射区域的范围的显示(边界框bb)的例子,但利用者进行的映射区域的调整作业可以不在宏观图像区域430上而在映射图像区域420上进行。例如,在步骤s8中,除了进行宏观图像m2的更新以外,还从宏观图像m2中提取包括映射区域的标本容器的图像(之后记载为宏观图像m5。),进行如图22所示在映射图像区域420中显示提取出的宏观图像m5的处理。在该情况下,可以在所显示的宏观图像m5上重叠地显示表示映射区域的范围的显示(边界框bb)。利用者可以通过确认重叠有边界框bb的宏观图像m5来判断映射区域是否适当,也可以根据需要通过手动来调整映射区域。像这样,通过在拍摄映射图像之前的映射图像区域420中一同显示宏观图像m2的一部分和边界框,能够进一步放大地显示映射区域,因此能够有效地利用400d画面内的区域来进行映射区域是否适当的确认、映射区域的调整作业。
131.此外,在映射图像区域420中显示一个标本容器的图像即可。在宏观图像区域430中包括多个标本容器的图像的情况下,可以在映射图像区域420中显示利用者选择出的任意的标本容器的图像,利用者可以从显示的标本容器的图像中指定映射区域。
132.图23是在步骤s15中显示于显示装置14的画面的其它例。在图21中示出了根据映射图像区域420的尺寸来放大或缩小地显示与映射区域对应的映射图像m4的例子,但映射图像区域420中显示的映射图像可以包括映射区域外的图像。例如,在如图22所示在拍摄映射图像之前在映射图像区域420中显示有宏观图像m5的情况下,可以在拍摄映射图像后,通过拍摄到的映射图像更新宏观图像m5中的映射区域,由此在映射图像区域420中显示映射图像m6。在该情况下,映射图像m6由映射区域的映射图像和映射区域外的宏观图像构成。
133.如以上那样,在图4所示的观察准备处理中,通过利用标本容器的种类等的信息来确定适于标本的观察的位置,使视场移动至确定出的位置。因此,能够节省在以往的显微镜系统中利用者手动地进行的标本搜索,利用者不用进行繁杂的作业就能够开始利用显微镜系统1进行标本的观察。另外,在图4所示的观察准备处理中,通过利用标本容器的种类等的信息来确定标本存在的范围,将确定出的范围作为应该获取映射图像的范围即映射区域提议给利用者。因此,利用者在大多情况下仅确认映射区域被恰当地进行了设定就能够使显微镜系统1构建映射图像,能够节省探索并且设定映射区域的工夫。另外,通过简单的操作构建映射图像并将其显示于画面中,因此利用者能够容易且在短时间内开始标本的正式观察。
134.上述的实施方式示出了用于使发明的理解容易的具体例,本发明的实施方式并不限定于这些。显微镜系统、控制方法、计算机可读介质能够在不脱离权利要求书的范围中进行各种变形、变更。
135.在图1中例示了具备宏观图像获取部200和微观图像获取部300的显微镜系统1,但显微镜系统具备至少以第一倍率和比第一倍率高的第二倍率获取图像的图像获取部即可。
因此,无需一定独立地具备宏观图像获取部和微观图像获取部,例如,也可以如图24所示的显微镜系统2那样,具备通过切换物镜进行拍摄来获取宏观图像和微观图像的显微镜500。此外,显微镜系统2具备光源501、聚光透镜502、多个物镜(物镜504~物镜506)、换镜旋座507、摄像装置508等,能够通过多个观察法获取图像。通过显微镜系统2也能够进行与显微镜系统1相同的观察准备处理,由此利用者不用进行繁杂的作业就能够开始标本的观察。另外,显微镜系统中包括的显微镜可以为扫描型显微镜。
136.另外,在图4中示出了在利用者指示观察开始后在步骤s2中获取识别标本容器的种类的识别信息并基于该识别信息来确定标本容器的种类的例子,但获取识别信息来确定标本容器的种类的处理也可以在利用者指示观察开始之前进行。
137.另外,在图4中示出了通过在步骤s2中由设置于显微镜系统1的检测部检测设置于容器支承件或标本容器的识别构造来获取识别信息的例子,但识别信息也可以通过利用者操作输入装置来获取。计算机10例如可以获取通过利用者使用输入装置输入标本容器的种类而输入的信息来作为识别信息。另外,示出了在步骤s2中检测部为霍尔元件等传感器的例子,但检测部也可以为图像获取部。例如,识别信息可以为图像获取部获取到的宏观图像,计算机10可以基于宏观图像来识别标本容器的种类。
138.另外,在图4中示出了在向宏观摄影位置移动后确定标本容器的种类的例子,但确定标本容器的种类的处理至少在宏观图像分析处理之前进行即可。因而,例如可以在向宏观摄影位置移动之前确定标本容器的种类。
139.另外,在图7中示出了只在标本容器的种类为载玻片的情况下进行标签处理的例子,但也可以对载玻片以外的标本容器进行标签处理。例如,可以将被贴附于多孔板的孔以外的区域的标签作为对象进行标签处理。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献