细胞图像解析方法和细胞图像解析装置与流程

1.本发明涉及一种细胞图像解析方法和细胞图像解析装置。


背景技术：

2.以往，已知一种对ips细胞(induced pluripotent stemcells：诱导多功能干细胞)等具有多能性的细胞进行培养的技术。
3.在细胞培养时进行传代，该传代是指从培养容器内提取培养中的细胞并转移至其它培养容器来设为下一代的细胞株。该细胞的提取被称为选取(picking)。在培养容器中存在已经开始分化的细胞(丧失了多能性的细胞)等不适于传代的细胞，因此在传代时由作业人员(用户)筛选适于传代的细胞。
4.具体地说，作业人员(用户)通过用显微镜一个一个地确认培养容器内的细胞菌落，来从培养容器内搜索适于传代的细胞。接着，作业人员(用户)在存在适于传代的细胞的位置处进行标记，利用吸移管等抽吸进行了标记的位置的细胞菌落。另外，在培养初期等还进行从培养容器内提取并去除已经开始分化的细胞(丧失了多能性的细胞)、死细胞等的作业。与传代同样地，也通过使用显微镜搜索去除对象以及选取所发现的去除对象来进行这样的去除作业。
5.这样的细胞的搜索作业、选取作业精细且用户的负担大，因此提出了一种使作业的一部分自动化的装置(例如，参照非专利文献1)。在非专利文献1中公开了以下一种装置：拍摄培养容器内的细胞的显微镜图像，在用户从图像中决定了选取对象之后，通过操作控制器来利用吸移管自动地进行细胞的选取作业。
6.现有技术文献
7.非专利文献1：“細胞培養支援装置cell picker”，[online]，[令和1年6月19日検索]，
インターネット
《url：https://www.an.shimadzu.co.jp/bio/cell/cellpicker/index.htm》(细胞培养辅助装置，[线上]，[令和1年6月19日检索]，因特网，《url：https://www.an.shimadzu.co.jp/bio/cell/cellpicker/index.htm》)


技术实现要素：

[0008]
发明要解决的问题
[0009]
根据上述非专利文献1所公开的装置，也需要用户自己进行细胞的搜索作业，因此期望减轻用户的进行细胞的搜索作业的作业负担。
[0010]
然而，成为选取的对象的细胞也根据用户要实施的细胞培养的目的、要培养的细胞的种类等而不同。因此，用户需要主动地从根据显微镜图像观察到的多个细胞区域中判断哪个细胞区域符合选取对象。其结果是，以往，难以减轻在培养具有多能性的细胞时伴随选取对象的搜索作业所引起的用户的负担。
[0011]
本发明是为了解决如上所述的课题而完成的，本发明的一个目的在于提供一种能够有效地减轻伴随细胞培养中的成为选取对象的细胞的搜索作业所引起的用户的负担的
细胞图像解析方法和细胞图像解析装置。
[0012]
用于解决问题的方案
[0013]
为了实现上述目的，本发明的第一方面的细胞图像解析方法包括以下步骤：获取对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的第一图像；实施用于确定第一图像中的细胞菌落中的已经开始分化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将第一图像变换为标签图像；从标签图像获取细胞菌落的形状特征量；使用计算机从用户接受与作为搜索对象的菌落区域有关的输入；基于用户的输入来设定形状特征量的判定基准；以及基于形状特征量和判定基准，针对每个细胞菌落判定是否包含成为搜索对象的候选的菌落区域。
[0014]
本发明的第二方面的细胞图像解析装置具备：存储部，其被输入对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的显微镜图像；分割处理部，其实施用于确定显微镜图像中的细胞菌落中的、已经开始分化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将显微镜图像变换为标签图像；输入部，其接受与作为搜索对象的菌落区域有关的输入；以及判定处理部，其针对显微镜图像中包含的每个细胞菌落判定是否包含成为搜索对象的候选的菌落区域，其中，判定处理部构成为：从标签图像获取细胞菌落的形状特征量，根据形状特征量和基于用户的输入而设定的形状特征量的判定基准，来进行菌落区域的判定。
[0015]
本发明的第三方面的细胞图像解析方法包括以下步骤：制作进行机器学习所得到的判定用的学习完毕模型；获取对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的第一图像；实施用于确定第一图像中的细胞菌落中的已经开始分化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将第一图像变换为标签图像；以及通过将第一图像的标签图像输入到学习完毕模型，来针对每个细胞菌落判定是否包含成为搜索对象的候选的菌落区域，其中，制作学习完毕模型的步骤包括以下步骤：接受预先获取到的第二图像中的细胞菌落中是否包含期望的菌落区域的选择信息的输入；以及通过将对第二图像进行分割所得到的标签图像设为输入数据、并将选择信息设为教师数据的机器学习，来制作学习完毕模型。
[0016]
发明的效果
[0017]
根据本发明的第一方面～第三方面，如上所述，通过分割处理，能够从图像中确定已开始分化的细胞的菌落区域和未分化细胞的菌落区域中的根据培养目的等能够成为选取的对象的菌落区域。而且，在第一方面和第二方面中，能够根据形状特征量和基于用户的输入而设定的形状特征量的判定基准，针对图像中的每个细胞菌落得到是否包含成为搜索对象的候选的菌落区域的判定结果。另外，在第三方面中，通过使用是否包含期望的菌落区域的选择信息进行机器学习所得到的学习完毕模型，能够针对图像中的每个细胞菌落得到是否包含成为搜索对象的候选的菌落区域的判定结果。其结果是，根据本发明的第一方面～第三方面，能够判别包含被用户判断为选取对象的可能性高的菌落区域的细胞菌落并向用户示出，因此用户无需一个一个地观察多个细胞区域来进行判断。由此，能够有效地减轻伴随细胞培养中的成为选取对象的细胞的搜索作业所引起的用户的负担。
附图说明
[0018]
图1是示出一个实施方式的细胞图像解析方法的概要的图。
[0019]
图2是用于说明细胞图像解析方法的流程图。
[0020]
图3是示出一个实施方式的细胞图像解析装置的概要的框图。
[0021]
图4是用于说明第一学习完毕模型的图。
[0022]
图5是用于说明第一学习完毕模型的制作处理的流程图。
[0023]
图6是用于说明选择信息的输入方法的图。
[0024]
图7是示出形状特征量的例子的图。
[0025]
图8是用于说明形状特征量的标签图像的示意图。
[0026]
图9是用于说明第二学习完毕模型的图。
[0027]
图10是示出机器学习中的输入图像、教师标签图像以及分割结果的标签图像的例子的图。
[0028]
图11是用于说明具备细胞图像解析装置的选取系统的例子的图。
[0029]
图12是用于说明选取系统的立体图。
[0030]
图13是用于说明细胞图像解析处理和选取处理的流程图。
[0031]
图14是示出选取对象的判断基准的例子的图。
[0032]
图15是用于说明变形例的判定用的学习完毕模型的图。
[0033]
图16是用于说明变形例的细胞图像解析方法的流程图。
[0034]
图17是示出在服务器侧进行分割处理和判定处理的变形例的示意图。
[0035]
图18是示出在服务器侧进行分割处理的变形例的示意图。
具体实施方式
[0036]
下面，基于附图来说明将本发明具体化的实施方式。
[0037]
参照图1～图14对本实施方式的细胞图像解析方法和细胞图像解析装置100进行说明。
[0038]
(细胞图像解析方法)
[0039]
图1所示的细胞图像解析方法是以下方法：在细胞培养中的细胞的选取作业中，获取拍摄细胞菌落10所得到的显微镜图像，判定显微镜图像中拍进的细胞菌落10是否包含成为搜索对象的候选的菌落区域。
[0040]
细胞菌落10是源自单一细胞的细胞团(多个细胞的集合)。菌落区域是细胞菌落中由特定的细胞构成的区域。
[0041]
所谓细胞的选取，是指从细胞的培养容器90中提取成为选取对象的细胞或细胞团。例如通过使用吸移管等器具抽吸选取对象来进行细胞的选取。
[0042]
本实施方式中的成为选取对象的细胞是具有分化能力的细胞。具有分化能力的细胞例如是ips细胞、es细胞(胚胎干细胞)等。这些细胞具有分化为构成各种组织、脏器的细胞的分化多能性(分化能力)。在这样的细胞的培养中，产生维持了多能性的细胞即“未分化细胞”和脱离未分化状态且已经开始分化的细胞即“未分化脱离细胞”。因此，在细胞菌落中形成未分化细胞的菌落区域、未分化脱离细胞的菌落区域。关于细胞菌落，既存在仅由未分化细胞的菌落区域和未分化脱离细胞的菌落区域中的某一方构成的情况，也存在包括未分
化细胞的菌落区域和未分化脱离细胞的菌落区域的情况。
[0043]
为了使维持了多能性的未分化细胞增殖，进行被称为传代的作业、选取未分化脱离细胞并将其从培养容器90中去除的作业，所述传代是选取未分化细胞并转移至其它培养容器来作为下一代的细胞株进行培养的作业。
[0044]
关于例如用于传代的细胞，并不是说只要是未分化细胞就可以是任何细胞。在进行选取时，由进行培养作业的用户搜索与用户的目的相应的未分化细胞的菌落区域，并筛选为选取的对象。
[0045]
在本实施方式的细胞图像解析方法中，在培养这种具有分化能力的细胞时，将未分化细胞的菌落区域11和未分化脱离细胞的菌落区域12进行区分。而且，在细胞图像解析方法中，根据进行培养作业的用户的目的来判别包含为了选取而成为搜索对象的候选的菌落区域的细胞菌落10，由此对成为选取对象的细胞菌落10的搜索作业进行辅助。未分化脱离细胞的菌落区域12是权利要求书的“已经开始分化的细胞的菌落区域”的一例。
[0046]
如图1和图2所示，本实施方式的细胞图像解析方法至少包括下述的步骤71～76。
[0047]
(步骤71)获取对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的第一图像21。
[0048]
(步骤72)实施用于确定第一图像21中的细胞菌落10中的已经开始分化的细胞(未分化脱离细胞)的菌落区域12和未分化细胞的菌落区域11的分割处理，来将第一图像21变换为标签图像21a。
[0049]
(步骤73)从标签图像21a获取细胞菌落10的形状特征量25。
[0050]
(步骤74)使用计算机从用户接受与作为搜索对象的菌落区域有关的输入。
[0051]
(步骤75)基于用户的输入来设定形状特征量25的判定基准30。
[0052]
(步骤76)基于形状特征量25和判定基准30，针对每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域。
[0053]
在步骤71中，第一图像21能够是对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的显微镜图像。显微镜图像例如是由透过观察型显微镜、相位差显微镜等光学显微镜获取的图像。第一图像21能够是全息显微镜图像。第一图像21只要是能够以能够观察细胞菌落10的形状的倍率无损地拍摄到的图像即可，没有特别地限定。
[0054]
第一图像21是拍摄至少一个细胞菌落10所得到的图像。例如如图1所示，通过利用摄像装置200拍摄培养容器90中的细胞菌落10来获取第一图像21。培养容器90是所谓的培养皿等透明的平皿状的培养皿、形成有多个孔的微孔板(孔板)等。
[0055]
在图2的步骤72中，对获取到的第一图像21实施分割处理。在本说明书中，“分割处理”是将图像分割为多个区域的处理，是通过对拍进检测对象的区域赋予表示该检测对象的标签来将输入图像划分为多个标签区域的处理。标签区域是由图像中被赋予了共同的标签的像素群构成的区域(图像的一部分)。通过使用了计算机的图像处理来实现分割处理。
[0056]
标签是表示构成标签区域的图像部分所表示的含义的信息。通过针对图像中的每个像素赋予标签来进行分割。也可以是，以多个像素的集合(像素群)为单位来赋予标签。将标签的种类称为类别。
[0057]
如图1所示，通过针对第一图像21的分割处理，来生成将第一图像21分割为多个标签区域所得到的标签图像21a。
[0058]
步骤72中的分割处理是将第一图像21至少区域分割为已开始分化的细胞(未分化脱离细胞)的菌落区域12的标签区域和未分化细胞的菌落区域11的标签区域的处理。也就是说，进行至少两个类别的分类。由此，所生成的标签图像21a包含未分化脱离细胞的菌落区域12和未分化细胞的菌落区域11这至少两个标签区域。标签图像21a例如包含未分化脱离细胞的菌落区域12、未分化细胞的菌落区域11以及菌落区域以外的背景区域13这三个(三个类别的)标签区域。
[0059]
在标签图像21a中，同一标签区域内的各像素用同一像素值或同一颜色来表现。不同的标签区域用不同的像素值或不同的颜色来表现。图1的例子中的标签图像21a是根据与三个类别的标签(未分化脱离细胞的菌落区域、未分化细胞的菌落区域、背景区域)对应的三个像素值中的某一个像素值对第一图像21中的各像素进行区分所得到的三值化图像。由此，在第一图像21中出现的菌落区域的图案、明暗的渐变等与细胞菌落的形状无关的图像信息被去除，能够准确地仅提取各标签区域的形状。
[0060]
在步骤73中，从标签图像21a获取细胞菌落10的形状特征量25。形状特征量25是通过数值来表现了标签图像21a中包含的细胞菌落10的形状的信息。形状特征量25能够是表示示出细胞菌落10的标签区域的大小、轮廓形状、宽度、长度等的量(数值)。细胞菌落10的形状特征量25既可以是与细胞菌落10的整体区域有关的形状特征量，也可以是与作为细胞菌落10的一部分的未分化细胞的菌落区域11或未分化脱离细胞的菌落区域12有关的形状特征量。形状特征量25的具体内容在后文中叙述。
[0061]
在步骤74中，经由计算机所具备的输入设备来接受与作为搜索对象的菌落区域有关的输入。然后，在步骤75中，由计算机基于所输入的信息来设定形状特征量25的判定基准30。
[0062]
与作为搜索对象的菌落区域有关的信息是用于设定形状特征量25的判定基准30的信息。与作为搜索对象的菌落区域有关的信息也可以是判定基准30本身。与作为搜索对象的菌落区域有关的信息也可以是表示用户将怎样的菌落区域判定为搜索对象这种用户的倾向的信息。更简单地说，与作为搜索对象的菌落区域有关的信息能够是表示用户期望什么样的菌落区域这种用户关于细胞菌落10的喜好的信息。因此，基于与作为搜索对象的菌落区域有关的输入，来设定符合用户自身的判断基准的形状特征量25的判定基准30。
[0063]
基于用户的输入设定的形状特征量25的判定基准30例如能够是形状特征量25的阈值。在使用多个形状特征量25进行判定的情况下，判定基准30能够包含针对用于判定的各个形状特征量25的权重。用户例如根据想要设为选取对象的细胞菌落10的特征来输入并设定形状特征量25的阈值或权重。也可以预先准备作为样本的显微镜图像，由用户自身针对显微镜图像中拍进的各个细胞菌落10选择并输入(指点)是否包含成为搜索对象的候选的菌落区域，由此设定判定基准30。
[0064]
在步骤76中，针对图像中拍进的每个细胞菌落10判定第一图像21(标签图像21a)中的各个细胞菌落10是否包含成为搜索对象的候选的菌落区域。通过使用了计算机的图像处理来实现判定处理。
[0065]
根据针对成为搜索对象的细胞菌落10获取到的形状特征量25是否与形状特征量25的判定基准30一致，来实施是否包含成为搜索对象的候选的菌落区域的判定处理。
[0066]
步骤76的结果是，针对第一图像21(标签图像21a)中的各个细胞菌落10生成是否
包含成为搜索对象的候选的菌落区域的判定结果35。判定结果35能够是“包含成为搜索对象的候选的菌落区域(正例)”、“不包含成为搜索对象的候选的菌落区域(负例)”的二值信息。如后述那样，判定结果35能够是表示“包含成为搜索对象的候选的菌落区域”的可能性的高低程度的信息。
[0067]
在步骤77中，输出确定结果35。能够由用户自身基于判定结果35或者自动地判断是否将第一图像21(标签图像21a)中的各个细胞菌落10设为选取对象。例如，用户考虑各个细胞菌落10的判定结果35，从被判定为正例的细胞菌落10中选择符合目的的细胞菌落10来作为选取对象。另外，例如通过阈值处理等自动处理，从被判定为正例的细胞菌落10中选择某一个细胞菌落10来作为选取对象。因此，用户在选取作业中无需进行详细地确认培养容器90中的一个一个的细胞菌落10的形态等探索作业，就能够决定选取对象。
[0068]
(细胞图像解析装置)
[0069]
参照图3对本实施方式的细胞图像解析装置100的概要进行说明。细胞图像解析装置100是执行图1和图2示出的细胞图像解析方法的装置。
[0070]
图3所示的细胞图像解析装置100具备存储部110、分割处理部121、判定处理部122以及输入部140。细胞图像解析装置100能够通过信号的输入输出、数据通信或经由记录介质的数据转移来从细胞摄像装置200获取显微镜图像。
[0071]
向存储部110输入对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的显微镜图像。显微镜图像是图1示出的第一图像21。细胞图像解析装置100构成为将从细胞摄像装置200获取到的第一图像21的图像数据存储到存储部110中。由此，实施图2的步骤71。
[0072]
分割处理部121实施用于确定显微镜图像(第一图像21)中的细胞菌落10中的已经开始分化的细胞的菌落区域12和未分化细胞的菌落区域11的分割处理。即，分割处理部121实施图2的步骤72。分割处理部121通过针对第一图像21的分割处理，来将第一图像21变换为标签图像21a(参照图1)。
[0073]
判定处理部122针对显微镜图像中包含的每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域。
[0074]
判定处理部122构成为：从标签图像21a获取细胞菌落10的形状特征量25(参照图1)，基于形状特征量25和形状特征量25的判定基准30来进行菌落区域的判定。即，判定处理部122执行图2的步骤73和步骤76。在判定处理(步骤76)之前的步骤74和步骤75中，基于用户使用输入部140进行的输入，针对细胞图像解析装置100设定形状特征量25的判定基准30并存储于存储部110。
[0075]
判定处理部122在图2的步骤77中输出判定结果35。能够由用户基于判定结果35或自动地判断是否将第一图像21(标签图像21a)中的各个细胞菌落10设为选取对象。
[0076]
在图3示出的例子中，细胞图像解析装置100由个人计算机(pc)构成，该个人计算机(pc)具备cpu(central processing unit：中央处理单元)、gpu(graphics processing unit：图形处理单元)、fpga(field-programmable gatearray：现场可编程门阵列)等进行运算处理的处理器120、用于存储数据的存储部110以及输入部140。
[0077]
在图3的例子中，处理器120通过执行存储部110中存储的程序111，来作为分割处理部121和判定处理部122发挥功能。即，在图3的例子中，分割处理部121和判定处理部122被实现为处理器120的功能块。分割处理部121和判定处理部122也可以构成为独立的硬件。
[0078]
独立的硬件包括以下结构：分割处理部121和判定处理部122由不同的处理器构成。独立的硬件包括以下结构：细胞图像解析装置100包括多台计算机(pc)，分别设置进行分割处理的计算机(pc)和进行判定处理的计算机(pc)。
[0079]
存储部110能够由易失性和/或非易失性的存储装置构成。例如，存储部110包括硬盘驱动器或固态驱动器。在存储部110中存储有细胞图像解析装置100的程序111。存储部110存储所获取到的显微镜图像(第一图像21)等各种数据。
[0080]
输入部140是接受来自用户的操作输入的装置。输入部140例如包括鼠标、键盘等输入设备。由此，输入部140构成为接受与作为搜索对象的菌落区域有关的输入。另外，细胞图像解析装置100与进行图像显示的显示部130连接。显示部130包括液晶式、有机/无机el式等的监视器。输入部140也可以是与显示部130一体化的触摸面板。
[0081]
细胞图像解析装置100构成为能够通过经由输入部140接受用户的操作输入来设定判定基准30。细胞图像解析装置100能够使显微镜图像(第一图像21)、标签图像21a、判定结果35等显示于显示部130。细胞图像解析装置100例如接受针对显示于显示部130的标签图像21a进行的选择操作的输入。由此，细胞图像解析装置100能够由用户确定选取对象(包含成为搜索对象的候选的菌落区域的细胞菌落10)。
[0082]
(判定基准的设定)
[0083]
接着，对判定基准30的设定方法的一例进行说明。通过从用户接受操作输入，能够根据所输入的信息自动地设定判定基准30。
[0084]
例如，接受与作为搜索对象的菌落区域有关的输入的步骤74包括以下步骤：从用户接受预先获取到的第二图像22中的细胞菌落10中是否包含期望的菌落区域的选择信息40的输入。然后，在设定判定基准30的步骤75中，基于接受到的选择信息40来设定判定基准30。
[0085]
第二图像22是作为用于设定判定基准30的样本而预先获取到的显微镜图像。与第一图像21(参照图1)同样地，第二图像22是对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的图像。
[0086]
选择信息40是用户针对第二图像22中的细胞菌落10是正例(包含期望的菌落区域)还是负例(不包含期望的菌落区域)进行了选择的信息。也就是说，选择信息40是与第二图像22中的一个细胞菌落10一对一地建立关联且表示所关联的细胞菌落10是正例还是负例的信息。选择信息40为表示是正例(例如“1”)和负例(例如“0”)中的某一方的二值信息。
[0087]
通过经由输入部140接受用户针对例如显示于显示部130的图像进行的选择来获取选择信息40。在本实施方式中，接受选择信息40的输入的步骤包括以下步骤：使用户能够在第二图像22或第二图像22的标签图像22a中指定菌落区域，或者使用户能够在第二图像22或第二图像22的标签图像22a中选取菌落区域。由此，通过用户实际地指定菌落区域或者通过用户实际地选取菌落区域，能够输入选择信息40。
[0088]
图6示出针对第二图像22的标签图像22a进行的操作输入的例子。在图6中，并排地图示出标签图像22a和说明用的示意图。用户在第二图像22或第二图像22的标签图像22a中经由输入部140(参照图3)进行选择作为正例的细胞菌落10的操作输入41。或者，用户在显示有第二图像22或第二图像22的标签图像22a的状态下实际地选取作为正例的细胞菌落10。选取的结果是，通过从图像中去除细胞菌落10，能够获取被去除的细胞菌落10是正例的
选择信息40。未被进行输入的细胞菌落10被赋予表示是负例的选择信息40。也可以对由用户判断为负例的细胞菌落10进行表示是负例的操作输入。
[0089]
基于用户针对适当数量的细胞菌落10进行的的操作输入来生成选择信息40。根据所生成的多个选择信息40，能够掌握将怎样的细胞菌落10判定为正例这样的用户的倾向(即，喜好信息)。其结果是，基于所接收到的选择信息40来设定判定基准30。
[0090]
《第一学习完毕模型》
[0091]
在本实施方式中，能够通过使用了选择信息40的机器学习来获得判定基准30。即，如图4所示，设定判定基准30的步骤75包括以下步骤：通过将从第二图像22的标签图像22a获取到的形状特征量25设为输入数据、并将选择信息40设为教师数据的机器学习，来制作获得了针对形状特征量25的判定基准30的第一学习完毕模型50。而且，判定是否包含成为搜索对象的候选的菌落区域的步骤76(参照图2)包括以下步骤：将从第一图像21的标签图像21a获取到的形状特征量25输入到第一学习完毕模型50来生成判定结果35。
[0092]
与图1示出的第一图像21的标签图像21a同样地，通过针对第二图像22的分割处理来获取第二图像22的标签图像22a。第二图像22的标签图像22a与第一图像21的标签图像21a同样地被分割为多个区域。也就是说，第二图像22的标签图像22a(参照图6)至少包含未分化脱离细胞的菌落区域12和未分化细胞的菌落区域11。
[0093]
根据第二图像22的标签图像22a，针对每个细胞菌落10计算形状特征量25。针对第二图像22中拍进的各个细胞菌落10获取该细胞菌落10的形状特征量25和关于该细胞菌落10的选择信息40。通过将形状特征量25设为输入数据、并将选择信息40设为教师数据的机器学习，来学习以下内容：在被提供了所关注的细胞菌落10的形状特征量25时，判定该细胞菌落10是否为正例(包含成为搜索对象的候选的菌落区域)。即，通过机器学习来生成获得了形状特征量25的判定基准30的第一学习完毕模型50。
[0094]
第一学习完毕模型50(判定处理用的学习模型)例如是svm(支持向量机)。优选的是，第一学习完毕模型50是非线性svm。第一学习完毕模型50将与第一图像21的标签图像21a中拍进的未知的细胞菌落10有关的形状特征量25设为输入，来生成该细胞菌落10是否符合正例的判定结果35。第一学习完毕模型50例如构成为：在0(％)～100(％)的范围内生成所关注的细胞菌落10符合正例的可能性的高低程度即置信度，来作为判定结果35。
[0095]
在图5中示出第一学习完毕模型50的制作处理。例如能够由图3示出的细胞图像解析装置100来实施第一学习完毕模型50的制作。
[0096]
在步骤81中，从细胞摄像装置200获取第二图像22并输入到存储部110。
[0097]
在步骤82中，通过分割处理部121对第二图像22进行分割处理。通过分割处理来生成第二图像22的标签图像22a。
[0098]
在步骤83中，通过输入部140来接受针对标签图像22a中的细胞菌落10的选择信息40的输入。该步骤83是本实施方式的细胞图像解析方法中的“从用户接受选择信息的输入的步骤”的一例。另外，在步骤84中，通过判定处理部122来计算被输入了选择信息40的细胞菌落10的形状特征量25。
[0099]
在步骤85中，通过判定处理部122来进行将形状特征量25设为输入数据、并将选择信息40设为教师数据的机器学习。步骤85是本实施方式的细胞图像解析方法中的“设定判定基准的步骤”的一例。
[0100]
在步骤86中，判断是否完成了规定次数的学习。在没有完成规定次数的学习的情况下，返回到步骤81，通过判定处理部122对下一个细胞菌落10进行学习。在完成了规定次数的学习的情况下，机器学习完成。在步骤87中，将制作出的第一学习完毕模型50存储到存储部110中。
[0101]
通过以上步骤，来进行获得了形状特征量25的判定基准30的第一学习完毕模型50的制作处理。由此，如图4所示那样，在判定处理(图2的步骤76)中，判定处理部122根据第一图像21的标签图像21a来计算形状特征量25并输入到第一学习完毕模型50。其结果，判定处理部122通过第一学习完毕模型50来生成判定结果35。使用了这样的形状特征量25的机器学习以及判定处理例如与将图像整体设为输入数据的情况相比，输入数据量小也无妨，因此处理负担小且能够进行高速的处理。因此，能够在短时间内完成用户所参与的第一学习完毕模型50的机器学习，在进行选取作业时也能够快速地进行直到输出判定结果35为止的处理。
[0102]
(形状特征量)
[0103]
接着，对形状特征量25进行说明。
[0104]
如图7所示，形状特征量25包含与以下区域中的至少一方有关的形状特征量：i)标签图像21a中包含的细胞菌落10的整体区域；ii)细胞菌落10中包含的未分化细胞的菌落区域11；以及iii)细胞菌落10中包含的开始分化的细胞(未分化脱离细胞)的菌落区域12。在图7中，方便起见，将细胞菌落10的整体区域的形状特征量25a记载为“菌落特征量”，将未分化细胞的菌落区域11的形状特征量25b记载为“未分化区域特征量”，将未分化脱离细胞的菌落区域12的形状特征量25c记载为“脱离区域特征量”。
[0105]
在本实施方式中，第一图像21(第二图像22)被区域分割为未分化细胞的菌落区域11、未分化脱离细胞的菌落区域12以及背景区域13这三个类别的各标签。因此，如图8所示，细胞菌落10的整体区域是将未分化细胞的菌落区域11与未分化脱离细胞的菌落区域12相加所得到的区域。此外，图8示出了包含菌落区域11和菌落区域12的细胞菌落10，但也存在仅包括未分化细胞的菌落区域11的细胞菌落10、仅包括未分化脱离细胞的菌落区域12的细胞菌落10。
[0106]
如图7所示，形状特征量25具体地包含i)区域的面积、ii)区域的轮廓长度、iii)区域的圆形度、iv)区域的最小外接矩形的长宽比、以及v)菌落区域11相对于细胞菌落10的整体区域的面积比中的至少一方。在此所说的“区域”是细胞菌落10的整体区域、菌落区域11以及菌落区域12中的任一方。
[0107]“区域的面积”相当于所关注的区域中包含的像素的数量。“区域的轮廓长度”相当于构成所关注的区域的轮廓91的像素的数量。“区域的圆形度”是所关注的区域的轮廓91越接近圆形则值越接近1的特征量。如果将所关注的区域的面积设为s、并将所关注的区域的轮廓长度设为c，则区域的圆形度r用r＝4π
×
(s/c2)表示。
[0108]“区域的最小外接矩形的长宽比”由所关注的区域的最小外接矩形92的(短边/长边)表示。最小外接矩形92在包围所关注的区域的矩形中面积最小的矩形。“菌落区域11相对于细胞菌落10的整体区域的面积比”是未分化细胞的菌落区域11在细胞菌落10中所占的比例。面积比用(未分化细胞的菌落区域11的面积/细胞菌落10整体的面积)表示。
[0109]
图7示出了当在进行传代时在对未分化细胞的菌落区域11进行选取的情况下能够
采用的形状特征量25的例子。作为与细胞菌落10的整体区域有关的形状特征量25a(菌落特征量)，能够采用细胞菌落10的整体区域的面积、细胞菌落10的整体区域的轮廓长度、细胞菌落10的整体区域的圆形度以及细胞菌落10的整体区域的长宽比。
[0110]
作为与未分化细胞的菌落区域11有关的形状特征量25b(未分化区域特征量)，能够采用未分化细胞的菌落区域11的面积、未分化细胞的菌落区域11的轮廓长度、未分化细胞的菌落区域11的圆形度以及未分化细胞的菌落区域11的长宽比。
[0111]
作为与未分化脱离细胞的菌落区域12有关的形状特征量25c(脱离区域特征量)，能够采用未分化脱离细胞的菌落区域12的面积、菌落区域11相对于细胞菌落10的整体区域的面积比。此外，面积比的值越大，则表示未分化脱离细胞的菌落区域12越小，在对未分化细胞的菌落区域11进行选取的情况下，面积比为未分化脱离细胞的比例少的尺度。
[0112]
在判定处理中使用的形状特征量25包含以上的特征量中的一个或多个特征量。作为用户实际判断是否设为选取对象的判断材料的细胞菌落10的特征点并不是单一的，因此优选在判定处理中使用多个形状特征量25。例如，在判定处理中至少一个一个地使用与细胞菌落10的整体区域有关的形状特征量25a、与未分化细胞的菌落区域11有关的形状特征量25b以及与未分化脱离细胞的菌落区域12有关的形状特征量25c。形状特征量25的数量越多，越难设定适当的判定基准30。通过使用图4示出的通过机器学习得到的第一学习完毕模型50，即使在使用多个形状特征量25的情况下，也无需直接求出与各形状特征量25有关的适当的阈值就能够获得综合的判定基准30，因此是优选的。
[0113]
(第二学习完毕模型)
[0114]
在本实施方式中，图2的步骤72示出的分割处理能够由对分割处理进行机器学习所得到的第二学习完毕模型60(参照图9)来实施。即，将第一图像21变换为标签图像21a的步骤72如图9所示那样包括通过第二学习完毕模型60来生成标签图像21a的步骤，该第二学习完毕模型60是将第一图像21设为输入数据来对菌落区域11赋予分割结果的标签的学习完毕模型。
[0115]
第二学习完毕模型60对被输入的图像(第一图像21、第二图像22)进行分割处理，输出被分割为多个标签区域的标签图像(标签图像21a、标签图像22a)。作为机器学习法，能够使用全层卷积神经网络(fully convolutional networks：fcn)、神经网络、支持向量机(svm)、提升等任意方法。从标签区域的识别性能的观点出发，在本实施方式的第二学习完毕模型60中优选使用在语义分割中频繁使用的卷积神经网络，更优选使用全层卷积神经网络。这样的第二学习完毕模型60构成为包含被输入图像的输入层、卷积层以及输出层。
[0116]
为了制作第二学习完毕模型60，使用包含多个学习数据61的学习用数据集进行了机器学习。在图10中，示出输入图像23、作为教师数据的教师标签图像24以及作为利用机器学习后的第二学习完毕模型60对输入图像23实施分割处理所得到的结果的标签图像23a。针对教师标签图像24和标签图像23a赋予了未分化细胞的菌落区域11、未分化脱离细胞的菌落区域12以及背景区域13这三个类别的标签。各图像实际上是彩色图像，标签图像是被划分为三种颜色的图像。但是，方便起见，进行了灰度化，因此为了说明而将表示细胞菌落10的示意图在各图像中并排示出。
[0117]
在机器学习中使用的学习数据61包含与同一细胞菌落10有关的输入图像23和教师标签图像24。输入图像23是进行分割处理之前的原始图像，是与第一图像21及第二图像
22同样的拍进细胞菌落10的图像。教师标签图像24被制作成作为针对输入图像23进行分割处理的结果应生成的正确图像。也就是说，教师标签图像24是将输入图像23分割为多个标签区域所得到的标签图像。
[0118]
教师标签图像24由用于执行机器学习的学习用图像的制作者制作。例如，针对细胞菌落10获取利用染色剂对细胞区域进行染色所得到的细胞膜染色图像和利用未分化标记对未分化细胞的核染色区域进行染色所得到的核染色图像，在通过阈值处理分别对细胞膜染色图像和核染色图像进行了二值化之后获取两个图像的差分，由此制作教师标签图像24。
[0119]
如图9和图10所示，在制作第二学习完毕模型60时，使分割处理用的学习模型学习从输入图像23向正确的教师标签图像24变换的变换处理(分割处理)。通过向作为机器学习的结果制作出的第二学习完毕模型60输入成为处理对象的第一图像21、第二图像22，来生成进行分割处理所得到的标签图像21a、标签图像22a。
[0120]
如以上那样的判定处理用的第一学习完毕模型50和分割处理用的第二学习完毕模型60例如作为图3的处理器120所执行的程序111的一部分被存储于存储部110。而且，在处理器120作为判定处理部122发挥功能的情况下，使用第一学习完毕模型50进行判定处理。在处理器120作为分割处理部121发挥功能的情况下，使用第二学习完毕模型60进行分割处理。
[0121]
(细胞选取系统)
[0122]
作为更具体的结构例，参照图11对具备本实施方式的细胞图像解析装置100、细胞摄像装置200以及细胞选取装置300的细胞选取系统500进行说明。
[0123]
细胞选取系统500构成为：能够利用细胞摄像装置200拍摄培养容器90中的细胞菌落10(参照图1)，对得到的第一图像21进行分割处理及判定处理，基于判定结果35自动或半自动地执行选取作业。细胞选取系统500具备用于控制选取动作的控制部400。在图12中示出将细胞选取系统500中的细胞摄像装置200、细胞选取装置300以及控制部400进行组合所得到的结构例。
[0124]
如图11和图12所示，细胞摄像装置200拍摄培养容器90中的细胞菌落10，来获取显微镜图像(第一图像21、第二图像22)。细胞摄像装置200构成为向控制部400输出显微镜图像。细胞摄像装置200具备照明部210、光学系统220以及摄像部230。
[0125]
照明部210隔着载置在载置台450上的培养容器90向光学系统220照射照明光。照明部210包括用于产生可见波长区域的照明光的led等光源。光学系统220包括物镜等透镜组，将透过培养容器90入射的光送到摄像部230来形成期望的倍率的像。摄像部230包括图像传感器，将经由光学系统220接收到的光变换为电信号来生成显微镜图像。作为图像传感器，例如存在ccd(charge-coupled device：电荷耦合器件)图像传感器、cmos(complementary mos：互补金属氧化物半导体)图像传感器等。
[0126]
图12示出对倒立型的光学显微镜(相位差显微镜)安装摄像部230来作为细胞摄像装置200的结构例。通过光学显微镜的目镜250，用户即使不通过图像、用肉眼也能够确认细胞菌落10。
[0127]
控制部400是具备未图示的处理器和存储部的计算机，通过执行存储部中存储的程序，处理器作为控制部发挥功能。控制部400与细胞图像解析装置100、细胞摄像装置200
以及细胞选取装置300以能够通信的方式进行连接。在图12的例子中，控制部400是平板终端，具备显示部410和触摸面板式的输入部420。输入部420能够用于供用户输入选择信息40。
[0128]
控制部400从细胞摄像装置200获取拍摄到的显微镜图像(第一图像21、第二图像22)并显示于显示部410。控制部400接受用户经由输入部420在所显示的图像上进行的输入操作。控制部400将获取到的显微镜图像(第一图像21、第二图像22)发送到细胞图像解析装置100，并且将经由输入部420从用户接收到的选择信息40发送到细胞图像解析装置100。控制部400通过向细胞选取装置300发送坐标信息来控制细胞选取装置300的选取动作。此外，也可以不设置控制部400，使细胞图像解析装置100作为控制部400发挥功能。
[0129]
细胞选取装置300构成为对载置在载置台450上的培养容器90内的细胞进行选取。在图12的例子中，细胞选取装置300具备喷嘴部310、抽吸机构320以及喷嘴移动机构330。
[0130]
喷嘴部310构成为进入培养容器90内来抽吸细胞。喷嘴部310构成为能装卸例如一次性的吸移管吸头340。喷嘴部310从所安装的吸移管吸头340的前端抽吸细胞。抽吸机构320构成为与喷嘴部310以流体方式进行连接来对喷嘴部310施加抽吸力。喷嘴移动机构330构成为使喷嘴部310移动。喷嘴移动机构330是具有马达等驱动源的机器人机构，在选取时使喷嘴部310的前端向培养容器90内的选取坐标移动，在抽吸后使喷嘴部310的前端退避至培养容器90的外部。细胞选取装置300由控制部400控制选取动作的开始、结束，并且从控制部400接受选取坐标的输入。
[0131]
载置台450例如是电动载置台。在该情况下，控制部400能够以依次获取培养容器90中的规定范围的显微镜图像的方式控制载置台450。载置台450也可以不是电动载置台。在该情况下，在选取作业中，用户例如能够把持载置台450上的培养容器90并使之移动，从而依次获取培养容器90中的各摄像位置处的多个显微镜图像。
[0132]
在图11的例子中，细胞图像解析装置100的处理器120包括分割处理部121、判定处理部122以及选取处理部123来作为功能块。分割处理部121使用存储部110中存储的第二学习完毕模型60进行针对显微镜图像(第一图像21、第二图像22)的分割处理。判定处理部122构成为经由控制部400获取第二图像22和选择信息40，制作第一学习完毕模型50并存储于存储部110。判定处理部122使用存储部110中存储的第一学习完毕模型50进行针对第一图像21中的细胞菌落10的判定处理。选取处理部123构成为：判断细胞菌落10是否符合选取对象，针对符合选取对象的细胞菌落10设定选取坐标26(参照图8)。
[0133]
存储部110预先存储有第二学习完毕模型60。分割处理不受用户的喜好(将哪个细胞菌落10判定为选取对象的倾向)的影响，因此能够预先存储事先执行机器学习而制作出的第二学习完毕模型60。向存储部110中输入并存储包含第一图像21和第二图像22的图像数据、选择信息40等。
[0134]
在细胞图像解析装置100中，作为获取第一图像21并执行判定处理和选取处理的前阶段的准备作业，执行图5示出的第一学习完毕模型50的制作处理。即，根据作为样本的第二图像22预先制作第一学习完毕模型50并存储于存储部110。
[0135]
首先，用户准备收容有作为样本的培养细胞的培养容器90并载置在载置台450上。利用细胞摄像装置200来拍摄第二图像22，并经由控制部400发送到细胞图像解析装置100(图5的步骤81)。
[0136]
分割处理部121通过第二学习完毕模型60来执行分割处理，生成第二图像22的标签图像22a(图5的步骤82)。控制部400如图6所示那样使第二图像22或所生成的标签图像22a显示于显示部410，并经由输入部420接受来自用户的选择信息40的输入(图5的步骤83)。此外，也能够使用细胞图像解析装置100所具备的显示部130和输入部140(参照图11)来进行图像显示和输入接受。
[0137]
在输入选择信息40时，在如图6所示那样在所显示的图像中存在包含期望的菌落区域的细胞菌落10的情况下，用户通过在画面上点击该细胞菌落10的图像来输入正例的选择信息40。在不点击图像地显示了下一个图像的情况下，对该细胞菌落10标注负例的选择信息40。控制部400将选择信息40发送到细胞摄像装置200。
[0138]
当获取到选择信息40时，判定处理部122根据标签图像22a来计算细胞菌落10的形状特征量25(图5的步骤84)。判定处理部122从图7示出的各种形状特征量中计算预先设定的一个或多个形状特征量25。
[0139]
判定处理部122使用细胞菌落10的形状特征量25和对该细胞菌落10标注的选择信息40来进行机器学习(图5的步骤85)。用户重复进行以上的作业，来执行制作第一学习完毕模型50所需的规定次数的机器学习(图5的步骤86)。由此，作为准备作业的第一学习完毕模型50的制作完成。制作出的第一学习完毕模型50被存储于存储部110(图5的步骤87)。
[0140]
此外，在该第一学习完毕模型50的制作处理中，也可以实际地进行选取作业。即，在用户点击了所显示的图像中的细胞菌落10的情况下，控制部400获取被点击的位置来作为选取坐标26(参照图6)。控制部400将获取到的选取坐标26和选取动作的开始命令发送到细胞选取装置300。由此，细胞选取装置300进行所指定的选取坐标的菌落区域11的选取。
[0141]
根据该结构，用户仅通过手动输入来实际地执行传代等选取作业，就能够进行作为准备作业的第一学习完毕模型50的制作处理(机器学习)。例如，在应进行选取作业的培养容器90有多个的情况下，用户通过手动输入来使细胞选取系统500对第一个培养容器90实施选取作业。由于在培养容器90中收容有成为判定对象的多个细胞菌落10，因此例如如果针对第一个培养容器90的选取作业完成，则基于机器学习的第一学习完毕模型50的制作处理也完成。然后，能够如后述那样使用所制作出的第一学习完毕模型50自动或半自动地执行针对第二个以后的培养容器90的选取作业。
[0142]
(图像解析处理和选取处理)
[0143]
接着，参照图13对使用了在事先准备中制作出的第一学习完毕模型50的、由细胞选取系统500进行的图像解析处理和选取处理进行说明。
[0144]
此外，图13的步骤151对应于图2示出的本实施方式的细胞图像解析方法的步骤71。图13的步骤152对应于图2示出的步骤72。图13中的步骤153对应于图2示出的步骤73。图13的步骤154对应于图2示出的步骤76。另外，在图13的例子中示出使用了细胞图像解析方法的细胞去除方法。即，本实施方式的细胞去除方法具备图2的步骤71～步骤76，获取是否包含成为搜索对象的候选的菌落区域的判定结果35。而且，细胞去除方法还包括步骤156和步骤157，在该步骤156中，基于是否包含成为搜索对象的候选的菌落区域的判定结果35，来设定被判定为用户所期望的菌落区域11的选取坐标26，在该步骤157中，从培养容器90中选取出选取坐标26的细胞。
[0145]
在步骤151中，细胞摄像装置200拍摄载置台450上的培养容器90中的细胞菌落10，
并生成拍进了摄像视野内包含的细胞菌落10的第一图像21。细胞图像解析装置100的分割处理部121经由控制部400获取第一图像21。
[0146]
在步骤152中，分割处理部121对获取到的第一图像21执行分割处理。即，分割处理部121通过将第一图像21输入到第二学习完毕模型60来生成第一图像21的标签图像21a。
[0147]
在步骤153中，判定处理部122从所生成的标签图像21a获取细胞菌落10的形状特征量25。即，判定处理部122从图7示出的例子中计算预先设定好的一个或多个形状特征量25。
[0148]
在步骤154中，判定处理部122针对每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域。即，判定处理部122通过将每个细胞菌落10的形状特征量25输入到第一学习完毕模型50，来输出每个细胞菌落10是否为正例(包含成为搜索对象的候选的菌落区域)的判定结果35。判定结果35以0(％)～100(％)的置信度(数值)的形式被输出。
[0149]
在步骤155中，细胞图像解析装置100的选取处理部123判断被输出了判定结果35的细胞菌落10是否符合选取对象。选取处理部123在判断为被输出了判定结果35的细胞菌落10不符合选取对象的情况下，使处理进入步骤158。
[0150]
选取处理部123在判断为被输出了判定结果35的细胞菌落10符合选取对象的情况下，在步骤156中设定被判定为用户所期望的菌落区域11的选取坐标26。
[0151]
在进行传代的例子中，在被判断为符合选取对象的细胞菌落10中，将未分化细胞在菌落区域11中的位置坐标设定为选取坐标26。例如，选取处理部123如图8所例示的那样计算未分化细胞的菌落区域11中的几何学重心，并将计算出的重心位置设定为选取坐标26。另外，选取处理部123预先获取由细胞选取装置300实际选取的区域的轮廓形状，将选取坐标26设定为被选取的区域收敛在未分化细胞的菌落区域11内的位置。选取处理部123将所设定的选取坐标26输出到控制部400。
[0152]
在步骤157中，细胞选取装置300在控制部400的控制下从培养容器90选取选取坐标26的细胞。细胞选取装置300通过使从控制部400发送来的选取坐标26的喷嘴部310的前端移动并进行抽吸，来将选取坐标26的细胞(菌落区域)提取到吸移管吸头内。细胞选取装置300在使喷嘴部310的前端退避到培养容器90的外部之后，将提取出的细胞排出到规定位置的细胞容器。当选取结束时，处理进入步骤158。
[0153]
在步骤158中，控制部400判断是否结束选取作业。控制部400在判断为不结束选取作业的情况下，使处理返回到步骤151，来获取下一个第一图像21。例如在从用户接受了结束选取作业的意思的操作输入、选取了规定数量的细胞菌落10、对全部细胞菌落10实施了上述的处理等情况下，控制部400判断为结束选取作业。
[0154]
通过以上步骤，使用了第一学习完毕模型50的图像解析处理和选取处理结束。
[0155]
在图13中示出了在培养容器90内的各摄像位置处每当获取第一图像21时进行判定处理(以下，称为逐次处理)的例子。在本实施方式中，与该例不同地，也可以预先拍摄培养容器90内的各摄像位置处的多张第一图像21，对拍摄到的各第一图像21中拍进的每个细胞菌落10统一进行判定处理(以下，称为批量处理)。在批量处理的情况下，在针对预先拍摄到的各细胞菌落10得到判定结果35之后，基于各个判定结果35来判断是否将各细胞菌落10设为选取对象。
[0156]
图14示出步骤155中的判断细胞菌落10是否符合选取对象的判断基准的例子。作
为第一判断基准，选取处理部123例如在判定结果35的值(置信度)比预先设定的阈值大的情况下判断为符合选取对象。由用户预先输入阈值。用户在想要严格选取成为选取对象的细胞菌落10的情况下，设定相对高的阈值，在想要选取尽可能多的细胞菌落10的情况下，设定相对低的阈值。第一判断基准也能够适用于逐次处理和批量处理中的任一情况。
[0157]
作为第二判断基准，选取处理部123在多个细胞菌落10的判定结果35的值(置信度)的排位与预先设定的排位的阈值相比靠前的情况下判断为符合选取对象。第二判断基准能够适用于批量处理的情况。也就是说，在通过批量处理先对多个第一图像21中拍进的多个(全部)细胞菌落10执行了判定处理之后，根据判定结果35对各细胞菌落10进行排序，将判定结果35的值高的前n个细胞菌落10设定为选取对象。由用户预先输入排位的阈值n。
[0158]
在第一判断基准和第二判断基准中，通过预先设定阈值，能够全自动地进行选取处理。此外，作为第三判断基准，选取处理部123在接受了设为选取对象的意思的输入操作的情况下判断为符合选取对象。例如使判定结果35的值(置信度)与细胞菌落10的图像一起显示于显示部410，使用户经由输入部420输入是否选择所显示的细胞菌落10来作为选取对象。用户能够将判定结果35的数值作为参考，在亲自确认了细胞菌落10之后决定是否设定为选取对象。
[0159]
(本实施方式的效果)
[0160]
在本实施方式中，能够得到如以下那样的效果。
[0161]
本实施方式的细胞图像解析方法如上所述那样包括以下步骤：步骤71，获取对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的第一图像21；步骤72，实施用于确定第一图像21中的细胞菌落10中的已经开始分化的细胞(未分化脱离细胞)的菌落区域12和未分化细胞的菌落区域11的分割处理，来将第一图像21变换为标签图像21a；步骤73，从标签图像21a获取细胞菌落10的形状特征量25；步骤74，使用计算机从用户接受与作为搜索对象的菌落区域有关的输入；步骤75，基于用户的输入来设定形状特征量25的判定基准30；以及步骤76，基于形状特征量25和判定基准30，针对每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域。
[0162]
另外，如上所述那样，本实施方式的细胞图像解析装置100具备：存储部110，其被输入对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的显微镜图像(第一图像21)；分割处理部121，其实施用于确定显微镜图像中的细胞菌落10中的已经开始分化的细胞的菌落区域12和未分化细胞的菌落区域11的分割处理，来将显微镜图像(第一图像21)变换为标签图像21a；输入部140，其接受与作为搜索对象的菌落区域有关的输入；以及判定处理部122，其针对显微镜图像中包含的每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域，其中，判定处理部122构成为：从标签图像21a获取细胞菌落10的形状特征量25，根据形状特征量25和基于用户的输入而设定的形状特征量25的判定基准30来进行菌落区域的判定。
[0163]
根据上述结构，通过分割处理，能够从图像中确定开始分化的细胞的菌落区域12和未分化细胞的菌落区域11中的根据培养目的等能够成为选取对象的菌落区域。而且，能够根据形状特征量25和基于用户的输入而设定的形状特征量25的判定基准30，针对图像中的每个细胞菌落10获得是否包含成为搜索对象的候选的菌落区域的判定结果35。其结果是，在本实施方式中，能够对包含用户判断为选取对象的可能性高的菌落区域的细胞菌落
10进行判定并向用户示出，因此用户无需一个一个地观察显微镜图像中的多个细胞区域来进行判断。由此，能够有效地减轻伴随细胞培养中的成为选取对象的细胞的搜索作业所引起的用户的负担。
[0164]
另外，在上述实施方式的例子中，通过如以下那样构成，能够得到进一步的效果。
[0165]
即，在上述实施方式的细胞图像解析方法中包括步骤83和步骤85，在该步骤83中，从用户接受预先获取到的第二图像22中的细胞菌落10中是否包含期望的菌落区域的选择信息40的输入，在该步骤85中，基于接受到的选择信息40来设定判定基准30。如果像这样构成，则通过用户输入用户自身对作为样本的第二图像22中的细胞菌落10进行判定得到的判定结果，能够设定是否包含“成为搜索对象的候选的菌落区域”的判定基准30。在该情况下，用户自身不需要找出成为判定基准30的形状特征量25的阈值、多个形状特征量25的权重等的最佳值，因此能够减轻用户的用于设定判定基准30的作业负担。
[0166]
另外，在上述实施方式的细胞图像解析方法中，设定判定基准30的步骤85包括以下步骤：通过将从第二图像22的标签图像21a获取到的形状特征量25设为输入数据、并将选择信息40设为教师数据的机器学习，来生成获得了针对形状特征量25的判定基准30的第一学习完毕模型50。而且，判定是否包含成为搜索对象的候选的菌落区域的步骤76包括以下步骤：将从第一图像21的标签图像21a获取到的形状特征量25输入到第一学习完毕模型50来生成判定结果35。如果像这样构成，则用户仅输入选择信息40就能够通过机器学习得到获得了针对形状特征量25的判定基准30的第一学习完毕模型50。其结果，能够向用户提供通过第一学习完毕模型50生成的判定结果35。在此，第一图像21中拍进的菌落区域具有多种形态，用户的喜好(选取对象的选择倾向)也是多样的。因此，实际上通过不依赖于机器学习的基于规则的方法来构建用于生成符合用户喜好的判定结果35的判定基准30的难度高。与此相对地，如果使用机器学习的方法，则即使是构建由多个形状特征量25组合而成的判定基准30，与基于规则的方法相比也能够容易地进行。通过使用作为用户亲自判定出的结果的选择信息40来进行学习，能够容易地提供符合用户喜好的精度高的判定结果35。
[0167]
另外，在上述实施方式的细胞图像解析方法中，接受选择信息40的输入的步骤83包括以下步骤：使用户能够在第二图像22或第二图像22的标签图像21a中指定菌落区域，或者使用户能够在第二图像22或第二图像22的标签图像21a中选取菌落区域。如果像这样构成，则用户仅通过为了针对细胞选取装置300决定选取对象而指定菌落区域，就能够输入用于设定判定基准30的作为样本的选择信息40。因此，无需进行用于输入选择信息40的特别的输入作业，因此能够减轻用户的用于设定判定基准30的作业负担。
[0168]
另外，在上述实施方式的细胞图像解析方法中，形状特征量25包含与以下区域中的至少一方有关的形状特征量25：i)标签图像21a中包含的细胞菌落10的整体区域；ii)细胞菌落10中包含的未分化细胞的菌落区域11；以及iii)细胞菌落10中包含的开始分化的未分化脱离细胞的菌落区域12。在此，本技术发明人进行了深入研究，结果得出以下见解：在用户自身根据显微镜图像来判定选取对象的情况下，细胞菌落10的整体形状、未分化细胞的菌落区域11的形状、未分化脱离细胞的菌落区域12的形状也会大幅影响用户的判断。因此，通过使用这样的形状特征量25，能够容易且高精度地进行是否包含成为搜索对象的候选的菌落区域的判定。
[0169]
另外，在上述实施方式的细胞图像解析方法中，形状特征量25包含i)区域的面积、
ii)区域的轮廓长度、iii)区域的圆形度、iv)区域的最小外接矩形的长宽比、以及v)菌落区域11相对于细胞菌落10的整体区域的面积比中的至少一方。如果像这样构成，则为了判定是否包含成为搜索对象的候选的菌落区域，能够得到对细胞菌落10整体、菌落区域赋予特征的有用的特征量。
[0170]
另外，在上述实施方式的细胞图像解析方法中，将第一图像21变换为标签图像21a的步骤72包括通过第二学习完毕模型60来生成标签图像21a的步骤，该第二学习完毕模型60是将拍摄细胞菌落10所得到的显微镜图像(输入图像23)设为输入数据来对菌落区域(11、12)赋予分割结果的标签的学习完毕模型。如果像这样构成，则能够利用学习到各种各样的细胞菌落10的形态的第二学习完毕模型60来进行高精度的分割处理。如上所述，显微镜图像中拍进的菌落区域11具有多种形态，通过不依赖于机器学习的基于规则的方法来实现能够高精度地确定多种形态的菌落区域11(未分化区域、脱离区域)的分割处理的难度高。与此相对地，如果使用机器学习的方法，则即使是难以规则化的形态特征，也能够使学习模型进行学习，能够实现高精度的分割处理。
[0171]
另外，在上述实施方式的细胞去除方法中，还包括步骤156和步骤157，在该步骤156中，基于通过步骤71～76得到的是否包含成为搜索对象的候选的菌落区域的判定结果35，来设定被判定为用户所期望的菌落区域11的选取坐标26，在该步骤157中，从培养容器90选取出选取坐标26的细胞。如果像这样构成，则不仅能够向用户提供是否包含成为搜索对象的候选的菌落区域的判定结果35，还能够基于判定结果35对被判断为选取对象的菌落区域进行自动的选取作业。其结果即是，不仅能够实现选取对象的搜索作业，还能够实现直到搜索后的选取作业为止的自动化或半自动化，因此能够有效地减轻与细胞培养有关的整个选取作业中的用户的作业负担。
[0172]
(变形例)
[0173]
参照图15和图16对细胞图像解析方法的变形例进行说明。
[0174]
在上述实施方式中，示出了从进行分割处理所得到的标签图像21a获取细胞菌落10的形状特征量25并基于形状特征量25进行判定处理的例子，但在图15和图16所示的变形例中示出不使用细胞菌落10的形状特征量25进行判定处理的例子。此外，能够通过与上述实施方式同样的硬件结构来实施变形例的细胞图像解析方法，因此省略硬件的说明。
[0175]
该变形例的细胞图像解析方法包括以下步骤：步骤161，制作进行机器学习所得到的判定用的学习完毕模型55；步骤162，获取对包含具有分化能力的细胞的细胞菌落10进行拍摄所得到的第一图像21；步骤163，实施用于确定第一图像21中的细胞菌落10中的已经开始分化的细胞的菌落区域12和未分化细胞的菌落区域11的分割处理，来将第一图像21变换为标签图像21a；以及步骤164，通过向学习完毕模型55输入第一图像21的标签图像21a，来针对每个细胞菌落10判定是否包含成为搜索对象的候选的菌落区域。
[0176]
制作判定用的学习完毕模型55的步骤161包括步骤167和步骤168，在该步骤167中，接受预先获取到的第二图像22中的细胞菌落10中是否包含期望的菌落区域的选择信息40的输入，在该步骤168中，通过将对第二图像22进行分割所得到的标签图像22a设为输入数据、并将选择信息40设为教师数据的机器学习，来制作学习完毕模型55。
[0177]
这样，在判定用的学习完毕模型55的制作中，使用作为样本的第二图像22。首先，在步骤165中，获取第二图像22。在步骤166中，接受选择信息40的输入。另外，在步骤167中，
实施针对第二图像22的分割处理。步骤165～步骤167与图5的步骤81～步骤83相同。
[0178]
在变形例中，与图5的例子不同，不计算形状特征量25。在变形例中，如图15所示，代替形状特征量25而将第二图像22的标签图像22a设为输入数据。选择信息40被设为教师数据。因而，在步骤168中，学习模型通过将标签图像21a设为输入数据、并将选择信息40设为教师数据的机器学习来学习以下内容：在被提供了所关注的细胞菌落10的标签图像21a时，判别(推测)该细胞菌落10是否为正例(是否包含成为搜索对象的候选的菌落区域)。
[0179]
作为机器学习法，能够使用卷积神经网络、神经网络、svm、提升等任意方法。从标签区域的识别性能的观点出发，在变形例的判定用的学习完毕模型55中优选使用卷积神经网络。
[0180]
在想要根据细胞图像来判定是否为包含成为搜索对象的候选的菌落区域的细胞菌落10的情况下，图像中包含的信息变得过于多样，判定结果35有可能难以收敛。但是，如果像该变形例那样将通过分割处理得到的标签图像22a设为输入图像，则输入图像成为利用三个类别(至少两个类别)的标签区域进行了区分的图像，例如由细胞的表面的纹理(图案)、照明光、外来光引起的图像中的亮度偏差等信息被去除。也就是说，标签图像22a可以说是选择性地仅提取细胞菌落10的形状的信息所得到的图像。其结果，在将标签图像22a设为输入图像的机器学习中能够有效地学习以下内容：与上述实施方式中的形状特征量25同样地，基于图像中的细胞菌落10的形状来判别该细胞菌落10是否为正例。
[0181]
如果通过使用了第二图像22的机器学习制作出判定用的学习完毕模型55，则针对第一图像21的细胞图像解析的准备完成。
[0182]
如图16所示，在使用了学习完毕模型55的细胞图像解析中，首先，在步骤162中，获取第一图像21，在步骤163中，通过针对第一图像21的分割处理来生成第一图像21的标签图像21a。步骤162以及步骤163与图2示出的步骤71以及步骤72相同。
[0183]
在步骤164中，通过将生成的第一图像21的标签图像21a输入到判定用的学习完毕模型55，来针对每个细胞菌落10生成是否包含成为搜索对象的候选的菌落区域的判定结果35。在步骤169中，输出所生成的判定结果35。
[0184]
(变形例的细胞图像解析方法的效果)
[0185]
根据该变形例，通过分割处理，能够从图像中确定开始分化的细胞的菌落区域12和未分化细胞的菌落区域11中的根据培养目的等能够成为选取的对象的菌落区域。然后，通过使用是否包含期望的菌落区域的选择信息40进行机器学习所得到的学习完毕模型55，能够针对图像中的每个细胞菌落10得到是否包含成为搜索对象的候选的菌落区域的判定结果35。其结果，根据变形例，能够对包含由用户判断为选取对象的可能性高的菌落区域的细胞菌落10进行判定并向用户示出，因此用户无需一个一个地观察显微镜图像中的多个细胞区域来进行判断。由此，能够有效地减轻伴随细胞培养中的成为选取对象的细胞的搜索作业所引起的用户的负担。
[0186]
(其它变形例)
[0187]
此外，应该认为本次公开的实施方式在所有方面均为例示，而非限制性的内容。本发明的范围不是通过上述实施方式的说明来示出，而是通过权利要求书来示出，还包括与权利要求书同等的意义和范围内的所有变更(变形例)。
[0188]
例如，在上述实施方式中示出了以下例子：为了进行细胞培养中的传代的选取作
业，将包含未分化细胞的菌落区域11的细胞菌落10判定为选取对象，但本发明不限于此。如上所述，也可以将包含未分化脱离细胞的菌落区域12的细胞菌落10判定为选取对象。也就是说，也可以将未分化脱离细胞的菌落区域12设为成为搜索对象的候选的菌落区域来进行判定处理。在未分化细胞的菌落区域11和未分化脱离细胞的菌落区域12中，判定基准30不同，因此根据选取的目的来分别设定判定基准30。由于作为教师数据输入的选择信息40与未分化细胞的菌落区域11的情况不同，因此分别制作第一学习完毕模型50(判定用学习完毕模型55)。也可以使传代用的第一学习完毕模型50和未分化脱离细胞的去除用的第一学习完毕模型50分别预先存储于图3示出的存储部110，根据用户的目的来切换要使用的学习完毕模型。
[0189]
另外，在上述实施方式中示出了进行未分化细胞、未分化脱离细胞以及背景这三个类别的分割处理的例子，但本发明不限于此。在本发明中，也可以进一步进行例如分出活细胞和死细胞这两个类别的分割处理。另外，还可以进一步进行分出粘附于孔的细胞和剥离的细胞这两个类别的分割处理。由此，例如能够从包含“活细胞”且“未分化细胞”的菌落区域的细胞菌落10中判定包含成为搜索对象的候选的菌落区域的细胞菌落10，或者从包含“粘附”且“未分化细胞”的菌落区域的细胞菌落10中判定包含成为搜索对象的候选的菌落区域的细胞菌落10。作为另一例，也可以追加细胞以外的“异物”的类别，发现混入培养容器90中的异物并进行去除作业。
[0190]
另外，在上述实施方式中示出了细胞图像解析装置100与细胞摄像装置200以能够通信的方式进行连接的例子，但本发明不限于此。在本发明中，也可以经由网络来执行细胞图像解析装置100所执行的处理的一部分或全部。
[0191]
例如在图17所示的变形例中，位于远处的细胞图像解析装置100构成为经由网络600而与细胞摄像装置200进行了连接的服务器装置。用户使用细胞摄像装置200拍摄第一图像21、第二图像22，并输入选择信息40。细胞摄像装置200经由网络600向细胞图像解析装置100发送第一图像21、第二图像22以及选择信息40。细胞图像解析装置100进行分割处理，来生成标签图像21a以及22a。细胞图像解析装置100使用所生成的标签图像22a和接收到的选择信息40来制作第一学习完毕模型50。细胞图像解析装置100将第一图像21的标签图像21a输入到第一学习完毕模型50来执行判定处理，并将判定结果35发送到细胞摄像装置200。由此，用户能够获取第一图像21中包含的每个细胞菌落10的判定结果35，并利用判定结果35执行选取作业。
[0192]
另外，在上述实施方式中示出了细胞图像解析装置100进行分割处理、第一学习完毕模型50的制作以及判定处理的例子，但本发明不限于此。在本发明中，也可以由其它装置执行细胞图像解析装置100所执行的处理的一部分。
[0193]
例如在图18所示的变形例中，位于远处的服务器装置即数据处理装置610经由网络600而与判定处理装置620以能够通信的方式进行连接。数据处理装置610从用户使用的pc即判定处理装置620接收显微镜图像(第一图像21或第二图像22)，并进行分割处理。数据处理装置610例如使用第二学习完毕模型60进行分割处理，并将所生成的标签图像(21a、22a)发送到判定处理装置620。判定处理装置620通过使用了从数据处理装置610接收到的第二图像22的标签图像22a和从用户接收到的选择信息40的机器学习，来制作第一学习完毕模型50。判定处理装置620根据从数据处理装置610接收到的第一图像21的标签图像21a
来计算细胞菌落10的形状特征量25，使用第一学习完毕模型50来进行判定处理。判定处理装置620通过向第一学习完毕模型50输入形状特征量25来获取判定结果35。用户能够获取第一图像21中包含的每个细胞菌落10的判定结果35，并利用判定结果35执行选取作业。
[0194]
这样，也可以以所谓的云服务等方式，通过被进行了网络连接的多台计算机的协作来实施本发明的细胞图像解析方法。
[0195]
另外，在上述实施方式中示出了将所关注的区域的面积、轮廓长度、圆形度、长宽比、相对于细胞菌落整体的面积比等用作形状特征量25的例子，但本发明不限于此。在本发明中，也可以将上述以外的量用作形状特征量25。
[0196]
另外，在上述实施方式中示出了使用第一学习完毕模型50进行判定处理的例子，但本发明不限于此。如上所述，也可以不使用机器学习的方法，而基于根据用户的喜好设定的阈值、权重等判定基准30，使用基于规则的方法来执行判定处理。
[0197]
另外，在上述实施方式中示出了使用第二学习完毕模型60进行分割处理的例子，但本发明不限于此。在本发明中，例如也可以使用针对图像的阈值处理、特征提取处理等，不使用机器学习的方法而使用基于规则的方法来执行分割处理。
[0198]
另外，在图12所示的例子中示出了将细胞摄像装置200设为对光学显微镜设置了摄像部230的结构的例子，但本发明不限于此。在本发明中，细胞摄像装置200既可以是专门拍摄细胞的显微镜图像的装置，也可以不具有作为光学显微镜的功能。在图12所示的例子中，细胞摄像装置200作为光学显微镜发挥功能，因此示出了将载置台450设为电动载置台的例子，但细胞摄像装置200也可以具备能够相对于固定的载置台450移动的摄像部230。
[0199]
[方式]
[0200]
本领域技术人员能够理解的是，上述例示性的实施方式是以下的方式的具体例。
[0201]
(项目1)
[0202]
一种细胞图像解析方法，包括以下步骤：
[0203]
获取对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的第一图像；
[0204]
实施用于确定所述第一图像中的所述细胞菌落中的已经开始分化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将所述第一图像变换为标签图像；
[0205]
从所述标签图像获取所述细胞菌落的形状特征量；
[0206]
使用计算机从用户接受与作为搜索对象的菌落区域有关的输入；
[0207]
基于所述用户的输入来设定所述形状特征量的判定基准；以及
[0208]
基于所述形状特征量和所述判定基准，针对每个所述细胞菌落判定是否包含成为所述搜索对象的候选的所述菌落区域。
[0209]
(项目2)
[0210]
根据项目1所述的细胞图像解析方法，其中，
[0211]
接受与作为搜索对象的菌落区域有关的输入的步骤包括以下步骤：从用户接受预先获取到的第二图像中的所述细胞菌落中是否包含期望的所述菌落区域的选择信息的输入，
[0212]
在设定所述判定基准的步骤中，基于接受到的所述选择信息来设定所述判定基准。
[0213]
(项目3)
[0214]
根据项目2所述的细胞图像解析方法，其中，
[0215]
设定所述判定基准的步骤包括以下步骤：通过将从所述第二图像的标签图像获取到的所述形状特征量设为输入数据、并将所述选择信息设为教师数据的机器学习，来制作获得了针对所述形状特征量的所述判定基准的第一学习完毕模型，
[0216]
判定是否包含成为所述搜索对象的候选的所述菌落区域的步骤包括以下步骤：将从所述第一图像的标签图像获取到的所述形状特征量输入到所述第一学习完毕模型来生成判定结果。
[0217]
(项目4)
[0218]
根据项目2所述的细胞图像解析方法，其中，
[0219]
接受所述选择信息的输入的步骤包括以下步骤：使用户能够在所述第二图像或所述第二图像的标签图像中指定所述菌落区域，或者使用户能够在所述第二图像或所述第二图像的标签图像中选取所述菌落区域。
[0220]
(项目5)
[0221]
根据项目1所述的细胞图像解析方法，其中，
[0222]
所述形状特征量包含与以下区域中的至少一方有关的形状特征量：i)所述标签图像中包含的所述细胞菌落的整体区域；ii)所述细胞菌落中包含的所述未分化细胞的菌落区域；以及iii)所述细胞菌落中包含的开始所述分化的细胞的菌落区域。
[0223]
(项目6)
[0224]
根据项目5所述的细胞图像解析方法，其中，
[0225]
所述形状特征量包含i)区域的面积、ii)区域的轮廓长度、iii)区域的圆形度、iv)区域的最小外接矩形的长宽比、以及v)菌落区域相对于所述细胞菌落的整体区域的面积比中的至少一方。
[0226]
(项目7)
[0227]
根据项目1所述的细胞图像解析方法，其中，
[0228]
将所述第一图像变换为标签图像的步骤包括通过第二学习完毕模型来生成所述标签图像的步骤，所述第二学习完毕模型是将拍摄所述细胞菌落所得到的显微镜图像设为输入数据来对所述菌落区域赋予分割结果的标签的学习完毕模型。
[0229]
(项目8)
[0230]
一种细胞去除方法，是使用了根据项目1所述的细胞图像解析方法的细胞去除方法，
[0231]
所述细胞去除方法包括以下步骤：
[0232]
基于是否包含成为所述搜索对象的候选的所述菌落区域的判定结果，来设定被判定为用户所期望的所述菌落区域的选取坐标；以及
[0233]
从培养容器中选取所述选取坐标的细胞。
[0234]
(项目9)
[0235]
一种细胞图像解析装置，具备：
[0236]
存储部，其被输入对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的显微镜图像；
[0237]
分割处理部，其实施用于确定所述显微镜图像中的所述细胞菌落中的已经开始分
化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将所述显微镜图像变换为标签图像；
[0238]
输入部，其接受与作为搜索对象的菌落区域有关的输入；以及
[0239]
判定处理部，其针对所述显微镜图像中包含的每个所述细胞菌落判定是否包含成为所述搜索对象的候选的所述菌落区域，
[0240]
其中，所述判定处理部构成为：从所述标签图像获取所述细胞菌落的形状特征量，根据所述形状特征量和基于用户的所述输入而设定的所述形状特征量的判定基准，来进行所述菌落区域的判定。
[0241]
(项目10)
[0242]
一种细胞图像解析方法，包括以下步骤：
[0243]
制作进行机器学习所得到的判定用的学习完毕模型；
[0244]
获取对包含具有分化能力的细胞的细胞菌落进行拍摄所得到的第一图像；
[0245]
实施用于确定所述第一图像中的所述细胞菌落中的已经开始分化的细胞的菌落区域和未分化细胞的菌落区域的分割处理，来将所述第一图像变换为标签图像；以及
[0246]
通过将所述第一图像的标签图像输入到所述学习完毕模型，来针对每个所述细胞菌落判定是否包含成为所述搜索对象的候选的所述菌落区域，
[0247]
其中，制作所述学习完毕模型的步骤包括以下步骤：
[0248]
接受预先获取到的第二图像中的所述细胞菌落中是否包含期望的所述菌落区域的选择信息的输入；以及
[0249]
通过将对所述第二图像进行分割所得到的标签图像设为输入数据、并将所述选择信息设为教师数据的机器学习，来制作所述学习完毕模型。
[0250]
附图标记说明
[0251]
10：细胞菌落；11：菌落区域(未分化细胞的菌落区域)；12：菌落区域(已经开始分化的细胞的菌落区域)；21：第一图像；21a：第一图像的标签图像；22：第二图像；22a：第二图像的标签图像；25：形状特征量；26：选取坐标；35：判定结果；40：选择信息；50：第一学习完毕模型；55：学习完毕模型；60：第二学习完毕模型；90：培养容器；100：细胞图像解析装置；110：存储部；121：分割处理部；122：判定处理部。