数据获取装置、数据获取方法和生物样本观察系统与流程

1.本技术涉及数据获取装置、数据获取方法和生物样本观察系统。


背景技术：

2.当培养细胞或确定生殖细胞的状态时，使用具有保温箱的显微镜，该保温箱能够用诸如ccd或cmos的成像器对细胞成像并且监测细胞随时间的状态。此外，还开发了用于在监测时使用机器学习来确定细胞的状态的技术。
3.例如，专利文献1描述了提供评估器和预测器，评估器输出针对细胞图像中的每个受关注区域的细胞的状态的评估结果，预测器执行在预生长阶段中的第一细胞图像中的特定受关注区域的外围区域的评估结果和在预生长阶段之后的时间点的第二细胞图像中的特定受关注区域中的细胞的状态之间的关系的机器学习，并且预测器基于在特定时间点成像的第三细胞图像中的特定受关注区域的外围区域的评估结果来预测并输出在特定时间点之后的时间点的特定受关注区域中的细胞的状态。
4.此外，例如，专利文献2公开了一种信息处理装置，包括：成像控制单元，控制成像机构以便对设置有容纳每个成像区域的细胞的多个井的培养容器进行成像；成像区域分类单元，对由成像机构成像的每个图像进行图像处理，并且根据图像处理结果将多个成像区域分类为继续成像的第一成像区域和不继续成像的第二成像区域；以及观察控制单元，指示成像控制单元对分类为第一成像区域的成像区域进行成像并且不对分类为第二成像区域的成像区域进行成像。
5.例如，专利文献3描述了一种成像元件，该成像元件包括：像素区域，其中多个像素以矩阵布置；以及垂直驱动电路，该垂直驱动电路驱动每行的像素，其中，垂直驱动电路包括：电源，该电源向输出用于驱动像素的驱动信号的输出元件供电；以及控制元件，该控制元件在切换操作模式时根据具有预定脉冲宽度的脉冲，来控制在从电源输出电力的布线与地电平之间流动的电流。
6.引用列表
7.专利文献
8.专利文献1：wo2018/101004
9.专利文献2：wo2018/100913
10.专利文献3：wo2018/051819。


技术实现要素：

11.本发明要解决的问题
12.例如，在服务器从图像数据确定细胞的状态的情况下，需要发送与巨大数量的图像相关的大量图像数据。例如，当输出与成像的生物样本相关的大量图像数据时，在成像频率、监测周期、以及受试者样本的数量上产生限制等。
13.因此，本技术的主要目的是提供一种数据获取装置，其能够减少在获取生物样本
的图像信号时输出的数据量。
14.问题的解决方案
15.本技术提供了一种数据获取装置，包括：
16.成像元件，包括：
17.信号处理单元，在两个以上的不同时间点获取生物样本的图像信号，
18.信息处理单元，从图像信号提取特征量并且基于特征量生成与生物样本相关的数据，以及
19.输出控制单元，使与生物样本相关的数据输出至成像元件的外部，其中
20.信号获取单元、信息处理单元和输出单元设置在单个芯片中。
21.信号获取单元可具有多个像素二维地布置的配置，并且成像元件可被配置为通过物镜对生物样本成像。
22.信息处理单元可使用学习的模型来生成与生物样本相关的数据。
23.信息处理单元可以包括获取特征量的特征量提取单元和基于特征量确定生物样本的状态的状态确定单元，并且信息处理单元可以基于状态确定单元的确定结果生成与待输出的生物样本相关的数据。
24.特征量可以是与细胞培养物有关的特征量、与受精卵有关的特征量、与精子有关的特征量、与核酸有关的特征量和与生物组织片有关的特征量中的任一个。
25.生物样本可以是选自细胞培养物、受精卵、精子、核酸和生物组织片中的一种或两种以上。
26.与生物样本相关的数据可包括图像数据、警报数据、标记数据或核酸序列数据。
27.生物样本可以包括细胞培养物，并且信息处理单元可以基于与细胞培养物有关的特征量，来确定是否达到预定的细胞密度或者是否在细胞培养物中产生异物。
28.生物样本可以包括细胞培养物，并且信息处理单元可以基于与细胞培养物有关的特征量生成培养细胞的图像数据。
29.生物样本可包括受精卵，并且信息处理单元可基于与受精卵相关的特征量来确定是否已达到预定的分裂处理。
30.生物样本可包括受精卵，并且信息处理单元可基于与受精卵相关的特征量来产生受精卵的图像数据。
31.生物样本可包括精子，并且信息处理单元可基于与精子相关的特征量来确定精子的状态。
32.生物样本可包括精子，并且信息处理单元可基于与精子相关的特征量来产生精子的图像数据。
33.生物样本可以包括核酸，并且信息处理单元可以基于与核酸相关的特征量来生成核酸的序列数据。
34.本技术还提供了一种数据获取方法，包括：
35.特征量提取步骤，从通过成像元件在两个以上不同时间点对生物样本成像而获得的图像数据中提取特征量；
36.数据生成步骤，基于特征量生成与生物样本相关的数据；以及
37.输出步骤，使与生物样本相关的数据输出至成像元件的外部。
38.本技术提供了一种生物样本观察系统，包括：
39.保持单元，能够保持生物样本；
40.照射单元，利用光照射生物样本；以及
41.成像元件，包括：
42.信号获取单元，在两个以上不同时间点获取生物样本的图像信号，
43.信息处理单元，从图像信号提取特征量并且基于特征量生成与生物样本相关的数据，以及
44.输出控制单元，使与生物样本相关的数据输出至成像元件的外部，其中
45.信号获取单元、信息处理单元和输出单元设置在单个芯片中。
46.可进一步包括存储保持单元的保温箱。
47.生物样本观察系统可以是显微镜观察系统。
48.生物样本观察系统可以是核酸序列分析系统。
附图说明
49.图1是示出根据本技术的数据获取装置中的配置实例的框图。
50.图2是示出成像装置2的配置实例的框图。
51.图3是示出成像装置2的外部配置实例的概况的透视图。
52.图4是示出根据本技术的系统的配置实例的示意图。
53.图5是根据本技术的通过数据获取装置进行的处理的流程的实例。
54.图6是根据本技术的数据获取装置的处理流程的实例。
55.图7是示意性示出通用专用ai类型的处理过程实例的框图。
56.图8是根据本技术的数据获取装置的处理流程的实例。
57.图9是根据本技术的通过数据获取装置进行的处理的流程的实例。
58.图10是根据本技术的与细胞培养物相关的数据处理的实例。
59.图11是根据本技术的与受精卵相关的数据处理的实例。
60.图12是根据本技术的与精子相关的数据处理的实例。
61.图13是根据本技术的与核酸相关的数据处理的实例。
62.图14是根据本技术的与核酸相关的数据处理流程的实例。
63.图15是根据本技术的与生物组织片相关的数据处理的实例。
具体实施方式
64.在下文中，将描述用于执行本技术的优选实施方式。要注意的是，下面描述的实施方式是本技术的代表性实施方式，并且本技术的范围不仅仅限于这些实施方式。应注意，将按以下顺序描述本技术。
65.1.第一实施方式(数据获取装置)
66.(1)第一实施方式的描述
67.(1-1)成像元件
68.(1-2)信号获取单元
69.(1-3)成像处理单元
70.(1-4)信息处理单元
71.(1-5)输出控制单元
72.(1-6)输出单元和输入单元
73.(1-7)照明光学系统
74.(1-8)观察光学系统
75.(2)成像元件的配置实例
76.(3)第一实施方式的第一实例
77.(4)第一实施方式中通过成像元件处理数据的实例
78.(4-1)第一实施方式中通过成像元件处理数据的第一实例
79.(4-2)第一实施方式中通过成像元件处理数据的第二实例
80.(4-3)通过成像元件处理与细胞培养相关的数据的第三实例
81.(4-4)通过成像元件处理与受精卵相关的数据的第四实例
82.(4-5)通过成像元件处理与精子相关的数据的第五实例
83.(4-6)通过成像元件处理与核酸相关的数据的第六实例
84.(4-7)通过成像元件处理与生物组织片相关的数据的第七实例
85.2.第二实施例(应用装置)
86.3.第三实施方式(数据获取方法)
87.4.第四实施例(程序)
88.5.第五实施方式(生物样本观察系统)
89.1.第一实施方式(数据获取装置)
90.(1)第一实施方式的描述
91.将参照图1描述根据本技术的数据获取装置1的实例。然而，本技术不限于该描述。
92.根据本技术的数据获取装置1包括成像元件100。成像元件100包括信号获取单元110、成像处理单元120、信息处理单元101以及输出控制单元150。
93.数据获取装置1可以进一步包括照明光学系统、观察光学系统、核酸序列分析系统等。数据获取装置1可设置在例如生物样本观察系统等中，并且生物样本观察系统的实例包括但不限于显微镜观察系统、核酸序列分析系统等。
94.数据获取装置1可进一步包括存储器，该存储器临时存储从成像元件100输出的与生物样本相关的数据、图像数据等。
95.(1-1)成像元件
96.成像元件100包括：信号获取单元110，其在两个以上不同的时间点获取生物样本的图像信号；以及信息处理单元101，其从图像信号中提取特征量并且基于特征量生成与生物样本相关的数据。
97.此外，成像元件100可包括输出控制单元150，该输出控制单元使与生物样本相关的数据被输出到成像元件的外部。因此，成像元件100可减少在输出与包括图像数据等的生物样本相关的数据时输出至成像元件外部的数据量。另外，由于能够减少输出的数据量，所以，成像元件100例如还适用于长时间观察、实时观察、观察对象量增多等。另外，由于成像元件100能够减少输出的数据量，因此能够减轻数据传送的负荷，能够提高处理速度。
98.由成像元件100获得的图像数据可以是例如运动图像数据或延时图像数据。
99.成像元件100被配置为基于所获取的图像信号生成与生物样本相关的数据，并且经由输出控制单元150将生成的与生物样本相关的数据输出到成像元件的外部(例如，服务器或设备)。由此，不需要连续地或随时间地输出具有数据量的所获取的图像信号，使得可以减少要输出的数据量。
100.另外，成像元件100能够减少上述输出的数据量。因此，可以进一步缩短成像间隔，使得可以以更高的精度确定关于生物样本的状态。此外，还可以长时间监测生物样本。此外，可以共同地监测许多生物样本。
101.此外，成像元件100可基于与生物样本相关的状态的确定结果控制所获取的图像数据的输出定时。成像元件100还可压缩并输出要输出的数据量。此外，成像元件100还可生成和输出通过仅在对于生物样本是重要状态时(例如，施药或受精卵的分裂过程)以短成像间隔成像而获得的图像数据。
102.此外，成像元件100可进一步包括对生物样本成像的信号获取单元110以及控制成像单元的成像的成像处理单元120。
103.成像元件100可被配置为经由物镜对生物样本成像。注意，包括物镜的装置可以是直立型或倒置型。
104.优选地，成像元件100包括信号获取单元，其中多个像素被二维布置，并且信号获取单元110和信息处理单元101被布置在一个芯片中。成像元件100优选为例如由一个芯片形成的互补金属氧化物半导体(cmos)图像传感器。成像元件100优选地被配置为接收来自光源的入射光，执行光电转换，并且能够输出与来自光源的入射光对应的图像信号。注意，光源的光可以是自然光或人造光。
105.(1-2)信号获取单元
106.信号获取单元110在两个以上不同的时间点获取生物样本的图像信号。信号获取单元110可通过二维地布置多个像素来配置。信号获取单元110可以通过例如成像来获取图像信号，并且在这种情况下，信号获取单元110也可以被称为成像单元。信号获取单元110可由成像处理单元120驱动，对生物样本成像，并获取图像信号。信号获取单元110可在两个以上不同时间点获取生物样本的图像信号。例如，来自生物样本的光进入信号获取单元110。信号获取单元110接收来自生物样本的每个像素中的入射光，执行光电转换，并且输出对应于入射光的模拟图像信号。
107.注意，例如，可以从诸如12m(3968
×
2976)像素和视频图形阵列(vga)尺寸(640
×
480像素)的多个尺寸中选择由信号获取单元110输出的图像(信号)的尺寸。
108.此外，对于由信号获取单元110输出的图像，例如，可以选择是使用红、绿和蓝(rgb)的彩色图像还是仅使用亮度的单色图像。
109.可以作为成像模式设置的类型来进行这些选择。
110.(1-3)成像处理单元
111.成像处理单元120可以执行与信号获取单元110处的成像相关的成像处理的控制，例如，诸如信号获取单元110的驱动、从信号获取单元110输出的模拟图像信号的模数(ad)转换、以及成像信号处理等。
112.由信号获取单元110输出的模拟图像信号由成像处理单元120通过ad转换转换成数字图像信号。
113.此处，成像信号处理的实例包括通过相对于信号获取单元110输出的图像信号计算每个预定小区域的像素值的平均值等获得每个小区域的亮度的处理、将从信号获取单元110输出的图像信号转换成高动态范围(hdr)图像的处理、缺陷校正、显影等。
114.此外，成像处理单元120可以根据关于成像的成像信息和其他各种类型的信息控制信号获取单元110。
115.成像信息等没有具体限制，但是更具体地，例如，可以采用iso灵敏度(在成像处理中的ad转换时的模拟增益)、曝光时间(快门速度)、帧速率、聚焦、成像模式、(指示)切口范围等的信息等。成像模式可包括例如手动设置曝光时间、帧速率等的手动模式以及根据场景自动设置曝光时间、帧速率等的自动模式。例如，自动模式可以包括与诸如观察对象的类型、观察对象的状态、以及观察情形的各种成像场景对应的模式。
116.(1-4)信息处理单元
117.信息处理单元101包括识别处理单元104，识别处理单元104包括特征量提取单元102和状态确定单元103，特征量提取单元102从通过在两个以上不同的时间点对生物样本成像而获取的图像信号中提取并获取特征量，状态确定单元103基于特征量来确定生物样本的状态。
118.生物样本的实例包括细胞培养物、受精卵、精子、核酸、生物组织片等，并且可以选自它们中的一种或两种以上。
119.特征量的实例包括与细胞培养物有关的特征量、与受精卵有关的特征量、与精子有关的特征量、与核酸有关的特征量、与生物组织片有关的特征量等，并且可以从它们中选择一种或两种以上。
120.优选地，信息处理单元101被配置为基于状态确定单元103的确定结果生成与生物样本相关的数据。
121.与生物样本相关的数据的实例包括图像数据、警报数据、标记数据和核酸序列数据、关注数据等。信息处理单元101可以选择选自它们中的一种或两种以上作为与生物样本相关的数据。
122.信息处理单元101优选地使用所学习的模型生成与生物样本相关的数据。
123.信息处理单元101可以包括图像生成单元105，该图像生成单元105被配置为基于状态确定单元103的确定结果来生成要从所获取的图像信号输出的与生物样本相关的数据。图像信号可以是通过信号获取单元110进行成像而获得的并经受成像处理单元120的数据。
124.例如，通过信息处理单元101生成的与生物样本相关的数据可包括从图像数据、警报数据、标记数据、核酸序列数据以及关注数据中选择的一种或者两种以上。在与生物样本相关的数据是这些数据中的两种以上的组合的情况下，一个数据可以与另一数据相关联。
125.图像生成单元105可以经由成像处理单元120从信号获取单元110接收与生物样本相关的图像信号。图像生成单元105可以基于所接收的图像信号生成例如图像数据。图像生成单元105可以直接将图像数据照原样传输至输出控制单元150，或者图像生成单元105可以压缩与生物样本相关的图像数据并且将所获得的压缩图像数据传输至输出控制单元150。
126.例如，识别处理单元104可包括从两个以上不同时间点的生物样本的图像信号提
取特征量的特征量提取单元以及基于特征量确定生物样本的状态的状态确定单元。信息处理单元101(具体地，识别处理单元104)可以基于状态确定单元的确定结果生成与待输出的生物样本相关的数据。
127.以这种方式，成像元件在成像元件中生成与生物样本相关的数据。例如，通过在不输出图像数据的情况下输出与生物样本相关的数据而不是图像数据，可以减少从成像元件输出的数据量。
128.此外，识别处理单元104基于状态确定单元103的确定结果，从多个获取的图像信号中确定其压缩率根据与生物样本相关的图像数据的优先级(例如，标志数据的存在或不存在)而改变的图像数据。基于该确定结果，图像生成单元105可以对图像数据执行压缩处理并生成图像数据作为与生物样本相关的数据。例如，在确定优先级高(例如，存在标志数据)的情况下，图像生成单元105可以经由输出控制单元150向成像元件的外部输出未压缩的图像数据或以较低压缩率压缩的图像数据(例如，具有较高分辨率的图像数据等)。另外，图像生成单元105例如也可以在确定为优先级低的情况下(例如没有标志数据)，不需要向成像元件的外部输出图像数据，或者也可以经由输出控制单元150向成像元件的外部输出压缩率较高的图像数据或警告数据(例如字符数据等)来代替图像数据。此外，在不需要生成图像数据的信号数据(例如，警报数据等)等的情况下，识别处理单元104可以经由输出控制单元150向成像元件的外部输出信号数据(例如，警报数据等)等。由此，能够减少输出到成像元件外的数据量。
129.此外，识别处理单元104可基于成像图像中的状态确定单元103的确定结果，选择要输出至成像元件外部的图像区域。基于确定结果，图像生成单元105可以对成像图像执行压缩处理为仅该区域的图像数据或仅包括该区域及其外围像素的图像数据，并且可以生成图像数据作为与生物样本相关的数据。例如，压缩处理的实例包括生成必仅要区域的图像数据，以及生成去除该区域以外的区域的图像数据等。应注意，与生物样本相关的数据可包括区域的坐标(例如，x轴、y轴、z轴、t(时间)轴等)位置数据和与坐标位置数据相关联的图像数据。由此，能够减少输出到成像元件外部的数据量。
130.此外，识别处理单元104基于状态确定单元103的确定结果来生成在成像图像中发射信号的斑点中的核酸的核酸序列数据。用于通过状态确定单元103确定的标准的实例包括与斑点相关的数据，例如，光学特性、荧光波长、荧光光谱、吸收光谱、面积、亮度、距中心的距离、以及圆形形状的提取(例如，hough转换)等。此外，还可以从与斑点相关的数据(例如，光学特性、荧光波长、荧光光谱、吸收光谱等)确定核酸的类型。更具体地，核酸类型的确定可以通过分析核酸中标记的信号的特征来进行。例如，可以通过过滤法或光谱法测量诸如荧光染料的荧光波长的特征来进行特征分析。此外，还可以根据关于斑点的光学特性、荧光波长、荧光光谱、吸收光谱、面积、亮度、距中心的距离等来确定核酸的数目。如上所述，识别处理单元104可以基于与该斑点相关的数据确定例如核酸的类型和/或数目。识别处理单元104可以基于所确定的核酸类型和/或数目生成核酸序列数据。
131.此外，基于状态确定单元103的确定结果，图像生成单元105可以有规律地划分(例如，其被划分为网格和块)图像数据的图像，设置发射信号的斑点的坐标位置，将坐标位置与每个斑点的核酸序列数据相关联，并且将坐标位置包括在与生物样本相关的数据中。即，图像生成单元105可以生成与生物样本有关的数据，包括每个斑点的坐标位置数据和与坐
标位置数据相关联的核酸序列数据。此外，基于状态确定单元103的确定结果，图像生成单元105也可以通过排除与除光斑以外的区域相关的图像数据来对图像数据进行压缩处理。由此，能够减少输出到成像元件外的数据量。
132.此外，从通过成像获得的图像数据的图像中，基于状态确定单元103的确定结果，图像生成单元105可以生成与生物样本相关的数据以便检测特征区域并且将标记添加到该区域。此外，图像生成单元105还可以生成与生物样本相关的数据，以便基于确定结果从通过成像获得的图像数据组中检测包括特征区域的图像数据，并且向图像数据添加标记。另外，此时的确定能够考虑观察时间的长度、慢移动速度等。
133.(1-5)输出控制单元
134.输出控制单元150被配置为使与生物样本相关的数据被输出到成像元件的外部。输出控制单元150可使图像数据被输出。优选地，输出控制单元150可控制例如使成像元件100输出与包括图像数据的生物样本相关的数据还是输出与不包括图像数据的生物样本相关的数据。例如，通过控制，可根据需要输出与包括图像数据的生物样本相关的数据，并且在其他情况下，可输出与不包括图像数据的生物样本相关的数据。由此，能够减少从成像元件输出的数据。此外，输出控制单元150可以使成像元件100输出由信息处理单元101生成的警报数据等。
135.(1-6)输出单元和输入单元
136.数据获取装置1可以包括输出单元。输出单元可输出与已从成像元件输出的生物样本相关的数据和/或图像数据。此外，输出单元可以基于警报数据输出警报。输出单元可包括例如显示图像的显示装置。此外，输出单元可以包括输出声音的扬声器等。
137.数据获取装置1可包括输入单元。输入单元接收用户操作。输入单元可包括例如鼠标和/或键盘等。此外，显示装置的显示表面可被配置为接收触摸操作的输入单元。
138.数据获取装置1可以包括存储单元。存储单元可存储从成像元件输出的与生物样本相关的数据和/或图像数据。此外，存储单元可以存储警报数据。存储单元可包括例如记录介质。
139.(1-7)照明光学系统
140.照明光学系统是用于在由成像元件100进行成像期间对被检体s进行照明的光学系统。照明光学系统包括用于照明的光源，并且例如可用可见光或紫外光照射被检体s。照明光学系统中所包括的光源可由本领域技术人员根据要由成像元件100获取的图像数据的类型来适当地选择，并且可包括例如从卤素灯、led灯、水银灯和氙气灯中选择的至少一个。例如，在图像数据是明场图像数据的情况下，照明光学系统可包括例如led灯或卤素灯。在图像数据是荧光图像数据的情况下，照明光学系统可包括例如led灯、水银灯或氙气灯。取决于发射荧光的磷光体的类型，可以选择所发射的光的波长或灯的类型。
141.(1-8)观察光学系统
142.观察光学系统被配置为能够使成像元件100对被检体s进行放大和成像。观察光学系统可以例如包括物镜。另外，观察光学系统可以包括中继透镜，用于将由物镜放大后的图像中继到成像元件100。另外，观察光学系统的配置也可以根据被检体s来选择。例如，可以根据例如被检体s适当地选择物镜的放大率。此外，中继透镜的配置可根据例如物镜和成像元件100适当地选择。观察光学系统包括物镜和中继透镜以外的光学组件。
143.(2)成像元件的配置实例
144.在下文中，将参考图2详细描述成像元件100的更具体的配置实例，但是成像元件的配置不限于该实例。
145.如图2所示，成像元件100包括成像块20和信号处理块30。成像块20和信号处理块30通过连接线(内部总线)cl1、cl2和cl3电连接。
146.成像块20包括成像单元21、成像处理单元22、输出控制单元23、输出i/f 24以及成像控制单元25。
147.信号处理块30可包括中央处理单元(cpu)31、数字信号处理器(dsp)32以及存储器33。信号处理块30还可以包括通信i/f 34、图像压缩单元35和输入i/f 36。信号处理块30使用由成像单元获得的全部图像数据执行预定信号处理。信息处理单元101进行的处理(例如，提取特征量的处理和生成与生物样本相关的数据的处理)由信号处理块30实现。
148.以下将描述成像元件100的这些组件。
149.成像单元21对应于在“(1-2)信号获取单元”中描述的信号获取单元110。成像单元21对包含生物体组织的被检体s的整体进行成像。例如，成像单元21可由成像处理单元22驱动以执行成像。成像单元21可包括例如以二维方式布置的多个像素。包括在成像单元21中的每个像素接收光，执行光电转换，并且然后基于接收的光输出模拟图像信号。
150.由成像单元21输出的图像(信号)的尺寸能够从诸如12m(3968
×
2976)像素或视频图形阵列(vga)尺寸(640
×
480像素)的多个尺寸中选择。成像单元21输出的图像可以是彩色图像或单色图像。彩色图像例如可以由rgb(红、绿、蓝)表示。单色图像可由例如亮度表示。可以作为成像模式设置的类型来进行这些选择。
151.成像处理单元22可执行与通过成像单元21的图像的成像相关的成像处理。例如，在成像控制单元25的控制下，成像处理单元22可执行成像处理，例如驱动成像单元21、从成像单元21输出的模拟图像信号的模数(ad)转换、成像信号处理等。
152.更具体地，例如，成像信号处理可以是通过计算从成像单元21输出的图像的每个小区域的像素值的平均值等获得每个预定小区域的亮度的处理、将从成像单元21输出的图像转换成高动态范围(hdr)图像的处理、缺陷校正或者显影。
153.成像处理单元22可将通过从成像单元21输出的模拟图像信号的ad转换等获得的数字图像信号(例如，12m像素或vga尺寸的图像)输出为成像图像。
154.从成像处理单元22输出的成像图像可被提供给输出控制单元23。此外，通过成像处理单元22输出的成像图像可经由连接线cl2提供给信号处理块30(具体地，图像压缩单元35)。
155.成像图像可从成像处理单元22提供给输出控制单元23。此外，使用例如成像图像等的确定结果可经由连接线cl3从信号处理块30提供至输出控制单元23。
156.输出控制单元23执行输出控制，以选择性地将从成像处理单元22提供的成像图像和信号处理块30的确定结果从(一个)输出i/f 24输出至成像元件100的外部。
157.即，输出控制单元23选择来自成像处理单元22的成像图像或者来自信号处理块30的确定结果，并且将该成像图像或者确定结果提供给输出i/f24。
158.输出i/f 24是将从输出控制单元23提供的成像图像和确定结果输出至外部的i/f。作为输出i/f24，例如，可以采用诸如移动工业处理器接口(mipi)的相对高速的并行i/f。
输出i/f 24根据输出控制单元23的输出控制，将来自成像处理单元22的成像图像或者来自信号处理块30的确定结果输出至外部。因此，例如，在仅来自信号处理块30的确定结果在外部是必要的并且成像图像本身不是必要的情况下，仅可以输出确定结果，并且可以减少将从输出i/f 24输出至外部的数据量。
159.此外，信号处理块30进行确定处理以获得由成像元件100外部的组件(例如，第二成像元件112和/或控制单元113(未示出))使用的确定结果，并且从输出i/f 24输出确定结果。由此，不需要对外部执行信号处理，并且能够减小外部块上的负载。
160.成像控制单元25能够根据寄存器组27中存储的成像信息(图像数据等)来控制成像处理单元22，由此控制成像单元21的成像。
161.寄存器组27可存储成像信息、成像处理单元22中的成像信号处理的结果以及与输出控制单元23中的输出控制有关的输出控制信息。输出控制单元23能够根据存储在寄存器组27中的输出控制信息，执行选择性地输出成像图像(成像图像数据等)和确定结果的输出控制。
162.成像控制单元25和包含在信号处理块30内的cpu可经由连接线cl1连接。cpu能够经由连接线从寄存器组27读取信息以及向寄存器组27写入信息。即，从寄存器组27读取信息以及向寄存器组27写入信息可以由通信i/f 26进行，也可以由cpu进行。
163.信号处理块30基于整个图像数据确定与被检体相关的特征。信号处理块30可包括例如中央处理单元(cpu)31、数字信号处理器(dsp)32和存储器33。信号处理块30还可以包括通信i/f 34、图像压缩单元35和输入i/f 36。信号处理块30可使用由成像单元获得的全部图像数据执行预定信号处理。
164.构成信号处理块30的cpu 31、dsp 32、存储器33、通信i/f 34以及输入i/f 36经由总线彼此连接，并且可根据需要交换信息。
165.例如，cpu 31执行存储在存储器33中的程序，以执行各种处理，例如，信号处理块30的控制或者从成像控制单元25的寄存器组27中读取信息并且将信息写入至成像控制单元25的寄存器组27。例如，通过执行程序，cpu 31用作通过使用由dsp 32中的信号处理所获得的信号处理结果来计算成像信息的成像信息计算单元，并且可通过连接线cl1将通过使用信号处理结果所计算的新的成像信息反馈给成像控制单元25的寄存器组27，并且使新的成像信息存储在其中。因此，cpu 31能够根据成像图像的信号处理结果对成像单元21的成像和/或成像处理单元22的成像信号处理进行控制。此外，能够从通信i/f 26向外部提供(输出)由cpu 31存储在寄存器组27中的成像信息。例如，存储在寄存器组27中的成像信息中的聚焦信息可以从通信i/f 26提供给控制聚焦的聚焦驱动器(未示出)。
166.通过执行存储在存储器33中的程序，dsp 32用作信号处理单元，该信号处理单元使用经由连接线cl2从成像处理单元22提供给信号处理块30的成像图像和通过输入i/f 36从外部接收的信息执行信号处理。
167.存储器33可以包括静态随机存取存储器(sram)、动态ram(dram)等。例如，存储器33存储诸如用于信号处理块30的处理的数据的各种数据。
168.例如，存储器33存储经由通信i/f 34从外部接收的程序、由图像压缩单元35压缩的成像图像(具体地，在dsp 32中的信号处理中使用的成像图像)、在dsp 32中执行的信号处理的信号处理结果、通过输入i/f 36接收的信息等。
169.例如，通信i/f 34是诸如串行外围接口(spi)的串行通信i/f等第二通信i/f，并且与外部组件(例如，第一成像元件111外部的存储器、信息处理装置等)交换诸如由cpu 31或dsp 32执行的程序等必要信息。
170.例如，通信i/f 34从外部下载由cpu 31或dsp 32执行的程序，将程序供应至存储器33并且使程序存储在其中。因此，通过由通信i/f 34下载的程序，cpu 31或dsp 32可以执行各种处理。注意，通信i/f 34不仅可以与外部交换程序，而且可以交换任意数据。例如，通信i/f 34可将通过dsp 32中的信号处理所获得的信号处理结果输出至外部。另外，通信i/f 34将与cpu 31的指示对应的信息输出到外部装置，使得能够根据cpu31的指示对外部装置进行控制。
171.这里，除了从通信i/f 34输出至外部之外，通过dsp 32中的信号处理所获得的信号处理结果可以由cpu 31写入成像控制单元25的寄存器组27中。写入寄存器组27中的信号处理结果可以从通信i/f 26输出到外部。这同样适用于cpu 31进行的处理的处理结果。
172.成像图像经由连接线cl2从成像处理单元22提供至图像压缩单元35。图像压缩单元35执行用于压缩成像图像的压缩处理，并且生成具有比成像图像更小的数据量的压缩图像。
173.由图像压缩单元35生成的压缩图像经由总线被供应至存储器33并被存储在其中。
174.这里，不仅可以使用成像图像本身而且可以使用由图像压缩单元35从成像图像生成的压缩图像来执行dsp 32中的信号处理。因为压缩图像具有比成像图像更小的数据量，所以可以减少dsp 32中的信号处理的负荷并且节省存储压缩图像的存储器33的存储容量。
175.作为图像压缩单元35中的压缩处理，例如，能够执行用于将12m(3968
×
2976)像素的成像图像转换成vga尺寸的图像的按比例缩小。此外，在对亮度执行dsp 32中的信号处理并且成像图像是rgb图像的情况下，可以执行用于将rgb图像转换为例如yuv图像的yuv转换，作为压缩处理。
176.注意，图像压缩单元35可以通过软件实现，或者可以通过专用硬件实现。
177.输入i/f 36是从外部接收信息的i/f。例如，输入i/f 36从外部传感器接收外部传感器的输出(外部传感器输出)，并且经由总线将输出供应至存储器33并且使数据存储在其中。
178.例如，类似于输出i/f 24，并行i/f(诸如移动工业处理器接口(mipi))可以被用作输入i/f 36。
179.此外，作为外部传感器，例如，可以采用感测关于距离的信息的距离传感器，此外，作为外部传感器，例如，可以采用感测光并且输出对应于该光的图像的图像传感器，即，不同于成像装置2的图像传感器。
180.在dsp 32中，除了使用(从成像图像生成的压缩图像)成像图像之外，可使用由如上所述的输入i/f 36从外部传感器接收并存储在存储器33中的外部传感器输出来执行信号处理。
181.在如上所述配置的单芯片成像元件100中，由dsp 32进行使用通过成像单元21的成像而得到的成像图像(由其生成的压缩图像)的信号处理，从输出i/f 24选择性地输出信号处理的信号处理结果和成像图像。因此，可以使输出用户所需的信息的成像装置小型化。
182.在此处，在成像元件100内不进行dsp 32的信号处理，因此，不从成像元件100输出
信号处理结果并且成像图像被输出的情况下，即，在成像元件100被配置为仅捕获和输出图像的图像传感器的情况下，成像元件100可仅配置有未设置输出控制单元23的成像块20。
183.图3是示出了图1中的成像元件100的外部配置实例的轮廓的透视图。
184.例如，如图3所示，成像元件100可被配置为具有堆叠多个晶片的堆叠结构的单芯片半导体器件。
185.在图3中，通过堆叠晶片51和52中的两个晶片来配置成像元件100。
186.在图3中，成像单元21安装在上晶片51上，并且成像处理单元22至成像控制单元25以及cpu 31至输入i/f 36安装在下晶片52上。
187.上晶片51和下晶片52通过例如形成贯通晶片51并到达晶片52的通孔、或进行将晶片51的下表面侧暴露的cu配线和晶片52的上表面侧暴露的cu配线直接连接的cu-cu接合等而电连接。
188.在此处，在成像处理单元22中，作为执行从成像单元21输出的图像信号的ad转换的方法，例如，可以采用列并行的ad方法或者区域ad方法。
189.在列并行ad方法中，例如，ad转换器(adc)被设置用于构成成像单元21的像素列，并且每列中的adc负责该列中的像素的像素信号的ad转换，使得并行执行一行中每列中的像素的图像信号的ad转换。在采用列并行ad方法的情况下，执行列并行ad方法的ad转换的成像处理单元22的一部分可安装在上晶片51上。
190.在区域ad方法中，组成成像单元21的像素被划分为多个块，并且为每个块设置adc。然后，每个块的adc负责块的像素的像素信号的ad转换，使得并行执行多个块的像素的图像信号的ad转换。在区域ad方法中，图像信号的ad转换(读取和ad转换)可仅对构成具有作为最小单元的块的成像单元21的像素中的必要像素执行。
191.要注意的是，如果允许成像元件100的面积较大，那么成像元件100可配置有一个晶片。
192.此外，在图3中，一个芯片的成像元件100通过堆叠两个晶片51和52来配置，但是一个芯片的成像元件100可通过堆叠三个以上晶片来配置。例如，在一个芯片的成像元件100通过堆叠三个晶片配置的情况下，图3的存储器33可以安装在另一个芯片上。
193.在用户需要的信息是成像图像的情况下，成像元件100可输出成像图像。
194.此外，在使用成像图像通过信号处理获得用户所需要的信息的情况下，通过在dsp 32中执行该信号处理，成像元件100可获得并且输出信号处理结果作为用户所需要的信息。
195.(3)第一实施方式的第一实例
196.根据本技术的数据获取装置可以被配置为例如设置有成像元件的装置，该成像元件处理和输出通过在两个以上不同的时间点对生物样本成像而获得的图像数据。下面将参照图4描述如上所述配置的根据本技术的数据获取装置的示例和通过数据处理装置处理的示例。然而，本技术不限于该描述。
197.图4示出了根据本技术的生物样本观察系统1000，其包括设置有成像元件100的数据处理装置1，但是本技术不限于生物样本观察系统。生物样本观察系统1000被配置为用于观察生物样本的系统，并且可以被配置为用于执行细胞培养、细胞回收、荧光反应等的系统。
198.作为用于观察生物样本的系统中的生物样本，例如，可以使用选自细胞培养物、受
精卵、精子、核酸以及生物组织片的一种或两种以上，但是生物样本并不具体局限于此。
199.用于观察诸如细胞培养物、受精卵、精子和生物组织片的生物样本的系统的实例包括培养系统和显微镜观察系统。此外，用于观察生物样本(例如核酸)的系统的实例包括核酸序列分析系统。
200.例如，生物样本观察系统1000可包括能够保持生物样本的保持单元以及利用光照射生物样本的照射单元。生物样本观察系统1000可进一步包括储存保持单元的保温箱。
201.关于上述“(1-7)照明光学系统”中描述的照明光学系统的描述适用于照射单元。
202.保持单元可以包括可以容纳或安装一个或多个生物样本的容器或板等。容器、板等可用于观察和/或培养生物样本。容器、板等的实例包括但不限于井、测定板、微板、显微镜载玻片等。
203.例如，图4示出用于观察细胞培养物、受精卵、精子等的系统的实例。
204.如图4所示，生物样本观察系统1000可以包括保温箱1010、观察装置1020、湿气温度气体控制单元1030、检测单元1040、设置有成像元件100的数据获取装置1、个人计算机(pc)1050、输出单元1060和输入单元1070。
205.保温箱1010是能够容纳观察装置1020、湿气温度气体控制单元1030和检测单元1040的培养设备，并且可以具有保持内部温度、湿度等恒定的功能。保温箱1010可以被配置成允许任何气体流入。气体的种类没有具体限制，例如是选自氮、氧、二氧化碳等中的一种或两种以上。
206.观察装置1020包括设置有成像元件100、光源1022以及存储生物样本的容器组1023的数据获取装置1。光源1022可用作用光照射生物样本的照射单元。容纳生物样本的容器组1023可用作能够保持生物样本的保持单元。成像元件100包括用于对生物样本成像的信号获取单元110。
207.成像元件100能够随时间对容纳于容纳有生物体样本的容器1023a(desh)的生物样本进行成像。虽然在图4中成像元件100相对于生物样本布置在向下方向上，但是该布置不受具体限制，并且可布置在任何方向上，诸如垂直方向、前后方向以及左右方向。观察装置可以是直立型或倒置型。成像元件100的成像方向可以是任意xyz方向，没有具体限定。成像元件100可被配置为可在用于成像的光轴方向(z轴方向)和水平方向(与z轴方向垂直的方向)上移动。此外，成像元件100可被配置为经由物镜对生物样本成像。
208.此外，数据获取装置1可以被配置为能够成像静止图像或运动图像。
209.光源1022没有具体限制，例如，可以采用能够发射具有特定波长的光的发光二极管(led)、可见光灯、氙气灯等。
210.容器组1023可包括多个容器。容器组1023的配置不受具体限制，并且例如，容器组1023可布置在成像元件100与光源1022之间的观察台s上，并且此时，观察台s可被配置为能够透射由光源1022发射的光。
211.另外，构成容器组1023的材料不受具体限制，优选为能够透过照射光的材料。
212.湿度温度气体控制单元1030控制保温箱1010中的温度和湿度以及在保温箱1010中诱导的气体，并且可以将温度控制到例如大约37℃至38℃适合于细胞培养。
213.检测单元1040可被配置为检测保温箱1010中的温度、湿度和大气压、光源1022的照度等，并将它们输出至数据获取装置1。
214.数据获取装置1如上所述“(1)第一实施方式的描述”，并且该描述也适用于本实施方式。具体地，数据获取装置1包括成像元件100，该成像元件100包括通过在两个以上不同的时间点对生物样本成像来获取图像信号的信号获取单元110、从图像信号中提取特征量并且基于该特征量生成与生物样本相关的数据的信息处理单元101、以及使与生物样本相关的数据被输出至成像元件的外部的输出控制单元150。信号获取单元110、信息处理单元101以及输出控制单元150可以布置在单个芯片中。
215.此外，数据获取装置1可包括计算机所需的硬件，诸如中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)和硬盘驱动器(hdd)。cpu将存储在rom或hdd中的本技术的程序加载到ram中并执行该程序，使得可以控制稍后描述的数据获取方法的操作。
216.程序可通过例如各种存储介质(内部存储器)安装在数据获取装置1中。可替代地，可以经由互联网等安装程序。
217.在本实施方式中，设置有成像元件100的数据获取装置1可连接至例如信息处理装置(例如，个人计算机(pc)等)1050。
218.输出单元1060被配置为能够输出与生物样本相关的数据(图像数据、警报数据等)。输出单元1060可以包括例如使用液晶、有机电致发光(el)等的显示装置(显示器)。显示装置可将与生物样本相关的数据输出为图像(静态图像或运动图像)数据、字符数据、声音数据等。此外，输出单元1060可以包括例如打印装置。打印装置可以在诸如纸的打印介质上打印并输出与生物样本相关的数据。
219.输入单元1070例如是接收用户的操作的装置。输入单元1070可包括例如鼠标、键盘或显示器(在这种情况下，用户操作可为显示器上的触摸操作)。输入单元1070可将用户的操作作为电信号发送至数据处理装置1。数据处理装置1的信息处理单元101可以根据电信号执行各种类型的处理。
220.(4)第一实施方式中通过成像元件处理数据的实例
221.在下文中，将详细描述通过根据本技术的成像元件100进行的数据处理的实例，但并不具体限制于此。
222.(4-1)通过成像元件处理数据的第一实例
223.下面参照图5和图6，描述由包括在数据获取装置1内的成像元件100处理与生物样本相关的数据的实例。图5和图6为用于通过成像元件100处理与生物样本相关的数据的流程图的概要的实例。
224.成像元件100如上参考图1所述，并且包括：信号获取单元110，可以对生物样本成像并在两个以上不同时间点获取生物样本的图像信号；成像处理单元120，控制与信号获取单元110中的成像相关的成像处理；信息处理单元101，从图像信号中提取特征量并且基于特征量生成与生物样本相关的数据；以及输出控制单元150，使与生物样本相关的数据被输出到成像元件的外部。
225.《与第一实例相关的实施方式》
226.在步骤s101中，成像元件100开始与生物样本相关的数据的获取处理。成像元件100开始对生物样本成像并且连续地或随时间获取图像信号。启动可以是自动的，或者可以通过例如用户点击在输出单元的显示器上显示的预定处理启动按钮来启动。
227.要注意的是，在开始处理生物样本数据之前，可生成已学习的模型，并且已学习的
模型可储存在包含在成像元件100内的储存单元内。
228.在步骤s102中，成像元件100对生物样本成像并且获取图像信号。成像元件100可在两个以上不同的时间点获取生物样本的图像信号。例如，成像元件100可控制成像处理单元120，从而可控制由信号获取单元110进行的成像。成像元件100例如获取运动图像数据或延时图像数据。
229.例如，由信号获取单元110获取的模拟图像信号由成像处理单元120转换成数字图像信号，并且数字图像信号被传输至信息处理单元101。信息处理单元101在后面描述的步骤s103中使用图像信号用于生成与生物样本相关的数据。
230.在步骤s103中，信息处理单元101在两个以上不同的时间点从生物样本的图像信号中提取特征量，并且基于该特征量生成与生物样本相关的数据。
231.生物样本优选为选自细胞培养物、受精卵、精子、核酸和生物组织片的一种或两种以上。
232.特征量优选为与细胞培养物有关的特征量、与受精卵有关的特征量、与精子有关的特征量、与核酸有关的特征量和与生物体组织片有关的特征量中的任一项。
233.与生物样本相关的数据优选地包括从图像数据、警报数据、标记数据、核酸序列数据和关注量数据中选择的一种或两种以上。在与生物样本相关的数据是图像数据的情况下，例如，可以通过图像生成单元105生成图像数据。应注意，在本说明书中，与生物样本相关的数据之中的除图像数据之外的数据(例如，警报数据、标记数据、核酸序列数据、关注数据等)也称为信号数据。
234.在步骤s104中，输出控制单元150使所生成的与生物样本相关的数据被输出至成像元件的外部。在未生成与生物样本相关的数据的情况下，信息处理单元101不必将数据输出至成像元件的外部。
235.此外，与生物样本相关的输出数据可以存储在数据获取装置内部或外部的存储单元或服务器中。此外，优选通过使信号数据(例如，警报数据、标记数据等)和与生物样本相关的数据中的图像数据相关联，来存储信号数据和与信号数据相关联的图像数据。即使在图像数据或信号数据中的任一项从输出控制单元150输出的情况下，其他相关联的数据也可以被调用和显示。此时，从可进一步减少输出数据量的观点出发，优选输出信号数据。
236.当在步骤s104中输出与生物样本相关的数据时，能够结束数据获取处理(步骤s105)。要注意的是，在步骤s104中输出与生物样本相关的数据之后，可再次重复步骤s102至s104的处理。
237.在下文中，将参考图6描述步骤s103的细节。
238.在图6中所示的步骤s201中，例如，信息处理单元101响应于在s102中获取的两个以上不同时间点的图像信号的接收而开始生成与生物样本相关的数据的处理。
239.在步骤s202中，信息处理单元101在两个以上不同时间点从生物样本的图像信号中获取特征量。特征量可以由特征量提取单元102获取。例如，包括在识别处理单元104中的特征量提取单元102提取两个以上不同时间点的图像信号的变化(差异)。
240.在步骤s203中，信息处理单元101基于特征量确定生物样本的状态。可以通过状态确定单元103执行生物样本的确定。例如，包括在识别处理单元104中的状态确定单元103可以确定预定事件发生。例如，识别处理单元104可以在两个以上不同时间点确定图像信号的
变化(差异)并且确定预定事件发生。因此，可以获得生物样本的状态的确定结果。此外，也可以获得预定事件发生之前的状态的确定结果。
241.在步骤s204中，基于通过确定生物样本的状态的确定结果来生成与待输出的生物样本相关的数据。与生物样本相关的数据优选地包括从图像数据、警报数据、标记数据、核酸序列数据和关注数据中选择的一种或两种以上。可以通过图像生成单元105进行与生物样本相关的数据的生成。此外，除图像数据之外，与生物样本相关的数据(例如，诸如警报数据等的信号数据)可由识别处理单元104生成。此外，信息处理单元101可以生成与图像数据与其他数据(例如，信号数据)相关联的生物样本相关的数据。
242.如上所述，获取与生物样本相关的数据。当获取数据时，信息处理单元101结束步骤s103中的处理(步骤s205)。
243.当生成与生物样本相关的数据时，信息处理单元101优选地使用已学习的模型。图7为示意性示出可用作本技术中的已学习的模型的专用ai的处理过程实例的框图。可以根据专用人工智能(ai)的通用处理过程执行本技术中使用已学习的模型的处理。专用ai使用通过使预定算法对学习数据(教导数据)执行机器学习而产生的已学习的模型。通过将任意输入数据应用于已学习的模型来获得结果。
244.提前，信息处理单元101基于与生物样本相关的特征量，对与生物样本相关的图像数据进行转换或处理，并且将为了促进通过学习方法的分析而生成的二次处理数据设置为教导数据(学习数据)。此时与生物样本相关的特征量可由用户任意设定，或者可由经验得出的与生物样本相关的特征量设定。此外，与生物样本相关的图像数据可以通过信号获取单元110进行成像来获得，或者可以从装置的内部或装置的外部(诸如存储单元或服务器上)获得。
245.接下来，信息处理单元101可通过使预设算法使用教导数据执行机器学习来配置已学习的模型。由此，信息处理单元101具有已学习的模型的配置。
246.该算法用作例如机器学习算法。信息处理单元101可以从根据各个特征量构建的多个已学习的模型中选择单个已学习的模型，或者可以选择通过组合多个已学习的模型而获得的已学习的模型。此外，已学习的模型不受具体限制，并且用户可以选择一个或多个已学习的模型。
247.机器学习算法的类型不受具体限制，并且可以是例如使用诸如递归神经网络(rnn)、卷积神经网络(cnn)、或多层感知器(mlp)的神经网络的算法、或任意算法。
248.接下来，通过将由信号获取单元110获取的图像信号输入到所配置的已学习的模型，信息处理单元101可以生成要从输出控制单元150输出的与生物样本相关的数据。要注意的是，所获取的图像信号与图7的输入数据对应，并且要输出的与生物样本相关的数据与图7的结果对应。
249.已学习的模型可以是例如通过深度学习生成的已学习的模型。例如，已学习的模型可以是多层神经网络，例如可以是深度神经网络(dnn)，并且更具体地，可以是卷积神经网络(cnn)。
250.多层神经网络可以用作用于特征量提取单元提取特征量的已学习的模型。多层神经网络可包括：输入图像数据的输入层；输出图像数据的特征量的输出层；以及设置在输入层和输出层之间的至少一个中间层。
251.多层神经网络可以用作已学习的模型，状态确定单元使用已学习的模型生成与生物样本相关的数据。多层神经网络可以包括：输入层，输入特征量；输出层，基于特征量输出与生物样本相关的数据；以及至少一个中间层，设置在输入层和输出层之间。
252.可以通过信息处理单元101获取的与生物样本相关的图像数据可以是通过信号获取单元110进行成像而获得的图像数据，或者可以是内部(例如，存储单元)或外部(例如，在网络上)的图像数据，并且不具体限于此。
253.要注意的是，通过根据需要从在第二实例到第七实例中描述的数据获取方法中适当地采用方法并且适当地组合这些方法，可应用根据本技术的第一实例。
254.(4-2)通过成像元件处理数据的第二实例
255.下面参照图8和图9，描述由包括在数据获取装置1内的成像元件100处理与生物样本相关的数据的实例。图8和图9是用于通过成像元件100处理与生物样本相关的数据的流程图的概要的实例。
256.与第二实例有关的成像元件100、信号获取单元110、成像处理单元120、信息处理单元101、输出控制单元150等可采用由成像元件处理数据的上述(4-1)第一实例。将参照图8和图9描述与第二实例相关的实施方式。这使得可以在对生物样本成像时减少要输出的数据量。
257.应注意，可通过从在第一实例和第三实例至第七实例中描述的数据获取方法中根据需要适当地采用方法并且适当地组合方法，来应用根据本技术的第二实例。
258.将参照图8描述与第二实例a相关的实施方式。
259.在步骤s301中，成像元件100开始处理与生物样本相关的数据。成像元件100通过对生物样本成像而开始连续地或随时间地获得图像信号。
260.在步骤s302中，信息处理单元101经由成像处理单元120在两个以上不同时间点从信号获取单元110获取生物样本的图像信号。
261.在步骤s303中，信息处理单元101从在两个以上不同时间点的生物样本的图像信号中提取特征量。
262.在步骤s304中，信息处理单元101确定生物样本的状态是否已达到预定状态。信息处理单元101可以是确定是否可以达到预定状态。预定状态还可以包括经过的时间等。信息处理单元101可以使用已学习的模型从特征量或预定状态生成与生物样本相关的数据。
263.在信息处理单元101确定未达到预定状态的情况下，处理返回至步骤s302以获取图像信号。
264.在信息处理单元101确定已经达到预定状态的情况下，处理进行至步骤s305，并且基于特征量生成与生物样本相关的信号数据(例如，警报数据等)。
265.在步骤305中，信息处理单元101将与生物样本有关的信号数据输出至成像元件的外部。
266.当在步骤s304中输出与生物样本相关的数据时，可以结束数据获取处理(步骤s305)。要注意的是，在步骤s304中输出与生物样本相关的数据之后，可再次重复步骤s302至s304的处理。
267.将参考图9描述与第二实例b相关的实施方式。
268.在步骤s401中，成像元件100开始处理与生物样本相关的数据。成像元件100开始
连续地或随时间地获得通过对生物样本成像而获取的图像信号。
269.在步骤s402中，信息处理单元101从成像处理单元120在两个以上不同时间点获得生物样本的图像信号。
270.在步骤s403中，信息处理单元101在两个以上不同时间点从生物样本的图像信号中提取特征量。
271.在步骤s404中，信息处理单元101确定生物样本的状态是否已达到预定状态。信息处理单元101可以确定是否可以达到预定状态。信息处理单元101可以使用已学习的模型生成与生物样本相关的数据。
272.在信息处理单元101确定未达到预定状态的情况下，处理返回至步骤s402以获取图像信号。
273.在信息处理单元101确定已经达到预定状态的情况下，处理进行至步骤s405，并且基于特征量生成与生物样本相关的图像数据。此外，在信息处理单元101确定已经达到预定状态的情况下，可根据图像数据的重要程度改变图像数据的压缩率。例如，在图像数据的重要性高的情况下，可不压缩图像数据或者可降低图像数据的压缩率，或者在图像数据的重要性低的情况下，可提高图像数据的压缩率。此外，可以压缩必要区域以外的区域的图像数据。此外，当生成图像数据时，可以生成诸如经过时间的时间数据、诸如地点的坐标位置数据以及与该数据相关联的图像数据。此外，此时，还可以生成信号数据(例如，警报数据等)。
274.在步骤405中，信息处理单元101将包括与生物样本相关的图像数据的数据输出至成像元件的外部。与生物样本相关的数据可包括信号数据。
275.当在步骤s404中输出与生物样本相关的数据时，可结束数据获取处理(步骤s405)。注意，在步骤s404中输出与生物样本相关的数据之后，可以再次重复步骤s402至s404的处理。
276.(4-3)通过成像元件处理与细胞培养物相关的数据的第三实例
277.在下文中，作为本技术的第三实例，将参考图10描述通过成像元件100对与细胞培养物有关的数据的处理。
278.根据本技术的信息处理单元101通过在两个以上不同的时间点对细胞培养物成像来获取图像信号，从所获取的图像信号中提取特征量，并且基于特征量生成与细胞培养物相关的数据。
279.信息处理单元101可以基于细胞培养物的特征量来确定生物样本的状态。
280.在确定细胞培养物为预定状态的情况下，信息处理单元101能够生成并输出与细胞培养物有关的数据。在确定达到或者能够达到预定状态的情况下，信息处理单元101也可以根据能够输出的情况下的确定结果，进行与细胞培养物有关的作业处理，或者，用户可以确定与细胞培养物有关的输出数据，输入与细胞培养物有关的作业处理。作为与细胞培养物有关的作业处理，例如，可以从培养结束、传代培养、药物添加、细胞分选、细胞回收等或者它们的组合(例如，药物添加之后细胞分选/回收)中选择一种或两种以上。
281.另外，作为与生物体样本相关的数据，信息处理单元101可以采用以下项例如：培养容器(例如皮氏培养皿、瓶、室等)的形态、培养容器的有无等、细胞培养物的有无、培养容器的数量、每个培养容器的培养时间的建模；细胞的形态、点画等的建模；和细胞的数量、增殖、消失、形式、追踪和运动的建模。
282.以往，在利用ccd、cmos等成像元件实时地进行监视时，存在图像数据庞大的问题。
283.另一方面，通过使用根据本技术的成像元件100，可减少图像数据的量。因为本技术可以减少数据量，所以可以长时间执行实时增加监测对象等的数量。此外，通过使用根据本技术的成像元件100，可以使细胞培养自动化，诸如细胞分选、传代和药物给予定时。
284.本技术的细胞培养物可以包括组织、细胞、病毒、细菌、培养液、代谢物等。组织包括二维或三维培养的组织、球状体和细胞物质。此外，细胞包括干细胞、诱导多能干细胞(ips)细胞、癌细胞系、基因工程化细胞等。
285.与细胞相关的特征量不受具体限制，并且其实例包括形状、细胞数量、密度、增殖速度、活性、移动等，并且可以从中选择其中的一种或两种以上。
286.此外，与培养液有关的特征量没有具体限制，其实例包括培养基中异物的数量、培养基中的营养成分(例如，蛋白质、碳水化合物、脂质、矿物质等)、每种营养成分的含量、二氧化碳浓度、氧浓度、温度、大气压、气体氛围、光透射、光散射、光吸收、ph、ph响应剂等，并且可以选择其中的一种或两种以上。异物不受具体限制，并且其实例包括微生物(例如，真菌(例如，细菌、真菌等))、病毒、支原体等。
287.与细胞培养物有关的特征量的提取没有具体限制，但可以例如基于与在两个以上不同时间点成像的细胞培养物有关的图像信号的变化(差异)进行。更具体地，在两个以上不同时间点的图像信号发生变化(差异)的情况下，可以提取变化(差异)作为与细胞培养物有关的特征量。因此，可以获取与细胞培养物有关的特征量。
288.可以基于与细胞培养物相关的特征量来确定与生物样本相关的预定状态。预定状态不受具体限制，并且其实例包括达到或者能够达到预定细胞密度的状态、产生或者能够产生异物的状态等。
289.然后，在确定达到预定细胞密度的状态或能够达到预定细胞密度的状态的情况下，生成并输出与细胞培养物有关的数据。与细胞培养物相关的数据不受具体限制，并且其实例包括细胞密度的警报、传代时间的警报、给药警报、与所生成的细胞培养物相关的图像数据等，并且可以包括从中选择的一种或两种以上。
290.此外，在确定异物已经发生或达到异物可能发生的状态的情况下，生成并输出与细胞培养物相关的数据。与细胞培养相关的数据没有具体限制，其实例可包括异物产生的警报、传代时间的警报、给药的警报、培养液更换警报、与所产生的细胞培养物相关的图像数据等，可列举出选自它们中的一种或两种以上。
291.根据本技术，可以管理细胞培养物。此外，在本技术中，可以使用通过对细胞培养物成像而获取的多个图像信号的学习模型来确定与细胞培养物相关的特征量。
292.根据本技术，可以从成像像素上的细胞培养物的两个以上不同时间点的图像信号确定与细胞培养物相关的特征量，并生成与细胞培养物相关的数据。由此，不需要向成像元件的外部连续输出大量的图像数据，能够减少向成像元件的外部的数据转送量。
293.此外，与细胞培养物有关的特征量不受具体限制，并且可以包括例如：与细胞有关的特征量，诸如细胞的数目、细胞分裂(例如，数目、速度、形状等)、细胞活性程度(例如，酶、代谢物等)和细胞的运动；培养液组成、微生物数量等与培养液有关的特征量；等，并且可以选择其中的一种或两种以上。当检测特征量时，可根据需要适当地使用着色法检测、荧光法检测、抗原-抗体反应检测等或其组合。
294.根据本技术，例如，在进行诸如污染对策的培养管理的情况下，可以将具有与最初期望培养的细胞的特性不同的特性的细胞识别为异物，并且呈现警报。此外，此时，可以使用学习模型确定原始细胞培养物和异物之间的差异。异物的实例包括但不限于微生物，如细菌、真菌、微等离子、病毒等。
295.在培养管理中，细胞和异物之间的差异的实例包括大小、形状、生长速率、分裂速率、移动、活性、存在位置、光散射、内部结构等，并且从中选择的一种或两种以上可以用作细胞培养物的特征量，但是该差异不特别限于此。
296.此外，根据本技术，在事件发生之前或者事件发生时，信息处理单元101可以在两个以上不同的时间点获取图像信号，基于图像信号生成与细胞培养有关的数据，并且将该数据作为与细胞培养有关的数据(例如，诸如培养细胞的图像数据、警报数据等)输出至成像元件的外部。
297.在事件发生之前不受具体限制，并且其实例包括在药物添加之前、传代之前、细胞分选之前、细胞添加之前、细胞培养结束之前等。
298.当事件发生时不受具有限制，并且其实例包括达到设定时间的时间；细胞培养达到所需细胞密度或细胞数目的时间；在培养液中产生异物的时间；以及给药的时间等。
299.根据本技术，可以进一步减少待输出的数据量。
300.以下将举例说明通过成像元件处理与细胞培养有关的数据的第三实例a，但是不具体局限于此(参见图10)。
301.在步骤s501中，开始细胞培养的培养，并且开始监测培养的细胞。
302.在步骤s502中，信息处理单元101控制信号获取单元110在两个以上不同的时间点获取细胞培养的图像信号。
303.在步骤s503中，信息处理单元101从细胞培养的两个以上不同时间点的图像信号提取细胞培养的特征量，并基于该特征量生成与细胞培养有关的数据。此时，可以使用已学习的模型。
304.在步骤s504中，输出控制单元150将与细胞培养相关的数据输出到成像元件的外部。
305.当在步骤s504中输出与细胞培养相关的数据时，可以结束数据获取处理(步骤s505)。另外，在步骤s504中，也可以在输出与细胞培养相关的数据之后，再次重复步骤s502至s504的处理。
306.在步骤s505中，基于与细胞培养相关的数据进行细胞培养的作业处理。用户可以基于与细胞培养相关的输出数据，输入或指示与细胞培养相关的作业处理。另外，也可以设置与细胞培养有关的作业处理装置，在该作业处理装置中预先设定各种作业处理方法，将与细胞培养有关的数据发送到与细胞培养有关的作业处理装置，根据发送的数据，在与细胞培养有关的作业处理装置中进行细胞培养的各种作业处理，从而能够进行自动的作业处理。
307.以下将举例说明通过成像元件处理与细胞培养物有关的数据的第三实例b，但是该处理不特别局限于此(参见图10)。
308.在步骤s501中，开始细胞培养的培养，并且开始监测培养的细胞。
309.在步骤s502中，信息处理单元101控制信号获取单元110在两个以上不同的时间点
获取细胞培养物的图像信号。
310.在步骤s503中，信息处理单元101从图像信号中提取细胞数量和细胞密度的特征量，并且基于特征量生成与细胞数量和细胞密度相关的数据。此时，可以使用已学习的模型。
311.在步骤s504中，信息处理单元101基于与细胞数量和细胞密度相关的数据确定细胞培养的状态。此时的细胞培养的状态优选为能够达到或已经达到预定数量的细胞和/或预细胞密度的状态。生成包括它可以达到或已经达到的状态的与细胞培养物有关的数据，并输出到成像元件的外部。在步骤s504中，也可以将警报数据作为数据连续地输出到成像元件的外部。另外，也可以在即将到达前或到达时进行成像而得到的图像数据输出到成像元件的外部。另外，也可以将警报数据以及包含图像数据的数据输出到成像元件的外部。
312.当在步骤s504中输出与细胞培养相关的数据时，可以结束数据获取处理(步骤s505)。另外，在步骤s504中，也可以在输出与细胞培养相关的数据之后，再次重复步骤s502至s504的处理。
313.根据本技术，可以进一步减少待输出的数据量。另外，由于适当地输出作业处理所需的图像数据和警报数据，因此用户能够容易地进行与细胞培养有关的作业处理。
314.例如，在确定继续培养的情况下，用户可以基于与细胞培养相关的输出数据确定培养的结束或细胞的传代，并且执行结束的输入等。
315.例如，在确定向细胞培养添加药物的情况下，用户可以基于与细胞培养相关的输出数据向细胞培养添加药物。
316.例如，在确定细胞分选或细胞回收的情况下，用户可以基于与细胞培养相关的输出数据对细胞培养物进行细胞分选或细胞回收。
317.在确定向细胞培养添加药物并且然后细胞分选/回收的情况下，用户可以基于与细胞培养相关的输出数据向细胞培养添加药物。此外，可以继续细胞培养，并且可以执行与上述第三实例b中的步骤s501至s504类似的步骤以进行细胞分选/回收。
318.另外，也可以设置与细胞培养有关的作业处理单元，在该作业处理单元中预先设定各种作业处理方法，该作业处理单元也可以代替用户进行与用户进行的作业处理相同的作业处理。例如，与细胞培养相关的数据被发送到与细胞培养相关的作业处理单元，与细胞培养相关的作业处理单元能够根据发送的数据自动地进行细胞培养的各种作业处理。
319.此外，可通过根据需要从在第一实例和第二实例以及第四实例至第七实例中描述的数据获取方法中适当地采用方法并且适当地组合方法，来应用根据本技术的第三实例。
320.(4-4)通过成像元件处理与受精卵相关的数据的第四实例
321.在下文中，作为本技术的第四实例，将参考图11描述通过成像元件处理与受精卵相关的数据。
322.根据本技术的信息处理单元101通过在两个以上不同的时间点对受精卵成像来获取图像信号，从所获取的图像信号中提取特征量，并基于特征量生成与受精卵相关的数据。
323.信息处理单元101可以基于受精卵的特征量来确定生物样本的状态。
324.在确定为受精卵已达到预定状态的情况下，信息处理单元101可生成并输出与受精卵相关的数据。在确定已达到预定状态的情况下，信息处理单元101可基于可输出时的确定结果对受精卵执行作业处理，或者用户可确定与受精卵相关的输出数据并输入对受精卵
的作业处理。作为与受精卵相关的作业处理，例如，可以从细胞分裂、培养结束、传代培养、药物添加、细胞分选、细胞回收等或它们的组合(例如，细胞分裂随后细胞分选/回收)中选择一种或两种以上。
325.信息处理单元101可以根据在两个以上不同时间点获取的图像信号的变化量(差值)来标记图像数据，并且将标记的图像数据作为与受精卵相关的数据输出到成像元件的外部。在此之前通过成像获得的图像数据可以保存在存储器中。例如，有可能：两个连续成像的图像作为图像数据存储在存储器中；比较两个连续成像的图像，并且在超过(或没有超过)预定状态的情况下，将标签数据添加至图像数据；附加标签的图像数据作为与受精卵相关的数据被输出到成像像素的外部；或者，不向成像元件的外部输出未加标签的图像数据(例如，没有变化(差异)的图像数据)，或者未加标签的图像数据作为图像数据以外的少量数据(例如，警报数据等)而生成，向成像元件的外部输出。
326.应注意，例如，可对细胞培养的状态已改变的时间点或细胞培养的状态可改变之前的图像数据(诸如，诸如受精卵的细胞分裂的时间点)进行标记，但不限于此；以及接收病理学家或外科医生的关注的坐标(改变内窥镜的载物台移动或操作的速度的视野)；在线扫描期间提取图像变化点等。
327.传统上，在监视受精卵时，将通过监视获得的图像数据连续地输出到外部服务器，并且分析存储在服务器中的图像数据，但是由于图像数据的量大并且图像数据连续地输出到外部，因此输出图像数据和要处理的图像数据的量变大。
328.另一方面，通过使用根据本技术的成像元件100提取特征量(特征点、时间等)，可以减少数据量。可以与图像数据的存储同时地减少数据量。因为本技术可以减少数据量，所以可以长时间执行实时增加监测对象等的数量。此外，通过使用根据本技术的成像元件100，可以使细胞培养自动化，诸如受精卵的分裂、细胞分选、传代和给药的定时。
329.在本技术中包括受精卵的生物样本可包括受精卵、培养液等。与受精卵有关的特征量没有具体限制，其实例包括分裂(例如，分裂形状、分裂速度等)、受精卵的形状、活性程度等，并且可以从这些中选择一种或两种以上。培养液与上述细胞培养中的培养液类似。
330.与受精卵相关的特征量的提取没有具体限制，但可以例如基于在两个以上不同时间点获取的与受精卵相关的图像信号的变化(差异)来执行(参见，例如，图11)。更具体地，在两个以上不同时间点的图像信号发生变化(差异)的情况下，可提取变化(差异)作为与受精卵相关的特征量。因此，可以获取与受精卵相关的特征量。
331.可以基于与受精卵相关的特征量来确定与生物样本相关的预定状态。预定状态不受具体限制，并且其实例包括达到或者能够达到预定分裂过程的状态、产生或者能够产生异物的状态等。
332.然后，在确定已达到预定分裂处理的状态或已达到预定分裂处理的状态的情况下，信息处理单元101生成并输出与受精卵相关的数据。与受精卵相关的数据不受具体限制，并且其实例包括分裂过程的警报、细胞分选/回收的警报、培养液交换的警报、给药的警报、以及与生成的受精卵相关的图像数据等，并且可以包括从中选择的一种或两种以上。
333.根据本技术，可管理受精卵分裂过程。此外，在本技术中，可使用通过对受精卵的分裂过程进行成像而获取的多个图像信号的学习模型，来确定与受精卵相关的特征量。
334.根据本技术，可以从成像元件上的受精卵的两个以上不同时间点的图像信号，确
定与受精卵相关的特征量，并且基于确定结果生成与受精卵相关的数据。由此，不需要向成像元件的外部连续输出大量的图像数据，能够减少向成像元件的外部的数据传送量。
335.此外，与受精卵相关的特征量不受具体限制，例如，可包括：与受精卵相关的特征量，诸如受精卵的分裂(例如，分裂次数、分裂速度、分裂形状等)和细胞活性程度(例如，酶、代谢物等)；培养液组成、微生物数量等与培养液有关的特征量；等，并且可以选择其中的一种或两种以上。
336.此外，根据本技术，在执行诸如分裂处理的受精卵管理的情况下，信息处理单元101可在受精卵的两个以上不同时间点获取图像信号，基于图像信号生成与受精卵相关的数据，并将与受精卵相关的数据(例如，标记图像数据、警报数据等)输出到成像元件的外部。
337.根据本技术，在执行诸如分裂处理的受精卵管理的情况下，例如，可基于在两个以上不同时间点获取的图像信号来确定分裂时间点，并且可基于确定结果来生成与受精卵相关的数据。
338.除了警报数据之外，与受精卵相关的数据还可包括通过分裂时的成像获得的图像数据。信息处理单元101可以生成与分裂时的标记的数据相关联的图像数据。该标记可包括受精卵的分裂处理中的经过时间、受精卵的坐标等。信息处理单元101能够改变具有标记的图像数据与不具有标记的图像数据之间的压缩率，并且能够通过增加不具有标记的图像数据的压缩率来减少被输出到成像元件外部的数据量。此外，具有标记的图像数据可以存储在其中。
339.另外，也可以将具有标记的图像数据输出到成像元件的外部，禁止将没有标记的图像数据输出到成像元件的外部，也可以将没有标记的图像数据作为图像数据以外的少量的数据(例如警报数据等)而生成并输出到成像元件的外部。
340.根据本技术，不必存储、读取和分析大量的图像数据，并且还可以分析装置内部的分裂时间点并且适当地存储分裂时间点。此外，可以减少服务器等外部的存储和分析计算量。
341.根据本技术，可以进一步减少待输出的数据量。另外，由于适当地输出作业处理所需的图像数据和警报数据，因此用户能够容易地进行与受精卵有关的作业处理。
342.应注意，通过根据需要从在第一实例至第三实例以及第五实例至第七实例中描述的数据获取方法中适当地采用方法，并且适当地组合这些方法，可应用根据本技术的第四实例。
343.(4-5)通过成像元件处理与精子相关的数据的第五实例
344.在下文中，作为本技术的第五实例，将参考图12描述通过成像元件处理与精子相关的数据。
345.根据本技术的信息处理单元101通过在两个以上不同的时间点对包含精子的生物样本进行成像来获取图像信号，从所获取的图像信号中提取特征量，并基于该特征量生成与精子相关的数据。
346.信息处理单元101可以基于精子的特征量来确定生物样本的状态。
347.在确定精子处于预定状态的情况下，信息处理单元101可生成并输出与精子相关的数据。在确定状态已达到预定状态的情况下，信息处理单元101可基于确定结果在可能输
出时对精子执行作业处理，或者用户可确定与精子相关的输出数据并输入对精子的作业处理。作为与精子相关的作业处理，例如，一种或两种以上可选自精子细胞分选、精子细胞回收、药物添加等。
348.以往，在利用ccd、cmos等成像元件实时地进行监视时，存在图像数据庞大的问题。
349.另一方面，通过使用根据本技术的成像元件100，可减少图像数据的量。因为本技术可以减少数据量，所以可以长时间执行实时增加监测对象等的数量。
350.在本技术中包括精子的生物样本可包括精子、培养液等。与精子相关的特征量不受具体限制，并且其实例包括精子的运动、精子形状、活性等，并且可以选择其中的一种或两种以上。培养液与上述细胞培养中的培养液类似。
351.与精子相关的特征量的提取不受具体限制，但可例如基于在两个以上不同时间点获取的与精子相关的图像信号的变化(差异)来进行(参见例如图12)。更具体地，在两个以上不同时间点的图像信号发生改变(差异)的情况下，可提取改变(差异)作为与精子相关的特征量。因此，可以获得与精子相关的特征量。
352.可以基于与精子相关的特征量来确定是否已达到与生物样本相关的预定状态。预定状态不受具体限制，并且其实例包括精子的有利状态、产生或能够产生异物的状态等。
353.在确定精子已达到有利状态的情况下，产生并输出与精子相关的数据。与精子相关的数据不受具体限制，且其实例包括细胞分选/回收的警报、给药的警报、与所产生精子相关的图像数据等，并且可包括选自其中的一种或两种以上。
354.本技术能够管理精子选择。此外，在本技术中，可以使用通过对包括精子的生物样本成像而获取的多个图像信号的学习模型，来确定与精子相关的特征量。
355.根据本技术，根据包含精子的生物样本在成像元件上的两个以上不同时间点的图像信号确定与精子相关的特征量，并生成与精子相关的数据，使得不必向成像元件外部连续输出大量图像数据，且可减少向成像元件外部的数据量。
356.此外，与精子相关的特征量不受具体限制，并且可包括例如：与精子相关的特征量，例如精子活性(例如，精子计数、精子移动速度、精子形状等)及细胞活性程度(例如，酶、代谢物等)；培养液组成、微生物数量等与培养液有关的特征量；等，并且可以选择其中的一种或两种以上。
357.根据本技术，在管理精子选择的情况下，信息处理单元101可在两个以上不同时间点获取含有精子的生物样本的图像信号，基于图像信号生成与精子相关的数据，并将与精子相关的数据(例如，标记图像数据、警报数据等)输出至成像元件的外部。例如，可以确定一种有利的精子用于体外受精并且可以生成与该精子相关的数据。
358.除警报数据之外，与精子相关的数据还可包括通过对所选精子成像而获得的图像数据。信息处理单元101可确定有利于体外受精的精子，并基于确定结果生成仅精子的区域的图像数据或仅包括区域和外围像素的图像数据。此外，信息处理单元101可跟踪所确定的精子，并根据精子存在的坐标位置生成坐标位置数据。此时，优选切出仅精子的区域的图像数据或包括仅该区域及其周边像素的图像数据，将切出的图像数据与精子存在的坐标位置数据相关联，并生成坐标位置数据和与坐标位置相关联的图像数据。此外，可以删除除仅精子的区域的图像数据之外的区域，或者可以删除除了包含仅精子的区域及其周围像素的图像数据之外的区域。生成的与精子相关的数据被输出到成像元件外部。
359.根据本技术，可以在装置内部选择有利的精子并获得仅精子区域的图像数据或包括仅该区域及其周围像素的图像数据。因此，不需要输出整个观察区域的大量图像数据。此外，根据本技术，可以进一步减少待输出的数据量。此外，由于适当地输出作业处理所需的图像数据和警报数据，因此用户能够容易地进行精子的处理。
360.应注意，可通过根据需要从第一至第四实例、第六实例和第七实例中描述的数据获取方法中适当地采用方法并且适当地组合方法来应用根据本技术的第五实例。
361.(4-6)通过成像元件处理与核酸相关的数据的第六实例
362.在下文中，作为本技术的第六实例，将参考图13描述通过成像元件处理与核酸相关的数据。
363.根据本技术的信息处理单元101对核酸的斑点进行成像以获取图像信号，从所获取的图像信号中提取特征量，并且基于特征量生成与核酸相关的数据。
364.信息处理单元101可以基于核酸的特征量来确定生物样本的状态。作为在确定之前执行的步骤，优选的是将所获取的图像信号中发射信号的斑点划分为用于每个斑点的区域。在确定已经达到关于核酸的预定状态的情况下，信息处理单元101可以生成并输出核酸序列数据。
365.与核酸相关的特征量没有具体限制。其实例包括斑点的波长、荧光光谱、吸收光谱、光学特性、荧光波长、面积、亮度、距中心的距离、圆形提取(hough转换)等，并且可以选择其中的一种或两种以上。
366.此外，信息处理单元101可以通过排除除斑点以外的区域的图像数据来创建图像数据。
367.信息处理单元101可以基于与核酸有关的特征量(诸如荧光波长、荧光光谱和荧光强度)将获取的图像信号转换成agct的核酸序列数据。在本说明书中，“与核酸相关的特征量”包括与核酸自身相关的特征量和与核酸中标记的物质(例如，荧光染料等)相关的特征量。并且可能是其中之一或两者。
368.优选地，信息处理单元101可以基于所获取的图像信号将大于或等于设置阈值的荧光信号强度和荧光波长转换成核酸类型。例如，在从被检体斑点计算核酸数目的情况下，可以基于[被检体斑点的面积或亮度]
÷
[在一个碱基(参照(阈值)1)的情况下的斑点的面积或亮度]进行计算。
[0369]
以这种方式，信息处理单元101可以基于所获取的图像信号确定例如核酸的类型和/或数目。信息处理单元101可以基于所确定的核酸的类型和/或数目来生成核酸序列数据。
[0370]
由此，通过将所获取的图像信号转换成诸如agct的字符的数据，能够压缩数据量，并且能够减少数据量。此外，根据本技术，可以进一步减少待输出的数据量。
[0371]
另外，通过设置图像信号中的起始点，图像信号中的荧光信号的坐标位置容易设定，并且在转换成核酸的核酸序列数据时或之后容易澄清核酸的核酸序列数据的顺序。例如，图像数据可以不是二维布置，并且可以通过简单地分配斑点编号一维地顺序布置。
[0372]
由于传统的核酸序列分析方法照原样传送图像数据，所以存在数据量变得巨大并且增加数据传送负荷的问题。由于数据量以这种方式增加，因此需要降低成像频率，限制成像周期，并且限制监测被检体样本。
[0373]
另一方面，通过使用根据本技术的成像元件100，可以将通过传统核酸序列分析方法获得的图像数据转换成核酸序列数据，并且减少数据传输的负荷，并且因此可以预期速度的提高。
[0374]
将参照图14描述与第五实例相关的实施方式。
[0375]
在步骤s601中，信息处理单元101开始核酸的测序。
[0376]
在步骤s602中，信息处理单元101进行荧光标记方法，并且在两个以上不同的时间点拍摄包括多个荧光斑点的荧光图像，以获取与荧光图像相关的图像信号。
[0377]
在步骤s603中，信息处理单元101从所获取的图像信号中提取荧光斑点的特征量(例如，荧光波长、荧光光谱、荧光强度、荧光区域等)。信息处理单元101可以提取等于或大于阈值的信号、斑点位置等作为特征量。例如，可以基于荧光斑点波长设置agct中的一个。当设定预定的1的斑点强度是一个碱基时，在存在两倍于这个强度的强度的情况下，可以将其两倍设定为碱基的数目，并且例如，在检测到两倍于核酸a的斑点强度的强度的情况下，可以确定荧光斑点具有a的两个碱基，如aa。此外，碱基的类型、数量和序列顺序可以通过荧光区域类似地确定。此外，碱基的类型、数量和序列顺序可以通过组合荧光斑点和荧光区域来确定。
[0378]
在步骤s604中，信息处理单元101基于荧光斑点的特征量生成与核酸序列相关的数据。通过划分每个荧光斑点并设置起始点，可以获得二维到一维的数据，并且信息处理单元101可以进一步按顺序设置核酸的序列。
[0379]
此外，信息处理单元101可以通过重复s602至s604和s603至s604，如图13所示，在用acgatg等延伸核酸序列的同时创建与核酸序列相关的数据。
[0380]
在步骤s605中，信息处理单元101将与核酸序列相关的数据输出到外部。
[0381]
当在步骤s605中输出与核酸序列相关的数据时，可以结束数据获取处理(步骤s606)。注意，在步骤s605中，在输出与核酸序列相关的数据之后，可以再次重复步骤s602至s604的处理。
[0382]
通过将与核酸序列相关的数据显示给用户，用户可以确定是否继续执行荧光标记方法，并且可以输入该确定。此外，与荧光标记方法相关的作业处理单元可确定是否执行该操作。
[0383]
根据本技术，可以进一步减少待输出的数据量。另外，由于适当地输出作业处理所需的图像数据和警报数据，因此用户能够容易地对核酸进行数据处理。
[0384]
应注意，可通过根据需要从在第一实例至第五实例和第七实例中描述的数据获取方法中适当地采用方法并且适当地组合方法，来应用根据本技术的第六实例。
[0385]
(4-7)通过成像元件处理与生物组织片相关的数据的第七实例
[0386]
在下文中，将参考图15描述本技术的第七实例。
[0387]
根据本技术的信息处理单元101通过在两个以上不同的时间点成像包括生物组织片的生物样本来获取图像信号，从所获取的图像信号中提取特征量，并且基于特征量来生成与生物组织片相关的数据。特征量的实例包括关注量(例如，关注时间、关注区域、关注次数等)。
[0388]
信息处理单元101可以基于特征量来确定包括生物组织片的生物样本的状态。
[0389]
可以基于与生物组织片相关的特征量来确定是否达到与生物样本相关的预定状
态。预定状态的实例包括关注量。
[0390]
在确定达到预定关注量的情况下，信息处理单元101生成并输出与生物组织片相关的数据。与生物组织片相关的数据没有具体限定，例如也可以是关注数据。关注数据的实例包括与关注量大的图像区域(观察次数、观察时间等)有关的警报或图像数据、与关注量大的成像帧(移动速度慢、次数、观察时间等)有关的警报或图像数据等，并且可包括从中选择的一种或两种以上。
[0391]
根据本技术，能够管理与生物组织片有关的观察。此外，在本技术中，可对生物组织片进行成像，并且针对获取的多个图像信号可使用已学习的模型来确定与生物组织片相关的特征量。
[0392]
根据本技术，可减少至成像元件外部的数据量。
[0393]
例如，作为第七实例a，当用户在宽视场中执行标本的微观观察时，信息处理单元101可以检测显微观察的图像中的特征区域并且将标记添加到包括特征区域的视场。
[0394]
信息处理单元101能够改变仅具有标记的特征区域的图像数据或包括仅特征区域和外围像素的图像数据与除图像数据之外的区域的图像数据之间的压缩率。通过压缩图像数据以外的区域的图像数据，能够减少输出到外部的数据。另外，信息处理装置101可以具有标记存储在内部的图像数据，并且可以在不将没有标记的图像数据输出到外部的情况下，仅将有标记的图像数据输出到成像元件的外部。此外，仅关于标记的信息可以作为信号数据输出到外部。
[0395]
此外，作为第七实例b，信息处理单元101可以检测显微镜观察的图像中的特征区域，并且将标记添加到仅特征区域的图像数据或者包括仅特征区域和外围像素的图像数据中。标记可包括诸如坐标、操作时间和操作区域的数据。作为特征区域的检测的实例，例如，可以从图像分析中检测由用户重复观察到的视野。
[0396]
与上述的第七实例b类似，可将具有标记的图像数据或信号数据输出到成像元件的外部。另外，信息处理装置101也可以生成仅检测为特征区域的特征区域的图像数据或包含仅该特征区域和外围像素的图像数据，将仅该特征区域的图像数据或包含仅该特征区域和外围像素的图像数据和信号数据输出到成像元件外部。
[0397]
此外，作为第七实例c，在观察多个图像帧的情况下，信息处理单元101以恒定帧速率对移动图像成像，并且根据视野(成像帧)之间的图像变化来计算移动速度。在转换移动速度的情况下，信息处理单元101将标记添加到变化的帧。信息处理单元101能够通过压缩除具有标记的图像数据之外的图像数据，来减少输出图像数据。
[0398]
要注意的是，通过根据需要从在第一实例到第六实例中描述的数据获取方法中适当地采用方法，并且根据需要适当地组合方法，可应用根据本技术的第七实例。
[0399]
2.第二实施例(应用装置)
[0400]
根据本技术的数据获取装置可以用作各种装置，并且可以设置在各种装置中。该装置的实例包括但不限于细胞培养装置、显微镜观察装置、核酸序列分析装置、生物组织观察装置、生物样本观察装置等。核酸序列分析装置可以是例如下一代测序仪(ngs，next generation sequencer)。这如上述1.所述，并且该描述也适用于本实施方式。
[0401]
3.第三实施方式(数据获取方法)
[0402]
本技术还提供了一种数据获取方法，包括：
[0403]
信号获取步骤，在两个以上不同时间点获取生物样本的图像信号；特征量提取步骤，用于从图像信号提取特征量；
[0404]
数据生成步骤，基于特征量生成与生物样本相关的数据；以及
[0405]
输出步骤，使与生物样本相关的数据输出至成像元件的外部。
[0406]
本技术的方法可包括在信号获取步骤之前利用光照射生物样本的照射步骤。
[0407]
本技术还提供了一种数据获取方法，包括：
[0408]
特征量提取步骤，从通过由成像元件在两个以上不同时间点成像生物样本而获取的图像信号中提取特征量；
[0409]
数据生成步骤，基于特征量生成与生物样本相关的数据；以及
[0410]
输出步骤，使与生物样本相关的数据输出至成像元件的外部。
[0411]
根据本技术的数据获取方法可以包括基于特征量确定生物样本的状态的确定步骤。
[0412]
根据本技术的数据获取方法还可以使用例如已学习的模型来生成与生物样本相关的数据。
[0413]
此外，根据本技术的数据获取方法可以通过上述装置(例如，在以上1.中描述的数据获取装置等)执行。
[0414]
本技术的生物样本观察方法可以包括上述数据获取方法。生物样本观察方法可以是显微观察方法或核酸序列分析方法。
[0415]
4.第四实施方式(程序)
[0416]
本技术还提供了一种由包括成像元件的数据获取装置执行的程序，该成像元件包括：
[0417]
信号获取单元，在两个以上不同时间点获取生物样本的图像信号；
[0418]
信息处理单元，从图像信号中提取特征量并且基于特征量生成与生物样本相关的数据；以及
[0419]
输出控制单元，使与生物样本相关的数据输出至成像元件的外部。该程序如上述1.至3.所述，该描述也适用于本实施方式。
[0420]
在特征量提取步骤中，在两个以上不同时间点从生物样本的图像信号提取特征量。数据生成步骤基于特征量生成与生物样本相关的数据。在输出步骤中，与生物样本相关的数据被输出至成像元件的外部。为了生成与生物样本相关的数据，已学习的模型可被包括并且可被存储在数据获取装置外部的存储单元等中。
[0421]
5.第五实施方式(生物样本观察系统)
[0422]
本技术提供了一种生物样本观察系统，包括：
[0423]
保持单元，能够保持生物样本；
[0424]
照射单元，利用光照射生物样本；以及
[0425]
成像元件，包括：
[0426]
信号获取单元，在两个以上不同时间点获取生物样本的图像信号，
[0427]
信息处理单元，从图像信号提取特征量并且基于特征量生成与生物样本相关的数据，以及
[0428]
输出控制单元，使与生物样本相关的数据输出至成像元件的外部，其中
[0429]
信号获取单元、信息处理单元和输出单元设置在单个芯片中。
[0430]
生物样本观察系统可以进一步包括存储保持单元的保温箱。
[0431]
生物样本观察系统可以是显微观察系统或核酸序列分析系统。
[0432]
该系统如上述1.至4.所述，并且该描述也适用于本实施方式。
[0433]
应注意，本技术还可具有以下配置。
[0434]
[1]
[0435]
一种数据获取装置，包括：
[0436]
成像元件，包括：
[0437]
获取单元，在两个以上不同时间点获取生物样本的图像信号，
[0438]
信息处理单元，从图像信号提取特征量并且基于特征量生成与生物样本相关的数据，以及
[0439]
输出控制单元，使与生物样本相关的数据输出至成像元件的外部，其中
[0440]
信号获取单元、信息处理单元和输出单元设置在单个芯片中。
[0441]
[2]
[0442]
根据以上[1]所述的数据获取装置，其中，
[0443]
信号获取单元具有二维地布置多个像素的配置，并且
[0444]
成像元件被配置为通过物镜对生物样本进行成像。
[0445]
[3]
[0446]
根据[1]或[2]所述的数据获取装置，其中信息处理单元使用已学习的模型生成与生物样本相关的数据。
[0447]
[4]
[0448]
根据[1]至[3]中任一项所述的数据获取装置，其中，
[0449]
信息处理单元包括获取特征量的特征量提取单元和基于特征量确定生物样本的状态的状态确定单元，并且
[0450]
信息处理单元基于状态确定单元的确定结果生成待输出的与生物样本相关的数据。
[0451]
[5]
[0452]
根据[1]至[4]中任一项所述的数据获取装置，其中特征量是与细胞培养有关的特征量、与受精卵有关的特征量、与精子有关的特征量、与核酸有关的特征量和与生物组织片有关的特征量中的任一种。
[0453]
[6]
[0454]
根据[1]至[5]中任一项所述的数据获取装置，其中生物样本是选自细胞培养物、受精卵、精子、核酸和生物组织片中的一种或两种以上。
[0455]
[7]
[0456]
根据[1]至[6]中任一项所述的数据获取装置，其中与生物样本相关的数据包括图像数据、警报数据、标记数据或核酸序列数据。
[0457]
[8]
[0458]
根据[1]至[7]中任一项所述的数据获取装置，其中，
[0459]
生物样本包括细胞培养物，以及
[0460]
信息处理单元基于与细胞培养物相关的特征量，确定是否达到预定细胞密度或是否在细胞培养物中产生异物。
[0461]
[9]
[0462]
根据[1]至[7]和[8]中任一项所述的数据获取装置，其中，
[0463]
生物样本包括细胞培养物，以及
[0464]
信息处理单元基于与细胞培养相关的特征量，生成培养细胞的图像数据。
[0465]
[10]
[0466]
根据[1]至[7]中任一项所述的数据获取装置，其中，
[0467]
生物样本包括受精卵，并且
[0468]
信息处理单元基于与受精卵相关的特征量来确定是否已达到预定的分裂处理。
[0469]
[11]
[0470]
根据[1]至[7]和[10]中任一项所述的数据获取装置，其中，
[0471]
生物样本包括受精卵，并且
[0472]
信息处理单元基于与受精卵相关的特征量来生成受精卵的图像数据。
[0473]
[12]
[0474]
根据[1]至[7]中任一项所述的数据获取装置，其中，
[0475]
生物样本包括精子，并且
[0476]
信息处理单元基于与精子相关的特征量来确定精子的状态。
[0477]
[13]
[0478]
根据[1]至[7]和[12]中任一项所述的数据获取装置，其中，
[0479]
生物样本包括精子，并且
[0480]
信息处理单元基于与精子相关的特征量来生成精子的图像数据。
[0481]
[14]
[0482]
根据[1]至[7]中任一项所述的数据获取装置，其中，
[0483]
生物样本包括核酸，并且
[0484]
信息处理单元基于与核酸相关的特征量来生成核酸的序列数据。
[0485]
[15]
[0486]
一种数据获取方法，包括：
[0487]
特征量提取步骤，从通过由成像元件在两个以上不同时间点成像生物样本而获取的图像信号中提取特征量；
[0488]
数据生成步骤，基于特征量生成与生物样本相关的数据；以及
[0489]
输出步骤，使与生物样本相关的数据输出至成像元件的外部。
[0490]
[16]
[0491]
一种生物样本观察系统，包括：
[0492]
保持单元，能够保持生物样本；
[0493]
照射单元，利用光照射生物样本；以及
[0494]
成像元件，包括：信号获取单元，在两个以上不同的时间点获取生物样本的图像信号；信息处理单元，从图像信号提取特征量并且基于特征量生成与生物样本相关的数据；以及输出控制单元，使与生物样本相关的数据输出至成像元件的外部，其中
[0495]
信号获取单元、信息处理单元和输出单元设置在单个芯片中。
[0496]
[17]
[0497]
根据上述[16]所述的生物样本观察系统，进一步包括储存保持单元的保温箱。
[0498]
[18]
[0499]
根据上述[16]或[17]所述的生物样本观察系统，其中，生物样本观察系统是显微镜观察系统。
[0500]
[19]
[0501]
根据上述[16]所述的生物样本观察系统，其中，生物样本观察系统是核酸序列分析系统。
[0502]
附图标记列表
[0503]
1 数据处理装置
[0504]
100 成像元件
[0505]
101 信息处理单元
[0506]
102 特征量提取单元
[0507]
103 状态确定单元
[0508]
104 识别处理单元
[0509]
105 图像生成单元
[0510]
110 信号获取单元(成像单元)
[0511]
120 成像处理单元
[0512]
150 输出控制单元。