基于人工神经网络学习的类器官制作预测及判定方法

本发明涉及一种在制作类器官组织模块时通过分析图像数据来预测或判断所需类器官组织模块的形成的方法。具体而言，本发明涉及一种利用经训练的人工神经网络模型，在制作初期早期预测是否形成类器官组织模块的方法，及利用经训练的人工神经网络模型在制作完成后判断类器官组织模块是否成功形成的方法，及实现所述方法的系统。

背景技术：

1、类器官（organoid）制作系统的开发使得可以在体外（

in vitro）实现组织（tissue）和器官（organ）的复杂结构，从而使得组织发育、疾病建模、药物发现及再生医学研究成为可能（克莱维尔（clevers, h.），2016，李（lee, s.）-y.等人，2023）。尤其是，从成体干细胞（adult stem cell）、胚胎干细胞（embryonic stem cell）及诱导多能干细胞（induced pluripotent stem cell）诱导生成的类器官具有作为再生治疗剂的潜力，因此将恢复或治疗组织的固有功能作为其目标（格拉西（grassi, l.）等人，2019，吉姆（kim,j.）等人，2020）。为了开发出这种再生治疗剂，可以模拟人体器官组织的类器官研究作为极具前景的领域而备受关注。

2、利用干细胞的自我更新（self-renewal）和自我组织（self-organization）能力，可以制作出三维细胞聚集体的类器官（考西科（kaushik）等人，2018）。类器官可以模拟生物组织的结构及功能特性，因此可以在体外构建在生理学上与人体的复杂器官相似的模型（法特赫拉（fatehullah）等人，2016），而且不仅可以利用于再生治疗剂，还可以作为小型化的器官模型，在患者定制化的疾病建模或药物筛选系统中使用（kaushik等人，2018）。如上所述，类器官治疗剂作为再生医学领域的一种前景广阔的技术而备受关注，但是其发展仍然存在一些必须克服的课题。类器官的制作方法复杂且需要大量时间，目前对其进行识别和特性化的方法具有主观性且需要大量劳动。因此，需要一种用于判别和预测三维培养体、即类器官的客观且高效的途径。

3、本技术发明的发明人在申请编号为10-2022-0130869（利用干细胞自我组织能力的类器官制造方法及通过所述方法制造的类器官）的发明中，开发出了一种无需人工支架的辅助就可以通过干细胞的自我组装及自我组织能力将氧气及养分充分地供应至中心部的杯状的类器官组织模块的制造方法，从而克服了所述问题，但是发现在制作所述类器官组织模块时，即使是以相同的培养条件开始，类器官组织模块的制作结果也会出现差异的现象。

4、此外，还确认以下事实：为了判断所制造的类器官组织模块是否为中心部凹陷的杯状的类器官组织模块形态，需要由熟练的研究人员确认，而且根据研究人员的熟练程度，分类结果也可能会存在偏差。

5、另一方面，深度学习（deep learning）技术作为机器学习（machine learning）的一种，是基于多层结构形态的神经网络，由计算机利用大量的数据构建高水平的概念模型的技术，具有使得计算机像人类一样学习并理解概念的特征。深度学习技术与通过预定义的规则显式提取特征的传统的机器学习算法不同，其优点在于可以使用原始数据学习根据作业提取出特征的方法，而且伴随着硬件技术的发展，所述深度学习技术可以大幅增加隐藏层（hidden layer）的数量，因此在产业上的应用率也得到了飞跃性的提升。

6、卷积神经网络（cnn：convolutional neural network）是通过将滤波技术应用于人工神经网络而更加有效地处理如图像等二维数据的方法，与利用固定滤波技术处理图像的方式不同，卷积神经网络使得以矩阵形式表示的滤波器的各元素通过自主学习而符合数据处理的需求。cnn最初是由lecun等人于1989年介绍，旨在通过将滤波技术应用于人工神经网络而更加有效地处理图像，之后由lecun等人于1998年提出了目前利用于深度学习的形态的cnn。卷积神经网络的结构通常而言是由卷积层（convolutional layer）、池化层（pooling layer）及全连接层（fully-connected layer）构成，而全连接层利用人工神经网络（neural network）导出输入数据的预测值。

7、本技术发明的发明人为了解决为了判断所制造的类器官组织模块是否为中心部凹陷的杯状的类器官组织模块形态，需要由熟练的研究人员确认，而且根据研究人员的熟练程度，分类结果也可能会出现偏差的问题，开发出了一种可以利用人工智能、尤其是卷积神经网络在培养初期预测是否形成杯状的类器官组织模块的方法，并开发出了可以将所制造的类器官组织模块的分配偏差最小化的方法，从而完成了本发明。

技术实现思路

1、欲解决的课题

2、本发明旨在利用人工智能技术，预测是否可以依据类器官组织模块制作的初始条件成功制作出特定形态的类器官组织模块，并在制作完成后可判断是否成功制造出类器官组织模块。借此，在类器官组织模块的制作工艺中确保最优的类器官组织模块制作条件，从而可减少工艺上的损失并可降低不良率，进而可以确认类器官组织模块的制作工艺的最优流程。

3、课题的解决手段

4、为了达成所述目的，本发明提供一种利用深度学习的类器官组织模块形成判断方法。

5、所述形成判断方法可以包括：1）收集用于制造类器官组织模块的微块的培养过程中的任意时间点的图像数据的步骤；2）对所述图像数据进行加工或增强的步骤；3）利用经加工、增强的数据训练人工神经网络的步骤；及4）利用经训练的人工神经网络模型来判断类器官组织模块的形成的步骤。

6、在一实施例中，所述图像数据可以是微块培养过程开始时的图像。

7、在一实施例中，所述图像数据可以是微块培养过程结束时的图像。

8、在一实施例中，所述图像数据可以是从微块培养过程开始时到结束时为止以一小时为间隔拍摄的图像。

9、在一实施例中，所述图像数据的加工可以是将图像调节成设定的尺寸，或从图像中提取出存在类器官组织模块的部分。

10、在一实施例中，所述图像数据的增强可以是将图像以随机的角度旋转。

11、在一实施例中，所述图像数据的增强可以是将图像调亮或调暗。

12、在一实施例中，所述图像数据的增强可以是将图像的明暗对比调强或调弱。

13、在一实施例中，所述图像数据的增强可以是将图像调清晰或调柔和。

14、在一实施例中，所述图像数据的增强可以是通过使绘制有图像的平面畸变而使图像发生变形。

15、在一实施例中，绘制所述图像的平面可以是四边形框。

16、在一实施例中，所述微块的培养可以进行24小时至240小时，优选地，可以进行24小时至120小时，更优选地，可以进行72小时。

17、在一实施例中，所述经训练的人工神经网络模型的制作步骤，可以包括：1）获取微块的培养开始时的图像及培养结束时的图像的步骤；2）根据分类标准判定所述培养结束时的图像的步骤；3）将所述培养结束时的图像的判定结果标注于所述培养开始时的图像或结束时的图像的步骤；及4）使用所述经标注的图像训练人工神经网络的步骤。

18、在一实施例中，所述步骤2）中的判定，可以图像上是否存在从由组装、凝聚、抬升、折叠及致密化构成的群组中选择的一种以上的特性为基准。

19、在一实施例中，所述步骤2）中的判定可以图像上是否存在作为类器官组织模块组装和凝聚的特性为基准。

20、在一实施例中，所述步骤2）中的判定可以图像上是否存在类器官组织模块的外缘抬升，且类器官组织模块的外缘部向内部折叠的特性为基准。

21、在一实施例中，所述步骤2）中的判定可以图像上是否存在类器官组织模块的致密化的特性为基准。

22、在一实施例中，所述经训练的人工神经网络模型可通过卷积神经网络（cnn）进行训练。

23、在一实施例中，所述所形成的类器官组织模块可以是杯状。

24、在一实施例中，所述经训练的人工神经网络模型可以利用通过生成对抗神经网络制造的虚拟图像进行训练。

25、本发明提供一种用于判断类器官组织模块形成的系统，包括：拍摄部，收集用于制造类器官组织模块的微块的培养过程中的图像数据；及判断部，利用所述图像数据并应用深度学习（deep learning）或卷积神经网络（cnn）算法来判断类器官组织模块的形状。

26、在一实施例中，所述拍摄部可以包括：光学显微镜，放大微块的图像；及相机，拍摄所述经放大的图像。

27、在一实施例中，所述判断部可以包括：深度学习部，以所述图像为对象学习判断类器官组织模块形成与否；及判定部，使用通过所述深度学习部训练的人工神经网络来判定是否制作出类器官组织模块。

28、在一实施例中，所述系统还可以包括：加工部，对图像数据进行加工或增强。

29、在一实施例中，所述拍摄部及判断部既可以连接在一起，也可以单独存在。

30、在一实施例中，所述系统可以是由一个以上的部件构成的装置。

31、所述系统可以由硬件组件、软件组件或其组合实现。例如，可以由包括相机的通用计算机实现，而且可以通过通用计算机的操作系统及在所述操作系统上运行的一个以上的软件执行。

32、本发明提供一种对微块的位置、大小及种类中的任一项或其组合进行检测的方法，包括：1）收集用于制作类器官组织模块的微块的培养过程中的任意时间点的图像数据的步骤；2）对所述图像数据进行加工或增强的步骤；3）利用所述第2步骤的数据训练人工神经网络的步骤；及4）利用经训练的人工神经网络模型的第4步骤。

33、在一实施例中，所述图像数据可以包括微块的培养过程开始时的图像。

34、在一实施例中，所述图像数据的加工可以是将图像调节成设定的尺寸，或从图像中提取出存在微块的部分。

35、在一实施例中，所述经训练的人工神经网络模型的制作步骤，可以包括：1）获取用于制造类器官组织模块的微块的培养过程开始时的图像的步骤；2）在所述培养开始时的图像中对从由微块的位置、大小及种类构成的群组中选择的一种以上进行标注的步骤；及3）使用所述经标注的图像训练人工神经网络的步骤。

36、在一实施例中，所述经训练的人工神经网络模型可以是目标检测人工神经网络。

37、本发明提供一种用于对制造类器官组织模块的微块进行检测的系统，包括：拍摄部，收集用于制造类器官组织模块的微块的培养过程中的图像数据；及检测部，利用所述图像数据并应用目标检测人工神经网络算法来检测微块的位置、大小及种类中的任一项或其组合。

38、在一实施例中，所述拍摄部可以包括：光学显微镜，放大微块的图像；及相机，拍摄所述经放大的图像。

39、在一实施例中，所述检测部可以包括：深度学习部，以所述图像为对象学习微块的位置、大小及种类；及判定部，使用通过所述深度学习部训练的人工神经网络来判定微块的位置、大小及种类。

40、在一实施例中，所述系统还可以包括：加工部，对图像数据进行加工或增强。

41、在一实施例中，所述拍摄部与检测部既可以连接在一起，也可以单独存在。

42、在一实施例中，所述系统可以是由一个以上的部件构成的装置。

43、所述系统可以由硬件组件、软件组件或其组合实现。例如，可以由包括相机的通用计算机实现，而且可以通过通用计算机的操作系统及在所述操作系统上运行的一个以上的软件执行。

44、发明的效果

45、本发明提供一种在类器官组织模块制作初期预测制作工艺是成功还是失败的预测方法。此外，本发明提供一种在类器官组织模块制作的最终步骤中判定类器官组织模块形成是否成功的方法，并提供一种执行所述预测及判定方法的系统。

46、通过提供这种本发明，可以在类器官组织模块制造工艺中调节细胞数量、大小等条件，从而在初期图像状态下预测是否可以制作出所需形态的类器官组织模块，其结果可以提升工艺的效率，还可以将所制造的所述类器官组织模块的分类偏差最小化，从而可以制作不良率低的杯状的类器官组织模块。

47、此外，在类器官组织模块制作的最终步骤中，仅通过人工智能的判定就可以判定类器官组织模块制作是否成功，从而实现用于大规模生产的自动化。