实时生物图像识别方法及装置与流程

1.本发明是关于识别实时图像的方法，更具体地，关于一种能够在实时生物图像内中追踪组织并预测组织位置的方法及装置。


背景技术：

2.最近，随着人工智能学习模型的发展，在判读图像方面正在利用大量机器学习模型。例如，卷积神经网络(convolutional neuralnetworks)、深度神经网络(deep neural networks)、循环神经网络(recurrent neural network)、深度置信神经网络(deep belief networks)等学习模型正在应用于静止图像(still image)或实时图像(motion picture)的检测、分类和特征学习。
3.利用机器学习模型学习实时图像(视频)时，对图像数据的学习和运算量巨大，如果处理器性能或存储器容量不够高，则难以在实时图像中识别对象体。


技术实现要素：

4.本发明的目的在于提供一种可独立于存储器或处理器性能而基于机器学习模型识别实时图像内的对象体的实时生物图像识别方法及装置。
5.本发明的另一目的在于提供一种可利用运动数据明确预测实时生物图像内的对象体的位置的实时生物图像识别方法及装置。
6.本发明的目的不限于上述提及的目的，本领域技术人员可以通过以下描述明确理解未提及的其他目的。
7.根据本发明一方面的实时生物图像识别装置包括：照相机、传感器、处理器以及存储器。传感器用以感测照相机的移动；存储器包含一个以上的指令(instructions)，所述指令(instructions)被实现为由处理器执行；其中，处理器利用通过照相机针对对象体而在时间上连续拍摄的生物图像中的任意时间点的任意一个生物图像和与连接拍摄的生物图像在时间上对应的传感器感测的传感器数据生成融合数据，并基于机器学习模型而从融合数据提取连续拍摄的生物图像的属性信息。
8.根据本发明另一方面的实时生物图像识别装置包括：照相机、传感器、处理器以及存储器。传感器用以感测照相机的移动；存储器包含一个以上的指令(instructions)，所述指令(instructions)被实现为由处理器执行；其中，处理器基于第一机器学习模型而从利用照相机针对对象体在时间上连续拍摄的生物图像中的第n图像提取第n图像的第一属性信息，其中，n为自然数，利用与第n 1以上生物图像在时间上对应的传感器感测的传感器数据中的至少任意一传感器数据和第n图像的第一属性信息生成融合数据，并基于第二机器学习模型而从融合数据提取第n 1以上生物图像的第二属性信息。
9.根据本发明一方面的实时生物图像识别方法包括：利用针对对象体而在时间上连续拍摄的生物图像中的任意时间点的任一生物图像和与连续拍摄的生物图像在时间上对应的传感器数据生成融合数据的步骤；以及基于机器学习模型而从融合数据提取连续拍摄
的生物图像的属性信息的步骤。
10.根据本发明另一方面的实时生物图像识别方法包括：基于第一机器学习模型而从针对对象体在时间上连续拍摄的生物图像中的第n图像提取第n图像的第一属性信息的步骤，其中，n为自然数；利用与第n 1以上生物图像在时间上对应的传感器数据中至少任一传感器数据和第n图像的第一属性信息生成融合数据的步骤；以及基于第二机器学习模型而从融合数据提取第n 1以上生物图像的第二属性信息的步骤。
11.根据本发明的实施例，具有可以基于机器学习模型识别实时生物图像内的对象体的效果。
12.另外，根据本发明的实施例，具有可以利用运动数据准确预测实时生物图像内在视觉上隐藏的对象体的位置的效果。
13.本发明的效果不限于上述提及的效果，普通技术人员可以从以下记载明确理解未提及的其他效果。
附图说明
14.图1是简要示出根据本发明一实施例的识别实时生物图像内组织的装置的构成示意图。
15.图2是简要示出根据本发明一实施例的识别实时生物图像内组织的实时生物图像识别装置的示意图。
16.图3是示出根据本发明一实施例的用于识别实时生物图像内组织的处理器的线框示意图。
17.图4是示出根据本发明一实施例的通过计算装置生成实时生物图像的属性信息过程的示意图。
18.图5是示意性示出根据本发明另一实施例的通过计算装置生成实时生物图像的属性信息过程的示意图。
19.图6是用于描述根据本发明一实施例的生物图像识别装置利用传感器数据来显示生物图像过程的示意图。
20.图7是用于描述根据本发明另一实施例的生物图像识别装置利用传感器数据来识别并显示生物图像过程的示意图。
21.图8是示出根据本发明一实施例的识别实时生物图像方法的流程示意图。
22.图9是示出根据本发明另一实施例的识别实时生物图像方法的流程示意图。
23.主要附图标记说明：
24.110-计算装置，111、311、600、700、800-处理器，113、313-存储器部，115、315-存储设备，117、317-输入输出接口，118、318-网络适配器，119、319-显示适配器，130、330-显示装置，720-属性信息，830-第一属性信息，850-第二属性信息。
具体实施方式
25.下面将参照附图详细描述本发明的实施例。然而，附图只是为了更容易地公开本发明的内容，本领域技术人员可以容易地理解本发明的范围不限于附图的范围。
26.另外，本发明的详细说明和权利要求中所使用的术语仅用于描述特定实施例，并
不用于限定本发明。除非上下文另有明确规定，否则单数的表达包括复数的表达。
27.在本发明的详细说明和权利要求中，“包括”或“具有”等术语应理解为是要指定存在说明书中记载的特征、数字、步骤、动作、构成要素、部件或其组合，不预先排除存在或添加一个或其以上的其他特征、数字、步骤、动作、构成要素、部件或其组合的可能性。
28.在本发明的详细说明和权利要求中，“学习”或“learning”等术语是指通过基于步骤的计算(computing)而执行机器学习(machine learning)的术语，应理解为并非是指诸如人类教育活动的精神作用。
29.本发明的详细说明和权利要求中使用的“实时图像数据”，可以定义为包括单一图像(静止影像)或连续图像(视频)，可以用以表达诸如“图像”或“图像数据”的意义。
30.本发明的详细说明和权利要求中使用的术语“图像”，可以定义为将人或物的形态或其具体特性复制或模仿为数字形态，图像可以但不限于为jpeg图像、png图像、gif图像、tiff图像或本行业公知的其他任意图像格式。另外，“图像”可以用作与“照片”相同的意义。
31.本发明的详细说明和权利要求中使用的“属性”，可以定义为可在图像数据内识别的对象体的标注或可识别位移的对象体的一个以上描述性特性的集合，“属性”可以用数字性特征表达。
32.本发明是通过首尔市首尔产业振兴院2021年技术商业化支持项目(tb210264)“在腹腔内诊镜手术中检测主要器官的可说明人工智能产品的功能改善及升级”开发的技术。
33.本发明中公开的装置、方法及设备等可以但不限于应用于腹腔内部的医疗图像或可支持疾病状态诊断的实时任意生物学组织图像，可以用于时序计算机断层扫描(ct)、磁共振成像(mri)、计算机辐射成像、磁共振、血管内窥镜、光学相干断层扫描、多普勒彩色血流成像、膀胱镜检查、透照摄影术(diaphanography)、心脏超声波检查、荧光血管造影术(fluoresosinangiography)、腹腔镜检查、磁共振血管造影术、正电子发射断层扫描(positron emission tomography)、单光子发射计算机断层扫描、x射线血管造影术、核医学、生物磁成像、阴道镜、双频多普勒、数字显微镜、内窥镜、激光器、表面扫描、磁共振谱法、放射摄影成像、热成像和放射荧光检查。
34.进一步地，本发明涵盖本说明书中示出的实施例的所有可能的组合。应理解为本发明的多样实施例虽然互不相同，但不必相互排斥。例如，在此记载的特定形状、结构及特性与一个实施例相关联，在不超出本发明的思想及范围的前提下可以以其他实施例实现。另外，应理解为各个公开的实施例内的个别构成要素的位置及配置可以在不超出本发明的思想及范围的前提下变更。因此，后述的详细说明并非出于限定之意，如能适当说明，本发明的范围仅由与其权利要求所主张的内容均等的所有范围及所附权利要求所限定。附图中类似的附图标记指称在多个方面相同或类似的功能。
35.图1是简要示出根据本发明一实施例的识别实时生物图像内的组织的装置的构成示意图。
36.参照图1，根据本发明一实施例的实时生物图像识别装置100可以包括计算装置(computing device)110、显示装置(display device)130、照相机(camera)150。计算装置110可以包括但不限于处理器(processor)111、存储器部(memory unit)113、存储设备(storage device)115、输入输出接口117、网络适配器(network adapter)118、显示适配器(display adapter)119，以及将包括处理器的多样系统构成要素连接于存储器部113的系
统总线(system bus)112。另外，实时生物图像组织识别装置不仅包括用于传递信息的系统总线112，还可以包括其他通信机制。
37.系统总线或其他通信机制可以相互连接处理器、作为计算机可读记录介质的存储器、近距离通信模块(例如，蓝牙或nfc)、包括网络接口或移动通信模块的网络适配器、显示装置(例如，crt或lcd等)、输入装置(例如，键盘、键区、虚拟键盘、鼠标、轨迹球、手写笔、触摸感测装置等)和/或下级系统。
38.处理器111可以是利用机器学习模型13自动处理的处理模块，可以但不限于为cpu、ap(application processor)、微控制器等。
39.处理器111以用于显示装置的硬件控制器为例，可以与显示适配器119通信并在显示装置130上显示实时生物图像组织识别装置的运转和用户界面。
40.处理器111接入存储器部113并运行存储器部中存储的指令或逻辑的一个以上序列，由此控制后面描述的根据本发明实施例的实时生物图像组织识别装置的运转。
41.这种指令也可以从静态存储部(static storage)或磁盘驱动器等其他计算机可读记录介质读入存储器。在另一实施形态中，也可以使用电路部(hard-wired circuitry)，所述电路部(hard-wired circuitry)内置于替代用于实现本发明的软件指令或与软件指令组合的硬件。逻辑可以指参与向处理器提供指令的任意介质并可载入到存储器部113。
42.系统总线(system bus)112代表多种可能类型的总线架构中的一种以上，包括使用多种总线架构(architectures)中任意一种的存储器总线或存储器控制器、外围设备总线、加速图形端口以及处理器或本地总线。例如，这种架构(architectures)可以包括isa(industry standard architecture)总线、mca(micro channel architecture)总线、eisa(enhanced isa)总线、vesa(video electronics standard association)本地总线、agp(accelerated graphics port)总线及pci(peripheral componentinterconnects)、pci-express总线、pcmcia(personal computer memory cardindustry association)、usb(universal serial bus)。
43.系统总线(system bus)112可以通过有线、无线网络连接而实现。包括处理器(processor)111、大容量存储装置(mass storage device)、操作系统(operating system)113c、115a、成像软件(imaging software)113b、115b、成像数据(imaging data)113a、115c、网络适配器(network adapter)118、系统存储器(system memory)、输入/输出接口(input/output interface)117、显示适配器(display adapter)119、显示装置(display device)130在内的子系统可以在物理分离的位置，包括于后述一个以上的远程计算装置(remote computing device)200、300、400内，对于高效运行分布系统而言，可以通过这种形态的总线连接。
44.包括总线的布线(wires)在内的发送介质可以包括同轴电缆、铜线(copper wire)及光纤。在一示例中，发送介质也可以采用在无线电通信或红外线数据通信期间生成的声波或光波的形态。
45.根据本发明实施例的实时生物图像组织识别装置100也可以通过网络链路和网络适配器(network adapter)118发送接收消息、数据、信息以及包括一个以上程序(即，应用代码)的指令。
46.为了能够通过网络链路接收发送，网络适配器(network adapter)118也可以包括
独立或集成的天线。网络适配器118可以接入网络并与远程计算装置(remote computing device)200、300、400通信。网络可以包括但不限于lan、wlan、pstn、及蜂窝电话网络中至少一种。
47.网络适配器118可以包括用于接入所述网络的网络接口和移动通信模块中至少一种。移动通信模块可以接入各代移动通信网(例如，2g至5g移动通信网)。
48.对于程序代码，可以在被接收时由处理器111运行，或者为了运行而可以存储于存储器部113的磁盘驱动器或与磁盘驱动器不同种类的非易失性存储器。
49.计算装置(computing device)110可以为多种计算机可读记录介质。可读介质可以是计算装置可访问的任意的多种介质，例如，可以包括但不限于易失性(volatile)或非易失性介质(non-volatile media)、可移动介质(removable media)、不可移动介质(non-removable media)。
50.存储器部113可以但不限于存储根据本发明实施例的生物图像组织识别装置运转所需的操作系统、驱动程序、应用程序、数据和数据库等。另外，存储器部113可以包括诸如ram(random acces memory)的易失性存储器、诸如rom(read only memory)和快闪存储器的非易失性存储器形态的计算机可读介质，另外，磁盘驱动器例如可以包括但不限于硬盘驱动器(hard disk drive)、固态硬盘(solid state drive)、光盘驱动器等。另外，存储器部113和存储设备115通常分别可以包括诸如对象体生物图像等成像数据(imagingdata)113a、115a的数据、可立即访问以便由处理器111执行的成像软件113b、115b和诸如操作系统113c、115c的程序模块。
51.机器学习模型13可以嵌入处理器、存储器部113或存储设备115。此时的机器学习模型可以包括但不限于作为机器学习算法之一的深度神经网络(deep neural network，dnn)、卷积神经网络(convolutional neural network，cnn)、循环神经网络(recurrent neural network，rnn)等。
52.照相机部150实时拍摄对象体的生物图像，包括图像传感器(未示出)，其中，所述图像传感器拍摄对象的图像并以光电子方式将该图像变换成图像信号。所拍摄的实时生物图像(图像数据)可通过输入/输出接口117提供给处理器111，并基于机器学习模型13进行处理或者存储于存储器部113或存储设备115。另外，照相机部150包括传感器151，针对对象体拍摄实时生物图像时由传感器151获得的多样传感器数据可通过输入/输出接口117提供给处理器111，并与生物图像一同基于机器学习模型13进行处理或者存储于存储器部113或存储设备115。传感器151是可以获得要在生物图像中识别的组织的位置、状态、方向等各种数据信息的传感器，例如可以包括但不限于陀螺仪传感器、加速度传感器、磁传感器等。所拍摄的实时生物图像数据和传感器数据可通过互联网提供给后述远程计算装置200、300、400。
53.图2是简要示出根据本发明一实施例的识别实时生物图像内组织的实时生物图像识别系统的示意图。
54.参照图2，根据本发明一实施例的实时生物图像组织识别系统500可以包括计算装置(computing device)310、显示装置(display device)330、照相机(camera)350和一个以上的远程计算装置(remote compting device)200、300、400。计算装置310与远程计算装置200、300、400之间可以通过互联网相互连接。计算装置(computing device)310中包括的构
成要素与前述图1中对应的构成要素类似，其运转和功能不再赘述。另外，每个远程计算装置200、300、400中包括的构成要素与计算装置310的构成要素类似。
55.计算装置310和远程计算装置200、300、400可以构成为能够执行本发明实施例中提示的方法、功能和/或运转中的一种以上。这种计算装置310、200、300、400可以包括在至少一个以上的计算装置中运行的应用程序。另外，计算装置310、200、300、400可以包括一个以上的计算机和一个以上的数据库，可以是单一装置、分布装置、基于云的计算机或他们的组合。
56.根据本发明的实时生物图像组织识别装置不限于笔记本电脑、台式电脑和服务器，可以在能运行可处理数据的任意指令的计算装置或系统中实现，可以用基于互联网的不同计算装置和系统实现。另外，实时生物图像组织识别装置可以以包括固件的软件、硬件或他们的组合等多样方式实现。例如，用于以多样方式运行的功能可以由以多样方式实现的构成要素执行，所述构成要素包括独立逻辑构成要素、一个以上asic(application specific integratedcircuits)和/或程序控制处理器。
57.图3是示出根据本发明一实施例的用于识别实时生物图像内组织的处理器的线框示意图。
58.参照图3，处理器600可以为图1和图2的处理器111、311，可以接收让机器学习模型211a、213a、215a、230a学习的学习数据，并基于所接收的学习数据提取学习数据的属性信息。学习数据可以为实时生物图像数据(多个生物图像数据或单一生物图像数据)或传感器数据。另外，学习数据可以为从实时生物图像数据提取的属性信息数据或传感器数据。在一实施例中，从实时生物图像数据提取的属性信息可以是对从生物图像数据内识别(detection)的对象进行分类的标注(label)信息。例如，标注可以是生物图像数据内表达的分类为肝脏、胰腺和胆囊等体内器官的类别，可以是分类为血管、淋巴、神经等体内组织的类别。在一实施例中，标注信息可以包括对象的位置信息，标注可以基于在实时生物图像数据中识别的对象的比重、意义而赋予加权值或顺序。另外，属性信息可以是在当前生物图像数据中识别的对象相比在之前生物图像数据中识别的对象发生变化的位移(displacement)信息。例如，属性信息可以为代表所识别对象的角度变化量、加速度变化量、角加速度变化量、速度变化量、角速度变化量等的特征矢量。此时，特征矢量可以从与传感器数据联动并对应的实时生物图像数据提取。
59.处理器600可以包括数据处理部210和属性信息模型学习部230。
60.数据处理部210可以接收使属性信息模型进行学习的实时生物图像数据和传感器数据或实时生物图像的属性信息数据和传感器数据，并将所接收的生物图像数据和传感器数据或生物图像的属性信息数据和传感器数据变换(transforming)或图像处理(processing)成适合属性信息模型学习的数据。数据处理部210可以包括标注信息生成部211、数据生成部213和特征提取部215。
61.标注信息生成部211可以利用第一机器学习模型211a生成与所接收的实时生物图像数据对应的标注信息。标注信息可以是根据在所接收的实时生物图像数据中识别的对象而确定的一个以上的类别相关信息。在一实施例中，标注信息可以与对应于标注信息的实时生物图像数据相关信息一同存储于存储器部113或存储设备115。
62.数据生成部213可以生成将输入包括机器学习模型230a的属性信息模型学习部
230的数据。数据生成部213可以利用第二机器学习模型213a，基于所接收的实时生物图像数据中包含的多帧数据，生成将输入第四机器学习模型230a的输入数据。帧数据可以意指构成实时生物图像的各个帧，可以意指构成实时生物图像的各帧的rgb数据，可以意指提取各帧特征的数据或将各帧的特征表达为矢量的数据。在一实施例中，数据生成部213可以基于全部多个帧数据而生成输入数据，但也可以基于多帧数据中任意单一帧数据或者第奇数或第偶数帧数据而生成规则的输入数据。另外，数据生成部213可以将所接收的传感器数据变换成适合属性信息模型学习的数据。
63.特征提取部215可以利用第三机器学习模型215a提取与所接收的实时生物图像数据对应的特征矢量。例如，特征提取部215可以基于传感器数据提取代表在实时生物图像数据中识别的对象的位置变化的特征矢量。
64.属性信息模型学习部230包括第四机器学习模型230a，可以将包括由标注信息生成部211、数据生成部213、特征提取部215生成并提取的图像数据、标注信息、特征矢量的数据输入第四机器学习模型230a以进行融合学习(fusion learning)，并提取关于实时生物图像数据的属性信息。属性信息是指与在所述实时生物图像数据中识别的对象图像的特征相关的信息。例如，属性信息可以是代表标注(例如，胰脏(spleen))信息或对象的位置信息的数据，其中，所述标注信息在生物图像数据中对对象进行分类，所述对象的位置信息可以利用来自传感器的感测数据而提取，所述传感器可以在照相机移动并拍摄体内对象而可获得的连续生物图像数据中感测照相机的移动。当属性信息模型学习部提取的属性信息发生错误时，可以更新第四机器学习模型230a使用的系数或连接加权值等。
65.图4是示出根据本发明一实施例的通过计算装置生成实时生物图像的属性信息过程的示意图。
66.参照图4，实时拍摄的连续生物图像(image 1、image 2、...、image n-1、image n)中任意时间点的任意一个生物图像可以输入机器学习模型710，同时，与连续生物图像在时间上对应的传感器数据(s-data 1、s-data 2、...、s-data n-1、s-data n)可以输入所述机器学习模型710。传感器数据是来自照相机上搭载的传感器的代表因照相机的移动导致的生物图像位移的值。处理器700可以基于内部包括的机器学习模型710，使所输入的一个生物图像与包含传感器数据的数据进行融合(fusion&aggregation)学习，并提取任意时间点之后的任意一个生物图像的属性信息720。处理器700可以为图1和图2的计算装置110、310中包括的处理器111、311。
67.作为一实施例，连续拍摄的生物图像中的在时间顺序上的第n生物图像(例如，n＝1的image 1)输入机器学习模型710，与第n以上生物图像在时间上对应的传感器数据(例如，n为1以上的s-data 1、s-data 2、...、s-data n-1、s-data n)输入机器学习模型710后，处理器700可以基于机器学习模型710，使输入的生物图像和传感器数据进行融合学习并提取第n 1以上生物图像(例如，image 2、...、image n-1、image n)的属性信息720。
68.要提取第n 1以上生物图像中的特征生物图像的属性信息时，例如，当要只提取按时间顺序排列的第5生物图像(image 5)的属性信息时，传感器数据可以利用与第一和第五生物图像在时间上对应的第一和第五传感器数据，而不是与从第一至第五生物图像在时间对应的第一至第五传感器数据。
69.属性信息720可以是对在所提取的生物图像内识别的对象进行分类的标注
(label)信息或对象的位移(displacement)信息。如上所述，位移信息可以是能以二维或三维方式获知对象位置的信息，例如，二维或三维坐标、旋转角、角速度、角加速度等可以与生物图像联动测量的数值数据。属性信息720可以存储于系统存储器部113或存储设备115。
70.虽然未示出，但机器学习模型710可以输入计算机可读记录介质并运行，可以输入存储器部113或存储设备115并由所述处理器700启动并运行。
71.图5是示出根据本发明另一实施例的通过计算装置生成实时生物图像的属性信息过程的示意图。
72.参照图5，实时拍摄的连续生物图像(image 1、image 2、...、image n-1、image n)中任意时间点的任意一个生物图像输入第一机器学习模型811后，处理器800可以基于内部包括的第一机器学习模型811，提取所输入的一个生物图像的第一属性信息830。作为实施例，处理器800可以是图1和图2的计算装置110、310中包括的处理器111、311。第一属性信息830可以存储于系统存储器部113或存储设备115。然后，所提取的第一属性信息830和与所述任意时间之后的连续生物图像在时间上对应的感器数据(s-data 2、...、s-data n-1、s-data n)可以输入所述第二机器学习模型813。传感器数据是来自搭载于照相机的传感器的代表因照相机移动所导致的生物图像位移的值。所输入的一个生物图像的第一属性信息830与包含传感器数据的数据可以进行融合(fusion&aggregation)学习并提取任意时间点之后任意一个生物图像的第二属性信息850。
73.作为一实施例，连续拍摄的生物图像中按时间顺序排列的第n生物图像(例如，n＝1的image 1)输入第一机器学习模型811后，处理器800可以基于第一机器学习模型811提取第n生物图像(image 1)的第一属性信息830。此时，第一属性信息830可以为对在生物图像内识别的对象进行分类的标注(label)信息和对象的位置信息(x0、y0)。然后，所提取的第n生物图像(image1)的第一属性信息830和与第n之后生物图像在时间上对应的传感器数据(s-data 2、...、s-data n-1、s-data n)可以在第二机器学习模型813中进行融合学习并提取第n 1以上生物图像(例如，image 2、...、image n-1、image n)的第二属性信息850。
74.当要提取第n 1以上生物图像中特定生物图像的属性信息时，例如，当要只提取按时间顺序排列的第5生物图像(image 5)的属性信息时，传感器数据可以利用与第一和第五生物图像在时间上对应的第一和第五传感器数据，而不是与从第一至第五生物图像在时间对应的第一至第五传感器数据。
75.第二属性信息850可以包括对在所提取的第n 1以上生物图像内识别的对象进行分类的标注(label)信息或对象的位移(displacement)信息。对象的位移信息可以用位置信息(x1，y1)表达。另外，如上所述，位移信息可以是能以二维或三维方式获知对象位置的信息，例如，可以是二维或三维坐标、旋转角、角速度、角加速度等可以与生物图像联动测量的数值数据。第二属性信息850可以存储于系统存储器部113或存储设备115。
76.作为一实施例，第一机器学习模型811和第二机器学习模型813的层数、各层的节点数、邻接层节点之间的连接设置等神经网构成可以相同。作为另一实施例，第一机器学习模型881和第二机器学习模型813是互不相同的机器学习模型，例如，第一机器学习模型可以由用于提取在生物图像中对对象进行分类所需的标注信息和识别对象坐标所需的位置信息的神经网构成，第二机器学习模型可以由用于提取在生物图像中对对象进行分类所需的标注信息及识别对象坐标和诸如对象的位置、角度、旋转等位移信息所需的位移信息的
神经网构成。
77.这种第一机器学习模型811和第二机器学习模型813可以输入于计算机判读可读记录介质并运行，可以输入于存储器部113或存储设备115并由所述处理器800启动并运行。
78.如上所述，根据本发明的计算装置利用在拍摄生物图像时可随着照相机的移动而实时测量的传感器数据，即使不基于机器学习模型对各个连续生物图像全部进行运算处理并提取属性信息，也可以对实时连续生物图像提取属性信息。因此，可以减小对全部连续生物图像的运算量，可以完善处理器的性能。
79.图6是用于描述根据本发明一实施例的生物图像识别装置利用传感器数据来显示生物图像过程的示意图，图7是用于描述根据本发明另一实施例的生物图像识别装置利用传感器数据来识别并显示生物图像过程的示意图。
80.参照图6和图7，实时拍摄的连续生物图像(frame1、frame2、frame3、...、frame10)的所有属性信息830、850可以通过参照图5描述的方法而提取。所提取的属性信息如图6所示，可由处理器800进行图像处理以生成与所述全部连续生物图像在时间上对应的经标注的生物图像，并将经标注的生物图像870显示于显示装置130、330，或者如图7所示，所提取的属性信息可由处理器800只对所述全部连续生物图像中任意生物图像进行图像处理以生成与任意生物图像在时间上对应的经标注的生物图像，并将其显示于显示装置。
81.如上所述，根据本发明的生物图像识别装置如果利用传感器数据生成经标注的生物图像，则可以预测生物图像内在视觉上隐藏的对象(器官/组织)的位置。
82.图8是示出根据本发明一实施例的识别实时生物图像方法的流程示意图。
83.参照图8，为了提取实时拍摄的生物图像的属性信息，可以利用所拍摄的生物图像中任意一个生物图像和传感器数据。在s810步骤中，获得针对对象体实时拍摄的生物图像中任意时间点的任意一个生物图像，并同时获得来自传感器的传感器数据(与生物图像在时间上对应的传感器数据)，其中，所述传感器可以测量在拍摄生物图像的同时随时间变化的生物图像的信息。其中，实时拍摄的生物图像可以是利用柔性内窥镜或腹腔镜内窥镜等照相机实时拍摄人体内部器官或组织的视频图像，特别是在手术中实时拍摄人体内部而获得的任何生物图像均可适用。传感器数据是从多样传感器获得的数据，其中，所述传感器可以测量随着照相机的移动而拍摄的生物图像的变化。在s830步骤中，利用任意生物图像和传感器数据生成融合数据。融合数据可以基于机器学习模型而生成，可以由能综合处理图像和数据的处理器生成。融合数据可以将所述任意生物图像的特征(或特征矢量)与传感器数据的特征(特征矢量)直接并置(concatenation)而获得，或将所述任意生物图像的特征(特征矢量)与传感器数据的特征(特征矢量)合计(summation)而获得。
84.然后，在s850步骤中，可以基于机器学习模型而从所述融合数据提取所述全部实时生物图像的属性信息。其中，机器学习模型可以由用于提取在生物图像中对对象进行分类所需的标注信息及识别对象坐标和诸如对象的位置、角度、旋转等位移信息所需的位移信息的神经网构成，作为一个示例，机器学习模型可以是作为机器学习算法之一的深度神经网络(deep neural network，dnn)、卷积神经网络(convolutional neural network，cnn)、循环神经网络(recurrent neural network，rnn)等。
85.图9是示出根据本发明另一实施例的识别实时生物图像方法的流程示意图。
86.参照图9，为了提取实时拍摄的生物图像的属性信息，可以利用所拍摄的生物图像
中任意一个生物图像的属性信息和传感器数据。在s910步骤中，可以基于第一机器学习模型，从针对对象体而按时间连续拍摄的生物图像中第n(n为自然数)图像提取所述第n图像的第一属性信息。第一机器学习模型可以由用于提取在生物图像中对对象进行分类所需的标注信息和识别对象坐标所需的位置信息的神经网构成。如前面参照图8所述，实时拍摄的生物图像可以为利用柔性内窥镜或腹腔镜内窥镜等照相机实时拍摄人体内部器官或组织的视频图像，特别是在手术中实时拍摄人体内部而获得的任何生物图像均可适用。
87.在s930步骤中，获得与第n 1以上生物图像在时间上对应的传感器数据中至少任一传感器数据。传感器数据是从多样传感器获得的数据，其中，所述传感器可以测量随着照相机的移动而拍摄的生物图像的变化。
88.在s950步骤中，利用所述第n图像的第一属性信息和所述传感器数据来生成融合数据。如前面参照图8所述，融合数据可以基于机器学习模型而生成，可以由能综合处理图像和数据的处理器生成。另外，融合数据可以将所述任意生物图像的特征(或特征矢量)与传感器数据的特征(特征矢量)直接并置(concatenation)而获得，或将所述任意生物图像的特征(特征矢量)与传感器数据的特征(特征矢量)合计(summation)而获得。
89.在s970步骤中，可以基于第二机器学习模型而从所述融合数据提取所述第n 1以上生物图像的第二属性信息。第二机器学习模型可以由用于提取在生物图像中对对象进行分类所需的标注信息及识别对象坐标和诸如对象的位置、角度、旋转等位移信息所需的位移信息的神经网构成。
90.这种实时生物图像的属性信息的提取可以由计算装置执行，计算装置是接受实时拍摄的生物图像数据集作为学习数据的装置，作为机器学习模型的执行结果，可以生成经学习的数据。在描述根据本实施例的方法的各个动作时，在省略对其主体的记载的情况下，相应动作的主体可以理解为所述计算装置。
91.如上述实施例所示，可以明确了解到本发明的操作和方法可以通过软件和硬件的结合来实现，或者也可以仅通过硬件来实现。本发明的技术方案的目的或对现有技术有贡献的部分可以能通过多种计算机组件执行的程序指令的形态实现并记录于机器可读记录介质中。所述机器可读记录介质可以单独或组合包括程序指令、数据文件、数据结构等。记录于所述机器可读记录介质的程序指令可以是为本发明专门设计和构建的，或者也可以是计算机软件领域的普通技术人员已知和可用的。
92.机器可读记录介质的示例包括硬盘、诸如软盘和磁带的磁介质、诸如cd-rom和dvd的光记录介质、诸如软式光盘(floptical disk)的磁光介质(magneto-optical media)，以及诸如rom、ram、闪存等的为存储和执行程序指令而专门构成的硬件设备。程序指令的示例不仅包括由编译器生成的机器语言代码，还包括可使用解释器等而由计算机执行的高级语言代码。
93.所述硬件装置可以构成为作为一个以上软件模块运转以执行本发明的处理，反之亦然。所述硬件装置可以包括诸如cpu或gpu的处理器，所述处理器被配置成与用于存储程序指令的rom/ram等存储器结合以执行所述存储器中存储的指令，且所述硬件设备可以包括能够与外部装置收发信号的通信部。而且，所述硬件装置可以包括用于接受由开发人员编写的指令的键盘、鼠标及其他外部输入装置。
94.如上所述考查了根据本发明的实施例，除上述实施例之外，本发明可以在不脱离
本发明宗旨或范畴的情况下以其他具体形态实施，这是本领域技术人员不言而喻的。因此，上述实施例应被视为说明性的而非限制性的，因此本发明不限于上述描述，而是也可以在所附权利要求及其均等范围内进行变更。