1.本发明涉及诊断支援装置以及诊断支援方法。
背景技术：
：：2.专利文献1至专利文献3中，记载有使用us图像系统而生成心腔或血管的三维图像的技术。“us”是ultrasound(超声波)的缩写。3.现有技术文献4.专利文献5.专利文献1：美国专利申请公开第2010/0215238号说明书6.专利文献2：美国专利第6385332号说明书7.专利文献3：美国专利第6251072号说明书技术实现要素：8.发明所要解决的课题9.针对心腔内、心脏血管和下肢动脉区域等使用ivus的治疗被广为进行。“ivus”是intravascularultrasound(血管内超声)的缩写。ivus是指提供相对于导管长轴垂直的平面的二维图像的器械或方法。10.作为现状，施术者需要一边通过在头脑中层叠ivus的二维图像而重构立体结构一边进行手术，特别地对于年轻的医生或者经验浅的医生而言存在障碍。为了消除这样的障碍，考虑由ivus的二维图像自动生成表示心腔或血管等生物组织的结构的三维图像，并向施术者显示所生成的三维图像。11.然而，为了使施术者可以一边参照三维图像一边进行手术，需要根据与导管操作相应地依次生成的ivus的二维图像来即时地生成三维图像。在现有技术中，只能花费时间来作出心腔内或血管内的三维图像，而不能即时地作出三维图像。12.本发明的目的在于，将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。13.用于解决课题的手段14.作为本发明的一个方式的诊断支援装置，其由使用一边在血液通过的生物组织的内部移动一边发送超声波的超声波振子而生成的二维图像，来生成所述超声波振子的移动范围的三维图像，所述诊断支援装置具备控制部，所述控制部根据在每单位时间生成的所述二维图像的数目(fps)、与所述二维图像的横向方向对应的所述三维图像的第1方向的像素数即第1像素数(xn)、和与所述二维图像的纵向方向对应的所述三维图像的第2方向的像素数即第2像素数(yn)，确定与所述超声波振子的移动方向对应的所述三维图像的第3方向的像素数即第3像素数(zn)的上限(zm)。15.作为本发明的一实施方式，所述控制部将基准比率(xp或yp)与某系数(α)之积确定为设定比率(zp)，所述基准比率(xp或yp)是所述三维图像的所述第1方向的尺寸相对于所述第1像素数(xn)而言的比率、或所述三维图像的所述第2方向的尺寸相对于所述第2像素数(yn)而言的比率，所述设定比率(zp)是所述三维图像的所述第3方向的尺寸相对于所述第3像素数(zn)而言的比率。16.作为本发明的一实施方式，所述三维图像的所述第1方向的尺寸是取得所述二维图像数据的范围的横向尺寸(xd)，所述三维图像的所述第2方向的尺寸是取得所述二维图像数据的范围的纵向尺寸(yd)。17.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部将所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述系数(α)之积而得到的值，设为所述第3像素数(zn)。18.作为本发明的一实施方式，若所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述系数(α)之积而得的值超过所确定的所述第3像素数(zn)的上限(zm)，则所述控制部向用户发出警告。19.作为本发明的一实施方式，在将所述基准比率(xp或yp)与所述系数(α)之积确定为所述设定比率(zp)之后、由用户改变了所述系数(α)的情况下，所述控制部将所述基准比率(xp或yp)与改变后的系数(α’)之积确定为新的设定比率(zp’)。20.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，在所述系数(α)被所述用户改变的情况下，若所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述改变后的系数(α’)之积而得的值超过所确定的所述第3像素数(zn)的上限(zm)，则所述控制部向所述用户发出警告。21.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部在确定所述第3像素数(zn)的上限(zm)之后、由用户改变了所述第1像素数(xn)以及所述第2像素数(yn)的情况下，若所述扫描单元移动距离的上限(mm)除以所述三维图像的所述第1方向的尺寸相对于改变后的第1像素数(xn’)而言的比率、或所述三维图像的所述第2方向的尺寸相对于改变后的第2像素数(yn’)而言的比率与所述系数(α)之积而得的值超过与下述值相对应的所述第3像素数(zn)的上限(zm’)，则向所述用户发出警告，所述第3像素数(zn)的上限(zm’)与在每单位时间生成的所述二维图像的数目(fps)、所述改变后的第1像素数(xn’)和所述改变后的第2像素数(yn’)相对应。22.作为本发明的一实施方式，在生成所述二维图像的每个时间间隔的所述超声波振子的移动距离(md)大于在每单位时间生成的所述二维图像的数目(fps)与确定的所述设定比率(zp)之积的情况下，所述控制部对生成的所述二维图像之间的图像进行插补。23.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部将生成所述二维图像的每个时间间隔的所述扫描单元移动距离除以所确定的所述设定比率(zp)，从而确定插补图像数。24.在作为本发明的一个方式的诊断支援方法中，超声波振子一边在血液通过的生物组织的内部移动一边发送超声波；诊断支援装置由使用所述超声波振子而生成的二维图像，而生成所述超声波振子的移动范围的三维图像；所述诊断支援装置根据在每单位时间生成的所述二维图像的数目(fps)、与所述二维图像的横向方向对应的所述三维图像的第1方向的像素数即第1像素数(xn)、和与所述二维图像的纵向方向对应的所述三维图像的第2方向的像素数即第2像素数(yn)，确定与所述超声波振子的移动方向对应的所述三维图像的第3方向的像素数即第3像素数(zn)的上限(zm)。25.发明的效果26.根据本发明的一实施方式，可以将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。附图说明27.[图1]为本发明的一实施方式涉及的诊断支援系统的立体图。[0028][图2]为示出本发明的一实施方式涉及的二维图像中所包含的多个像素的分类例的图。[0029][图3]为本发明的一实施方式涉及的探针和驱动单元的立体图。[0030][图4]为示出本发明的一实施方式涉及的诊断支援装置的构成的框图。[0031][图5]为示出本发明的一实施方式涉及的诊断支援系统的动作的流程图。[0032][图6]为示出本发明的一实施方式涉及的诊断支援装置的数据流的图。[0033][图7]为示出本发明的一实施方式涉及的学得模型的输入输出例的图。[0034][图8]为示出本发明的一实施方式的变形例涉及的诊断支援装置的数据流的图。[0035][图9]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0036][图10]为示出本发明的一实施方式涉及的三维空间的图。[0037][图11]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0038][图12]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0039][图13]为示出本发明的一实施方式的变形例涉及的诊断支援系统的动作的流程图。[0040][图14]为示出本发明的一实施方式涉及超声波的超声波最大到达范围以及数据取得范围的例子的图。具体实施方式[0041]在下文中，针对本发明的一实施方式参见附图进行说明。[0042]各图中，对相同的或相当的部分标注相同附图标记。在本实施方式的说明中，针对相同的或相当的部分，适当地省略或简化说明。[0043]参见图1和图2，说明本实施方式的概要。[0044]在本实施方式中，诊断支援装置11将包括生物组织的二维图像中所包含的多个像素与包括生物组织类型的两个以上的类型相关联，所述二维图像是通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成。将二维图像中所包含的多个像素“与类型相关联”与下述内容含义相同：为了识别在二维图像的各像素中显示的生物组织等对象物的种类，对各像素赋予生物组织标签等的标签、或者按生物组织类型等类型将各像素分类。本实施方式中，诊断支援装置11由与生物组织类型相关联的像素群中生成生物组织的三维图像。即，诊断支援装置11由分类为生物组织类型的像素群中生成生物组织的三维图像。然后，显示器16显示通过诊断支援装置11生成的生物组织的三维图像。图2的示例中，将512像素×512像素的二维图像中所包含的多个像素，即，262,144个像素分类为包括生物组织类型和血细胞类型等其它类型的两个以上的类型。在于图2中放大显示的4像素×4像素的区域中，所有16个像素之中，一半的8个像素为被分类为生物组织类型的像素群，剩下的8个像素为被分类为不同于生物组织类型的其它类型的像素群。在图2中，将512像素×512像素的二维图像中所包含的多个像素的一部分即4像素×4像素的像素群放大显示，为方便说明，对分类为生物组织类型的像素群标注影线。[0045]根据本实施方式，提高了由超声波的二维图像生成的、表示生物组织的结构的三维图像的准确性。[0046]在本实施方式中，超声波振子25一边在血液通过的生物组织的内部移动一边发送超声波。诊断支援装置11根据使用超声波振子25而生成的二维图像，来生成超声波振子25移动范围的三维图像。诊断支援装置11根据在每单位时间生成的二维图像的数目fps、与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、和与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn，确定与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn的上限zm。在每单位时间生成的二维图像的数目fps例如能够以帧频，即每1秒生成的二维图像的数目来表示。[0047]根据本实施方式，可以将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。[0048]在本实施方式中，诊断支援装置11使用ivus的二维图像作为超声波的二维图像。[0049]对于ivus而言，例如，可在介入治疗期间使用。作为其理由，可举出例如以下的理由。[0050]·为了判定心腔内等的生物组织性状。[0051]·为了确认配置支架等留置物的位置，或留置物被配置的位置。[0052]·为了一边即时地利用二维图像，一边确认ivus导管以外的导管以及导丝等的位置。[0053]作为上述的“ivus导管以外的导管”，例如有用于支架留置的导管或消融导管。[0054]根据本实施方式，施术者不需要一边在头脑中层叠ivus的二维图像而重构立体结构一边进行手术。特别是对于年轻的医生或者经验浅的医生而言不再成为障碍。[0055]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够在术中利用三维图像判断ivus导管以外的导管、或留置物等的位置关系或者生物组织性状。[0056]在本实施方式中，诊断支援装置11特别地以下述方式构成：为了引导ivus导管，而能够即时地更新三维图像。[0057]在消融等的手术中，存在想考虑血管或心肌区域的厚度而决定消融的能量这样的要求。另外，使用切除术(atherectomy)器械等削除石灰或斑块时，也存在想考虑生物组织的厚度而进行手术这样的需求。在本实施方式中，诊断支援装置11以能够显示厚度的方式构成。[0058]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够通过使用随时更新的ivus连续图像、持续更新三维图像，从而持续提供经血管可能观察的部位的三维结构。[0059]为了由ivus的二维图像表示心腔结构，必须区分在血细胞区域、心肌区域和心腔内的ivus导管以外的导管等。在本实施方式中，有可能能够仅显示心肌区域。[0060]ivus使用从6mhz至60mhz左右的高频段，因此，强烈地反映了血细胞噪音，但在本实施方式中，有可能产生生物组织区域与血细胞区域的差异。[0061]为了即时地执行由以15fps以上且90fps以下的速度被更新的ivus的二维图像表示心腔结构的处理，用于处理1个图像的时间被限为11msec以上且66msec以下。在本实施方式中，诊断支援装置11以能够对应于那样的限制的方式构成。[0062]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够将进行了特定生物组织性状、除去血细胞区域或者特定ivus导管以外的导管位置等的图像落入三维空间内，在下一帧图像到来之前的期间完成计算画出三维图像的处理，即，能够在即时性成立的时间内进行计算。[0063]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够提供不仅为结构，还包括石灰或斑块的信息等、满足医生的要求的附加信息。[0064]参见图1，说明本实施方式涉及的诊断支援系统10的构成。[0065]诊断支援系统10具备诊断支援装置11、电缆12、驱动单元13、键盘14、鼠标15和显示器16。[0066]诊断支援装置11为在本实施方式中在图像诊断中专门专用的计算机，但也可以是pc等的通用的计算机。“pc”为personalcomputer(个人计算机)的缩写。[0067]电缆12用于连接诊断支援装置11和驱动单元13。[0068]驱动单元13为用于与如图3所示的探针20连接、驱动探针20的装置。驱动单元13也被称为mdu。“mdu”是motordriveunit(电机驱动单元)的缩写。探针20适用于ivus中。探针20也被称为ivus导管或图像诊断用导管。[0069]键盘14、鼠标15和显示器16经过任意的电缆或通过无线方式与诊断支援装置11连接。显示器16为例如lcd、有机el显示器或hmd。“lcd”是liquidcrystaldisplay(液晶显示器)的缩写。“el”是electroluminescence(电发光)的缩写。“hmd”是head‑mounteddisplay(头盔式显示器)的缩写。[0070]作为一选项，诊断支援系统10进一步具备连接端子17和车单元(cartunit)18。[0071]连接端子17用于连接诊断支援装置11与外部机器。连接端子17为例如usb端子。“usb”是universalserialbus(通用串行总线)的缩写。作为外部机器，能够使用例如磁盘驱动器、磁光盘驱动器或光盘驱动器等记录介质。[0072]车单元18为带有用于移动的脚轮的车(cart)。车单元18的车本体中设置了诊断支援装置11、电缆12和驱动单元13。车单元18的最上部的桌(table)上设置了键盘14、鼠标15和显示器16。[0073]参见图3，说明本实施方式涉及的探针20和驱动单元13的构成。[0074]探针20具备驱动轴21、毂部22、鞘层23、外管24、超声波振子25和中继连接器26。[0075]对于驱动轴21而言，其穿过被插入于生物体体腔内的鞘层23和连接于鞘层23的基端的外管24，延伸至在探针20的基端内设置的毂部22的内部。驱动轴21的前端具有接收发送信号的超声波振子25，并且驱动轴21被设置为能够在鞘层23和外管24内旋转。中继连接器26连接鞘层23和外管24。[0076]毂部22、驱动轴21和超声波振子25以各自整体地在轴向上进退移动的方式而相互连接。因此，当进行例如毂部22被向前端侧向按压的操作时，驱动轴21和超声波振子25在鞘层23的内部向前端侧移动。例如当进行将毂部22向基端侧拉的操作时，如箭头所示，驱动轴21和超声波振子25在鞘层23的内部向基端侧移动。accessmemory(随机存取存储器)的缩写。“rom”是readonlymemory(只读存储器)的缩写。作为ram，例如可以使用sram或dram。“sram”是staticrandomaccessmemory(静态随机存取存储器)的缩写。“dram”是dynamicrandomaccessmemory(动态随机存取存储器)的缩写。作为rom，例如可以使用eeprom。“eeprom”是electricallyerasableprogrammablereadonlymemory(电可擦只读存储器)的缩写。存储器例如用于主存储装置、辅助存储装置或高速缓冲存储器。在存储部42中，存储了用于诊断支援装置11的动作的信息和根据诊断支援装置11的动作而得到的信息。[0091]通信部43是一个以上的通信用接口。作为通信用接口，能够使用有线lan接口、无线lan接口或接收ivus的信号以及进行a/d转换的图像诊断用接口。“lan”是localareanetwork(局域网)的缩写。“a/d”是analogtodigital(模数转换)的缩写。通信部43接收用于诊断支援装置11的动作的信息，另外，发送根据诊断支援装置11的动作而得到的信息。在本实施方式中，驱动单元13连接至通信部43所包含的图像诊断用接口。[0092]输入部44是一个以上的输入用接口。作为输入用接口，可使用例如usb接口或hdmi(注册商标)接口。“hdmi(注册商标)”是high‑definitionmultimediainterface(高清多介质接口)的缩写。输入部44接受如下述的操作，其中，所述操作为输入用于诊断支援装置11的动作的信息的操作。在本实施方式中，键盘14和鼠标15连接至输入部44所包含的usb接口，键盘14和鼠标15也可以连接至通信部43所包含的无线lan接口。[0093]输出部45为一个以上的输出用接口。作为输出用接口，可以使用例如usb接口或hdmi(注册商标)接口。输出部45输出根据诊断支援装置11的动作而得到的信息。在本实施方式中，显示器16连接至输出部45所包含的hdmi(注册商标)接口。[0094]通过利用控制部41所包含的处理器执行本实施方式涉及的诊断支援程序，从而可实现诊断支援装置11的功能。即，诊断支援装置11的功能可通过软件而实现。诊断支援程序为如下程序：用于通过利用计算机执行诊断支援装置11的动作所包含的步骤的处理，从而使计算机实现与该步骤的处理相对应的功能。即，诊断支援程序是使计算机作为诊断支援装置11发挥功能的程序。[0095]程序能够记录于计算机可读取记录介质内。作为计算机可读取记录介质，可使用例如，磁记录装置、光盘、磁光记录介质或半导体存储器。程序的分发可例如通过出售、转让或出借记录有程序的dvd或cd‑rom等便携型记录介质而进行。“dvd”是digitalversatiledisc(数字光盘)的缩写。“cd‑rom”是compactdiscreadonlymemory(只读存储光盘)的缩写。可以在服务器的存储器(storage)中存储程序，经过网络从服务器向其它的计算机中传送程序，从而来分发程序。可作为程序产品来提供程序。[0096]计算机例如将记录于便携型记录介质中的程序或从服务器传送的程序暂时存储在存储器中。然后，计算机用处理器读取在存储器中存储的程序，利用处理器按照读取的程序执行处理。计算机可以直接从便携型记录介质读取程序，按照程序执行处理。计算机也可以在每次从服务器将程序传送至计算机时，依次按照已收到的程序执行处理。可以不进行从服务器向计算机的程序的传送，通过仅按照执行指示及结果取得而实现功能的、所谓的asp型的服务而执行处理。“asp”是applicationserviceprovider(应用服务提供商)的缩写。在程序中包含了作为为电子计算机进行处理而提供的信息、且依照程序的内容。例如，具有不是对计算机直接的指令但规定计算机处理的性质的数据相当于“依照程序的内容”。[0097]诊断支援装置11的部分或全部的功能可以通过控制部41所包含的专用电路而实现。即，诊断支援装置11的部分或全部的功能可以通过硬件而实现。[0098]参见图5，说明本实施方式涉及的诊断支援系统10的动作。诊断支援系统10的动作相当于本实施方式涉及的诊断支援方法。[0099]图5的流程开始前，由施术者对探针20进行预冲(priming)。其后，探针20嵌入在驱动单元13的探针连接部34及探针夹部37中，并连接及固定至驱动单元13。然后，探针20被插入至心腔或血管等、血液通过的生物组织内的目标部位。[0100]步骤s1中，通过按下开关组39所包含的扫描开关，以及进一步按下开关组39所包含的返回开关，进行所谓的返回操作。探针20在生物组织的内部利用通过返回操作在轴向上后退的超声波振子25发送超声波。[0101]步骤s2中，探针20向诊断支援装置11的控制部41输入在步骤s1中发送的超声波的反射波的信号。[0102]具体而言，探针20将在生物组织的内部反射的超声波的信号经由驱动单元13和电缆12发送至诊断支援装置11。诊断支援装置11的通信部43接收从探针20发送的信号。通信部43对已接收的信号进行a/d转换。通信部43将a/d转换后的信号输入至控制部41。[0103]步骤s3中，诊断支援装置11的控制部41对在步骤s2中输入的信号进行处理而生成超声波的二维图像。[0104]具体而言，如图6所示，控制部41执行至少管理图像处理p1、图像处理p2和图像处理p3的任务管理处理pm。对于任务管理处理pm的功能而言，例如其作为os的一个功能而被安装。“os”是operatingsystem(操作系统)的缩写。控制部41取得通过在步骤s2中由通信部43进行了a/d转换后的信号作为信号数据51。控制部41通过任务管理处理pm启动图像处理p1，对信号数据51进行处理而生成ivus的二维图像。控制部41取得作为图像处理p1的结果的ivus的二维图像，将其作为二维图像数据52。[0105]步骤s4中，诊断支援装置11的控制部41将在步骤s3生成的二维图像所包含的多个像素分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。在本实施方式中，所述的两个以上的类型还包括与显示血液所含血细胞的像素相对应的血细胞类型。所述的两个以上的类型还包括与显示ivus导管以外的导管或导丝等医疗器具的像素相对应的医疗器具类型。所述的两个以上的类型还可以包括与显示支架等留置物的像素相对应的留置物类型。所述的两个以上的类型还可以包括与显示石灰或斑块等病变的像素相对应的病变类型。对各类型可以进行细分。可以例如将医疗器具类型分为导管类型、导丝类型、和其它的医疗器具类型。[0106]具体而言，如图6和图7所示，控制部41由任务管理处理pm启动图像处理p2，使用学得模型61将在步骤s3取得的二维图像数据52所包含的多个像素分类。控制部41取得了作为图像处理p2的结果的二维图像作为分类结果62，所述二维图像是对二维图像数据52的各像素赋予生物组织类型、血细胞类型和医疗器具类型的任一种分类而成的二维图像。[0107]步骤s5中，诊断支援装置11的控制部41由在步骤s4分类为生物组织类型的像素群生成生物组织的三维图像。在本实施方式中，控制部41从在步骤s3生成的二维图像所包含的多个像素中排除在步骤s4分类为血细胞类型的像素群，从而生成生物组织的三维图像。另外，控制部41由在步骤s4分类为医疗器具类型的一个以上的像素生成医疗器具的三维图像。进一步地，控制部41在步骤s4分类为医疗器具类型的一个以上的像素中包含了显示相互不同的医疗器具的两个以上的像素的情况下，针对每个医疗器具生成医疗器具的三维图像。[0108]具体而言，如图6所示，控制部41通过任务管理处理pm而执行图像处理p2，将在步骤s4中取得的、对二维图像数据52的各像素赋予分类而成的二维图像层叠并三维化。控制部41取得了作为图像处理p2的结果的、表示每个分类的立体结构的体数据53。然后，控制部41通过任务管理处理pm启动图像处理p3，将取得的体数据53可视化。控制部41取得作为图像处理p3的结果的、表示每个分类的立体结构的三维图像作为三维图像数据54。[0109]作为本实施方式的一变形例，控制部41可以基于在步骤s4分类为医疗器具类型的一个以上的像素的坐标，生成医疗器具的三维图像。具体而言，控制部41可以对示出在步骤s4分类为医疗器具类型中的一个以上的像素的坐标的数据加以保持，作为沿着驱动单元13的扫描单元31的移动方向而存在的多个点的坐标，并生成沿着扫描单元31的移动方向而连接该多个点的线状三维模型作为医疗器具的三维图像。例如，针对如导管这样的横截面小的医疗器具，控制部41可以在分类为医疗器具类型的一个像素的中心、或分类为医疗器具类型的像素群的中心的坐标上，配置圆形横截面的三维模型作为医疗器具的三维图像。即，在导管等小物体的情况下，可以不将像素或作为像素集合的区域作为分类结果，而是将坐标作为分类结果62返回。[0110]步骤s6中，诊断支援装置11的控制部41进行控制以显示在步骤s5生成的生物组织的三维图像。在本实施方式中，控制部41进行控制，以能够相互区分的形式显示在步骤s5生成的生物组织的三维图像与医疗器具的三维图像。控制部41进行控制，若在步骤s5按每个医疗器具生成医疗器具的三维图像，则以每个医疗器具可以区分的形式显示所生成的医疗器具的三维图像。显示器16被控制部41控制而显示生物组织的三维图像和医疗器具的三维图像。[0111]具体而言，如图6所示，控制部41执行3d显示处理p4，使在步骤s6取得的三维图像数据54经由输出部45显示在显示器16中。标注不同的颜色等从而可以区分地显示心腔或血管等生物组织的三维图像和导管等医疗器具的三维图像。可以通过键盘14或鼠标15选择在生物组织的三维图像和医疗器具的三维图像之中的任意的图像。在这种情况下，控制部41经由输入部44接受选择图像的操作。控制部41使被选择的图像经由输出部45而显示在显示器16中，且不显示未被选择的图像。另外，可以通过键盘14或鼠标15设定任意的切断面。在这种情况下，控制部41经由输入部44接受选择切断面的操作。控制部41使在被选择的切断面切断的三维图像经由输出部45显示在显示器中。[0112]步骤s7中，当开关组39所包含的扫描开关未被再度按下，则退回步骤s1且继续返回操作。其结果为，一边变更在生物组织的内部超声波的发送位置一边依次生成ivus的二维图像。另一方面，当扫描开关被再度按下时，返回操作被停止，终止了图5的流程。[0113]在本实施方式中，在cpu上执行图像处理p1和3d显示处理p4，在gpu上执行图像处理p2和图像处理p3。体数据53可以保存在cpu内的存储区域中，但为了省去cpu和gpu之间的数据传送，其保存在gpu内的存储区域中。[0114]特别地，对于图像处理p2所包含的分类、导管检测、图像插补、和三维化的各处理而言，能够在本实施方式的gp‑gpu中被执行，但也可以在fpga或asic等集成电路中执行。“gp‑gpu”是generalpurposegraphicsprocessingunit(通用处理器)的缩写。各处理可以是被串行执行，也可以是被并行执行。各处理也可以通过网络而被执行。[0115]在步骤s4中，代替现有的那样的边缘提取，诊断支援装置11的控制部41基于区域识别而提取生物组织区域。针对其原因进行说明。[0116]认为是在ivus图像中，以去除血细胞区域为目标而提取示出血细胞区域和生物组织区域的边界的边缘，并使其边缘反映在三维空间，从而作出三维图像。然而，边缘提取在以下的方面难度非常高。[0117]·血细胞区域和生物组织区域的边界的亮度梯度不固定，难以利用一样的算法全部解决。[0118]·用边缘作出三维图像时，在不仅是血管壁而是以心腔整体为对象的情况下等不能表示复杂的结构。[0119]·在血细胞区域不仅包含于在生物组织内侧、也包含于左心房和右心房两者都可见的部分等生物组织外侧中这样的图像中，仅通过边缘提取是不充分的。[0120]·仅通过提取边缘不能特定导管。特别地，生物组织壁与导管相接时，不可能获取与生物组织的边界。[0121]·夹着薄壁时，仅通过边缘难以知晓哪一侧真正是生物组织。[0122]·难以计算厚度。[0123]从步骤s2到步骤s6中，诊断支援装置11的控制部41在进行三维化时，必须除去血细胞成分、提取器官部分、使其信息反映至三维空间、描绘三维图像，但为了即时地持续更新三维图像，在发送图像的时间tx以内能够完成这些处理。时间tx是1/fps。在提供三维图像的现有技术中，不能实现即时处理。通过现有方法逐帧进行处理，在下一帧到来之前的期间不能持续更新三维图像。[0124]如上所述，在本实施方式中，控制部41每次新生成二维图像时，在接着生成二维图像之前，生成与新生成的二维图像相对应的生物组织的三维图像。[0125]具体而言，控制部41以每秒15次以上且90次以下的速度生成ivus的二维图像，以每秒15次以上且90次以下的速度更新三维图像。[0126]在步骤s4中，诊断支援装置11的控制部41不是现有这样的边缘提取，而是利用根据区域识别也提取生物组织以外的物品的区域，能够特定导管等特别小的物品，因此，能够应对以下的课题。[0127]·如果导管与壁相接，则仅从1张图像中，人会判定为生物组织。[0128]·由于将导管误认为是血栓或气泡，仅从1张图像难以区分判断导管。[0129]如同正常人将过去的连续图像作为参考信息而推定导管位置这样的方式，控制部41为了特定导管位置，也可以使用过去信息。[0130]在步骤s4中，诊断支援装置11的控制部41即使在二维图像中心的探针20本体和壁面相接的情况下，根据区域识别而非现有的边缘提取，也提取了生物组织以外的物品的区域，由此能够对其进行区分。即，控制部41能够区分ivus导管其自身与生物组织区域。[0131]在步骤s4中，为了表示复杂的结构，判定生物组织性状，寻找导管等小物品，诊断支援装置11的控制部41提取了生物组织区域和导管区域而非边缘提取。因此，在本实施方式中采用机器学习的方法。控制部41使用学得模型61，对于图像各自的像素，直接评价其部分是具有什么样的性质的部分，使被赋予了分类的图像反映于在规定的条件下设定的三维空间中。控制部41在三维空间中层叠其信息，以在三维配置的存储器空间内保存的信息作为基准进行三维化，从而显示三维图像。另外，这些处理被即时地更新，与二维图像相对应的位置的三维信息被更新。依次或并行进行计算。特别地通过并行进行处理，能够实现时间上的效率化。[0132]机器学习是指使用算法解析输入数据，从其解析结果中提取有用的规则或判断基准等，并使算法发展。机器学习的算法通常被分类为监督学习、无监督学习和强化学习等。监督学习的算法中，给出了将成为样本的生物体音的声音数据和超声波图像作为输入、和将与其相对应的疾病数据作为结果的数据集，并基于数据集进行机器学习。无监督学习的算法中，仅大量地给出了输入数据而进行机器学习。强化学习的算法基于算法输出的解使环境变化，基于对输出的解以何种程度准确的奖励来加入修正。这样得到的机器学习完的模型被用作学得模型61。[0133]学得模型61通过在事前进行机器学习而被训练，以使得能够由成为样本的二维图像特定类型。在医疗机构中，例如在聚集了许多患者的大学医院等医疗机构中，收集成为样本的超声波图像及针对其图像预先由人实施了附加标签的分类而成的图像。[0134]在ivus图像中具有血细胞区域这样的高噪音，还具有系统噪音。因此，在步骤s4中，诊断支援装置11的控制部41在插入学得模型61前，对图像实施预处理。作为预处理，可进行使用例如简单模糊(simpleblur)、平均模糊(medianblur)、高斯模糊(gaussianblur)、双边滤波器(bilateralfilter)、中值滤波器(medianfilter)或者组平均(blockaveraging)等各种滤波器的滤波(smoothing)或进行膨胀腐蚀(dilationanderosion)、开闭(openingandclosing)、形态梯度(morphologicalgradient)或者顶帽与黑帽(tophatandblackhat)等图像形态(imagemorphology)或填色(floodfill)、尺寸调节(resize)、图像金字塔(imagepyramids)、阈值(threshold)、低通滤波(lowpathfilter)、高通滤波(highpathfilter)或者离散子波变换(discretewavelettransform)。其中，在通常的cpu上进行这样的处理时，即使仅这个处理也可能在66msec以内无法完成。因此，在gpu上进行这个处理。特别地在被称为深度学习的、多个层构建的机器学习的方法中，通过构建算法作为其层，已验证了可以进行具有即时性的预处理。在这个验证中，使用512像素×512像素以上的图像而实现了分类精度97％以上、42fps。[0135]在以预处理的有无进行比较的情况下，期望在生物组织区域的提取中加入预处理的层，但在判定二维图像内的导管这样的小物品时，最好没有预处理的层。因此，作为本实施方式的一变形例，每个类型可以准备不同的图像处理p2。例如，如图8所示，可以准备用于生物组织类型的、包含预处理的层的图像处理p2a和用于导管类型或用于特定导管位置的、不包含预处理的层的图像处理p2b。[0136]该变形例中，诊断支援装置11的控制部41对二维图像进行平滑化。平滑化是使像素群的浓淡变动平滑化的处理。在平滑化中包含上述的滤波。控制部41执行将平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型的第1分类处理。控制部41执行将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的、平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型的第2分类处理。控制部41通过将在第1分类处理中分类的一个以上的像素和在第2分类处理中分类的像素群重叠，从而能够精度良好地在三维图像中显示医疗器具。作为该变形例的进一步的变形例，控制部41可执行如下述的第1分类处理和第2分类处理，所述第1分类处理将在平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型，所述第2分类处理将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的二维图像平滑化，并将平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型。[0137]在步骤s5中，诊断支援装置11的控制部41根据图像处理p2的分类结果，使用取得的生物组织区域的信息，计算测量生物组织的厚度。另外，控制部41通过使其计算测量结果反映在三维信息中而表示厚度。在步骤s6中，控制部41通过加入使用分层等而区分立体结构的颜色等的处理，而表示厚度。控制部41可以通过如下述方式给出附加信息，即，进一步地将生物组织性状的差别等通过使三维中生物组织结构按每个类型变化颜色等的显示方法而给出附加信息。[0138]如上所述，在本实施方式中，控制部41分析在步骤s4中分类为生物组织类型的像素群，算出生物组织的厚度。控制部41进行控制以显示算出的生物组织的厚度。显示器16被控制部41控制而显示生物组织的厚度。作为本实施方式的一变形例，控制部41可以对生成的生物组织的三维图像进行分析，算出生物组织的厚度。[0139]针对本实施方式中三维空间的定义进行说明。[0140]作为三维化的方法，可使用面绘制(surfacerendering)或体绘制(volumerendering)等渲染方法、和其附带的纹理映射(texturemapping)、凹凸处理(bumpmapping)或环境映射(environmentmapping)等各种操作。[0141]在本实施方式中利用的三维空间被限定为能够进行即时处理的尺寸。该尺寸需要以取得在系统中规定的超声波图像的fps为基准。[0142]在本实施方式中使用能够逐一取得其位置的驱动单元13。驱动单元13的扫描单元31能够在一轴上移动，使其轴为z轴，某一瞬间的扫描单元31的位置为z。另外，z轴与预先规定的三维空间的某一轴相互关联，使该轴为z轴。z轴与z轴相互关联，因此预先规定z轴上的点z成为z＝f(z)。[0143]在z轴上反映根据图像处理p2得到的分类结果62的信息。在此处定义的三维空间的xy轴平面中，需要能够将在图像处理p2中可分类的类型信息全部保存。进而，希望同时包含原超声波图像中的亮度信息。根据图像处理p2而得到的分类结果62的信息，其全部的类型信息被反映至相当于当前的扫描单元31的位置的三维上z轴位置中的xy平面。[0144]另外，期望对于三维空间而言，每个tx(＝1/fps)使用体绘图(volumerendering)等而被三维化，但由于限定了处理时间，因此不能无限地变大。即，需要三维空间是在tx(＝1/fps)以内可计算得到的尺寸。[0145]当想将驱动单元13上的较长范围转换为三维时，考虑了超出可计算得到的尺寸的可能性。因此，为了将以驱动单元13显示的范围抑制在上述的范围内，z＝f(z)被规定作为适当的转换。其有必要进行下述的设定，即，在z轴上的驱动单元13的扫描单元31的移动范围和在z轴上的体数据53的可保存的范围这两者的限制内，设定将z轴上的位置转换为z轴上的位置的函数。[0146]如上所述，在本实施方式中，诊断支援装置11的控制部41将通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成的二维图像所包含的多个像素，分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。控制部41由分类为生物组织类型的像素群生成生物组织的三维图像。控制部41进行控制以显示生成的生物组织的三维图像。因此，根据本实施方式，提高了由超声波的二维图像中生成的、表示生物组织的结构的三维图像的准确性。[0147]根据本实施方式，即时地显示三维图像，使施术者无需在头脑中将二维图像向三维空间转换就能进行手术，从而能够预期减轻施术者的疲劳和缩短手术时间。[0148]根据本实施方式，导管等插入物、或支架等留置物的位置关系变得明确，从而减少手术的失败。[0149]根据本实施方式，能够三维地获得生物组织的性状，从而能够进行准确的手术。[0150]根据本实施方式，通过在图像处理p2的内部插入预处理的层，从而提高了精度。[0151]根据本实施方式，使用分类的生物组织区域的信息，能够计算测量生物组织厚度，使其信息反映至三维信息。[0152]在本实施方式中，使输入图像为超声波图像，将输出以每1像素、或被视为集合了多个像素的区域内进行如下述的分类，其中，该分类为具有导管本体的区域、血细胞区域、石灰化区域、纤维化区域、导管区域、支架区域、心肌坏死区域、脂肪生物组织或器官间的生物组织等的2类型以上的分类，通过上述分类，从1张图像内中能够判定什么部分为什么部分。[0153]在本实施方式中，至少预先规定与心脏和血管区域相对应的生物组织类型的分类。将如下的监督学习数据作为机器学习的材料，从而能够提高学习效率，所述监督学习数据为在已经通过在每1像素、或被视为集合了多个像素的区域内，使其以具有包括该生物组织类型的2类型以上的分类的方式被分类而成的数据。[0154]本实施方式中，学得模型61被构建作为以cnn、rnn和lstm为首的任意的用于深度学习的神经网络。“cnn”是convolutionalneuralnetwork(卷积神经网络)的缩写。“rnn”是recurrentneuralnetwork(循环神经网络)的缩写。“lstm”是longshort‑termmemory(记忆网络)的缩写。[0155]作为本实施方式的一变形例，其他装置可以进行步骤s3的处理来代替诊断支援装置11进行步骤s3的处理，并且诊断支援装置11可以取得作为步骤s3的处理结果所生成的二维图像来进行步骤s4之后的处理。即，代替诊断支援装置11的控制部41对ivus的信号进行处理以生成二维图像，而可以由其他装置处理ivus的信号以生成二维图像，并将生成的二维图像输入至控制部41。[0156]参见图9，对为了诊断支援装置11根据与施术者的导管操作对应而依次生成的ivus的二维图像来即时地生成三维图像，而设定三维空间的尺寸的动作进行说明。该动作在图5的动作之前进行。[0157]在步骤s101中，控制部41经由输入部44，接受输入二维图像的数目fps的操作，所述二维图像的数目fps是通过来自超声波振子25的超声波的反射波信号被处理而在每单位时间生成的，其中，超声波振子25一边在血液通过的生物组织的内部移动一边发送超声波。[0158]具体而言，控制部41经由输出部45在显示器16上显示选择或具体指定在每单位时间生成的ivus的二维图像的数目fps的画面。在选择每单位时间生成的ivus的二维图像的数目fps的画面中，例如，显示30fps、60fps、以及90fps等选项。控制部41经由输入部44取得施术者等用户利用键盘14或鼠标15选择或指定的、在每单位时间生成的ivus的二维图像的数目fps的数值。控制部41将取得的、在每单位时间生成的ivus的二维图像的数目fps的数值存储于存储部42。[0159]作为本实施方式的一变形例，在每单位时间生成的ivus的二维图像的数目fps的数值也可以预先存储在存储部42中。[0160]在步骤s102中，控制部41根据在步骤s101中输入的、在每单位时间生成的二维图像的数目fps来确定三维空间的最大体尺寸mvs。三维空间的最大体尺寸mvs依赖于诊断支援装置11即计算机的规格，针对在每单位时间生成的二维图像的数目fps的每个候选的数值或数值范围来预先确定或算出。如图10所示，三维空间的尺寸是与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn、和与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn这三者之积。在该时间点，第1像素数xn、第2像素数yn、以及第3像素数zn均不确定。在本实施方式中，二维图像的横向方向为x方向，二维图像的纵向方向为y方向，但也可以相反。在本实施方式中，三维图像的第1方向为x方向、三维图像的第2方向为y方向、三维图像的第3方向为z方向，但x方向以及y方向也可以相反。[0161]具体而言，控制部41使用预先存储于存储部42的换算表或预先确定的计算式，计算与在步骤s101中存储于存储部42的、在每单位时间生成的二维图像的数目fps的数值对应的三维空间的最大体尺寸mvs。控制部41将计算出的最大体尺寸mvs的数值存储于存储部42。[0162]在此，对基于传送速度的voxel值理论值算出法进行说明。[0163]从cpu向gpu的数据传送通过pciexpress(注册商标)来进行。其速度例如以1gb/s为标准，按其倍数决定传送速度。在多数情况下设置的pciexpress(注册商标)中，gpu多数情况下使用x16。在此，设定为x16、即每1秒可以传送16gb。[0164]在系统的规格上，如果设为15fps以上且30fps以下的画面更新，则cpu与gpu之间的每一次的传送必须以1/30[fps]＝0.033[fps]进行。若由此考虑，则理论上能够传送的voxel数据的量为16gb/s*0.033＝0.533gb＝533mb[0165]这是作为传送尺寸的上限。另外，数据尺寸根据如何表示voxel单位而变化。在此，若用8比特来表示各voxel，即设为0～255，则能够处理大约512*512*2000的尺寸。[0166]然而，实际上，以该尺寸无法进行处理。具体而言，在考虑到更新数据前所需要的计算时间时，在认为以下的式子成立时，xfps得到保证。[0167]1/x[fps]＞＝tf(s) tp(v) f(v)[0168]该式子是传送前的处理以及传送后的处理时间的类型。在此，tf(s)是为了处理尺寸s(＝x*y)的像素所花费的滤波器时间，tp(v)是为了生成voxel以及准备传送所需要的处理时间，f(v)是尺寸v(＝x*y*z)的voxel的传送时间以及描绘时间。需要说明的是，tp(v)小到可以忽略。另外，如果将滤波器的处理速度设为f[fps](其中，x＜＝f)，则可以通过下面的计算式计算理论上能够传送的上限值。[0169]voxel尺寸＜＝16gb*(1/x‑1/f‑f(v))[0170]例如，如果设为x＝15、f＝30，则可能有0.033秒作为体绘制以及传送时间等、花费在其他处理，如果可以将时间仅分配为传送，则上限为512*512*8138，即设为最大体尺寸mvs的voxel传送在理论上是可能的。[0171]在步骤s103中，控制部41经由输入部44接受输入第1像素数xn以及第2像素数yn的操作。第1像素数xn以及第2像素数yn可以为不同的数目，但是在本实施方式中是相同的数目。[0172]具体而言，控制部41经由输出部45在显示器16上显示选择或具体指定第1像素数xn以及第2像素数yn的画面。在选择第1像素数xn以及第2像素数yn的画面中，例如显示512*512、以及1024*1024等选项。控制部41经由输入部44取得用户利用键盘14或鼠标15选择或指定的第1像素数xn以及第2像素数yn的数值。控制部41将取得的第1像素数xn以及第2像素数yn的数值存储于存储部42。[0173]作为本实施方式的一变形例，第1像素数xn以及第2像素数yn的数值可以预先存储于存储部42。[0174]在步骤s104中，控制部41计算基准比率xp，该基准比率xp是三维图像的第1方向的尺寸相对于在步骤s103中输入的第1像素数xn而言的比率。或者，控制部41计算基准比率yp，该基准比率yp是三维图像的第2方向的尺寸相对于在步骤s103中输入的第2像素数yn而言的比率。需要说明的是，三维图像的第1方向的尺寸是取得二维图像数据的范围的横向尺寸xd。三维图像的第2方向的尺寸是取得二维图像数据的范围的纵向尺寸yd。横向尺寸xd以及纵向尺寸yd均为实际空间上的生物组织中的物理距离。实际空间上的生物组织的物理距离根据超声波的速度和时间来计算。即，三维图像的第1方向的尺寸是生物体内的、由三维图像表示的范围的横向方向的实际尺寸。三维图像的第2方向的尺寸是生物体内的、由三维图像表示的范围的纵向方向的实际尺寸。生物体内的、由三维图像表示的范围中，不仅可以包含生物组织，还可以包含生物组织的周边部分。用户可以推测生物组织的物理距离来输入取得二维图像数据的范围的横向尺寸xd、以及取得二维图像数据的范围的纵向尺寸yd。[0175]具体而言，控制部41取得预先存储于存储部42的ivus的数据取得范围的横向尺寸xd的数值。控制部41将取得的横向尺寸xd的数值除以在步骤s103中存储于存储部42的第1像素数xn的数值，求出基准比率xp。即，控制部41计算xp＝xd/xn。控制部41将求得的基准比率xp存储于存储部42。或者，控制部41取得预先存储于存储部42的ivus的数据取得范围的纵向尺寸yd的数值。控制部41将所取得的纵向尺寸yd的数值除以在步骤s103中存储于存储部42的第2像素数yn的数值，求出基准比率yp。即，控制部41计算yp＝yd/yn。控制部41将求出的基准比率yp存储于存储部42。需要说明的是，如图14所示，ivus的超声波最大到达范围是能够根据超声波在生物组织中反射的反射波来生成的二维图像的最大范围。在本实施方式中，由于即时地显示三维图像，因此超声波最大到达范围是半径为通过将1/“预先确定的fps”乘以超声波的速度而得的距离的圆。ivus的数据取得范围是作为二维图像的数据而取得的范围。数据取得范围能够作为超声波最大到达范围的整体或一部分而任意地设定。数据取得范围的横向尺寸xd以及纵向尺寸yd均为超声波最大到达范围的直径以下。例如，若超声波最大到达范围的半径设为80mm，则数据取得范围的横向尺寸xd以及纵向尺寸yd分别设为大于0mm，并且为超声波最大到达范围的直径160mm以下的任意值。由于数据取得范围的横向尺寸xd以及纵向尺寸yd是实际空间上的生物组织中的物理距离，因此值是确定的，即使将三维图像放大或缩小，基准比率xp以及基准比率yp也不变。[0176]在步骤s105中，控制部41经由输入部44接受输入扫描单元31移动距离的上限mm的操作。超声波振子25伴随扫描单元31的移动而移动，其移动距离与扫描单元31的移动距离一致。在本实施方式中，扫描单元31的移动距离是通过返回操作使扫描单元31后退的距离。[0177]具体而言，控制部41经由输出部45在显示器16上显示出选择或具体指定扫描单元31移动距离的上限mm的画面。在选择上限mm的画面中，例如显示15cm、30cm、45cm、以及60cm等选项。控制部41经由输入部44而取得由用户利用键盘14或鼠标15所选择或指定的扫描单元31移动距离的上限mm。控制部41将所取得的上限mm存储于存储部42。[0178]作为本实施方式的一变形例，扫描单元31移动距离的上限mm可以预先存储于存储部42。[0179]在步骤s106中，控制部41将在步骤s104中计算出的基准比率xp或基准比率yp与某系数α之积，确定为三维图像的第3方向的尺寸相对于第3像素数zn的比率、即设定比率zp。系数α例如为1.0。需要说明的是，三维图像的第3方向的尺寸是超声波振子25移动的范围的移动方向的尺寸。即，三维图像的第3方向的尺寸是生物体内的、用三维图像表示的范围的深度方向的实际尺寸。移动方向的尺寸是在实际空间上的生物组织中的物理距离。因此，即使放大或缩小三维图像，设定比率zp也不变。[0180]具体而言，控制部41将在步骤s104中存储于存储部42的基准比率xp或基准比率yp与预先存储于存储部42的系数α相乘，求出设定比率zp。即，控制部41计算出zp＝α*xp或zp＝α*yp。控制部41将求出的设定比率zp存储于存储部42。[0181]在步骤s107中，控制部41将在步骤s105中输入的扫描单元31移动距离的上限mm除以在步骤s106中确定的设定比率zp而得到的值确定为第3像素数zn。这是为了使扫描单元31移动距离的上限mm与三维图像在第3方向上的所有像素的实际尺寸匹配。[0182]具体而言，控制部41通过将在步骤s105中存储于存储部42的扫描单元31移动距离的上限mm除以在步骤s106中存储于存储部42的设定比率zp，求出第3像素数zn。即，控制部41计算出zn＝mm/zp。控制部41将求出的第3像素数zn的数值存储于存储部42。[0183]在步骤s108中，控制部41将在步骤s102中确定的、三维空间的最大体尺寸mvs除以在步骤s103中输入的第1像素数xn以及第2像素数yn之积，并将由此得到的值确定为第3像素数zn的上限zm。[0184]具体而言，控制部41通过将在步骤s102中存储于存储部42的最大体尺寸mvs的数值除以在步骤s103中存储于存储部42的第1像素数xn以及第2像素数yn的数值之积，求出第3像素数zn的上限zm。即，控制部41计算出zm＝mvs/(xn*yn)。控制部41将求出的上限zm存储于存储部42。[0185]在步骤s109中，控制部41对在步骤s107中确定的第3像素数zn与在步骤s108中确定的第3像素数zn的上限zm进行比较。[0186]具体而言，控制部41对在步骤s107中存储于存储部42的第3像素数zn的数值是否超过在步骤s108中存储于存储部42的上限zm进行判定。[0187]如果第3像素数zn超过上限zm，则返回步骤s101进行再设定。在该再设定中，控制部41经由输出部45通知用户，为了实现即时处理而需要改变下述中的至少任意项：在步骤s101中输入的、在每单位时间生成的二维图像的数目fps；在步骤s103中输入的第1像素数xn以及第2像素数yn；以及在步骤s105中输入的、扫描单元31移动距离的上限mm。即、控制部41向用户发出警告。[0188]如果第3像素数zn为上限zm以下，则前进到步骤s110，确保存储器。该存储器在本实施方式中是作为三维空间实体的体数据53的存储区域，具体而言，是gpu内的存储区域。[0189]如上所述，在本实施方式中，诊断支援装置11根据使用一边在血液通过的生物组织的内部移动一边发送超声波的超声波振子25所生成的二维图像来生成超声波振子25移动范围的三维图像。诊断支援装置11的控制部41根据在每单位时间生成的二维图像的数目fps、与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、和与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn，确定与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn的上限zm。因此，根据本实施方式，可以将使超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。[0190]根据本实施方式，可以将三维空间的尺寸限制在能够由相应于导管操作依次生成的ivus的二维图像即时地生成三维图像的尺寸以下。结果，施术者可以一边参考三维图像一边进行手术。[0191]ivus的二维图像中1个像素的实际比例(scale)是预先确定的固定值。该固定值称为“深度”。由于三维化必须以可以在1/fps以内计算的尺寸来进行，所以最大的体像素数具体地由fps来确定。因此，当三维空间内的x轴、y轴以及z轴的像素数分别设为xn、yn以及zn时，xn*yn*zn＝＜mvs这样的关系成立。另外，x轴、y轴以及z轴各自的每1个像素的实际比例设为xp、yp以及zp时，成为xp＝yp＝深度/(xn或yn)、zp＝α*xp＝α*yp。α基本上为1，但在实际构建三维图像的情况下，有时会完成不符合施术者想象的图像的三维图像。在这样的情况下，通过调整α，可以构建接近临床上的心腔或血管图像的三维图像。[0192]虽然进行三维化的实际的比例有可以根据xn、yn、深度以及fps的关系而自动地确定的情况，但在施术者自己想要设定进行返回的距离时，存在与该距离相当的zn超过zm的可能性。在这种情况下，需要再次改变xn、yn、zn、xp、yp以及zp。[0193]通过以这种方式将x轴、y轴以及z轴各自的像素所具有的含义与实际情况具有相关性，由此可以构建更真实的三维图像。另外，通过另外设置α值，可以构建医生想象的实际的心腔内的图像。根据本实施方式，可以一边即时地更新，一边构建模拟实际比例的三维图像。[0194]如下所述，在本实施方式中，用户能够调整系数α。[0195]参见图11，说明在步骤s106中诊断支援装置11将基准比率xp与系数α之积确定为设定比率zp之后，由用户改变系数α的情况下，诊断支援装置11的动作。该动作可以在图5的动作之前进行，也可以在图5的动作中途或之后进行。[0196]在步骤s111中，控制部41经由输入部44接受输入改变后的系数α’的操作。[0197]具体而言，控制部41经由输出部45在显示器16上示出系数α的当前值、并显示出选择或具体指定改变后的系数α’的值的画面。控制部41经由输入部44取得由施术者等用户利用键盘14或鼠标15选择或指定的改变后的系数α’。控制部41将取得的系数α’存储于存储部42。[0198]在步骤s112中，控制部41将在步骤s104中计算出的基准比率xp或基准比率yp与在步骤s111中输入的改变后的系数α’之积确定为新的设定比率zp’。[0199]具体而言，控制部41将在步骤s104中存储于存储部42的基准比率xp或基准比率yp、与在步骤s111中存储于存储部42的系数α’相乘，求出设定比率zp’。即，控制部41计算出zp’＝α’*xp或zp’＝α’*yp。控制部41将求出的设定比率zp’存储于存储部42。[0200]在步骤s113中，控制部41将通过在步骤s105中输入的、扫描单元31移动距离的上限mm除以在步骤s112中确定的设定比率zp’而得到的值确定为第3像素数zn’。[0201]具体而言，控制部41通过将在步骤s105中存储于存储部42的、扫描单元31移动距离的上限mm除以在步骤s112中存储于存储部42的设定比率zp’，求出第3像素数zn’。即，控制部41计算出zn’＝mm/zp’。控制部41将求出的第3像素数zn’的数值存储于存储部42。[0202]在步骤s114中，控制部41对在步骤s113中确定的第3像素数zn’与在步骤s108中确定的第3像素数zn的上限zm进行比较。[0203]具体而言，控制部41对在步骤s113中存储于存储部42的第3像素数zn’的数值是否超过在步骤s108中存储于存储部42的上限zm进行判定。[0204]如果第3像素数zn’超过上限zm，则返回至步骤s111进行再设定。在该再设定中，控制部41经由输出部45通知用户为了实现即时处理而需要取消步骤s111的系数α的改变、或在步骤s111中将系数α改变为与系数α’不同的值。即，控制部41向用户发出警告。作为一变形例，控制部41可以采用改变后的系数α’，并且通知用户需要改变下述中的至少任意项：在每单位时间生成的二维图像的数目fps；第1像素数xn以及第2像素数yn；以及扫描单元31移动距离的上限mm。[0205]如果第3像素数zn’为上限zm以下，则前进到步骤s115而重写存储器。[0206]根据本实施方式，在实际构建三维图像后，可以修改系数α，并且作为施术者的医生为了使三维图像接近实际图像而修正三维的比例。在实验中发现，当α＝1.0时，有时用户有不协调感，通过调整系数α，可以构建更接近于图像的三维图像。[0207]如下所述，在本实施方式中，用户可以如下调整第1像素数xn以及第2像素数yn。[0208]参见图12，说明在步骤s107中诊断支援装置11确定第3像素数zn的上限zm后，第1像素数xn以及第2像素数yn由用户进行改变时的诊断支援装置11的动作。该动作可以在图5的动作之前进行，也可以在图5的动作中途或之后进行。[0209]在步骤s121中，控制部41经由输入部44接受输入改变后的第1像素数xn’以及第2像素数yn’的操作。改变后的第1像素数xn’以及第2像素数yn’可以是不同的数目，但是在本实施方式中为相同的数目。[0210]具体而言，控制部41经由输出部45在显示器16上示出第1像素数xn以及第2像素数yn的当前值，并显示选择或具体指定改变后的第1像素数xn’以及第2像素数yn’的画面。控制部41经由输入部44取得用户利用键盘14或鼠标15选择或指定的改变后的第1像素数xn’以及第2像素数yn’的数值。控制部41将取得的第1像素数xn’以及第2像素数yn’的数值存储于存储部42。[0211]在步骤s122中，控制部41计算三维图像的第1方向的尺寸相对于在步骤s121中输入的改变后的第1像素数xn’而言的比率、即基准比率xp’。或者，控制部41计算三维图像的第2方向的尺寸相对于在步骤s121中输入的改变后的第2像素数yn’而言的比率、即基准比率yp’。[0212]具体而言，控制部41取得预先存储于存储部42的、ivus的数据取得范围的横向尺寸xd的数值。控制部41将取得的横向尺寸xd的数值除以在步骤s121中存储于存储部42的第1像素数xn’的数值，求出基准比率xp’。即，控制部41计算出xp’＝xd/xn’。控制部41将求出的基准比率xp’存储于存储部42。或者，控制部41取得预先存储于存储部42的、ivus的数据取得范围的纵向尺寸yd的数值。控制部41将取得的纵向尺寸yd的数值除以在步骤s103中存储于存储部42的第2像素数yn’的数值，求出基准比率yp’。即，控制部41计算出yp’＝yd/yn’。控制部41将求出的基准比率yp’存储于存储部42。[0213]在步骤s123中，控制部41将在步骤s122中计算出的基准比率xp’或基准比率yp’、与系数α之积确定为新的设定比率zp’。[0214]具体而言，控制部41将在步骤s122中存储于存储部42的基准比率xp’或基准比率yp’、与预先存储于存储部42的系数α相乘，求出设定比率zp’。即，控制部41计算zp’＝α*xp’或zp’＝α*yp’。控制部41将求出的设定比率zp’存储于存储部42。[0215]在步骤s124中，控制部41将如下值确定为第3像素数zn’：将在步骤s105中输入的扫描单元31移动距离的上限mm除以在步骤s123中确定的设定比率zp’而得到的值。[0216]具体而言，控制部41将在步骤s105中存储于存储部42的、扫描单元31移动距离的上限mm，除以在步骤s123中存储于存储部42的设定比率zp’而求出第3像素数zn’。即，控制部41计算出zn’＝mm/zp’。控制部41将求出的第3像素数zn’的数值存储于存储部42。[0217]在步骤s125中，控制部41将如下的值确定为第3像素数zn’的上限zm’：将在步骤s102中确定的、三维空间的最大体尺寸mvs，除以在步骤s121中输入的改变后的第1像素数xn’以及第2像素数yn’之积而得到的值。[0218]具体而言，控制部41将在步骤s102中存储于存储部42的最大体尺寸mvs的数值除以在步骤s121中存储于存储部42的第1像素数xn’以及第2像素数yn’的数值之积，求出第3像素数zn’的上限zm’。即、控制部41计算出zm’＝mvs/(xn’*yn’)。控制部41将求出的上限zm’存储于存储部42。[0219]在步骤s126中，控制部41将在步骤s124中确定的第3像素数zn’、与在步骤s125中确定的第3像素数zn’的上限zm’进行比较。[0220]具体而言，控制部41对在步骤s124中存储于存储部42的第3像素数zn’的数值是否超过在步骤s125中存储于存储部42的上限zm’进行判定。[0221]如果第3像素数zn’超过上限zm’，则返回步骤s121进行再设定。在该再设定中，控制部41经由输出部45通知用户，为了实现即时处理而需要取消步骤s121的第1像素数xn以及第2像素数yn的改变、或在步骤s121中将第1像素数xn以及第2像素数yn改变为与第1像素数xn’以及第2像素数yn’不同的值。即，控制部41向用户发出警告。作为一变形例，控制部41可以采用改变后的第1像素数xn’以及第2像素数yn’，并且通知用户需要改变下述中的至少任意项：在每单位时间生成的二维图像的数目fps；系数α；以及扫描单元31移动距离的上限mm。[0222]如果第3像素数zn’为上限zm’以下，则前进到步骤s127而重写存储器。[0223]ivus的二维图像中1个像素的实际比例为预先确定的固定值。该固定值称为“深度”。由于三维化必须以可以在1/fps以内计算的尺寸来进行，所以最大的体像素数具体地由fps来确定。因此，当三维空间内的x轴、y轴以及z轴的像素数分别设为xn、yn以及zn时，xn*yn*zn＝＜mvs这样的关系成立。另外，x轴、y轴以及z轴各自的每1个像素的实际比例设为xp、yp以及zp时，成为xp＝yp＝深度/(xn或yn)、zp＝α*xp＝α*yp。α基本上为1，但在实际构建三维图像的情况下，有时会有完成不符合施术者想象图像的三维图像的情况。在这样的情况下，通过调整α，可以构建接近临床上的心腔或血管图像的三维图像。[0224]虽然进行三维化的实际比例有可以根据xn、yn、深度以及fps的关系而自动地确定的情况，但在施术者自己想要设定返回的距离时，存在与该距离相当的zn超过zm的可能性。在这种情况下，需要再次改变xn、yn、zn、xp、yp以及zp。[0225]通过以这种方式将x轴、y轴、以及z轴各自的像素所具有的含义与实际情况具有相关性，由此可以构建更真实的三维图像。另外，通过另外设置α值，可以构建医生想象的实际的心腔内的图像。根据本实施方式，可以一边即时地更新，一边构建模拟实际比例的三维图像。[0226]如下所述，作为本实施方式的一变形例，控制部41也可以在生成二维图像的每个时间间隔tx(＝1/fps)的超声波振子25的移动距离md大于所确定的设定比率zp时，对所生成的二维图像之间的图像进行插补。即，控制部41也可以在每单位时间的超声波振子25的移动距离大于在每单位时间生成的二维图像的数目fps与确定的设定比率zp之积的情况下，对生成的二维图像之间的图像进行插补。即，当扫描单元31高速移动时，可以进行图像插补。[0227]扫描单元31可移动的范围的直线状的比例尺和三维空间上的z轴的比例尺的关系由z＝f(z)确定。时间间隔tx中的移动距离大于由z＝f(z)确定的三维空间上的z轴的表示1个像素的范围时，则产生了没有信息的区域。即，ivus导管能够取得图像的速度是确定的，在高速移动扫描单元31的情况下，所生成的图像间的距离有可能显著扩大。在这种情况下，需要对图像间的缺陷区域进行插补处理。另外，该插补数需要根据超声波振子25的各时间间隔tx的移动距离、以及z＝f(z)的关系进行改变。[0228]优选地，通过机器学习方法进行插补处理，并通过一起执行每个二维图像的分类以及导管提取的处理，由此可以实现高速处理。各处理可以分开，也可以使各处理结合。另外，各处理并行或顺序地执行，如果并行，则能够实现时间上的节约。[0229]在更新三维图像的范围较宽的情况下，为了提高即时性，需要使超声波振子25更高速地往复运动，必须进行图像插补的范围变大。即，存在返回速度根据三维化范围而可变的可能性，在该情况下，插补范围也需要根据其速度而可变。另外，在ivus中，虽然存在以人手动返回方式自由地移动摄影范围的可能性，但在该情况下，需要总是一边改变插补的区域，一边进行插补操作。[0230]参见图13，说明该变形例涉及的诊断支援系统10的动作。[0231]在步骤s201中，诊断支援装置11的控制部41与返回操作中的扫描单元31的位置相关联地定义三维空间的位置。[0232]关于步骤s202至步骤s206的处理，与图5中步骤s1至步骤s5的处理相同，因此将说明省略。[0233]在步骤s207中，诊断支援装置11的控制部41取得在步骤s202的返回操作中的扫描单元31的位置信息。[0234]在步骤s208中，诊断支援装置11的控制部41将在步骤s201中相关联的三维空间的位置特定为与在步骤s207中取得的位置信息所表示的位置。控制部41计算所特定的位置与上次在步骤s208中特定的位置之间的距离。在第一次执行步骤s208的处理的情况下，控制部41仅进行位置的特定，不进行距离的计算，另外跳过步骤s209至步骤s212的处理。[0235]在步骤s209中，诊断支援装置11的控制部41将在步骤s208中计算出的距离除以在步骤s106中确定的设定比率zp而确定插补图像数。即，控制部41通过将生成二维图像的每个时间间隔tx的扫描单元31的移动距离除以所确定的设定比率zp来确定插补图像数。在所确定的插补图像数为0时，控制部41跳过步骤s210至步骤s212的处理。[0236]在步骤s210中，诊断支援装置11的控制部41使用在步骤s204中生成的二维图像、以及根据需要使用在上一次之前的步骤s204中所生成的二维图像，生成在步骤s209中所确定出数量的插补图像。作为生成插补图像的方法，可以使用一般的图像插补方法，或者也可以使用专用的图像插补方法。也可以使用机器学习的应用程序。[0237]在步骤s211中，诊断支援装置11的控制部41从步骤s208中特定的位置进行逆运算，或者从上一次的步骤s208中特定的位置进行计算，来设定在步骤s206中生成的三维图像中的、适用在步骤s210中生成的插补图像的位置。例如，如果在步骤s209中确定的插补图像数为1，则控制部41将从步骤s208中特定的位置减去与步骤s106中确定的设定比率zp相当的距离后的位置，设定为适用在步骤s210中生成的插补图像的位置。如果在步骤s209中确定的插补图像数为2，则控制部41还将从步骤s208中特定的位置减去相当于步骤s106中确定的设定比率zp的2倍的距离后的位置，设定为适用在步骤s210中生成的插补图像的位置。[0238]在步骤s212中，与步骤s205的处理同样地，诊断支援装置11的控制部41对在步骤s210中生成的插补图像中所含的多个像素进行分类。并且，控制部41以如下方式进行与步骤s206的处理相同的处理，相对于控制部41在步骤s206的处理中仅是对步骤s208中特定的位置适用在步骤s204中生成的二维图像这一处理而言，进一步对步骤s211中设定的位置适用在步骤s210中生成的插补图像，从而根据分类后的像素群生成三维图像。[0239]针对步骤s213以及步骤s214的处理而言，除了代替在步骤s206中生成的三维图像，而在步骤s213中显示步骤s212中生成的三维图像这一点以外，与图5的步骤s6以及步骤s7的处理相同，因此将说明省略。[0240]本发明不限于上述的实施方式。例如，可以将框图中记载的多个框集成，或可以将一个框分割。可以取代按照描述以时间序列执行基于流程图中记载的多个步骤，而根据执行各步骤的装置的处理能力或根据需要，并行地或以不同的顺序进行执行。另外，在不脱离本发明的宗旨的情况下可以进行变更。[0241]例如，可并行执行在图6中所示图像处理p1、图像处理p2和图像处理p3。[0242]附图标记说明[0243]10诊断支援系统[0244]11诊断支援装置[0245]12电缆[0246]13驱动单元[0247]14键盘[0248]15鼠标[0249]16显示器[0250]17连接端子[0251]18车单元[0252]20探针[0253]21驱动轴[0254]22毂部[0255]23鞘层[0256]24外管[0257]25超声波振子[0258]26中继连接器[0259]31扫描单元[0260]32滑动单元[0261]33底盖[0262]34探针连接部[0263]35扫描电动机[0264]36插入口[0265]37探针夹部[0266]38滑动电动机[0267]39开关组[0268]41控制部[0269]42存储部[0270]43通信部[0271]44输入部[0272]45输出部[0273]51信号数据[0274]52二维图像数据[0275]53体数据[0276]54三维图像数据[0277]61学得模型[0278]62分类结果[0279]63血管[0280]64第1导管[0281]65第2导管[0282]66噪音当前第1页12当前第1页12
背景技术：
：：2.专利文献1至专利文献3中，记载有使用us图像系统而生成心腔或血管的三维图像的技术。“us”是ultrasound(超声波)的缩写。3.现有技术文献4.专利文献5.专利文献1：美国专利申请公开第2010/0215238号说明书6.专利文献2：美国专利第6385332号说明书7.专利文献3：美国专利第6251072号说明书技术实现要素：8.发明所要解决的课题9.针对心腔内、心脏血管和下肢动脉区域等使用ivus的治疗被广为进行。“ivus”是intravascularultrasound(血管内超声)的缩写。ivus是指提供相对于导管长轴垂直的平面的二维图像的器械或方法。10.作为现状，施术者需要一边通过在头脑中层叠ivus的二维图像而重构立体结构一边进行手术，特别地对于年轻的医生或者经验浅的医生而言存在障碍。为了消除这样的障碍，考虑由ivus的二维图像自动生成表示心腔或血管等生物组织的结构的三维图像，并向施术者显示所生成的三维图像。11.然而，为了使施术者可以一边参照三维图像一边进行手术，需要根据与导管操作相应地依次生成的ivus的二维图像来即时地生成三维图像。在现有技术中，只能花费时间来作出心腔内或血管内的三维图像，而不能即时地作出三维图像。12.本发明的目的在于，将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。13.用于解决课题的手段14.作为本发明的一个方式的诊断支援装置，其由使用一边在血液通过的生物组织的内部移动一边发送超声波的超声波振子而生成的二维图像，来生成所述超声波振子的移动范围的三维图像，所述诊断支援装置具备控制部，所述控制部根据在每单位时间生成的所述二维图像的数目(fps)、与所述二维图像的横向方向对应的所述三维图像的第1方向的像素数即第1像素数(xn)、和与所述二维图像的纵向方向对应的所述三维图像的第2方向的像素数即第2像素数(yn)，确定与所述超声波振子的移动方向对应的所述三维图像的第3方向的像素数即第3像素数(zn)的上限(zm)。15.作为本发明的一实施方式，所述控制部将基准比率(xp或yp)与某系数(α)之积确定为设定比率(zp)，所述基准比率(xp或yp)是所述三维图像的所述第1方向的尺寸相对于所述第1像素数(xn)而言的比率、或所述三维图像的所述第2方向的尺寸相对于所述第2像素数(yn)而言的比率，所述设定比率(zp)是所述三维图像的所述第3方向的尺寸相对于所述第3像素数(zn)而言的比率。16.作为本发明的一实施方式，所述三维图像的所述第1方向的尺寸是取得所述二维图像数据的范围的横向尺寸(xd)，所述三维图像的所述第2方向的尺寸是取得所述二维图像数据的范围的纵向尺寸(yd)。17.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部将所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述系数(α)之积而得到的值，设为所述第3像素数(zn)。18.作为本发明的一实施方式，若所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述系数(α)之积而得的值超过所确定的所述第3像素数(zn)的上限(zm)，则所述控制部向用户发出警告。19.作为本发明的一实施方式，在将所述基准比率(xp或yp)与所述系数(α)之积确定为所述设定比率(zp)之后、由用户改变了所述系数(α)的情况下，所述控制部将所述基准比率(xp或yp)与改变后的系数(α’)之积确定为新的设定比率(zp’)。20.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，在所述系数(α)被所述用户改变的情况下，若所述扫描单元移动距离的上限(mm)除以所述基准比率(xp或yp)与所述改变后的系数(α’)之积而得的值超过所确定的所述第3像素数(zn)的上限(zm)，则所述控制部向所述用户发出警告。21.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部在确定所述第3像素数(zn)的上限(zm)之后、由用户改变了所述第1像素数(xn)以及所述第2像素数(yn)的情况下，若所述扫描单元移动距离的上限(mm)除以所述三维图像的所述第1方向的尺寸相对于改变后的第1像素数(xn’)而言的比率、或所述三维图像的所述第2方向的尺寸相对于改变后的第2像素数(yn’)而言的比率与所述系数(α)之积而得的值超过与下述值相对应的所述第3像素数(zn)的上限(zm’)，则向所述用户发出警告，所述第3像素数(zn)的上限(zm’)与在每单位时间生成的所述二维图像的数目(fps)、所述改变后的第1像素数(xn’)和所述改变后的第2像素数(yn’)相对应。22.作为本发明的一实施方式，在生成所述二维图像的每个时间间隔的所述超声波振子的移动距离(md)大于在每单位时间生成的所述二维图像的数目(fps)与确定的所述设定比率(zp)之积的情况下，所述控制部对生成的所述二维图像之间的图像进行插补。23.作为本发明的一实施方式，所述超声波振子伴随扫描单元的移动而移动，所述控制部将生成所述二维图像的每个时间间隔的所述扫描单元移动距离除以所确定的所述设定比率(zp)，从而确定插补图像数。24.在作为本发明的一个方式的诊断支援方法中，超声波振子一边在血液通过的生物组织的内部移动一边发送超声波；诊断支援装置由使用所述超声波振子而生成的二维图像，而生成所述超声波振子的移动范围的三维图像；所述诊断支援装置根据在每单位时间生成的所述二维图像的数目(fps)、与所述二维图像的横向方向对应的所述三维图像的第1方向的像素数即第1像素数(xn)、和与所述二维图像的纵向方向对应的所述三维图像的第2方向的像素数即第2像素数(yn)，确定与所述超声波振子的移动方向对应的所述三维图像的第3方向的像素数即第3像素数(zn)的上限(zm)。25.发明的效果26.根据本发明的一实施方式，可以将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。附图说明27.[图1]为本发明的一实施方式涉及的诊断支援系统的立体图。[0028][图2]为示出本发明的一实施方式涉及的二维图像中所包含的多个像素的分类例的图。[0029][图3]为本发明的一实施方式涉及的探针和驱动单元的立体图。[0030][图4]为示出本发明的一实施方式涉及的诊断支援装置的构成的框图。[0031][图5]为示出本发明的一实施方式涉及的诊断支援系统的动作的流程图。[0032][图6]为示出本发明的一实施方式涉及的诊断支援装置的数据流的图。[0033][图7]为示出本发明的一实施方式涉及的学得模型的输入输出例的图。[0034][图8]为示出本发明的一实施方式的变形例涉及的诊断支援装置的数据流的图。[0035][图9]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0036][图10]为示出本发明的一实施方式涉及的三维空间的图。[0037][图11]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0038][图12]为示出本发明的一实施方式涉及的诊断支援装置的动作的流程图。[0039][图13]为示出本发明的一实施方式的变形例涉及的诊断支援系统的动作的流程图。[0040][图14]为示出本发明的一实施方式涉及超声波的超声波最大到达范围以及数据取得范围的例子的图。具体实施方式[0041]在下文中，针对本发明的一实施方式参见附图进行说明。[0042]各图中，对相同的或相当的部分标注相同附图标记。在本实施方式的说明中，针对相同的或相当的部分，适当地省略或简化说明。[0043]参见图1和图2，说明本实施方式的概要。[0044]在本实施方式中，诊断支援装置11将包括生物组织的二维图像中所包含的多个像素与包括生物组织类型的两个以上的类型相关联，所述二维图像是通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成。将二维图像中所包含的多个像素“与类型相关联”与下述内容含义相同：为了识别在二维图像的各像素中显示的生物组织等对象物的种类，对各像素赋予生物组织标签等的标签、或者按生物组织类型等类型将各像素分类。本实施方式中，诊断支援装置11由与生物组织类型相关联的像素群中生成生物组织的三维图像。即，诊断支援装置11由分类为生物组织类型的像素群中生成生物组织的三维图像。然后，显示器16显示通过诊断支援装置11生成的生物组织的三维图像。图2的示例中，将512像素×512像素的二维图像中所包含的多个像素，即，262,144个像素分类为包括生物组织类型和血细胞类型等其它类型的两个以上的类型。在于图2中放大显示的4像素×4像素的区域中，所有16个像素之中，一半的8个像素为被分类为生物组织类型的像素群，剩下的8个像素为被分类为不同于生物组织类型的其它类型的像素群。在图2中，将512像素×512像素的二维图像中所包含的多个像素的一部分即4像素×4像素的像素群放大显示，为方便说明，对分类为生物组织类型的像素群标注影线。[0045]根据本实施方式，提高了由超声波的二维图像生成的、表示生物组织的结构的三维图像的准确性。[0046]在本实施方式中，超声波振子25一边在血液通过的生物组织的内部移动一边发送超声波。诊断支援装置11根据使用超声波振子25而生成的二维图像，来生成超声波振子25移动范围的三维图像。诊断支援装置11根据在每单位时间生成的二维图像的数目fps、与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、和与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn，确定与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn的上限zm。在每单位时间生成的二维图像的数目fps例如能够以帧频，即每1秒生成的二维图像的数目来表示。[0047]根据本实施方式，可以将超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。[0048]在本实施方式中，诊断支援装置11使用ivus的二维图像作为超声波的二维图像。[0049]对于ivus而言，例如，可在介入治疗期间使用。作为其理由，可举出例如以下的理由。[0050]·为了判定心腔内等的生物组织性状。[0051]·为了确认配置支架等留置物的位置，或留置物被配置的位置。[0052]·为了一边即时地利用二维图像，一边确认ivus导管以外的导管以及导丝等的位置。[0053]作为上述的“ivus导管以外的导管”，例如有用于支架留置的导管或消融导管。[0054]根据本实施方式，施术者不需要一边在头脑中层叠ivus的二维图像而重构立体结构一边进行手术。特别是对于年轻的医生或者经验浅的医生而言不再成为障碍。[0055]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够在术中利用三维图像判断ivus导管以外的导管、或留置物等的位置关系或者生物组织性状。[0056]在本实施方式中，诊断支援装置11特别地以下述方式构成：为了引导ivus导管，而能够即时地更新三维图像。[0057]在消融等的手术中，存在想考虑血管或心肌区域的厚度而决定消融的能量这样的要求。另外，使用切除术(atherectomy)器械等削除石灰或斑块时，也存在想考虑生物组织的厚度而进行手术这样的需求。在本实施方式中，诊断支援装置11以能够显示厚度的方式构成。[0058]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够通过使用随时更新的ivus连续图像、持续更新三维图像，从而持续提供经血管可能观察的部位的三维结构。[0059]为了由ivus的二维图像表示心腔结构，必须区分在血细胞区域、心肌区域和心腔内的ivus导管以外的导管等。在本实施方式中，有可能能够仅显示心肌区域。[0060]ivus使用从6mhz至60mhz左右的高频段，因此，强烈地反映了血细胞噪音，但在本实施方式中，有可能产生生物组织区域与血细胞区域的差异。[0061]为了即时地执行由以15fps以上且90fps以下的速度被更新的ivus的二维图像表示心腔结构的处理，用于处理1个图像的时间被限为11msec以上且66msec以下。在本实施方式中，诊断支援装置11以能够对应于那样的限制的方式构成。[0062]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够将进行了特定生物组织性状、除去血细胞区域或者特定ivus导管以外的导管位置等的图像落入三维空间内，在下一帧图像到来之前的期间完成计算画出三维图像的处理，即，能够在即时性成立的时间内进行计算。[0063]在本实施方式中，诊断支援装置11以下述方式构成，其中，能够提供不仅为结构，还包括石灰或斑块的信息等、满足医生的要求的附加信息。[0064]参见图1，说明本实施方式涉及的诊断支援系统10的构成。[0065]诊断支援系统10具备诊断支援装置11、电缆12、驱动单元13、键盘14、鼠标15和显示器16。[0066]诊断支援装置11为在本实施方式中在图像诊断中专门专用的计算机，但也可以是pc等的通用的计算机。“pc”为personalcomputer(个人计算机)的缩写。[0067]电缆12用于连接诊断支援装置11和驱动单元13。[0068]驱动单元13为用于与如图3所示的探针20连接、驱动探针20的装置。驱动单元13也被称为mdu。“mdu”是motordriveunit(电机驱动单元)的缩写。探针20适用于ivus中。探针20也被称为ivus导管或图像诊断用导管。[0069]键盘14、鼠标15和显示器16经过任意的电缆或通过无线方式与诊断支援装置11连接。显示器16为例如lcd、有机el显示器或hmd。“lcd”是liquidcrystaldisplay(液晶显示器)的缩写。“el”是electroluminescence(电发光)的缩写。“hmd”是head‑mounteddisplay(头盔式显示器)的缩写。[0070]作为一选项，诊断支援系统10进一步具备连接端子17和车单元(cartunit)18。[0071]连接端子17用于连接诊断支援装置11与外部机器。连接端子17为例如usb端子。“usb”是universalserialbus(通用串行总线)的缩写。作为外部机器，能够使用例如磁盘驱动器、磁光盘驱动器或光盘驱动器等记录介质。[0072]车单元18为带有用于移动的脚轮的车(cart)。车单元18的车本体中设置了诊断支援装置11、电缆12和驱动单元13。车单元18的最上部的桌(table)上设置了键盘14、鼠标15和显示器16。[0073]参见图3，说明本实施方式涉及的探针20和驱动单元13的构成。[0074]探针20具备驱动轴21、毂部22、鞘层23、外管24、超声波振子25和中继连接器26。[0075]对于驱动轴21而言，其穿过被插入于生物体体腔内的鞘层23和连接于鞘层23的基端的外管24，延伸至在探针20的基端内设置的毂部22的内部。驱动轴21的前端具有接收发送信号的超声波振子25，并且驱动轴21被设置为能够在鞘层23和外管24内旋转。中继连接器26连接鞘层23和外管24。[0076]毂部22、驱动轴21和超声波振子25以各自整体地在轴向上进退移动的方式而相互连接。因此，当进行例如毂部22被向前端侧向按压的操作时，驱动轴21和超声波振子25在鞘层23的内部向前端侧移动。例如当进行将毂部22向基端侧拉的操作时，如箭头所示，驱动轴21和超声波振子25在鞘层23的内部向基端侧移动。accessmemory(随机存取存储器)的缩写。“rom”是readonlymemory(只读存储器)的缩写。作为ram，例如可以使用sram或dram。“sram”是staticrandomaccessmemory(静态随机存取存储器)的缩写。“dram”是dynamicrandomaccessmemory(动态随机存取存储器)的缩写。作为rom，例如可以使用eeprom。“eeprom”是electricallyerasableprogrammablereadonlymemory(电可擦只读存储器)的缩写。存储器例如用于主存储装置、辅助存储装置或高速缓冲存储器。在存储部42中，存储了用于诊断支援装置11的动作的信息和根据诊断支援装置11的动作而得到的信息。[0091]通信部43是一个以上的通信用接口。作为通信用接口，能够使用有线lan接口、无线lan接口或接收ivus的信号以及进行a/d转换的图像诊断用接口。“lan”是localareanetwork(局域网)的缩写。“a/d”是analogtodigital(模数转换)的缩写。通信部43接收用于诊断支援装置11的动作的信息，另外，发送根据诊断支援装置11的动作而得到的信息。在本实施方式中，驱动单元13连接至通信部43所包含的图像诊断用接口。[0092]输入部44是一个以上的输入用接口。作为输入用接口，可使用例如usb接口或hdmi(注册商标)接口。“hdmi(注册商标)”是high‑definitionmultimediainterface(高清多介质接口)的缩写。输入部44接受如下述的操作，其中，所述操作为输入用于诊断支援装置11的动作的信息的操作。在本实施方式中，键盘14和鼠标15连接至输入部44所包含的usb接口，键盘14和鼠标15也可以连接至通信部43所包含的无线lan接口。[0093]输出部45为一个以上的输出用接口。作为输出用接口，可以使用例如usb接口或hdmi(注册商标)接口。输出部45输出根据诊断支援装置11的动作而得到的信息。在本实施方式中，显示器16连接至输出部45所包含的hdmi(注册商标)接口。[0094]通过利用控制部41所包含的处理器执行本实施方式涉及的诊断支援程序，从而可实现诊断支援装置11的功能。即，诊断支援装置11的功能可通过软件而实现。诊断支援程序为如下程序：用于通过利用计算机执行诊断支援装置11的动作所包含的步骤的处理，从而使计算机实现与该步骤的处理相对应的功能。即，诊断支援程序是使计算机作为诊断支援装置11发挥功能的程序。[0095]程序能够记录于计算机可读取记录介质内。作为计算机可读取记录介质，可使用例如，磁记录装置、光盘、磁光记录介质或半导体存储器。程序的分发可例如通过出售、转让或出借记录有程序的dvd或cd‑rom等便携型记录介质而进行。“dvd”是digitalversatiledisc(数字光盘)的缩写。“cd‑rom”是compactdiscreadonlymemory(只读存储光盘)的缩写。可以在服务器的存储器(storage)中存储程序，经过网络从服务器向其它的计算机中传送程序，从而来分发程序。可作为程序产品来提供程序。[0096]计算机例如将记录于便携型记录介质中的程序或从服务器传送的程序暂时存储在存储器中。然后，计算机用处理器读取在存储器中存储的程序，利用处理器按照读取的程序执行处理。计算机可以直接从便携型记录介质读取程序，按照程序执行处理。计算机也可以在每次从服务器将程序传送至计算机时，依次按照已收到的程序执行处理。可以不进行从服务器向计算机的程序的传送，通过仅按照执行指示及结果取得而实现功能的、所谓的asp型的服务而执行处理。“asp”是applicationserviceprovider(应用服务提供商)的缩写。在程序中包含了作为为电子计算机进行处理而提供的信息、且依照程序的内容。例如，具有不是对计算机直接的指令但规定计算机处理的性质的数据相当于“依照程序的内容”。[0097]诊断支援装置11的部分或全部的功能可以通过控制部41所包含的专用电路而实现。即，诊断支援装置11的部分或全部的功能可以通过硬件而实现。[0098]参见图5，说明本实施方式涉及的诊断支援系统10的动作。诊断支援系统10的动作相当于本实施方式涉及的诊断支援方法。[0099]图5的流程开始前，由施术者对探针20进行预冲(priming)。其后，探针20嵌入在驱动单元13的探针连接部34及探针夹部37中，并连接及固定至驱动单元13。然后，探针20被插入至心腔或血管等、血液通过的生物组织内的目标部位。[0100]步骤s1中，通过按下开关组39所包含的扫描开关，以及进一步按下开关组39所包含的返回开关，进行所谓的返回操作。探针20在生物组织的内部利用通过返回操作在轴向上后退的超声波振子25发送超声波。[0101]步骤s2中，探针20向诊断支援装置11的控制部41输入在步骤s1中发送的超声波的反射波的信号。[0102]具体而言，探针20将在生物组织的内部反射的超声波的信号经由驱动单元13和电缆12发送至诊断支援装置11。诊断支援装置11的通信部43接收从探针20发送的信号。通信部43对已接收的信号进行a/d转换。通信部43将a/d转换后的信号输入至控制部41。[0103]步骤s3中，诊断支援装置11的控制部41对在步骤s2中输入的信号进行处理而生成超声波的二维图像。[0104]具体而言，如图6所示，控制部41执行至少管理图像处理p1、图像处理p2和图像处理p3的任务管理处理pm。对于任务管理处理pm的功能而言，例如其作为os的一个功能而被安装。“os”是operatingsystem(操作系统)的缩写。控制部41取得通过在步骤s2中由通信部43进行了a/d转换后的信号作为信号数据51。控制部41通过任务管理处理pm启动图像处理p1，对信号数据51进行处理而生成ivus的二维图像。控制部41取得作为图像处理p1的结果的ivus的二维图像，将其作为二维图像数据52。[0105]步骤s4中，诊断支援装置11的控制部41将在步骤s3生成的二维图像所包含的多个像素分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。在本实施方式中，所述的两个以上的类型还包括与显示血液所含血细胞的像素相对应的血细胞类型。所述的两个以上的类型还包括与显示ivus导管以外的导管或导丝等医疗器具的像素相对应的医疗器具类型。所述的两个以上的类型还可以包括与显示支架等留置物的像素相对应的留置物类型。所述的两个以上的类型还可以包括与显示石灰或斑块等病变的像素相对应的病变类型。对各类型可以进行细分。可以例如将医疗器具类型分为导管类型、导丝类型、和其它的医疗器具类型。[0106]具体而言，如图6和图7所示，控制部41由任务管理处理pm启动图像处理p2，使用学得模型61将在步骤s3取得的二维图像数据52所包含的多个像素分类。控制部41取得了作为图像处理p2的结果的二维图像作为分类结果62，所述二维图像是对二维图像数据52的各像素赋予生物组织类型、血细胞类型和医疗器具类型的任一种分类而成的二维图像。[0107]步骤s5中，诊断支援装置11的控制部41由在步骤s4分类为生物组织类型的像素群生成生物组织的三维图像。在本实施方式中，控制部41从在步骤s3生成的二维图像所包含的多个像素中排除在步骤s4分类为血细胞类型的像素群，从而生成生物组织的三维图像。另外，控制部41由在步骤s4分类为医疗器具类型的一个以上的像素生成医疗器具的三维图像。进一步地，控制部41在步骤s4分类为医疗器具类型的一个以上的像素中包含了显示相互不同的医疗器具的两个以上的像素的情况下，针对每个医疗器具生成医疗器具的三维图像。[0108]具体而言，如图6所示，控制部41通过任务管理处理pm而执行图像处理p2，将在步骤s4中取得的、对二维图像数据52的各像素赋予分类而成的二维图像层叠并三维化。控制部41取得了作为图像处理p2的结果的、表示每个分类的立体结构的体数据53。然后，控制部41通过任务管理处理pm启动图像处理p3，将取得的体数据53可视化。控制部41取得作为图像处理p3的结果的、表示每个分类的立体结构的三维图像作为三维图像数据54。[0109]作为本实施方式的一变形例，控制部41可以基于在步骤s4分类为医疗器具类型的一个以上的像素的坐标，生成医疗器具的三维图像。具体而言，控制部41可以对示出在步骤s4分类为医疗器具类型中的一个以上的像素的坐标的数据加以保持，作为沿着驱动单元13的扫描单元31的移动方向而存在的多个点的坐标，并生成沿着扫描单元31的移动方向而连接该多个点的线状三维模型作为医疗器具的三维图像。例如，针对如导管这样的横截面小的医疗器具，控制部41可以在分类为医疗器具类型的一个像素的中心、或分类为医疗器具类型的像素群的中心的坐标上，配置圆形横截面的三维模型作为医疗器具的三维图像。即，在导管等小物体的情况下，可以不将像素或作为像素集合的区域作为分类结果，而是将坐标作为分类结果62返回。[0110]步骤s6中，诊断支援装置11的控制部41进行控制以显示在步骤s5生成的生物组织的三维图像。在本实施方式中，控制部41进行控制，以能够相互区分的形式显示在步骤s5生成的生物组织的三维图像与医疗器具的三维图像。控制部41进行控制，若在步骤s5按每个医疗器具生成医疗器具的三维图像，则以每个医疗器具可以区分的形式显示所生成的医疗器具的三维图像。显示器16被控制部41控制而显示生物组织的三维图像和医疗器具的三维图像。[0111]具体而言，如图6所示，控制部41执行3d显示处理p4，使在步骤s6取得的三维图像数据54经由输出部45显示在显示器16中。标注不同的颜色等从而可以区分地显示心腔或血管等生物组织的三维图像和导管等医疗器具的三维图像。可以通过键盘14或鼠标15选择在生物组织的三维图像和医疗器具的三维图像之中的任意的图像。在这种情况下，控制部41经由输入部44接受选择图像的操作。控制部41使被选择的图像经由输出部45而显示在显示器16中，且不显示未被选择的图像。另外，可以通过键盘14或鼠标15设定任意的切断面。在这种情况下，控制部41经由输入部44接受选择切断面的操作。控制部41使在被选择的切断面切断的三维图像经由输出部45显示在显示器中。[0112]步骤s7中，当开关组39所包含的扫描开关未被再度按下，则退回步骤s1且继续返回操作。其结果为，一边变更在生物组织的内部超声波的发送位置一边依次生成ivus的二维图像。另一方面，当扫描开关被再度按下时，返回操作被停止，终止了图5的流程。[0113]在本实施方式中，在cpu上执行图像处理p1和3d显示处理p4，在gpu上执行图像处理p2和图像处理p3。体数据53可以保存在cpu内的存储区域中，但为了省去cpu和gpu之间的数据传送，其保存在gpu内的存储区域中。[0114]特别地，对于图像处理p2所包含的分类、导管检测、图像插补、和三维化的各处理而言，能够在本实施方式的gp‑gpu中被执行，但也可以在fpga或asic等集成电路中执行。“gp‑gpu”是generalpurposegraphicsprocessingunit(通用处理器)的缩写。各处理可以是被串行执行，也可以是被并行执行。各处理也可以通过网络而被执行。[0115]在步骤s4中，代替现有的那样的边缘提取，诊断支援装置11的控制部41基于区域识别而提取生物组织区域。针对其原因进行说明。[0116]认为是在ivus图像中，以去除血细胞区域为目标而提取示出血细胞区域和生物组织区域的边界的边缘，并使其边缘反映在三维空间，从而作出三维图像。然而，边缘提取在以下的方面难度非常高。[0117]·血细胞区域和生物组织区域的边界的亮度梯度不固定，难以利用一样的算法全部解决。[0118]·用边缘作出三维图像时，在不仅是血管壁而是以心腔整体为对象的情况下等不能表示复杂的结构。[0119]·在血细胞区域不仅包含于在生物组织内侧、也包含于左心房和右心房两者都可见的部分等生物组织外侧中这样的图像中，仅通过边缘提取是不充分的。[0120]·仅通过提取边缘不能特定导管。特别地，生物组织壁与导管相接时，不可能获取与生物组织的边界。[0121]·夹着薄壁时，仅通过边缘难以知晓哪一侧真正是生物组织。[0122]·难以计算厚度。[0123]从步骤s2到步骤s6中，诊断支援装置11的控制部41在进行三维化时，必须除去血细胞成分、提取器官部分、使其信息反映至三维空间、描绘三维图像，但为了即时地持续更新三维图像，在发送图像的时间tx以内能够完成这些处理。时间tx是1/fps。在提供三维图像的现有技术中，不能实现即时处理。通过现有方法逐帧进行处理，在下一帧到来之前的期间不能持续更新三维图像。[0124]如上所述，在本实施方式中，控制部41每次新生成二维图像时，在接着生成二维图像之前，生成与新生成的二维图像相对应的生物组织的三维图像。[0125]具体而言，控制部41以每秒15次以上且90次以下的速度生成ivus的二维图像，以每秒15次以上且90次以下的速度更新三维图像。[0126]在步骤s4中，诊断支援装置11的控制部41不是现有这样的边缘提取，而是利用根据区域识别也提取生物组织以外的物品的区域，能够特定导管等特别小的物品，因此，能够应对以下的课题。[0127]·如果导管与壁相接，则仅从1张图像中，人会判定为生物组织。[0128]·由于将导管误认为是血栓或气泡，仅从1张图像难以区分判断导管。[0129]如同正常人将过去的连续图像作为参考信息而推定导管位置这样的方式，控制部41为了特定导管位置，也可以使用过去信息。[0130]在步骤s4中，诊断支援装置11的控制部41即使在二维图像中心的探针20本体和壁面相接的情况下，根据区域识别而非现有的边缘提取，也提取了生物组织以外的物品的区域，由此能够对其进行区分。即，控制部41能够区分ivus导管其自身与生物组织区域。[0131]在步骤s4中，为了表示复杂的结构，判定生物组织性状，寻找导管等小物品，诊断支援装置11的控制部41提取了生物组织区域和导管区域而非边缘提取。因此，在本实施方式中采用机器学习的方法。控制部41使用学得模型61，对于图像各自的像素，直接评价其部分是具有什么样的性质的部分，使被赋予了分类的图像反映于在规定的条件下设定的三维空间中。控制部41在三维空间中层叠其信息，以在三维配置的存储器空间内保存的信息作为基准进行三维化，从而显示三维图像。另外，这些处理被即时地更新，与二维图像相对应的位置的三维信息被更新。依次或并行进行计算。特别地通过并行进行处理，能够实现时间上的效率化。[0132]机器学习是指使用算法解析输入数据，从其解析结果中提取有用的规则或判断基准等，并使算法发展。机器学习的算法通常被分类为监督学习、无监督学习和强化学习等。监督学习的算法中，给出了将成为样本的生物体音的声音数据和超声波图像作为输入、和将与其相对应的疾病数据作为结果的数据集，并基于数据集进行机器学习。无监督学习的算法中，仅大量地给出了输入数据而进行机器学习。强化学习的算法基于算法输出的解使环境变化，基于对输出的解以何种程度准确的奖励来加入修正。这样得到的机器学习完的模型被用作学得模型61。[0133]学得模型61通过在事前进行机器学习而被训练，以使得能够由成为样本的二维图像特定类型。在医疗机构中，例如在聚集了许多患者的大学医院等医疗机构中，收集成为样本的超声波图像及针对其图像预先由人实施了附加标签的分类而成的图像。[0134]在ivus图像中具有血细胞区域这样的高噪音，还具有系统噪音。因此，在步骤s4中，诊断支援装置11的控制部41在插入学得模型61前，对图像实施预处理。作为预处理，可进行使用例如简单模糊(simpleblur)、平均模糊(medianblur)、高斯模糊(gaussianblur)、双边滤波器(bilateralfilter)、中值滤波器(medianfilter)或者组平均(blockaveraging)等各种滤波器的滤波(smoothing)或进行膨胀腐蚀(dilationanderosion)、开闭(openingandclosing)、形态梯度(morphologicalgradient)或者顶帽与黑帽(tophatandblackhat)等图像形态(imagemorphology)或填色(floodfill)、尺寸调节(resize)、图像金字塔(imagepyramids)、阈值(threshold)、低通滤波(lowpathfilter)、高通滤波(highpathfilter)或者离散子波变换(discretewavelettransform)。其中，在通常的cpu上进行这样的处理时，即使仅这个处理也可能在66msec以内无法完成。因此，在gpu上进行这个处理。特别地在被称为深度学习的、多个层构建的机器学习的方法中，通过构建算法作为其层，已验证了可以进行具有即时性的预处理。在这个验证中，使用512像素×512像素以上的图像而实现了分类精度97％以上、42fps。[0135]在以预处理的有无进行比较的情况下，期望在生物组织区域的提取中加入预处理的层，但在判定二维图像内的导管这样的小物品时，最好没有预处理的层。因此，作为本实施方式的一变形例，每个类型可以准备不同的图像处理p2。例如，如图8所示，可以准备用于生物组织类型的、包含预处理的层的图像处理p2a和用于导管类型或用于特定导管位置的、不包含预处理的层的图像处理p2b。[0136]该变形例中，诊断支援装置11的控制部41对二维图像进行平滑化。平滑化是使像素群的浓淡变动平滑化的处理。在平滑化中包含上述的滤波。控制部41执行将平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型的第1分类处理。控制部41执行将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的、平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型的第2分类处理。控制部41通过将在第1分类处理中分类的一个以上的像素和在第2分类处理中分类的像素群重叠，从而能够精度良好地在三维图像中显示医疗器具。作为该变形例的进一步的变形例，控制部41可执行如下述的第1分类处理和第2分类处理，所述第1分类处理将在平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型，所述第2分类处理将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的二维图像平滑化，并将平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型。[0137]在步骤s5中，诊断支援装置11的控制部41根据图像处理p2的分类结果，使用取得的生物组织区域的信息，计算测量生物组织的厚度。另外，控制部41通过使其计算测量结果反映在三维信息中而表示厚度。在步骤s6中，控制部41通过加入使用分层等而区分立体结构的颜色等的处理，而表示厚度。控制部41可以通过如下述方式给出附加信息，即，进一步地将生物组织性状的差别等通过使三维中生物组织结构按每个类型变化颜色等的显示方法而给出附加信息。[0138]如上所述，在本实施方式中，控制部41分析在步骤s4中分类为生物组织类型的像素群，算出生物组织的厚度。控制部41进行控制以显示算出的生物组织的厚度。显示器16被控制部41控制而显示生物组织的厚度。作为本实施方式的一变形例，控制部41可以对生成的生物组织的三维图像进行分析，算出生物组织的厚度。[0139]针对本实施方式中三维空间的定义进行说明。[0140]作为三维化的方法，可使用面绘制(surfacerendering)或体绘制(volumerendering)等渲染方法、和其附带的纹理映射(texturemapping)、凹凸处理(bumpmapping)或环境映射(environmentmapping)等各种操作。[0141]在本实施方式中利用的三维空间被限定为能够进行即时处理的尺寸。该尺寸需要以取得在系统中规定的超声波图像的fps为基准。[0142]在本实施方式中使用能够逐一取得其位置的驱动单元13。驱动单元13的扫描单元31能够在一轴上移动，使其轴为z轴，某一瞬间的扫描单元31的位置为z。另外，z轴与预先规定的三维空间的某一轴相互关联，使该轴为z轴。z轴与z轴相互关联，因此预先规定z轴上的点z成为z＝f(z)。[0143]在z轴上反映根据图像处理p2得到的分类结果62的信息。在此处定义的三维空间的xy轴平面中，需要能够将在图像处理p2中可分类的类型信息全部保存。进而，希望同时包含原超声波图像中的亮度信息。根据图像处理p2而得到的分类结果62的信息，其全部的类型信息被反映至相当于当前的扫描单元31的位置的三维上z轴位置中的xy平面。[0144]另外，期望对于三维空间而言，每个tx(＝1/fps)使用体绘图(volumerendering)等而被三维化，但由于限定了处理时间，因此不能无限地变大。即，需要三维空间是在tx(＝1/fps)以内可计算得到的尺寸。[0145]当想将驱动单元13上的较长范围转换为三维时，考虑了超出可计算得到的尺寸的可能性。因此，为了将以驱动单元13显示的范围抑制在上述的范围内，z＝f(z)被规定作为适当的转换。其有必要进行下述的设定，即，在z轴上的驱动单元13的扫描单元31的移动范围和在z轴上的体数据53的可保存的范围这两者的限制内，设定将z轴上的位置转换为z轴上的位置的函数。[0146]如上所述，在本实施方式中，诊断支援装置11的控制部41将通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成的二维图像所包含的多个像素，分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。控制部41由分类为生物组织类型的像素群生成生物组织的三维图像。控制部41进行控制以显示生成的生物组织的三维图像。因此，根据本实施方式，提高了由超声波的二维图像中生成的、表示生物组织的结构的三维图像的准确性。[0147]根据本实施方式，即时地显示三维图像，使施术者无需在头脑中将二维图像向三维空间转换就能进行手术，从而能够预期减轻施术者的疲劳和缩短手术时间。[0148]根据本实施方式，导管等插入物、或支架等留置物的位置关系变得明确，从而减少手术的失败。[0149]根据本实施方式，能够三维地获得生物组织的性状，从而能够进行准确的手术。[0150]根据本实施方式，通过在图像处理p2的内部插入预处理的层，从而提高了精度。[0151]根据本实施方式，使用分类的生物组织区域的信息，能够计算测量生物组织厚度，使其信息反映至三维信息。[0152]在本实施方式中，使输入图像为超声波图像，将输出以每1像素、或被视为集合了多个像素的区域内进行如下述的分类，其中，该分类为具有导管本体的区域、血细胞区域、石灰化区域、纤维化区域、导管区域、支架区域、心肌坏死区域、脂肪生物组织或器官间的生物组织等的2类型以上的分类，通过上述分类，从1张图像内中能够判定什么部分为什么部分。[0153]在本实施方式中，至少预先规定与心脏和血管区域相对应的生物组织类型的分类。将如下的监督学习数据作为机器学习的材料，从而能够提高学习效率，所述监督学习数据为在已经通过在每1像素、或被视为集合了多个像素的区域内，使其以具有包括该生物组织类型的2类型以上的分类的方式被分类而成的数据。[0154]本实施方式中，学得模型61被构建作为以cnn、rnn和lstm为首的任意的用于深度学习的神经网络。“cnn”是convolutionalneuralnetwork(卷积神经网络)的缩写。“rnn”是recurrentneuralnetwork(循环神经网络)的缩写。“lstm”是longshort‑termmemory(记忆网络)的缩写。[0155]作为本实施方式的一变形例，其他装置可以进行步骤s3的处理来代替诊断支援装置11进行步骤s3的处理，并且诊断支援装置11可以取得作为步骤s3的处理结果所生成的二维图像来进行步骤s4之后的处理。即，代替诊断支援装置11的控制部41对ivus的信号进行处理以生成二维图像，而可以由其他装置处理ivus的信号以生成二维图像，并将生成的二维图像输入至控制部41。[0156]参见图9，对为了诊断支援装置11根据与施术者的导管操作对应而依次生成的ivus的二维图像来即时地生成三维图像，而设定三维空间的尺寸的动作进行说明。该动作在图5的动作之前进行。[0157]在步骤s101中，控制部41经由输入部44，接受输入二维图像的数目fps的操作，所述二维图像的数目fps是通过来自超声波振子25的超声波的反射波信号被处理而在每单位时间生成的，其中，超声波振子25一边在血液通过的生物组织的内部移动一边发送超声波。[0158]具体而言，控制部41经由输出部45在显示器16上显示选择或具体指定在每单位时间生成的ivus的二维图像的数目fps的画面。在选择每单位时间生成的ivus的二维图像的数目fps的画面中，例如，显示30fps、60fps、以及90fps等选项。控制部41经由输入部44取得施术者等用户利用键盘14或鼠标15选择或指定的、在每单位时间生成的ivus的二维图像的数目fps的数值。控制部41将取得的、在每单位时间生成的ivus的二维图像的数目fps的数值存储于存储部42。[0159]作为本实施方式的一变形例，在每单位时间生成的ivus的二维图像的数目fps的数值也可以预先存储在存储部42中。[0160]在步骤s102中，控制部41根据在步骤s101中输入的、在每单位时间生成的二维图像的数目fps来确定三维空间的最大体尺寸mvs。三维空间的最大体尺寸mvs依赖于诊断支援装置11即计算机的规格，针对在每单位时间生成的二维图像的数目fps的每个候选的数值或数值范围来预先确定或算出。如图10所示，三维空间的尺寸是与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn、和与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn这三者之积。在该时间点，第1像素数xn、第2像素数yn、以及第3像素数zn均不确定。在本实施方式中，二维图像的横向方向为x方向，二维图像的纵向方向为y方向，但也可以相反。在本实施方式中，三维图像的第1方向为x方向、三维图像的第2方向为y方向、三维图像的第3方向为z方向，但x方向以及y方向也可以相反。[0161]具体而言，控制部41使用预先存储于存储部42的换算表或预先确定的计算式，计算与在步骤s101中存储于存储部42的、在每单位时间生成的二维图像的数目fps的数值对应的三维空间的最大体尺寸mvs。控制部41将计算出的最大体尺寸mvs的数值存储于存储部42。[0162]在此，对基于传送速度的voxel值理论值算出法进行说明。[0163]从cpu向gpu的数据传送通过pciexpress(注册商标)来进行。其速度例如以1gb/s为标准，按其倍数决定传送速度。在多数情况下设置的pciexpress(注册商标)中，gpu多数情况下使用x16。在此，设定为x16、即每1秒可以传送16gb。[0164]在系统的规格上，如果设为15fps以上且30fps以下的画面更新，则cpu与gpu之间的每一次的传送必须以1/30[fps]＝0.033[fps]进行。若由此考虑，则理论上能够传送的voxel数据的量为16gb/s*0.033＝0.533gb＝533mb[0165]这是作为传送尺寸的上限。另外，数据尺寸根据如何表示voxel单位而变化。在此，若用8比特来表示各voxel，即设为0～255，则能够处理大约512*512*2000的尺寸。[0166]然而，实际上，以该尺寸无法进行处理。具体而言，在考虑到更新数据前所需要的计算时间时，在认为以下的式子成立时，xfps得到保证。[0167]1/x[fps]＞＝tf(s) tp(v) f(v)[0168]该式子是传送前的处理以及传送后的处理时间的类型。在此，tf(s)是为了处理尺寸s(＝x*y)的像素所花费的滤波器时间，tp(v)是为了生成voxel以及准备传送所需要的处理时间，f(v)是尺寸v(＝x*y*z)的voxel的传送时间以及描绘时间。需要说明的是，tp(v)小到可以忽略。另外，如果将滤波器的处理速度设为f[fps](其中，x＜＝f)，则可以通过下面的计算式计算理论上能够传送的上限值。[0169]voxel尺寸＜＝16gb*(1/x‑1/f‑f(v))[0170]例如，如果设为x＝15、f＝30，则可能有0.033秒作为体绘制以及传送时间等、花费在其他处理，如果可以将时间仅分配为传送，则上限为512*512*8138，即设为最大体尺寸mvs的voxel传送在理论上是可能的。[0171]在步骤s103中，控制部41经由输入部44接受输入第1像素数xn以及第2像素数yn的操作。第1像素数xn以及第2像素数yn可以为不同的数目，但是在本实施方式中是相同的数目。[0172]具体而言，控制部41经由输出部45在显示器16上显示选择或具体指定第1像素数xn以及第2像素数yn的画面。在选择第1像素数xn以及第2像素数yn的画面中，例如显示512*512、以及1024*1024等选项。控制部41经由输入部44取得用户利用键盘14或鼠标15选择或指定的第1像素数xn以及第2像素数yn的数值。控制部41将取得的第1像素数xn以及第2像素数yn的数值存储于存储部42。[0173]作为本实施方式的一变形例，第1像素数xn以及第2像素数yn的数值可以预先存储于存储部42。[0174]在步骤s104中，控制部41计算基准比率xp，该基准比率xp是三维图像的第1方向的尺寸相对于在步骤s103中输入的第1像素数xn而言的比率。或者，控制部41计算基准比率yp，该基准比率yp是三维图像的第2方向的尺寸相对于在步骤s103中输入的第2像素数yn而言的比率。需要说明的是，三维图像的第1方向的尺寸是取得二维图像数据的范围的横向尺寸xd。三维图像的第2方向的尺寸是取得二维图像数据的范围的纵向尺寸yd。横向尺寸xd以及纵向尺寸yd均为实际空间上的生物组织中的物理距离。实际空间上的生物组织的物理距离根据超声波的速度和时间来计算。即，三维图像的第1方向的尺寸是生物体内的、由三维图像表示的范围的横向方向的实际尺寸。三维图像的第2方向的尺寸是生物体内的、由三维图像表示的范围的纵向方向的实际尺寸。生物体内的、由三维图像表示的范围中，不仅可以包含生物组织，还可以包含生物组织的周边部分。用户可以推测生物组织的物理距离来输入取得二维图像数据的范围的横向尺寸xd、以及取得二维图像数据的范围的纵向尺寸yd。[0175]具体而言，控制部41取得预先存储于存储部42的ivus的数据取得范围的横向尺寸xd的数值。控制部41将取得的横向尺寸xd的数值除以在步骤s103中存储于存储部42的第1像素数xn的数值，求出基准比率xp。即，控制部41计算xp＝xd/xn。控制部41将求得的基准比率xp存储于存储部42。或者，控制部41取得预先存储于存储部42的ivus的数据取得范围的纵向尺寸yd的数值。控制部41将所取得的纵向尺寸yd的数值除以在步骤s103中存储于存储部42的第2像素数yn的数值，求出基准比率yp。即，控制部41计算yp＝yd/yn。控制部41将求出的基准比率yp存储于存储部42。需要说明的是，如图14所示，ivus的超声波最大到达范围是能够根据超声波在生物组织中反射的反射波来生成的二维图像的最大范围。在本实施方式中，由于即时地显示三维图像，因此超声波最大到达范围是半径为通过将1/“预先确定的fps”乘以超声波的速度而得的距离的圆。ivus的数据取得范围是作为二维图像的数据而取得的范围。数据取得范围能够作为超声波最大到达范围的整体或一部分而任意地设定。数据取得范围的横向尺寸xd以及纵向尺寸yd均为超声波最大到达范围的直径以下。例如，若超声波最大到达范围的半径设为80mm，则数据取得范围的横向尺寸xd以及纵向尺寸yd分别设为大于0mm，并且为超声波最大到达范围的直径160mm以下的任意值。由于数据取得范围的横向尺寸xd以及纵向尺寸yd是实际空间上的生物组织中的物理距离，因此值是确定的，即使将三维图像放大或缩小，基准比率xp以及基准比率yp也不变。[0176]在步骤s105中，控制部41经由输入部44接受输入扫描单元31移动距离的上限mm的操作。超声波振子25伴随扫描单元31的移动而移动，其移动距离与扫描单元31的移动距离一致。在本实施方式中，扫描单元31的移动距离是通过返回操作使扫描单元31后退的距离。[0177]具体而言，控制部41经由输出部45在显示器16上显示出选择或具体指定扫描单元31移动距离的上限mm的画面。在选择上限mm的画面中，例如显示15cm、30cm、45cm、以及60cm等选项。控制部41经由输入部44而取得由用户利用键盘14或鼠标15所选择或指定的扫描单元31移动距离的上限mm。控制部41将所取得的上限mm存储于存储部42。[0178]作为本实施方式的一变形例，扫描单元31移动距离的上限mm可以预先存储于存储部42。[0179]在步骤s106中，控制部41将在步骤s104中计算出的基准比率xp或基准比率yp与某系数α之积，确定为三维图像的第3方向的尺寸相对于第3像素数zn的比率、即设定比率zp。系数α例如为1.0。需要说明的是，三维图像的第3方向的尺寸是超声波振子25移动的范围的移动方向的尺寸。即，三维图像的第3方向的尺寸是生物体内的、用三维图像表示的范围的深度方向的实际尺寸。移动方向的尺寸是在实际空间上的生物组织中的物理距离。因此，即使放大或缩小三维图像，设定比率zp也不变。[0180]具体而言，控制部41将在步骤s104中存储于存储部42的基准比率xp或基准比率yp与预先存储于存储部42的系数α相乘，求出设定比率zp。即，控制部41计算出zp＝α*xp或zp＝α*yp。控制部41将求出的设定比率zp存储于存储部42。[0181]在步骤s107中，控制部41将在步骤s105中输入的扫描单元31移动距离的上限mm除以在步骤s106中确定的设定比率zp而得到的值确定为第3像素数zn。这是为了使扫描单元31移动距离的上限mm与三维图像在第3方向上的所有像素的实际尺寸匹配。[0182]具体而言，控制部41通过将在步骤s105中存储于存储部42的扫描单元31移动距离的上限mm除以在步骤s106中存储于存储部42的设定比率zp，求出第3像素数zn。即，控制部41计算出zn＝mm/zp。控制部41将求出的第3像素数zn的数值存储于存储部42。[0183]在步骤s108中，控制部41将在步骤s102中确定的、三维空间的最大体尺寸mvs除以在步骤s103中输入的第1像素数xn以及第2像素数yn之积，并将由此得到的值确定为第3像素数zn的上限zm。[0184]具体而言，控制部41通过将在步骤s102中存储于存储部42的最大体尺寸mvs的数值除以在步骤s103中存储于存储部42的第1像素数xn以及第2像素数yn的数值之积，求出第3像素数zn的上限zm。即，控制部41计算出zm＝mvs/(xn*yn)。控制部41将求出的上限zm存储于存储部42。[0185]在步骤s109中，控制部41对在步骤s107中确定的第3像素数zn与在步骤s108中确定的第3像素数zn的上限zm进行比较。[0186]具体而言，控制部41对在步骤s107中存储于存储部42的第3像素数zn的数值是否超过在步骤s108中存储于存储部42的上限zm进行判定。[0187]如果第3像素数zn超过上限zm，则返回步骤s101进行再设定。在该再设定中，控制部41经由输出部45通知用户，为了实现即时处理而需要改变下述中的至少任意项：在步骤s101中输入的、在每单位时间生成的二维图像的数目fps；在步骤s103中输入的第1像素数xn以及第2像素数yn；以及在步骤s105中输入的、扫描单元31移动距离的上限mm。即、控制部41向用户发出警告。[0188]如果第3像素数zn为上限zm以下，则前进到步骤s110，确保存储器。该存储器在本实施方式中是作为三维空间实体的体数据53的存储区域，具体而言，是gpu内的存储区域。[0189]如上所述，在本实施方式中，诊断支援装置11根据使用一边在血液通过的生物组织的内部移动一边发送超声波的超声波振子25所生成的二维图像来生成超声波振子25移动范围的三维图像。诊断支援装置11的控制部41根据在每单位时间生成的二维图像的数目fps、与二维图像的横向方向对应的三维图像的第1方向的像素数即第1像素数xn、和与二维图像的纵向方向对应的三维图像的第2方向的像素数即第2像素数yn，确定与超声波振子25的移动方向对应的三维图像的第3方向的像素数即第3像素数zn的上限zm。因此，根据本实施方式，可以将使超声波的二维图像三维化时的三维空间的尺寸限制为与每单位时间生成的二维图像的数目相应的尺寸。[0190]根据本实施方式，可以将三维空间的尺寸限制在能够由相应于导管操作依次生成的ivus的二维图像即时地生成三维图像的尺寸以下。结果，施术者可以一边参考三维图像一边进行手术。[0191]ivus的二维图像中1个像素的实际比例(scale)是预先确定的固定值。该固定值称为“深度”。由于三维化必须以可以在1/fps以内计算的尺寸来进行，所以最大的体像素数具体地由fps来确定。因此，当三维空间内的x轴、y轴以及z轴的像素数分别设为xn、yn以及zn时，xn*yn*zn＝＜mvs这样的关系成立。另外，x轴、y轴以及z轴各自的每1个像素的实际比例设为xp、yp以及zp时，成为xp＝yp＝深度/(xn或yn)、zp＝α*xp＝α*yp。α基本上为1，但在实际构建三维图像的情况下，有时会完成不符合施术者想象的图像的三维图像。在这样的情况下，通过调整α，可以构建接近临床上的心腔或血管图像的三维图像。[0192]虽然进行三维化的实际的比例有可以根据xn、yn、深度以及fps的关系而自动地确定的情况，但在施术者自己想要设定进行返回的距离时，存在与该距离相当的zn超过zm的可能性。在这种情况下，需要再次改变xn、yn、zn、xp、yp以及zp。[0193]通过以这种方式将x轴、y轴以及z轴各自的像素所具有的含义与实际情况具有相关性，由此可以构建更真实的三维图像。另外，通过另外设置α值，可以构建医生想象的实际的心腔内的图像。根据本实施方式，可以一边即时地更新，一边构建模拟实际比例的三维图像。[0194]如下所述，在本实施方式中，用户能够调整系数α。[0195]参见图11，说明在步骤s106中诊断支援装置11将基准比率xp与系数α之积确定为设定比率zp之后，由用户改变系数α的情况下，诊断支援装置11的动作。该动作可以在图5的动作之前进行，也可以在图5的动作中途或之后进行。[0196]在步骤s111中，控制部41经由输入部44接受输入改变后的系数α’的操作。[0197]具体而言，控制部41经由输出部45在显示器16上示出系数α的当前值、并显示出选择或具体指定改变后的系数α’的值的画面。控制部41经由输入部44取得由施术者等用户利用键盘14或鼠标15选择或指定的改变后的系数α’。控制部41将取得的系数α’存储于存储部42。[0198]在步骤s112中，控制部41将在步骤s104中计算出的基准比率xp或基准比率yp与在步骤s111中输入的改变后的系数α’之积确定为新的设定比率zp’。[0199]具体而言，控制部41将在步骤s104中存储于存储部42的基准比率xp或基准比率yp、与在步骤s111中存储于存储部42的系数α’相乘，求出设定比率zp’。即，控制部41计算出zp’＝α’*xp或zp’＝α’*yp。控制部41将求出的设定比率zp’存储于存储部42。[0200]在步骤s113中，控制部41将通过在步骤s105中输入的、扫描单元31移动距离的上限mm除以在步骤s112中确定的设定比率zp’而得到的值确定为第3像素数zn’。[0201]具体而言，控制部41通过将在步骤s105中存储于存储部42的、扫描单元31移动距离的上限mm除以在步骤s112中存储于存储部42的设定比率zp’，求出第3像素数zn’。即，控制部41计算出zn’＝mm/zp’。控制部41将求出的第3像素数zn’的数值存储于存储部42。[0202]在步骤s114中，控制部41对在步骤s113中确定的第3像素数zn’与在步骤s108中确定的第3像素数zn的上限zm进行比较。[0203]具体而言，控制部41对在步骤s113中存储于存储部42的第3像素数zn’的数值是否超过在步骤s108中存储于存储部42的上限zm进行判定。[0204]如果第3像素数zn’超过上限zm，则返回至步骤s111进行再设定。在该再设定中，控制部41经由输出部45通知用户为了实现即时处理而需要取消步骤s111的系数α的改变、或在步骤s111中将系数α改变为与系数α’不同的值。即，控制部41向用户发出警告。作为一变形例，控制部41可以采用改变后的系数α’，并且通知用户需要改变下述中的至少任意项：在每单位时间生成的二维图像的数目fps；第1像素数xn以及第2像素数yn；以及扫描单元31移动距离的上限mm。[0205]如果第3像素数zn’为上限zm以下，则前进到步骤s115而重写存储器。[0206]根据本实施方式，在实际构建三维图像后，可以修改系数α，并且作为施术者的医生为了使三维图像接近实际图像而修正三维的比例。在实验中发现，当α＝1.0时，有时用户有不协调感，通过调整系数α，可以构建更接近于图像的三维图像。[0207]如下所述，在本实施方式中，用户可以如下调整第1像素数xn以及第2像素数yn。[0208]参见图12，说明在步骤s107中诊断支援装置11确定第3像素数zn的上限zm后，第1像素数xn以及第2像素数yn由用户进行改变时的诊断支援装置11的动作。该动作可以在图5的动作之前进行，也可以在图5的动作中途或之后进行。[0209]在步骤s121中，控制部41经由输入部44接受输入改变后的第1像素数xn’以及第2像素数yn’的操作。改变后的第1像素数xn’以及第2像素数yn’可以是不同的数目，但是在本实施方式中为相同的数目。[0210]具体而言，控制部41经由输出部45在显示器16上示出第1像素数xn以及第2像素数yn的当前值，并显示选择或具体指定改变后的第1像素数xn’以及第2像素数yn’的画面。控制部41经由输入部44取得用户利用键盘14或鼠标15选择或指定的改变后的第1像素数xn’以及第2像素数yn’的数值。控制部41将取得的第1像素数xn’以及第2像素数yn’的数值存储于存储部42。[0211]在步骤s122中，控制部41计算三维图像的第1方向的尺寸相对于在步骤s121中输入的改变后的第1像素数xn’而言的比率、即基准比率xp’。或者，控制部41计算三维图像的第2方向的尺寸相对于在步骤s121中输入的改变后的第2像素数yn’而言的比率、即基准比率yp’。[0212]具体而言，控制部41取得预先存储于存储部42的、ivus的数据取得范围的横向尺寸xd的数值。控制部41将取得的横向尺寸xd的数值除以在步骤s121中存储于存储部42的第1像素数xn’的数值，求出基准比率xp’。即，控制部41计算出xp’＝xd/xn’。控制部41将求出的基准比率xp’存储于存储部42。或者，控制部41取得预先存储于存储部42的、ivus的数据取得范围的纵向尺寸yd的数值。控制部41将取得的纵向尺寸yd的数值除以在步骤s103中存储于存储部42的第2像素数yn’的数值，求出基准比率yp’。即，控制部41计算出yp’＝yd/yn’。控制部41将求出的基准比率yp’存储于存储部42。[0213]在步骤s123中，控制部41将在步骤s122中计算出的基准比率xp’或基准比率yp’、与系数α之积确定为新的设定比率zp’。[0214]具体而言，控制部41将在步骤s122中存储于存储部42的基准比率xp’或基准比率yp’、与预先存储于存储部42的系数α相乘，求出设定比率zp’。即，控制部41计算zp’＝α*xp’或zp’＝α*yp’。控制部41将求出的设定比率zp’存储于存储部42。[0215]在步骤s124中，控制部41将如下值确定为第3像素数zn’：将在步骤s105中输入的扫描单元31移动距离的上限mm除以在步骤s123中确定的设定比率zp’而得到的值。[0216]具体而言，控制部41将在步骤s105中存储于存储部42的、扫描单元31移动距离的上限mm，除以在步骤s123中存储于存储部42的设定比率zp’而求出第3像素数zn’。即，控制部41计算出zn’＝mm/zp’。控制部41将求出的第3像素数zn’的数值存储于存储部42。[0217]在步骤s125中，控制部41将如下的值确定为第3像素数zn’的上限zm’：将在步骤s102中确定的、三维空间的最大体尺寸mvs，除以在步骤s121中输入的改变后的第1像素数xn’以及第2像素数yn’之积而得到的值。[0218]具体而言，控制部41将在步骤s102中存储于存储部42的最大体尺寸mvs的数值除以在步骤s121中存储于存储部42的第1像素数xn’以及第2像素数yn’的数值之积，求出第3像素数zn’的上限zm’。即、控制部41计算出zm’＝mvs/(xn’*yn’)。控制部41将求出的上限zm’存储于存储部42。[0219]在步骤s126中，控制部41将在步骤s124中确定的第3像素数zn’、与在步骤s125中确定的第3像素数zn’的上限zm’进行比较。[0220]具体而言，控制部41对在步骤s124中存储于存储部42的第3像素数zn’的数值是否超过在步骤s125中存储于存储部42的上限zm’进行判定。[0221]如果第3像素数zn’超过上限zm’，则返回步骤s121进行再设定。在该再设定中，控制部41经由输出部45通知用户，为了实现即时处理而需要取消步骤s121的第1像素数xn以及第2像素数yn的改变、或在步骤s121中将第1像素数xn以及第2像素数yn改变为与第1像素数xn’以及第2像素数yn’不同的值。即，控制部41向用户发出警告。作为一变形例，控制部41可以采用改变后的第1像素数xn’以及第2像素数yn’，并且通知用户需要改变下述中的至少任意项：在每单位时间生成的二维图像的数目fps；系数α；以及扫描单元31移动距离的上限mm。[0222]如果第3像素数zn’为上限zm’以下，则前进到步骤s127而重写存储器。[0223]ivus的二维图像中1个像素的实际比例为预先确定的固定值。该固定值称为“深度”。由于三维化必须以可以在1/fps以内计算的尺寸来进行，所以最大的体像素数具体地由fps来确定。因此，当三维空间内的x轴、y轴以及z轴的像素数分别设为xn、yn以及zn时，xn*yn*zn＝＜mvs这样的关系成立。另外，x轴、y轴以及z轴各自的每1个像素的实际比例设为xp、yp以及zp时，成为xp＝yp＝深度/(xn或yn)、zp＝α*xp＝α*yp。α基本上为1，但在实际构建三维图像的情况下，有时会有完成不符合施术者想象图像的三维图像的情况。在这样的情况下，通过调整α，可以构建接近临床上的心腔或血管图像的三维图像。[0224]虽然进行三维化的实际比例有可以根据xn、yn、深度以及fps的关系而自动地确定的情况，但在施术者自己想要设定返回的距离时，存在与该距离相当的zn超过zm的可能性。在这种情况下，需要再次改变xn、yn、zn、xp、yp以及zp。[0225]通过以这种方式将x轴、y轴、以及z轴各自的像素所具有的含义与实际情况具有相关性，由此可以构建更真实的三维图像。另外，通过另外设置α值，可以构建医生想象的实际的心腔内的图像。根据本实施方式，可以一边即时地更新，一边构建模拟实际比例的三维图像。[0226]如下所述，作为本实施方式的一变形例，控制部41也可以在生成二维图像的每个时间间隔tx(＝1/fps)的超声波振子25的移动距离md大于所确定的设定比率zp时，对所生成的二维图像之间的图像进行插补。即，控制部41也可以在每单位时间的超声波振子25的移动距离大于在每单位时间生成的二维图像的数目fps与确定的设定比率zp之积的情况下，对生成的二维图像之间的图像进行插补。即，当扫描单元31高速移动时，可以进行图像插补。[0227]扫描单元31可移动的范围的直线状的比例尺和三维空间上的z轴的比例尺的关系由z＝f(z)确定。时间间隔tx中的移动距离大于由z＝f(z)确定的三维空间上的z轴的表示1个像素的范围时，则产生了没有信息的区域。即，ivus导管能够取得图像的速度是确定的，在高速移动扫描单元31的情况下，所生成的图像间的距离有可能显著扩大。在这种情况下，需要对图像间的缺陷区域进行插补处理。另外，该插补数需要根据超声波振子25的各时间间隔tx的移动距离、以及z＝f(z)的关系进行改变。[0228]优选地，通过机器学习方法进行插补处理，并通过一起执行每个二维图像的分类以及导管提取的处理，由此可以实现高速处理。各处理可以分开，也可以使各处理结合。另外，各处理并行或顺序地执行，如果并行，则能够实现时间上的节约。[0229]在更新三维图像的范围较宽的情况下，为了提高即时性，需要使超声波振子25更高速地往复运动，必须进行图像插补的范围变大。即，存在返回速度根据三维化范围而可变的可能性，在该情况下，插补范围也需要根据其速度而可变。另外，在ivus中，虽然存在以人手动返回方式自由地移动摄影范围的可能性，但在该情况下，需要总是一边改变插补的区域，一边进行插补操作。[0230]参见图13，说明该变形例涉及的诊断支援系统10的动作。[0231]在步骤s201中，诊断支援装置11的控制部41与返回操作中的扫描单元31的位置相关联地定义三维空间的位置。[0232]关于步骤s202至步骤s206的处理，与图5中步骤s1至步骤s5的处理相同，因此将说明省略。[0233]在步骤s207中，诊断支援装置11的控制部41取得在步骤s202的返回操作中的扫描单元31的位置信息。[0234]在步骤s208中，诊断支援装置11的控制部41将在步骤s201中相关联的三维空间的位置特定为与在步骤s207中取得的位置信息所表示的位置。控制部41计算所特定的位置与上次在步骤s208中特定的位置之间的距离。在第一次执行步骤s208的处理的情况下，控制部41仅进行位置的特定，不进行距离的计算，另外跳过步骤s209至步骤s212的处理。[0235]在步骤s209中，诊断支援装置11的控制部41将在步骤s208中计算出的距离除以在步骤s106中确定的设定比率zp而确定插补图像数。即，控制部41通过将生成二维图像的每个时间间隔tx的扫描单元31的移动距离除以所确定的设定比率zp来确定插补图像数。在所确定的插补图像数为0时，控制部41跳过步骤s210至步骤s212的处理。[0236]在步骤s210中，诊断支援装置11的控制部41使用在步骤s204中生成的二维图像、以及根据需要使用在上一次之前的步骤s204中所生成的二维图像，生成在步骤s209中所确定出数量的插补图像。作为生成插补图像的方法，可以使用一般的图像插补方法，或者也可以使用专用的图像插补方法。也可以使用机器学习的应用程序。[0237]在步骤s211中，诊断支援装置11的控制部41从步骤s208中特定的位置进行逆运算，或者从上一次的步骤s208中特定的位置进行计算，来设定在步骤s206中生成的三维图像中的、适用在步骤s210中生成的插补图像的位置。例如，如果在步骤s209中确定的插补图像数为1，则控制部41将从步骤s208中特定的位置减去与步骤s106中确定的设定比率zp相当的距离后的位置，设定为适用在步骤s210中生成的插补图像的位置。如果在步骤s209中确定的插补图像数为2，则控制部41还将从步骤s208中特定的位置减去相当于步骤s106中确定的设定比率zp的2倍的距离后的位置，设定为适用在步骤s210中生成的插补图像的位置。[0238]在步骤s212中，与步骤s205的处理同样地，诊断支援装置11的控制部41对在步骤s210中生成的插补图像中所含的多个像素进行分类。并且，控制部41以如下方式进行与步骤s206的处理相同的处理，相对于控制部41在步骤s206的处理中仅是对步骤s208中特定的位置适用在步骤s204中生成的二维图像这一处理而言，进一步对步骤s211中设定的位置适用在步骤s210中生成的插补图像，从而根据分类后的像素群生成三维图像。[0239]针对步骤s213以及步骤s214的处理而言，除了代替在步骤s206中生成的三维图像，而在步骤s213中显示步骤s212中生成的三维图像这一点以外，与图5的步骤s6以及步骤s7的处理相同，因此将说明省略。[0240]本发明不限于上述的实施方式。例如，可以将框图中记载的多个框集成，或可以将一个框分割。可以取代按照描述以时间序列执行基于流程图中记载的多个步骤，而根据执行各步骤的装置的处理能力或根据需要，并行地或以不同的顺序进行执行。另外，在不脱离本发明的宗旨的情况下可以进行变更。[0241]例如，可并行执行在图6中所示图像处理p1、图像处理p2和图像处理p3。[0242]附图标记说明[0243]10诊断支援系统[0244]11诊断支援装置[0245]12电缆[0246]13驱动单元[0247]14键盘[0248]15鼠标[0249]16显示器[0250]17连接端子[0251]18车单元[0252]20探针[0253]21驱动轴[0254]22毂部[0255]23鞘层[0256]24外管[0257]25超声波振子[0258]26中继连接器[0259]31扫描单元[0260]32滑动单元[0261]33底盖[0262]34探针连接部[0263]35扫描电动机[0264]36插入口[0265]37探针夹部[0266]38滑动电动机[0267]39开关组[0268]41控制部[0269]42存储部[0270]43通信部[0271]44输入部[0272]45输出部[0273]51信号数据[0274]52二维图像数据[0275]53体数据[0276]54三维图像数据[0277]61学得模型[0278]62分类结果[0279]63血管[0280]64第1导管[0281]65第2导管[0282]66噪音当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
