一种远程问诊方法、装置及系统与流程

1.本发明涉及智慧医疗技术领域，尤其涉及一种远程问诊方法、装置及系统。


背景技术：

2.胶囊内镜是近年问世的一项可舒适完成消化道全程检查的创新医疗技术，它以每秒3-5帧的速率拍照，对整个消化道进行检查，所以一例胶囊内镜完成后，往往会产生5-10万张图片，哪怕医生分秒必争地审阅筛查，最少也要1-2小时才能看完。目前虽然存在胶囊内镜线上阅片平台，但仍需要检查医师上传数据，以及阅片医师下载数据后自行阅片。医师出具报告后，需要患者领取纸质报告，并自行找医师咨询，造成患者的问诊过程极为复杂。
3.因此，有必要提供一种远程问诊方法、装置及系统，来提高患者问诊的便利性。


技术实现要素：

4.本发明提供一种远程问诊方法、装置及系统，用以解决现有技术中患者问诊过程极为复杂的缺陷，实现问诊便利性的有效提高。
5.本发明提供一种远程问诊方法，包括：接收由患者端发送的内镜图像和病例信息；将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
6.根据本发明提供的一种远程问诊方法，所述图像识别网络包括消化道部位识别网络和病灶识别网络；所述将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果，包括：将所述内镜图像分别输入至所述消化道部位识别网络和所述病灶识别网络；通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，并通过所述病灶识别网络输出所述内镜图像的病灶识别结果。
7.根据本发明提供的一种远程问诊方法，所述消化道部位识别网络包括消化道部位分类网络和消化道部位检测网络；所述通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，包括：将所述内镜图像输入至所述消化道部位分类网络，以得到候选图像；将所述候选图像输入至所述消化道部位检测网络，以得到所述候选图像的目标部位检测结果。
8.根据本发明提供的一种远程问诊方法，所述病灶识别网络包括病灶分类网络和病
灶检测网络；所述通过所述病灶识别网络输出所述内镜图像的病灶识别结果，包括：将所述内镜图像分别输入至所述病灶分类网络和所述病灶检测网络，以得到所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果；基于所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果，确定所述内镜图像的病灶识别结果。
9.根据本发明提供的一种远程问诊方法，所述分析报告包括病种预测结果和建议信息；所述基于所述图像识别结果和所述病例信息，生成分析报告，包括：基于所述目标部位检测结果和所述病灶识别结果，确定各所述目标部位对应的病灶信息，基于各所述目标部位对应的病灶信息生成所述病种预测结果；基于所述病种预测结果和所述病例信息，生成所述建议信息。
10.根据本发明提供的一种远程问诊方法，所述基于各所述目标部位对应的病灶信息生成所述病种预测结果，包括：基于各所述目标部位对应的病灶信息，遍历预设的病灶与病种的映射关系，生成所述病种预测结果。
11.本发明还提供一种远程问诊装置，包括：数据获取模块，用于接收由患者端发送的内镜图像和病例信息；内镜图像识别模块，用于将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；分析报告生成模块，用于基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；分析报告更新模块，用于接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
12.本发明还提供一种远程问诊系统，包括：云服务器端，以及分别与所述云服务器端通讯的患者端和远程阅片医师端；所述云服务器端用于接收由所述患者端发送的内镜图像和病例信息；还用于将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；还用于基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；所述远程阅片医师端用于对所述分析报告进行审核，基于所述审核结果生成诊断报告，并将所述诊断报告发送至所述云服务器端；所述患者端用于获取内镜图像和病例信息，还用于访问所述云服务器端，以查看所述诊断报告，完成远程问诊。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述远程问诊方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述远程问诊方法的步骤。
15.本发明提供的远程问诊方法、装置及系统，通过预先训练好的图像识别网络对患
者端发送的内镜图像进行识别，以得到图像识别结果，根据图像识别结果和病例信息自动生成分析报告，并将分析报告发送至远程阅片医师端以对分析报告进行审核和修改，得到诊断报告，从而在内镜检查过程中，能够实现线上自动阅片以及诊断报告的自动生成，极大提高了患者问诊的便利性。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的远程问诊方法的流程示意图；图2是本发明提供的远程问诊装置的结构示意图；图3是本发明提供的远程问诊系统的结构示意图；图4是本发明提供的远程问诊系统的工作流程示意图；图5是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.下面结合图1描述本发明的远程问诊方法。本发明实施例远程问诊方法由云服务器端的计算机等电子设备或者其中的软件和/或硬件执行。如图1所示，该方法包括：s101、接收由患者端发送的内镜图像和病例信息。
20.具体地，内镜图像可以为胶囊内镜图像。胶囊内镜图像可以是患者自行采集的，也可以是在医院采集的。病例信息可以包括患者的年龄、性别、既往病史等信息。患者端可以将内镜图像和病例信息发送至云服务器端，以通过云服务器端生成分析报告。例如，作为一种可选的实施方式，患者吞服胶囊内镜后，通过胶囊内镜实时采集患者的胃肠图像，并将采集的内镜图像发送至数据记录仪，数据记录仪实时将内镜图像发送至患者端，同时，在患者端录入患者的病例信息；待胶囊内镜检测结束后，通过患者端将内镜图像和病例信息上传至云服务器端。
21.s102、将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果。
22.具体地，预先训练好的图像识别网络可以搭载到云服务器端的云服务器上。图像识别网络的训练过程，根据构建的内镜标注图像数据集进行深度学习，通过图像特征提取和检测，以选择神经网络并进行训练及参数调优，另外，还可以通过测试集评估神经网络的效果。
23.图像识别网络的具体形式可以根据实际需求进行设定，例如，可以对内镜图像进行消化道部位信息的识别和病灶信息的识别，从而得到消化道中各部位的病灶。由于胶囊内镜产生的内镜图像的数量极为庞大，且目前胶囊内镜阅片大多需要医生一张张播放拍摄
的图片，手动标注，编辑诊断报告，很大程度依赖医生的个人经验，费时费力，短时间内无法大量复制，且医生长时间阅片容易疲劳，极易造成漏诊，无法保证内镜图像识别的效率和准确性。而本发明实施例通过图像识别网络，能够自动地对内镜图像进行识别，无需依赖医生的个人经验，省时省力，保证了内镜图像识别的效率和准确性。
24.s103、基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端。
25.具体地，分析报告的内容可以根据实际需求进行设定，例如，可以包括病种及严重程度预测结果、消化道各部位的分析结果描述、个性化随访及生活建议等。
26.s104、接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
27.具体地，远程阅片医师端可以对云服务器端自动生成的分析报告进行审核及修改，并将审核结果以及修改后的分析报告发送至云服务器端，以便于患者端查看，从而完成远程问诊，实现了自动阅片、诊断报告自动生成，无需领取纸质报告，且患者可以通过患者端与远程阅片医师端的医生进行沟通咨询，从而无需患者多次往返医院获取诊断报告和/或咨询医师，极大提高了患者问诊的便利性。
28.由此可见，本发明实施例通过预先训练好的图像识别网络对患者端发送的内镜图像进行识别，以得到图像识别结果，根据图像识别结果和病例信息自动生成分析报告，并将分析报告发送至远程阅片医师端以对分析报告进行审核和修改，得到诊断报告，从而在内镜检查过程中，能够实现线上自动阅片以及诊断报告的自动生成，极大提高了患者问诊的便利性。
29.基于上述实施例，所述图像识别网络包括消化道部位识别网络和病灶识别网络；所述将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果，包括：将所述内镜图像分别输入至所述消化道部位识别网络和所述病灶识别网络；通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，并通过所述病灶识别网络输出所述内镜图像的病灶识别结果。
30.具体地，图像识别网络包括消化道部位识别网络和病灶识别网络，图像识别网络主要用于识别内镜图像中的目标部位，以及内镜图像中各部位的病灶，从而根据各目标部位对应的病灶，能够保证生成的分析报告更为准确。其中，消化道部位识别网络和病灶识别网络的具体网络结构可以根据实际需求进行设定，该处不做具体限定，只要能够对内镜图像的目标部位和病灶进行识别即可。目标部位即消化道中待检测的部位，例如，齿状线、幽门、贲门等消化道中对病种的识别和判断起到重要作用的部位。病灶即消化道中各部位的表现特征，例如，点状发红、斑状发红等。消化道部位识别网络和病灶识别网络的识别结果可以通过标注框的形式进行标注，以便于远程阅片医师端对阅片结果进行审核和修改。
31.基于上述任一实施例，所述消化道部位识别网络包括消化道部位分类网络和消化道部位检测网络；所述通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，包括：将所述内镜图像输入至所述消化道部位分类网络，以得到候选图像；
将所述候选图像输入至所述消化道部位检测网络，以得到所述候选图像的目标部位检测结果。
32.具体地，消化道部位识别网络包括消化道部位分类网络和消化道部位检测网络。
33.消化道部位分类网络主要用于检测候选图像，候选图像为包含目标部位的图像，即包含消化道区域的图像；消化道部位检测网络主要用于对候选图像进行目标部位的检测，从而得到各候选图像中的目标部位。其中，消化道部位分类网络和消化道部位检测网络的具体网络结构可以根据实际需求进行设定，例如，消化道部位分类网络可以采用inceptionv3网络，消化道部位检测网络可以采用yolov5网络。
34.由于胶囊内镜采集的图像包含较多消化道之外的区域的图像，因此，通过消化道部位分类网络，能够有效检测并剔除消化道之外区域的内镜图像，例如，食管以上区域的内镜图像、体内的内镜图像；另外，通过消化道部位分类网络还可以检测低质量的内镜图像，例如，清晰度较低的图像、不具备明显结构特征的图像；对低质量的内镜图像的检测可以通过在训练集中增加低质量的样本图像来实现。通过检测并剔除消化道之外区域的内镜图像以及低质量的内镜图像，能够有效提高目标部位的检测效率和检测精度。
35.基于上述任一实施例，所述病灶识别网络包括病灶分类网络和病灶检测网络；所述通过所述病灶识别网络输出所述内镜图像的病灶识别结果，包括：将所述内镜图像分别输入至所述病灶分类网络和所述病灶检测网络，以得到所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果；基于所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果，确定所述内镜图像的病灶识别结果。
36.病灶分类网络主要用于检测内镜图像的整体病灶特征，如弥漫性发红和非弥漫性发红。病灶检测网络，主要用于检测内镜图像的局部病灶特征，例如，点状特征或斑状特征。病灶分类网络和病灶检测网络的具体网络结构可以根据实际需求进行设定，例如，病灶分类网络可以采用efficientnet-b3网络，病灶检测网络可以采用faster r-cnn网络。
37.通过病灶分类网络和病灶检测网络，能够同步检测内镜图像的整体病灶特征和局部病灶特征，保证了病灶识别结果的全面性和准确性。
38.基于上述任一实施例，所述分析报告包括病种预测结果和建议信息；所述基于所述图像识别结果和所述病例信息，生成分析报告，包括：基于所述目标部位检测结果和所述病灶识别结果，确定各所述目标部位对应的病灶信息，基于各所述目标部位对应的病灶信息生成所述病种预测结果；基于所述病种预测结果和所述病例信息，生成所述建议信息。
39.具体地，分析报告包括病种预测结果和建议信息；其中，病种预测结果主要根据内镜图像的图像识别结果来进行预测。具体为：首先，根据图像识别结果中的目标部位检测结果和病灶识别结果，确定各目标部位对应的病灶信息；该处，可以根据目标部位检测结果和病灶识别结果在内镜图像中的对应关系来确定各目标部位对应的病灶信息，例如，可以根据目标部位检测结果和病灶识别结果对应的标注框来确定各目标部位对应的病灶信息。
40.其次，基于各目标部位对应的病灶信息生成病种预测结果；该处，可以根据预先设定好的病种与病灶的对应关系，来自动生成病种预测结果。同时，还可以根据病种的严重程
度与病灶的对应关系来自动生成对应病种的严重程度。另外，还可以根据各目标部位对应的病灶信息自动生成关于各目标部位的分析描述，例如，幽门部位斑状发红。
41.建议信息即根据病种预测结果以及患者的病例信息，所生成的个性化随访建议和/或生活建议。例如，可以根据预先设定好的病种、年龄与建议信息的对应关系，对患者的病种预测结果、年龄和既往疾病史进行匹配，以自动生成建议信息。
42.由此可见，本发明实施例能够根据内镜图像的图像识别结果和病例信息自动生成分析报告，无需依赖医生的个人经验，降低了漏诊的几率，保证了分析报告的客观性和准确性。
43.基于上述任一实施例，所述基于各所述目标部位对应的病灶信息生成所述病种预测结果，包括：基于各所述目标部位对应的病灶信息，遍历预设的病灶与病种的映射关系，生成所述病种预测结果。
44.具体地，预设的病灶与病种的映射关系可以通过映射表的形式进行存储，从而在获取到各目标部位对应的病灶信息之后，可以基于各目标部位对应的病灶信息来遍历映射表中的病灶部分，并将匹配到的病灶所对应的病种作为病种预测结果，从而提高了病种预测的效率和准确性，且无需依赖医生的个人经验，保证了病种预测结果的客观性。
45.下面对本发明提供的远程问诊装置进行描述，下文描述的远程问诊装置与上文描述的远程问诊方法可相互对应参照。如图2所示，该装置包括：数据获取模块210，用于接收由患者端发送的内镜图像和病例信息；内镜图像识别模块220，用于将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；分析报告生成模块230，用于基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；分析报告更新模块240，用于接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
46.基于上述实施例，所述图像识别网络包括消化道部位识别网络和病灶识别网络；所述将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果，包括：将所述内镜图像分别输入至所述消化道部位识别网络和所述病灶识别网络；通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，并通过所述病灶识别网络输出所述内镜图像的病灶识别结果。
47.基于上述任一实施例，所述消化道部位识别网络包括消化道部位分类网络和消化道部位检测网络；所述通过所述消化道部位识别网络输出所述内镜图像的目标部位检测结果，包括：将所述内镜图像输入至所述消化道部位分类网络，以得到候选图像；将所述候选图像输入至所述消化道部位检测网络，以得到所述候选图像的目标部位检测结果。
48.基于上述任一实施例，所述病灶识别网络包括病灶分类网络和病灶检测网络；所述通过所述病灶识别网络输出所述内镜图像的病灶识别结果，包括：将所述内镜图像分别输入至所述病灶分类网络和所述病灶检测网络，以得到所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果；基于所述内镜图像的整体病灶特征识别结果和局部病灶特征识别结果，确定所述内镜图像的病灶识别结果。
49.基于上述任一实施例，所述分析报告包括病种预测结果和建议信息；所述基于所述图像识别结果和所述病例信息，生成分析报告，包括：基于所述目标部位检测结果和所述病灶识别结果，确定各所述目标部位对应的病灶信息，基于各所述目标部位对应的病灶信息生成所述病种预测结果；基于所述病种预测结果和所述病例信息，生成所述建议信息。
50.基于上述任一实施例，所述基于各所述目标部位对应的病灶信息生成所述病种预测结果，包括：基于各所述目标部位对应的病灶信息，遍历预设的病灶与病种的映射关系，生成所述病种预测结果。
51.下面对本发明提供的远程问诊系统进行描述，下文描述的远程问诊系统与上文描述的远程问诊方法可相互对应参照。如图3所示，该系统包括：云服务器端320，以及分别与所述云服务器端320通讯的患者端310和远程阅片医师端330；所述云服务器端320用于接收由所述患者端310发送的内镜图像和病例信息；还用于将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；还用于基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端330；所述远程阅片医师端330用于对所述分析报告进行审核，基于所述审核结果生成诊断报告，并将所述诊断报告发送至所述云服务器端320；所述患者端310用于获取内镜图像和病例信息，还用于访问所述云服务器端320，以查看所述诊断报告，完成远程问诊。
52.具体地，患者端310还可以与远程阅片医师端330进行通讯，以线上咨询医师。另外，远程问诊系统还可以包括设备端，用于采集内镜图像。具体地，设备端可以包括数据记录仪，在进行胶囊内镜检测过程中，患者吞服胶囊内镜后，通过胶囊内镜实时采集患者的胃肠图像，并发送至数据记录仪，通过数据记录仪实时接收并存储胶囊内镜所采集的内镜图像，将接收到的内镜图像发送至患者端310，在胶囊内镜检测完成后，通过患者端310将全部内镜图像发送至云服务器端320。
53.以下通过一种可选的实施方式对本发明远程问诊系统的工作过程进行描述。如图4所示，其工作过程包括：在设备端，通过胶囊内镜实时采集患者的内镜图像，并发送至数据记录仪，通过数据记录仪实时接收并存储胶囊内镜所采集的内镜图像，将接收到的内镜图像发送至患者端310。
54.在患者端310，接收数据记录仪发送的内镜图像，并录入病例信息，将内镜图像和病例信息发送至云服务器端320。
55.在云服务器端320，通过图像识别网络得到图像识别结果，并根据图像识别结果和病例信息自动生成分析报告，将分析报告发送至远程阅片医师端330。
56.在远程阅片医师端330，对分析报告进行审核，基于审核结果生成诊断报告，并将诊断报告发送至云服务器端320，从而患者端310能够通过访问云服务器端320来查看诊断报告，还可以与远程阅片医师端330进行通讯，以线上咨询医师。
57.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行远程问诊方法，该方法包括：接收由患者端发送的内镜图像和病例信息；将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
58.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
59.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的远程问诊方法，该方法包括：接收由患者端发送的内镜图像和病例信息；将所述内镜图像输入至预先训练好的图像识别网络，以得到图像识别结果；基于所述图像识别结果和所述病例信息，生成分析报告，并将所述分析报告发送至远程阅片医师端；接收所述远程阅片医师端发送的诊断报告，以完成远程问诊；其中，所述诊断报告是基于所述远程阅片医师端对所述分析报告的审核结果生成的。
60.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
61.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
62.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。