一种基于多模态AI的诊疗辅助协同方法与流程

本发明涉及人工智能辅助诊疗，特别是一种基于多模态ai的诊疗辅助协同方法。

背景技术：

1、随着电子病历、医学影像、实验室检验及连续生理监测数据在临床诊疗过程中的持续积累，多模态ai诊疗辅助技术逐渐用于对不同来源的临床信息进行联合处理。常规方法通常先对多源数据进行接入、时间整理和术语归一，再通过特征融合、知识图谱、疾病实体匹配或推理模型构建临床证据与候选疾病之间的关联关系，并将分析结果以证据链、风险提示或候选疾病列表的形式提供给临床人员参考。

2、在上述常规方法中，候选疾病推理通常依赖已同步接入的临床证据集合，对于检查报告、检验结果等异步补入的多模态临床证据，既有推理路径往往需要重新组织；同时，新增证据与既有证据之间存在支持、排除或待复核等方向差异时，常规处理方式较难限定局部改写范围，推理路径改写前后的版本差异也不便追溯。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种基于多模态ai的诊疗辅助协同方法解决异步补入的多模态临床证据难以在既有候选疾病推理路径中进行局部增量更新及版本差异追溯的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、本发明提供了一种基于多模态ai的诊疗辅助协同方法，其包括：对多模态临床诊疗数据进行时间配准和语义归一，提取多模态临床证据片段并按照就诊时间编排至同一就诊时间轴，形成多模态临床事件序列；围绕多模态临床事件序列进行疾病实体归一和证据方向标注，按照疾病实体与多模态临床证据片段之间的证据方向关系构造候选疾病证据图，对候选疾病推理路径进行证据依赖标注，形成诊疗辅助证据依赖索引；对异步接入的多模态临床证据片段进行就诊时间回插，沿诊疗辅助证据依赖索引检索关联候选疾病推理路径，从关联候选疾病推理路径中提取就诊时间在先的多模态临床证据片段，汇聚为回插前驱证据集，围绕回插前驱证据集提取回插方向支撑基底，沿证据依赖方向进行方向支撑推进，并在证据方向相悖位置收束为方向一致可达边界，形成跨边界增量方向支撑，对方向一致可达边界内原方向支撑进行局部回滚，将局部回滚后的原方向支撑与跨边界增量方向支撑叠加，沿就诊时间轴拼接形成回滚差分证据序列；依据回滚差分证据序列对候选疾病证据图进行局部改写，对局部改写前后的候选疾病推理路径进行证据差分对接，按照证据差分对接前后的路径对应关系进行版本差分可逆映射校验，将通过版本差分可逆映射校验的路径差异编排为协同版本差分，将协同版本差分并入诊疗辅助协同记录。

5、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述对多模态临床诊疗数据进行时间配准和语义归一，具体如下：

6、采集多模态临床诊疗数据，并进行就诊标识核对，将同一就诊过程对应的不同来源记录归并，再对归并所得不同来源记录进行时间字段格式统一和时间先后校准，形成时间配准临床数据；

7、对时间配准临床数据进行临床概念标准化编码，将语义相同的临床表达归并至同一临床概念，并按照临床概念所在语句中的依存关系校正否定极性和时间属性与临床概念之间的归属关系，形成语义归一临床数据。

8、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述形成多模态临床事件序列，具体如下：

9、对语义归一临床数据进行证据内容抽取，截取携带临床概念、时间属性、来源时间和来源位置的临床证据内容，并按照临床证据内容对应的来源模态进行片段化整理，形成多模态临床证据片段；

10、按照多模态临床证据片段的时间属性和来源时间校准就诊时间位置，将同一就诊时间位置下的多模态临床证据片段归并为临床事件，并按照就诊时间先后顺序编排临床事件，形成多模态临床事件序列。

11、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述围绕多模态临床事件序列进行疾病实体归一和证据方向标注，具体如下：

12、按照多模态临床事件序列中的临床事件顺序，对每一临床事件内多模态临床证据片段携带的临床概念进行疾病实体筛选，将筛选出的疾病实体与标准疾病词条进行编码对齐，并按照编码一致关系和同义名称关系归并疾病实体，同时保留归并所得疾病实体对应的临床事件位置，形成疾病实体归一数据；

13、依据疾病实体归一数据中的临床事件位置回溯多模态临床事件序列，在对应临床事件内定位携带归一疾病实体对应临床概念的多模态临床证据片段，以定位所得多模态临床证据片段为锚点，按照来源位置提取同一临床事件内参与否定极性归属校正和时间属性归属校正的多模态临床证据片段，将定位所得多模态临床证据片段和提取所得多模态临床证据片段与归一疾病实体建立对应，并保留多模态临床证据片段对应的就诊时间位置，形成疾病证据对应数据；

14、对疾病证据对应数据进行证据方向标注，先利用多模态临床证据片段携带的时间属性归属，将归一疾病实体与时间属性归属不完整的多模态临床证据片段之间的关系标注为待复核方向，再利用多模态临床证据片段携带的否定极性归属，将归一疾病实体与时间属性归属完整且未受否定极性修饰的多模态临床证据片段之间的关系标注为支持方向，将归一疾病实体与时间属性归属完整且受否定极性修饰的多模态临床证据片段之间的关系标注为排除方向，形成证据方向标注数据。

15、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述形成诊疗辅助证据依赖索引，具体如下：

16、依据证据方向标注数据构造候选疾病证据图，以疾病实体归一数据中的归一疾病实体形成候选疾病，以多模态临床证据片段形成证据顶点，按照证据方向关系建立候选疾病与证据顶点之间的证据方向边，并保留多模态临床证据片段对应的就诊时间位置，形成候选疾病证据图；

17、对候选疾病证据图进行候选疾病推理路径整理，按照同一候选疾病下证据方向边的方向类别和就诊时间位置连接证据顶点，在证据方向边的方向类别发生切换的位置设置分段边界，形成候选疾病推理路径；

18、对候选疾病推理路径进行证据依赖标注，记录候选疾病推理路径与多模态临床证据片段、证据方向关系、就诊时间位置和分段边界之间的对应关系，形成诊疗辅助证据依赖索引。

19、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述对异步接入的多模态临床证据片段进行就诊时间回插，沿诊疗辅助证据依赖索引检索关联候选疾病推理路径，具体如下：

20、对异步接入的多模态临床证据片段进行就诊时间校准，将异步接入的多模态临床证据片段对应的时间属性和来源时间与多模态临床事件序列中的就诊时间轴进行对齐，形成带有回插时间位置的多模态临床证据片段；

21、沿诊疗辅助证据依赖索引，根据带有回插时间位置的多模态临床证据片段携带的临床概念和回插时间位置检索候选疾病推理路径，按照证据方向标注数据中的标注方式，对带有回插时间位置的多模态临床证据片段与检索所得候选疾病推理路径对应的候选疾病之间进行证据方向标注，形成带有回插时间位置和证据方向关系的多模态临床证据片段，并将检索所得候选疾病推理路径作为关联候选疾病推理路径。

22、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述形成跨边界增量方向支撑，具体如下：

23、从关联候选疾病推理路径中提取相对于回插时间位置就诊时间在先的多模态临床证据片段，并按照关联候选疾病推理路径中的证据依赖标注保留多模态临床证据片段之间的依赖顺序，汇聚为回插前驱证据集；

24、对回插前驱证据集进行证据方向聚合，提取与带有回插时间位置和证据方向关系的多模态临床证据片段具有相同证据方向关系并在关联候选疾病推理路径中依赖顺序连续的多模态临床证据片段，形成回插方向支撑基底；

25、以回插方向支撑基底为起点，沿关联候选疾病推理路径中的证据依赖方向进行方向支撑推进，将证据方向连续一致的位置纳入推进范围，并在证据方向相悖位置停止推进，收束形成方向一致可达边界；

26、将带有回插时间位置和证据方向关系的多模态临床证据片段插入关联候选疾病推理路径中的回插时间位置，并从回插时间位置沿关联候选疾病推理路径提取延伸至方向一致可达边界外的连续证据方向边，将连续证据方向边及对应的多模态临床证据片段整理为跨边界增量方向支撑。

27、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述对方向一致可达边界内原方向支撑进行局部回滚，将局部回滚后的原方向支撑与跨边界增量方向支撑叠加，沿就诊时间轴拼接形成回滚差分证据序列，具体如下：

28、从关联候选疾病推理路径中提取方向一致可达边界内已有的连续证据方向边及对应的多模态临床证据片段，作为原方向支撑，对原方向支撑进行局部回滚，剔除与跨边界增量方向支撑在就诊时间位置上重叠并在证据方向上相悖的原方向支撑部分，保留未发生重叠相悖的原方向支撑部分，形成局部回滚后的原方向支撑；

29、将局部回滚后的原方向支撑与跨边界增量方向支撑进行方向支撑叠加，并按照就诊时间轴对叠加后的方向支撑进行顺序拼接，同时关联对应候选疾病、多模态临床证据片段、证据方向关系和就诊时间位置，形成回滚差分证据序列。

30、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述依据回滚差分证据序列对候选疾病证据图进行局部改写，对局部改写前后的候选疾病推理路径进行证据差分对接，具体如下：

31、依据回滚差分证据序列中的候选疾病、证据方向关系和就诊时间位置定位候选疾病证据图中的局部改写范围，按照回滚差分证据序列对局部改写范围内的证据顶点和证据方向边进行删除、写入和顺序重连，形成局部改写后的候选疾病证据图；

32、对局部改写后的候选疾病证据图进行候选疾病推理路径整理，按照候选疾病、证据方向边的方向类别和就诊时间位置重新连接证据顶点，形成局部改写后的候选疾病推理路径，再对局部改写前后的候选疾病推理路径进行路径位置对齐，将局部改写前后的候选疾病推理路径中对应的多模态临床证据片段、证据方向关系和就诊时间位置进行证据差分对接，形成证据差分对接数据。

33、作为本发明所述基于多模态ai的诊疗辅助协同方法的一种优选方案，其中，所述将通过版本差分可逆映射校验的路径差异编排为协同版本差分，将协同版本差分并入诊疗辅助协同记录，具体如下：

34、按照证据差分对接数据中的路径对应关系进行版本差分可逆映射校验，将局部改写后的候选疾病推理路径按照候选疾病、就诊时间位置、证据顶点和证据方向边反向映射至局部改写前的候选疾病推理路径，并核对反向映射后的多模态临床证据片段、证据方向关系和就诊时间位置之间的对应关系；

35、提取通过版本差分可逆映射校验的路径差异，将路径差异按照候选疾病、证据方向关系、就诊时间位置和局部改写范围进行编排，形成协同版本差分；

36、将协同版本差分并入诊疗辅助协同记录，并将候选疾病推理路径的改写位置、改写前后证据差异和版本差分可逆映射校验内容关联至诊疗辅助协同记录。

37、本发明有益效果为：通过对异步接入的多模态临床证据片段进行就诊时间回插，沿诊疗辅助证据依赖索引形成跨边界增量方向支撑，并对方向一致可达边界内原方向支撑进行局部回滚，使回滚差分证据序列用于候选疾病证据图的局部改写；再通过版本差分可逆映射校验将路径差异编排为协同版本差分并并入诊疗辅助协同记录，用于异步证据补入后的诊疗辅助协同更新，提升证据路径改写的局部性和可追溯性。