基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法

本发明涉及手术场景理解与自然语言处理的交叉，特别涉及一种基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法。

背景技术：

1、手术报告生成是指利用神经网络模型对手术图像、手术视频帧或其提取出的结构化特征进行理解，自动识别手术场景中的器械、组织及动作关系，并将这些视觉与结构化信息转化为符合医学表达习惯的自然语言报告文本。该技术可以减少人工记录负担，并为术后干预提供详尽的参考依据。手术场景中各种仪器设备及复杂的交互关系使得生成准确的手术报告颇具难度，且手术报告对于医学术语和动作关系的逻辑一致性要求较高。

2、针对手术报告生成任务，现有方法通常依赖单一类型的图结构进行建模。仅利用同构图的方法通常将手术场景中的器械、组织及动作关系三者视为同一类型节点，通过统一的邻接关系建模目标之间的联系，能够一定程度上增强目标间关系表达，但两个节点之间的连接边仅表示连接关系，难以区分器械、组织及动作关系的语义差异，容易出现关系表达不足的问题；仅利用异构图的方法通常将手术场景中的器械和组织二者视为同一类型节点，动作关系为二者的连接边，虽能在一定程度上实现局部感知，却难以充分挖掘图中各种交互关系的潜力，从而影响生成报告的完整性和稳定性。此外，现有方法缺少对器械与动作语义对应关系的显式约束，容易导致生成文本中出现动作关系与器械不匹配的问题，从而影响手术报告的准确性。

3、因此，提出一种能够联合利用同构图与异构图，并在报告生成过程中引入器械动作偏置调整的手术报告生成方法，以充分建模手术场景中器械、组织及动作关系之间的多层次交互信息，提升生成手术报告的准确性，成为亟待解决的问题。

技术实现思路

1、鉴于此，本发明提供了一种基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法，以解决现有技术中存在的问题。

2、本发明提供了一种基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法，包括：

3、s1：采集手术场景图像，识别图像中的器械实体和组织实体，并获取器械实体与组织实体之间的交互动作；以器械实体、组织实体为节点，以交互动作为关系边，构建异构图；将异构图的动作关系边转化为独立动作节点，在器械节点与对应动作节点、动作节点与对应组织节点之间建立连通边，得到同构图；

4、s2：利用同构图关系编码对所述同构图进行处理，得到用于表征手术场景中目标整体关系的同构图语义表示；

5、s3：利用异构图关系编码对所述异构图进行处理，得到用于表征器械、组织与动作之间局部交互信息的异构图语义表示；

6、s4：将所述同构图语义表示和异构图语义表示进行融合，得到融合语义表示；

7、s5：利用融合语义表示和已生成的预测文本序列进行逐时间步的候选词语预测，得到对应时间步的候选词语的原始预测分数，其中，每个时间步预测完成后，根据已生成的预测文本序列以及学习得到的器械与动作对应关系对该时间步的候选词语中的动作词的原始预测分数进行器械动作偏置调整，并根据调整后的分数确定对应时间步的输出词语，同时更新已生成的预测文本序列，直至生成最终手术报告。

8、优选，s2具体包括：

9、s21：将同构图节点特征进行线性变换，得到查询矩阵、键矩阵和值矩阵；

10、s22：根据查询矩阵和键矩阵计算同构图中各节点之间的注意力权重矩阵；

11、s23：根据注意力权重矩阵，对值矩阵进行加权融合，得到融合了其他相关节点信息的节点表示；

12、s24：将节点表示进一步经过残差连接、归一化和前馈神经网络处理，得到用于表征手术场景中目标整体关系的同构图语义表示。

13、进一步优选，s3具体包括：

14、s31：对于异构图中的每个节点，根据其相邻节点和对应的动作关系边，计算该节点的聚合关系信息；

15、s32：将节点的特征与聚合关系信息进行门控融合，得到关系增强后的特征；

16、s33：将关系增强后的特征输入前馈神经网络进行进一步特征变换，并将前馈神经网络的输出结果与关系增强后的特征进行残差连接和归一化处理，得到更新后的节点特征，由所有更新后的节点特征共同组成异构图语义表示。

17、进一步优选，s4具体包括：

18、s41：以同构图语义表示作为查询输入，以异构图语义表示作为键输入和值输入，并分别进行线性变换，得到融合查询矩阵、融合键矩阵和融合值矩阵；

19、s42：根据融合查询矩阵和融合键矩阵计算同构图语义表示与异构图语义表示之间的融合注意力权重矩阵；

20、s43：根据融合注意力权重矩阵对融合值矩阵进行加权融合，得到融合信息；

21、s44：对融合信息进行归一化处理，得到融合语义表示。

22、进一步优选，s5中，利用融合语义表示和已生成的预测文本序列进行第个时间步的候选词语预测的步骤如下：

23、s501：以作为起始标记，并结合之前时间步生成的候选词语，构建第个时间步对应的已生成的预测文本序列：

24、；

25、其中，表示第1个时间步生成的候选词语，表示第-1个时间步生成的候选词语；

26、s502：对文本序列进行词嵌入和位置嵌入，得到文本输入表示：

27、；

28、其中，表示词嵌入操作，表示位置嵌入操作；

29、s503：对文本输入表示进行自注意力计算，得到文本上下文表示；

30、s504：以文本上下文表示作为查询信息，以融合语义表示作为键和值，进行交叉注意力计算，得到候选词语预测状态；

31、s505：将候选词语预测状态经过前馈神经网络、残差连接和归一化处理，得到最终预测状态；

32、s506：根据最终预测状态计算各候选词语的原始预测分数：

33、；

34、其中，为可学习参数。

35、进一步优选，s5中，根据已生成的预测文本序列以及学习得到的器械与动作对应关系对第个时间步的候选词语中的动作词的原始预测分数进行器械动作偏置调整的步骤如下：

36、s511：根据文本序列，识别其中已出现的器械信息，得到器械标识：

37、；

38、其中，表示器械识别操作，用于从文本序列中识别已出现的器械；

39、s512：获取学习得到的器械动作偏置矩阵，其中，为可学习参数矩阵，中的元素表示器械与动作词之间的匹配程度打分，匹配程度越高，的打分就越高；

40、s513：利用器械动作偏置矩阵中器械与动作词之间的匹配程度打分对候选词语中的动作词原始预测分数进行器械动作偏置调整：

41、；

42、其中，表示第个时间步动作词的原始预测分数，表示经过偏置调整后的动作词预测分数，表示偏置强度参数，对于非动作词候选词语，其预测分数保持不变。

43、进一步优选，s5中，根据调整后的分数确定第个时间步的输出词语，同时更新已生成的预测文本序列，直至生成最终手术报告包括如下步骤：

44、s521：根据器械动作偏置调整后的候选词语预测分数，得到第个时间步的候选词语预测概率集合：

45、；

46、其中，表示第个时间步经过动作词偏置调整后的候选词语预测分数集合，动作词候选词语的预测分数会被调整，而非动作词候选词语的预测分数保持不变；

47、s522：根据候选词语预测概率集合，选择预测概率最大的候选词语作为第个时间步的输出词语：

48、；

49、其中，表示从候选词语概率集合中选择概率最大的候选词语作为输出词语；

50、s523：将第个时间步的输出词语加入文本序列，得到更新后的文本序列：

51、；

52、s524：判断生成的输出词语是否为结束标记或更新后的文本序列是否达到预设的最大文本长度，若是，则对更新后的文本序列进行整理，去除起始标记和结束标记，得到最终手术报告文本，否则进行下一时间步的候选词语预测。

53、本发明提供的基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法，对于给定输入的手术场景图像，首先获取对应的异构图和同构图；然后分别进行同构图关系编码和异构图关系编码提取整体关系信息与局部器械、组织和动作交互关系信息；进一步进行图结构语义融合得到融合语义表示，并将其作为文本解码的语义表示；在报告文本生成过程中，根据已生成的预测文本序列和融合语义表示逐步计算候选词语的原始预测分数，同时利用器械动作偏置调整对候选词语中的动作词原始预测分数进行修正，最终逐步生成手术报告文本。

54、本发明提供的基于同构图与异构图特征融合和器械动作偏置调整的手术报告生成方法，能够在保留手术场景整体结构信息的同时，增强对局部器械、组织和动作交互关系的表达能力，并在文本解码阶段引入器械动作偏置调整，使生成的手术报告更加符合手术场景语义和临床描述习惯。