一种基于计算机视觉和知识图谱的辅助方法与流程

技术特征：
1.一种基于计算机视觉和知识图谱的辅助方法，其特征在于，将自然语言处理技术中的transformer架构应用于计算机视觉中，并改写网络结构，为下游图像分类和图像分割任务提供统一的编解码架构；随后，图像阶段的输出结果输送到知识图谱中，形成分门别类的分析结果。2.根据权利要求1所述的方法，其特征在于，知识图谱通过前期的数据积累，构建知识库，将图像模型得到的图像分类和语义分割结果作为输入，完成图搜索匹配，得出图像分析结果。3.根据权利要求2所述的方法，其特征在于，通过大数据技术，构建大数据系统，通过对接各种数据源，实现库表全量/增量数据同步；面向实时数据，提供采集、传输、分发能力，帮助快速构建完备数据湖底座。4.根据权利要求3所述的方法，其特征在于，基于transformer的图像分类任务，在编解码阶段应用multi-head attention，从全局捕获上下文信息。5.根据权利要求4所述的方法，其特征在于，使用开创性的视觉transformer技术用于图像进行分类，判别程度，在对图像经过patch embedding将视觉问题转化为时序问题，并加入位置编码，输送到transformer编码单元，此时加入一个token，该token的输出将预测最终的类别。6.根据权利要求5所述的方法，其特征在于，图像分割模型对图像进行像素级分割，得出预分析面积占比数据。7.根据权利要求6所述的方法，其特征在于将transformer编解码结构为滑窗式swin-transformer，应用到影像分割网络unet之中，降低transormer架构计算量。8.根据权利要求7所述的方法，其特征在于将人工智能阶段得到的模型输出作为基于数据湖底座构建的知识图谱的输入，通过图匹配机制，得出分析结果。

技术总结
本发明提供一种基于计算机视觉和知识图谱的辅助方法，属于人工智能和知识图谱领域，本发明将自然语言处理技术中的Transformer架构应用于计算机视觉中，并改写网络结构，为下游图像分类和图像分割任务提供统一的编解码架构。随后，图像阶段的输出结果输送到知识图谱中，形成分门别类的建议，为术前救治提供及时准确的辅助决策。时准确的辅助决策。时准确的辅助决策。


技术研发人员：李洋 周文豪 李桂尧 潘利 陈士哲 李洪滨 王露红 赵策 胡振升
受保护的技术使用者：浪潮海链易贸（山东）信息科技有限公司
技术研发日：2022.11.10
技术公布日：2023/2/3