一种4K腹腔内窥镜影像装置的制作方法

本技术涉及属于图像处理，尤其涉及一种4k腹腔内窥镜影像装置。

背景技术：

1、内窥镜通常向被检体内插入呈细长形状的挠性的插入部，从该插入部前端照明由光源装置供给的照明光，通过由插入部前端的摄像部接受该照明光的反射光而拍摄体内图像。

2、已公开的专利：发明名称，3d内窥镜的图像传感器数据传输装置及3d内窥镜，公布号：cn 215383848 u，申请公布日2022.01.04。所述装置包括：第一图像传感器模块102：将光信号转换为第一电信号；第二图像传感器模块103：将光信号转换为第二电信号；图像传感器数据传输装置104用于接收第一电信号和第二电信号，并输出第一电信号对应的第一图像数据至数据处理系统，输出第二电信号对应的第二图像数据至数据处理系统；数据处理系统105用于接收第一图像数据和第二图像数据，并将第一图像数据和第二图像数据进行合成后，输出合成图像数据进行3d显示；数据接口电路2015与并转串电路连接，传输数据至后端；

3、上述已公开专利的技术不知之处是：图像处理不是同时处理的，依次得到第一图像、第二图像；该系统只可用于内窥镜图像系统；

4、已公开的专利：发明名称：一种3d荧光内窥镜、成像方法、装置及调试

5、方法，公布号：cn117398043a，申请公布日：2024.01.16。公开了一种3d荧光内窥镜、成像方法、装置及调试方法，属于内窥镜领域，内窥镜包括内窥镜套管、设置在内窥镜套管内的物镜和感光元件，物镜和感光元件之间设置有分光器件，分光器件将穿过物镜的光束分为射至感光元件的左可见光束、左荧光束、右可见光束和右荧光束，分光器件和感光元件之间设置有使左可见光束和左荧光束的光程一致的左调焦镜以及使右可见光束和右荧光束的光程一致的右调焦镜。该内窥镜可使四路光束同时成像于感光元件上，左右图像无时差，可见光图像和荧光图像也无时差，整个内窥镜只用到一个感光元件，可在较小的空间内实现时间、焦面的一致性，有利于实现3d荧光内窥镜的小型化和高灵敏度显示。上述已公开专利的技术不知之处是：共有4个感光元件，经过两次反射的光在感光元件上得到的图像为实物的镜像，方向与直接通过二向色镜21的光一致，便于在成像时进行图像处理操作；该系统只能用于成像内窥镜系统；不涉及到影像调优，只处理图像信号。

6、以及现有腹腔镜的技术路线：

7、一种是fpga（现场可编程门阵列）方案，特点：高并行性、低延迟、硬件可重构；数据在摄像头端进行处理，用fpga芯片来实现isp图像处理，不足之处是处理影像的算法要烧录在fpga主板上，固化后想要改变需重新烧录芯片上的程序。应用场景：高实时性任务、多模态成像融合；是目前4k、3d、荧光主要方案。

8、另一种是soc（系统级芯片）方案，特点：软硬协同、系统集成；部分不具备isp功能，部分isp功能固化在芯片上，不足之处是无法自定义底层逻辑，灵活性受限，但系统集成度高。

9、研究开发4k腹腔内窥镜影像装置，采用的gpu方案，数据直接到达gpu，摄像头端不处理，gpu能获取最原始的图像数据；gpu再完成isp图像处理，所有的影像数据可植入ai算法，同时影像算法可实时更新，不需要重新烧录。优化提高图像质量和精度，是十分有必要的。

技术实现思路

1、为克服现有医疗内窥镜影像技术的不足之处，设计一种4k腹腔内窥镜影像装置。

2、一种4k腹腔内窥镜影像装置，包括内窥镜套管以及冷光源、气腹机、感光元件，摄像前端、摄像主机、后端装置；

3、所述的冷光源包括：冷光源触摸屏、冷光源模组、冷光源主板、冷光源电源、导光束；冷光源主板分别与冷光源触摸屏、冷光源模组、冷光源电源连接；导光束与冷光源主机连接；

4、所述的气腹机包括：气源管理模块、流量控制模块、压力监测模块、气腹机主板、安全保护模块、电源模块、排气系统；气腹机主板分别与气源管理模块、流量控制模块、压力监测模块、安全保护模块、电源模块、排气系统连接；

5、所述的内窥镜套管内集成有光学透镜成像部分，光学纤维通光部分；导光束的一端与冷光源输出口连接，导光束的另一端设置在内窥镜套管的前端；气腹机的充气口设置在内窥镜套管的配套器械前端；

6、所述的摄像前端包括摄像头，所述的摄像头包括：光学硬镜、光学卡口、滤光片、感光元件、陀螺仪、按键板、摄像头主板、串行板、摄像头电缆；

7、所述的陀螺仪与按键板连接；所述的按键板与摄像头主板连接；

8、所述的滤光片设置在感光元件前端；所述的陀螺仪内置在摄像头按键板上；

9、所述的滤光片过滤掉干扰的杂色，将过滤的图像传输至感光元件上；

10、所述的感光元件通过摄像头电缆传输影像数据到摄像主机的输入接口，陀螺仪也将状态信息传输至摄像主机，摄像主机综合陀螺仪信息，对图像进行处理；

11、所述的摄像主机包括：主机主板、视频输出板、核心板、硬盘、解串板、触摸屏、主机电源、风扇、视频拓展板、网口、usb口、rs232口、信号输出口、显示器、信号连接线、信号输入接口；

12、所述的摄像头连接线是指gmsl3数据线；

13、所述的感光元件用于采集摄像头获取到的图像；

14、所述的主机主板包括：核心板；所述的核心板包括融合算法模块，所述的融合算法模块包括采集模块、dpc模块、blc模块、wb模块、demosaic模块、gamma correct模块、ccm模块、contrast/brightness enhancement模块、edge enhancement模块、输出模块、ae stat模块、ae control模块、去噪声算法模块、总延迟算法模块；主板分别与触摸屏、主机电源、风扇、视频转接板、信号输出接口或其他主机接口连接；

15、所述的输出模块包括视频输出板、视频转接板、信号输出端；所述的信号输出端包括信号输出口、网口、usb口、rs232口；

16、所述的主机主板分别与主机触摸屏、视频转接板、信号输出端连接；所述的后端装置包括：显示器，或远端接受装置；

17、所述的4k腹腔内窥镜影像装置的硬件连接关系是：光学硬镜的镜头采集目标区域的图像信息，光学硬镜与光学卡口适配连接，将采集的图像信息，光学传输至滤光片上，感光元件与摄像头主板连接；陀螺仪与按键板连接；按键板与摄像头主板连接；摄像头主板与串行板连接；串行板通过摄像头电缆与解串板连接，解串板与核心板连接，核心板同时与硬盘及视频输出板连接；视频输出板与视频拓展板连接，视频拓展板与信号输出口连接，信号输入接口与显示器连接；

18、所述的4k腹腔内窥镜影像装置的影像数据传输关系是：摄像头通过感光元件将采集的光学信号转换为电信号，并传输至摄像头主板，陀螺仪将感光元件的状态信息采集后输出至摄像头主板，串行板将摄像头主板的数据转换为串行数据，并且通过摄像头电缆高速传输至解串板中，解串板将串行数据转换为并行数据，并输入到摄像主机；摄像主机核心板融合算法模块读取连接摄像头的数量以及像素；匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，增强对比度算法模块进行预处理，得到单幅或多幅图像，作为状态1；提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；将状态2图像进行分配，识别为单幅图像，处理后分别输出光谱过滤后图像与正常图像，核心板与图像isp处理模块连接，isp处理模块与主机主板连接，主机主板输出图像数据到信号输出口，信号输出口输出到显示器，显示器显示调优后的图像，或通过信号输出口有线或无线网络传输到远端装置。

19、所述的滤光片，用于过滤杂光，只让400-650nm光进入感光元件。

20、所述的感光元件是cmos、ccd、或红外传感器芯片当中的任意一种。

21、所述的主机触摸屏或是按键开关。

22、所述的总延迟算法模块，影像数据从前端装置到后端装置延迟时间在50-100ms以内。

23、4k腹腔内窥镜影像装置即影像优化方法的使用步骤是：

24、（1）检查内窥镜套管、冷光源、气腹机、感光元件，摄像前端、摄像主机、后端装置连接正确；并确认摄像主机已开启；

25、（2）摄像主机连接4k显示器，4k显示器已开启；

26、（3）摄像头已连接摄像主机；

27、（4）摄像头已安装医用内窥镜；

28、（5）并确认摄像主机已开启。

29、4k腹腔内窥镜影像装置的图像处理方法步骤是：

30、步骤一、将滤光片设置于感光元件前端，用于过滤杂光，避免图像收到干扰；

31、步骤二、为了实现保障图像信息完整，高像素，在感光元件采集到图像后会将并行的数据，通过串行板进行串行处理，实现高速传输；

32、步骤三、采用gmsl3传输方式，得到6gbps的传输速率，将图像送至解串板后，将串行信号转为并行信号；并将并行信号传输到核心板；

33、在这个过程中，陀螺仪将感光元件位置信息实时传输至核心板，以修正图像；

34、步骤四：核心板融合算法模块自动识别连接摄像头的数量以及像素，自动匹配内置的图像处理算法模块，通过曝光算法模块，去噪声算法模块，总延迟算法模块、增强对比度算法模块进行预处理，色彩还原，图像融合等处理，得到单幅或多幅图像，作为状态1；自动识别摄像头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率；

35、步骤五：提取状态1的图像特征，自动选择单幅算法模块，或者多幅图像融合算法模块，通过融合算法模块得到状态2；

36、步骤六：将状态2图像进行分配，识别为单幅图像或多幅图像，处理后分别输出光谱过滤后图像与正常图像；

37、步骤七：图像isp处理模块继续处理单幅图像或多幅图像；

38、步骤八：核心板将处理后的图像信号传输到信号输出口，将处理好的视频信号输出至显示器上，实时显示摄像头图像；

39、步骤九：依据串口控制发出的指令，可以将核心板处理的视频信号存储到硬盘上或者通过网口进行传输。

40、低延迟实现流程如下：

41、gpu加速部署：将图像处理算法移植到gpu，优化内存访问模式。

42、验证性能提升，确保单帧处理时间≤5ms。

43、edf调度集成：

44、在实时操作系统（linux）中配置edf调度器。

45、定义任务参数（ci、ti）并测试调度可行性。

46、联合调试：

47、监控前端装置到后端装置延迟，调整gpu资源预留比例。

48、处理极端情况（如突发高负载），确保系统鲁棒性。

49、临床验证：

50、在模拟环境中测试延迟对操作的影响（如医生操控反馈时间）。

51、目标：前端装置到后端装置延迟≤100ms。

52、本专利中名词定义和解释：

53、本专利是在申请人已申请专利《一种医疗影像调优装置》，专利申请号：202510278642.6；持续改进创新的结果，一种4k腹腔内窥镜影像装置以及内窥镜影像优化方法。

54、气腹机是腹腔镜外科手术中建立与维持气腹的公知技术专用设备，其工作原理是通过机械加压充气，向患者腹腔内灌注医用co2气体，使腹壁与脏器分开，从而形成手术操作与视野空间，避免穿刺套管造成脏器损伤。气源管理模块，气源接口：连接二氧化碳（co2）气瓶或中央供气系统，确保气体输入。流量控制模块，流量传感器：实时监测气体流速（单位：l/min），通常分为高流量（初始充气阶段）和低流量（维持阶段）。压力调节器：将高压气源（如气瓶）压力降至适合腹腔使用的安全范围（通常为30-50 psi）。气体过滤装置：过滤气体中的杂质或微生物，保证气体无菌。压力监测模块，压力传感器：实时检测腹腔内压力（通常设定为12-15 mmhg），避免压力过高（导致并发症）或过低（影响手术视野）。压力反馈系统：将监测数据反馈至控制模块，自动调节充气或排气。报警系统：在压力异常（如泄漏、超压）时触发声光报警，并暂停供气。气腹机主板，微处理器：核心控制芯片，处理传感器数据并调节流量、压力。用户界面：触摸屏或按键面板，供医护人员设置目标压力、流量等参数。安全保护模块，过压保护阀：机械或电子冗余设计，在系统故障时切断气源或释放多余气体。气体泄漏检测：通过流量与压力的异常变化判断泄漏，触发警报。温度控制：部分设备配备气体加温功能，避免冷气体进入腹腔引起患者不适。电源模块，主电源适配器：提供设备运行所需电力。排气系统，排气阀：手术结束时快速排出腹腔内气体，通常由电磁阀控制。

55、光学硬镜：简称镜头，内窥镜采用的镜头中有一种被称为光学硬镜。光学硬镜是内窥镜的一种类型，其特点在于光学部件由柱状玻璃制成，外管则为金属结构，并且外管不可弯曲。它主要由机械系统、光学系统和导光系统三部分组成。

56、陀螺仪：bmi088，明确感光原件位置信息。

57、gmsl3：高速传输数据达到6gbps。

58、mipi全称为：mobile industry processor interface，由mipi联盟开发，是一种高性能、低功耗、低成本的串行通信接口，目的是把设备内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少设备设计的复杂程度和增加设计灵活性。

59、图像传感器：用于采集图像，像素达到4k。

60、滤光片：用于过滤杂光，保障自然光450-650nm光进入感光原件。

61、串行板使用芯片：max96789。解串板使用芯片：max96752。

62、4k医用内窥镜：传感器采集图像信号，实时输出到4k显示器，供医护人员手术过程中观看的影像系统。

63、sensor input:传感器采集图像输入isp管道。

64、dpc(dead pixel correction):图像坏点检测：检测传感器中存在的坏点，修正这些坏点，坏点为全黑环境下输出图像中的白点，高亮环境下输出图像中的黑点。

65、blc(black level compensation):黑电平补偿：从传感器的特性来看，传感器的最低输出电压是黑色电平电压。通过标定黑电平大小，消除黑电平对图像的影响。

66、wb(white balance):白平衡：矫正传感器在不同色温下出现的颜色偏差，通过白色卡纸计算rgb三通道增益值，完成白平衡矫正。

67、demosaic:去马赛克：单coms采集的图像只包含rgb中的某一种颜色，通过插值处理还原图像缺失的其他颜色。

68、gamma correction：也称为伽马校正或伽马非线性化，是一种用于调整图像或视频信号的非线性运算或反运算技术。用于编码和解码线性亮度或rgb值，以匹配显示设备的非线性特性，此外一伽马矫正可以扩展或压缩图像的动态范围。

69、ccm(color correction matrix):颜色矫正矩阵：由于传感器光谱响应的非理想性与环境光源的光谱分布不同的影响，会导致传感器图像与实际场景会存在较大的颜色差异，通过计算颜色校正矩阵可以调整图像颜色，使图像颜色更接近于实际颜色。

70、contrast/brightness enhancement：通过增强图像对比度亮度，让非均匀光照下的图像的亮度分布更加均匀，图像通透感更强。

71、edge enhancement:边缘轮廓增强：利用边缘检测技术提取图像边缘，对图像边缘进行增强，提升图像锐度。

72、output：rgb图像格式转换到yuv420输出。

73、ae stat:自动曝光信息统计：统计图像亮度，方差，直方图等信息，用于评估当前图像是否存在欠曝或过曝。

74、ae control：根据曝光统计信息评估当前曝光情况，计算下一帧的曝光参数，将下一帧曝光参数传回传感器，完成自动曝光控制。

75、‌对比度增强（contrast enhancement）‌是指通过调整图像的对比度，使其细节更加清晰，增强图像的可视效果。对比度是指图像中最亮和最暗部分之间的差异程度，通过增加这种差异，可以使图像的细节更加突出。

76、‌亮度增强（brightness enhancement）‌则是通过调整图像的亮度级别，使其更加明亮或暗淡。亮度是指图像的平均光照强度，通过调整亮度，可以改变图像的明暗程度，从而影响视觉效果。

77、自动识别摄像头数量及像素实现方式：通过传感器驱动识别连接的传感器，根据识别的传感器获取对应的分辨率。

78、ccd：即电荷耦合器件（charge coupled device），是一种用于图像获取的半导体器件。

79、cmos：是互补金属氧化物半导体（complementary metal oxide semiconductor）的缩写；它是一种将晶体管、电阻器、电容器和二极管等元件以标准工艺制作在同一硅片上的集成技术。cmos芯片具有功耗低、集成度高、抗干扰能力强等优点，被广泛应用于微处理器、数字信号处理器、存储器以及图像传感器等领域。

80、gmsl3：是第三代千兆多媒体串行链路（gigabit multimedia serial link）技术；高数据传输速率：gmsl3支持高达12 gbps的数据传输速率，能满足高清摄像头和其他高速数据传输设备的带宽需求；低延迟：实现低延迟的视频数据传输，确保系统的实时性。

81、edf：智能调度中的edf（earliest deadline first，最早截止期优先）实时任务管理是一种动态优先级调度算法，广泛应用于需严格满足任务时效性的场景。edf实时任务管理通过动态优先级分配与数据驱动的决策机制，成为智能调度的核心技术之一。

82、核心板：采用定制英伟达agx orin 64g作为核心板，用于处理摄像头接收到的图像信息。

83、导光束：摄像头中的导光束是一种用于传输光线的组件，它主要由光纤束组成，能够将光源发出的光线高效地传输到被测物体上。在成像过程中，导光束起到了至关重要的作用。它确保了光线能够按照预定的路径投射到物体表面，并在物体表面形成特定的光斑或光条模式。

84、硬件技术指标

85、表一 摄像主机

86、

87、表二 冷光源技术指标

88、

89、 申请人已做测试，《4k医用内窥镜摄像系统测试报告》

90、“结论

91、（1）降噪性能满足影像质量要求。

92、（2）系统延迟（98.8ms）符合手术实时交互需求（≤100ms）。”

93、特别说明：申请人对系统延迟要求是在≤100ms内。而行业通常的要求仅仅是≤150ms。

94、本实用新型4k腹腔内窥镜影像装置显著进步和创造性技术特点是：

95、技术路线采用：4k内窥镜摄像头方案实现流程：cmos将采集的图像转化为数字信号，并将并行信号传输至串行板；陀螺仪将cmos的状态信息采集后输出至串行板的信号输出口；串行板将并行信号编译为串行信号，并且高速传输至解串板中，可以实现十几米的高速传输；同时陀螺仪也将状态信息通过高速传输至后端，主机综合陀螺仪信息，对图像进行处理，因为整个图像传输中，图像信息被完整保留，因此可以得到更高质量的图像。主要是克服在摄像头模组端进行图像处理带来的图像信息丢失问题，克服在摄像头模组端进行图像处理还可能导致模组温度升高，损坏元器件，影响成像质量等问题；

96、实现的技术目的：主要目的是为了满足低延迟，高像素的传输，并且图像信息得到完整的保留，后端性能强大的主机更好地完成图像的处理，从而保障最终的图像质量。本专利数据直接到达gpu，摄像头端不处理，gpu能获取最原始的图像数据；再gpu完成isp图像处理，所有的影像数据可植入ai算法，同时影像算法可实时更新，不需要重新烧录；采用后端处理方式，保存了图像信息。其他专利在摄像头前端进行图像处理，可能导致图像信息的缺失。

97、实现的技术效果：影像数据传输到显示屏实时显示播放，供医护工作人员参看。影像数据同时能够在gpu芯片处理器中进行处理，处理后的结果能够叠加在调优后的影像数据中传输到显示屏实时显示；调优后的影像数据还能够拷贝到外接存储设备，例如u盘中备份或网络传输到远端。