基于AI视觉的工具出入库管理装置及其管理方法与流程

本发明涉及铁路工务房，特别涉及一种工具出入库管理方法。

背景技术：

1、铁路工务段各车间库房普遍采用有人值守管理模式，配备专职库房管理员。当前库房存在工机具与材料混放、人工盘点效率较低、工机具归还不到位、非盗窃性质丢失、备品备件消耗与台账不符等问题。中大型工机具未按流程出库、遗落铁路线路存在极大行车安全风险。铁路维护作业中，维修工从库房领用的工机具品类繁杂，从大型液压起道器、内燃捣固镐到小型螺丝刀、扳手、钢卷尺等均有涉及，全品类覆盖的数字化管理面临严峻挑战。

2、为提升库房管理数字化水平，常见技术路线包括二维码/条形码标签、rfid射频识别、ai视觉识别等。相关技术方案对比如下：

3、(1)二维码/条形码技术方案

4、在工机具表面粘贴不干胶热敏二维码标签，出入库时由人工或固定扫码设备逐件扫描。该方案标签成本极低，但在铁路工务现场应用存在明显短板：铁路工机具表面常附着油污、泥垢、粉尘，不干胶热敏二维码易被覆盖导致无法读取；高强度作业下标签磨损、脱落、翘曲现象严重，维护成本快速上升；须逐件可视扫码，流程中断时间长，与抢修作业要求的“快速出车”原则相悖。尤其对于小型手动工具(如螺丝刀、扳手、钳子等)，其单件价值低但数量较大，标签维护的工作量与成本相对工具价值倒挂，现场人员往往因操作繁琐而抵制扫码，导致系统形同虚设。在站修点等面积狭小、工具高频流转的场景，普通不干胶标签耐油污、耐磨损性能差，寿命通常不足1个月，频繁更换维护工作量不可承受。

5、(2)rfid技术方案

6、在工机具上安装抗金属无源rfid标签，通过固定式读写器或手持终端实现批量识别。理想条件下，rfid具备无接触、批量读取、不受遮挡等理论优势。但在铁路工务真实工况下，经工程实践发现存在以下难以克服的困境：

7、金属干扰显著：铁路工机具绝大部分为金属材质，普通rfid标签贴于金属表面时，读取距离从理论3-5米衰减至10-30厘米；即使采用抗金属标签，读取距离仍衰减60%-80%，若使用标准基板配套，安装空间与便易程序无法满足。工机具堆叠放置时(如工具车中多种工具混装)，金属相互遮挡，信号无法穿透，批量识别基本失效。

8、环境适配性差：油污覆盖标签表面导致信号衰减，读取成功率下降30%-50%；捣固镐等高频振动设备上，标签焊点疲劳断裂，使用寿命不足3个月；-20℃至60℃温差环境下，背胶粘接失效，标签3-6个月脱落。

9、成本投入失衡：工业级抗金属标签单价15-50元，安装人工5-15元/个，年度更换率20%-30%；手持读写器3000-8000元/台，固定式读写器3000-5000元/台。对于螺丝刀、扳手、钳工锤、钢卷尺等单价低于100元的小型手动工具，rfid标签及维护总成本在6-12个月内将超过工具本身价值，且每年需持续投入维护成本，形成严重的成本倒挂。

10、工程实操困难：小型手持工具手柄钻孔固定会降低工具强度，工务段明确反对；胶粘方式在振动及油污环境下不可靠；损坏标签更换需要专业工具，现场人员配合度不高；标签凸起硌手、刮擦衣物，工人主动拆除现象时有发生。此外，对于轨距尺、道尺等精密测量仪器，贴标可能影响其精度和使用手感，工人有明显的抵触情绪。

11、综上，rfid技术在铁路工务工机具管理场景下，对于大中型设备有一定可行性，但对于数量较大、单价低廉的小型手动工具，其经济性和工程可行性均存在严重缺陷，不宜作为全品类覆盖的核心管理手段。

12、(3)智能工具柜方案

13、每个柜门内置读写器天线，工机具须放置在指定凹槽或挂钩上，关门自动盘点。单柜成本3-8万元，且只能管理柜内工具，无法覆盖整个库房及站修点全部物资。库房本身就是“大工具柜”，该方案与本场景需求不匹配，且仍需为每件工具贴附rfid标签，面临同样的维护困境。对于小型工具数量较大的场景，需要部署数台甚至数十台智能工具柜，成本不可接受，且不可覆盖中大型工机具。此外，若铁路抢修期间凑巧碰到库房停电或智能工具柜故障，维修工机具取不出，则抢修工作被迫停滞，线路故障无法及时处置，造成列车通行受阻、行车风险上升；若违规强行开启柜体，还会损坏工具柜设备，误用替代工具也易加重线路故障风险。

14、(4)毫米波雷达成像方案

15、可穿透非金属材质识别物体轮廓，但库房内金属货架、金属工机具密集，产生严重多径反射与信号干扰，无法稳定识别工具种类、规格与数量，尤其对于小型工具根本无从识别。单台设备成本高达百万元级，体积大、部署要求高，与本场景低成本运维、规模化推广的现实需求严重不符。

16、(5)现有ai视觉方案的不足

17、纯ai视觉识别方案在复杂遮挡、杂乱摆放、油污磨损等场景下识别准确率波动较大，对于小型手动工具(如扳手、钳子、螺丝刀等)因体积小、特征相似、易被遮挡，识别准确率可能低于70%，且缺乏有效的人工协同确认机制与异常兜底手段，难以满足铁路工务段“账实一致、安全闭环”的刚性管理要求。

18、综上所述，现有技术方案在铁路工务库房这一特定场景下，对于全品类工机具(尤其是小型手动工具)的管理，或受限于环境适应性，或受限于成本投入，或受限于作业效率要求，或受限于识别可靠性，均难以满足“不改变一线作业习惯、不影响抢修效率、低成本可维护、全品类覆盖”的工程落地需求。

19、专利检索情况如下：

20、北京交通大学，cn202511068533.8，基于计算机视觉的铁路工机具上下线清点核查方法，公开了一种基于计算机视觉的铁路工机具上下线清点核查方法，包括采集高铁工务段上下线及仓库工机具图像，经区域聚焦算法裁剪目标区域以消除干扰，结合透视变换、多变换拼接等增强技术及基于sam和扩散模型的生成方法，构建多样性训练数据集；构建文本视觉多模态旋转目标检测模型，通过增强特征提取，融合作业计划表文本信息与视觉特征，引导模型关注关键类别；采用自适应阈值优化算法调整检测参数，结合少样本检测技术，经类别感知尺度滤波、离群框抑制及跨类别非极大值抑制处理后，与作业计划比对输出结果；基于误检与漏检驱动的样本裁剪筛选机制，挖掘高价值样本补充至训练集。具有提高了铁路工机具管理的安全性和效率的优点。

21、广州宾聚科技有限公司，cn202010467531.7，一种铁路工机具的检测方法、系统、装置和存储介质，涉及一种铁路工机具的检测方法、系统、装置和存储介质，方法包括获取多个工机具图像，根据所有工机具图像制作数据集；构建深度卷积神经网络，利用数据集和深度卷积神经网络构建反射图像提取网络，根据深度卷积神经网络和反射图像提取网络得到特征检测网络，根据深度卷积神经网络、反射图像提取网络和特征检测网络得到初始检测网络模型；利用数据集对初始检测网络模型进行训练，得到目标检测网络模型；根据目标检测网络模型对待检测工机具图像进行检测，得到检测结果。本发明可有效解决背景复杂、光照不均以及目标尺度差异大、形态复杂和存在遮挡等问题，对铁路工机具进行快速而准确地目标检测，实现铁路工机具的自动清点。

22、武汉工程大学，武汉引行科技有限公司，一种铁路工机具清点方法及装置，提供一种铁路工机具清点方法及装置，方法包括：从公共数据库中读取多个工机具样本图像，并对多个所述工机具样本图像进行预处理，通过经预处理后的多个所述工机具样本图像得到训练图像数据集；构建目标检测网络，通过所述训练图像数据集对所述目标检测网络进行训练处理，得到目标检测模型；通过拍摄设备对出工现场进行图像采集，得到待处理图像；根据所述目标检测模型对所述待处理图像进行比对分析，得到遗失工机具类别的名称和数量。本发明实现了对工机具的准确检测与清点，可满足实际应用需求，且不需要人工提取工机具的图像特征，节省了时间的同时也提高了实时性和准确率，为智能铁路运维奠定了技术基础。

23、郑州三方软件技术有限公司，cn201911407063.8，提供一种高速铁路工机具材料及作业管理系统和方法。该系统包括：云服务器和与云服务器连接的仓库主机终端和手持终端；在仓库主机终端侧设置有与仓库主机终端通过4g无线路由器连接的第一rfid读写器及其天线；手持终端包括作业计划新建模块、流程模块、清点模块、4g移动通信模块和核心处理模块；作业计划新建模块，用于在云服务器上新建作业计划；核心处理模块，用于获取清点信息和阶段信息并发送至云服务器；云服务器，用于保存作业计划，将作业计划发送至仓库主机终端，以及接收清点信息和扫描信息；第一rfid读写器及其天线，用于对rfid标签进行扫描；仓库主机终端，用于接收、显示作业计划；获取扫描信息，并将扫描信息发送至云服务器。

技术实现思路

1、有鉴于以上铁路工务房工机具放置混乱、人工盘点效率低、工机具归还不到位、非盗窃性质丢失、备品备件消耗与台账不符等出入库一致性管理难的问题，有必要提出一种基于ai视觉的工具出入库管理装置及其管理方法，在不强制改变一线作业习惯、不苛求工具摆放、不影响抢修效率的前提下，实现对全品类工具的出入库管理，以期达到类无扰出入库的目的。

2、一种基于ai视觉的工具出入库管理装置，包括感知模块、数据处理模块和系统集成模块，各个模块间通讯连接，实现相互间信息传递与处理；

3、所述感知模块用以获取工具在工务房内的状态，包括设置在工务房出入口的ai摄像设备；

4、所述数据处理模块用以处理来自感知模块的数据，实现对工具状态的分析和记录等，包括专用电脑和备用电源，专用电脑用以处理和记录来自感知模块的数据，备用电源用以为所述基于ai视觉的工具出入库管理装置提供备用电，以防止突然断电造成的所述基于ai视觉的工具出入库管理装置无法正常运行的风险；

5、所述系统集成模块用以工具的数字化管理、可视化管理，包括工务房管理平台，实现了工具动态的随时更新和可见。

6、进一步地，所述基于ai视觉的工具出入库管理装置还包括辅助模块，所述辅助模块用以补充感知模块的不足，当感知模块无法获取到工务房内工具的状态时，可以由辅助模块对工具的状态进行采集或标注，包括ocr终端、热敏打印机和激光打标机等，所述热敏打印机和激光打标机可以生成二维码形式或者字符形式的标识码，用以标识工具或者器具或者备品备件等，所述ocr终端用于读取工具上的所述标识码，实现对工器具的监测。

7、进一步地，所述感知模块还包括设置在工务房四角的红外线摄像设备，用以监测工务房内各个区域工具或者器具是否在位，通过拍摄工务房中各个工器具存放区域的实时图像与标准图像进行比对，再与工务房管理平台比对各个工器具的状态，实现对工器具的状态核对，确保了工器具状态始终处于最新的正确的状态，方便后续派工单的正确生成。

8、进一步地，所述系统集成模块还包括派工单平台，所述派工单平台设置在上位机上，工务房主管人员按照维护保养任务、紧急抢修任务等向工务房和作业人员下派任务，派工单中还包括领料单，其中详细记载了本次任务需要的相关工具、器具、设备、备品备件等。管理员使用的专用电脑即可接收到所述派工单，方便了工器具的出库等作业。

9、一种基于ai视觉的工具出入库管理方法，采用ai双视角视觉识别为主、ocr激光蚀刻ascii字符或激光蚀刻二维码或热转印哑银二维码为辅，库房管理员与人机协同确认的方式，实现工器具类无扰出入库、双视角覆盖、有人值守确认、人机协同的管理目的，并达到了工具物流与信息流的状态同步，包括，

10、初始化：初始化虚拟进出分界区；所述虚拟进出分界区为对应于工务房出入口实际位置的坐标位置；

11、图像采集：采用ai摄像设备采集出入工务房的工具或器具的图像；

12、判定出入库：依据工具车连续采集的图像经过所述虚拟进出分界区距离工务房出入口越来越近还是越来越远，判定工具是出库还是入库；

13、识别工具：通过数据处理模块对感知模块采集的工具出入库的图像，识别工具的种类、数量等；

14、管理员确认：在正常维护保养领用任务中，管理员在专用电脑上确认领用的工具后，工具出库或者入库；在紧急抢修任务中，跳过管理员确认直接领用工具和/或器具、备品备件等，24小时内作业人员补充提交领用单，管理员进行补充确认，超时则提出考核；

15、更新台账：更新工务房管理平台中工具台账，实现工具的动态管理，并将派工单中的物料领用单与工具台账对比，确定工具最新状态的准确。

16、进一步地，判定出入库的具体过程为，

17、对运动目标进行跟踪，依据设定的帧距采集工具车上工具的图像；

18、连续采集工具车跨越所述虚拟进出分界区的图像至少三次；

19、判定连续帧动作的稳定有效，若连续帧的图像均能采集到相同的工具或器具，则判定连续帧动作稳定，若图像记载的内容不一致，则判定为失效，返回上一步继续采集图像；若判定为稳定，则工具车安全通过，判定为有效出库或者有效入库；

20、出入库判定，若后一帧的图像距离工务房出入口的距离大于前一帧的，则判定为工具入库；若后一帧的图像距离工务房出入口的距离小于前一帧的，否则判定为工具出库。

21、进一步地，所述基于ai视觉的工具出入库管理方法，还包括物资变化核对，所述物资变化核对通过设置在工务房四角红外线摄像设备实现，所述物资变化核对的方法为，

22、按照预设的第一时间周期，采集目标区域的第一图像和第二图像；所述第一图像为工务房当下任一区域的实时图像，所述第二图像是工务房任一区域存放有设定的工具、器具等的标准图像；在本实施方式中，第一时间周期为每间隔两小时，自动采集一次工务房内各个区域的第一图像；

23、对所述第一图像与所述第二图像进行差异检测，得到差异度值；

24、当所述差异度值超过预设的变化阈值时，判定所述目标区域的工具状态发生异常变动；

25、则，生成与所述目标区域对应的异常变动告警信息，并通过数据处理模块中的专用电脑呈现所述告警信息。具体地，所述告警信息用以向管理员展示某区域缺失的工具的种类、数量等。

26、更进一步地，为了实现工务房数据的可追溯，将所述第一图像与所述第二图像作为对比图像记录保存于数据处理模块中。

27、更进一步地，还可以将所述告警信息与工具台账进行对比，确认告警信息中缺失的工具在工具台账中确实处于出库状态，从而实现了对工具出库状态的进一步地核实，作为ai摄像设备监测工具出入库的有效补充。

28、通过本发明，实现了ai摄像设备对工具、器具出入库的粗管，大中型件按照种类、数量重点精细化管理，小型件按照工具箱形式的粗粒度管理，实现了日常工器具使用的批量通行。

29、进一步地，为了防止借a还b的事件发生，所述基于ai视觉的工具出入库管理方法还包括归还确认，所述归还确认的方法为，

30、数据处理模块分析到入库关键工具或器具时，向管理员发出二次确认提醒，管理员采用ocr终端扫描关键工具或器具的标识码，若入库关键工具或器具与出库的一致，则确认关键工具或器具入库，否则标记为借a还b，发出不符提醒，管理员停止入库。

31、更进一步地，所述标识码为蚀刻或者黏贴在工具或器具上的激光蚀刻二维码、激光蚀刻ascii字符、热转印哑银二维码等，所述标识码可以有效防止高低温、油污等，提升了标识码的使用寿命。

32、进一步地，为了提升工务房中工器具的管理效率，针对螺丝刀、扳手、钳工锤、钢卷尺等数量庞大、单价较低的小型手动工具，出入库的管理方法为，

33、将小型工具置于工具托盘或工具框或工具箱等小型工具容器中，每个所述小型工具容器放置于固定位置，并设有标识码；

34、感知模块通过对工务房内的小型工具容器的统计实现对小型工具的统计；

35、出库时，以整个所述小型工具容器的方式出库，ai摄像设备对所述小型工具容器进行拍摄记录，实现小型工具的出库自动识别；

36、入库时，ai摄像设备识别同一小型工具容器入库后，管理员对所述小型工具容器中的工具种类和数量进行人工确认，从而实现了小型工具的出入库管理。

37、更进一步地，置于所述小型工具容器中的工具若因体积小或者遮挡严重，导致感知模块无法识别其中的工具的数量和种类，导致无法与领料单比对时，发出低置信度警示，提示管理员对本次出库的小型工具容器重点核对。

38、本发明技术方案的有益效果：运用ai视觉识别、目标跟踪及人机协同技术，实现工机具出入库的类无扰自动识别、方向判定、账实一致性管控与全流程追溯，适用于有人值守、粉尘油污撞击工况使用、抢修优先的工机具管理场景。