一种支持离线采集的河渠巡查自动归档系统及方法与流程

本发明属于水利工程信息化管理，特别是涉及一种支持离线采集的河渠巡查自动归档系统及方法。

背景技术：

1、随着河长制与湖长制的全面推行，河渠日常巡查已成为水利工程管理与水环境保护的核心常态化工作。巡查人员需定期对管辖河段开展现场排查，记录堤岸破损、水体污染、违规排污、漂浮垃圾、水位异常等多类问题，并留存现场照片作为佐证资料，最终形成规范化档案留存备查。巡查工作覆盖的河渠范围广、频次高，且大量河渠位于野外偏远区域，移动通信信号覆盖不足甚至完全无信号。在此类无网络环境下，如何实现巡查数据的可靠采集与持久保存，如何将采集到的巡查资料自动转化为符合水利档案管理规范的标准化台账，以及如何让不同河段、不同季节的巡查表单灵活适配而不依赖系统代码修改，是当前河渠巡查信息化建设中亟待解决的一组相互关联的技术问题。

2、当前河道巡查领域正逐步从传统纸质记录向数字化转型，现有技术手段主要包括专用原生应用程序、微信小程序以及普通网页填报系统三类。专用原生应用程序通常针对特定操作系统开发，需要用户下载安装包并定期更新，在巡查设备多样化的基层环境中推广成本较高。微信小程序和普通网页填报系统虽然免安装，但其运行强依赖网络连接，在无信号区域无法正常使用。部分工具提供了基础的本地缓存能力，但其缓存机制多依赖浏览器的默认存储配额，数据持久性差，在页面关闭或设备重启后存在数据丢失风险。巡查资料的归档方面，现有系统通常仅将巡查数据以数据库记录形式存储，未提供从数据接收到档案成卷的全流程自动处理能力，内勤人员需要手动登录系统逐条导出巡查记录，再将现场照片按河段和时间手动分类存放，并按照水利档案规范制作台账文档，整个过程高度依赖人工操作。

3、上述现有技术方案存在以下缺陷。其一，纯在线架构的网页和小程序在无网络环境下无法填报数据与拍摄留存，部分工具的基础缓存能力因容量受限和数据持久性不足，难以支撑完整的离线巡查工作流，严重影响偏远河段的巡查工作正常开展。其二，巡查资料的归档整理完全依赖人工操作，从数据导出、照片分类、文件命名到台账制作各环节均需内勤人员手工完成，操作繁琐、人力成本高，且容易出现分类错误、资料遗漏和命名不规范等问题，无法满足水利档案标准化规范化的管理要求。其三，巡查表单的字段结构在系统开发阶段固化，不同河段的巡查重点和不同季节的排查事项存在差异，每次调整表单字段都需要修改系统源代码并重新部署，适配灵活性差、运维成本高，无法快速响应巡查业务的动态变化需求。其四，巡查现场照片缺乏有效的防伪校验机制，照片文件在存储和传输过程中容易被替换或篡改，巡查记录的存证效力不足，同时多数现有系统的操作追溯能力较弱，无法完整记录数据从上传到修改再到导出的全流程操作轨迹，难以满足水利工作的合规性管理要求；因此，需要设计一种支持离线采集的河渠巡查自动归档系统及方法来解决上述问题。

技术实现思路

1、本发明所要解决的技术问题是提供一种支持离线采集的河渠巡查自动归档系统及方法，旨在克服现有河渠巡查工具在无网络区域无法正常采集数据、归档依赖人工整理易出错、表单字段固化需修改代码以及照片缺乏防伪校验的缺陷，具有基于pwa离线采集与自动归档引擎实现巡查数据全流程自动化处理、以哈希链保障档案完整性、通过可视化配置与版本向量机制提升业务适配性与数据一致性的特点。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、一种支持离线采集的河渠巡查自动归档系统，包括移动端pwa采集终端、后端管理服务单元、自动归档引擎单元、可视化表单配置单元和本地数据存储单元，其中：

4、移动端pwa采集终端采用渐进式网页技术构建，通过浏览器访问并添加至桌面全屏运行，内置登录认证单元、动态表单渲染单元、现场拍照处理单元、gps定位单元、离线存储单元和自动同步单元；

5、离线存储单元基于indexeddb与serviceworker实现，在无网络环境下缓存表单字段配置、河渠台账列表、已填报的巡查数据和拍摄的现场图片，关闭页面或重启设备后数据持久保留；

6、自动同步单元实时监测设备网络状态，在检测到网络连接恢复后，将本地待同步的巡查记录与图片静默批量上传至后端管理服务单元，上传成功后自动清理本地缓存数据；

7、后端管理服务单元部署于内部服务器，包含用户权限管理单元、数据校验单元、河渠台账管理单元和操作日志单元，为移动端pwa采集终端与pc管理后台提供服务支撑；

8、自动归档引擎单元接收巡查数据与图片后，按照预设层级规则自动创建多级存储目录，将现场图片按预设命名规则重命名，并根据表单字段配置自动生成包含巡查文字信息与图片缩略图的pdf巡查台账，存入对应任务目录；

9、可视化表单配置单元集成于pc端管理后台，提供表单字段的增删改与排序操作界面，配置保存后实时同步至数据库，移动端pwa采集终端拉取配置时自动更新表单结构；

10、本地数据存储单元采用sqlite轻量文件数据库存储业务数据，档案文件存储于服务端本地文件系统。

11、进一步地，离线存储单元在indexeddb中创建名为"inspectiondb"的数据库，包含三个对象存储："formconfig"用于存储表单字段配置，键路径为"configversion"；"riverledger"用于存储河渠台账列表，键路径为"riverid"，并建立"district"索引；"pendingrecords"用于存储待同步的巡查记录与图片，键路径为"recordid"，并建立"syncstatus"和"createdtime"两个索引；serviceworker采用缓存优先策略：拦截移动端对表单配置和河渠台账的fetch请求，优先从indexeddb返回缓存数据，同时后台更新缓存。

12、进一步地，自动归档引擎单元生成pdf巡查台账的排版规则为：页面采用a4纵向布局，页眉居中显示河渠名称和巡查日期，正文区域按照表单字段在配置中的显示排序依次排列，每个字段以显示名称和字段值配对格式独占一行，文本和多行文本字段值左对齐显示，数字和日期字段值右对齐显示，下拉选择字段值显示对应选项的中文标签；现场图片缩略图以每行3张等宽排列于文字内容之后，每张缩略图下方居中显示对应的图片重命名后的文件名。

13、优选地，现场拍照处理单元调用设备摄像头拍摄或从相册选取图片后，在前端将单张图片压缩至设定大小800kb以内，并自动为图片叠加半透明防伪水印，水印内容包含河段名称、拍摄时间、gps坐标和巡查人姓名，水印固定位于图片左下角。

14、进一步地，gps定位单元自动获取当前巡查点位的坐标信息并将坐标绑定至本次巡查记录，同时支持巡查人员手动修正坐标偏差。

15、优选地，用户权限管理单元划分巡查员、管理员和领导三级角色权限，巡查员仅可操作和查看本人提交的巡查数据，管理员拥有全量系统管理与配置权限，领导仅可查看巡查记录与统计数据而无修改和配置权限；用户密码采用bcrypt哈希加密存储。

16、进一步地，bcrypt哈希加密的成本因子取值为12，即进行轮迭代；盐值由系统调用安全随机数生成器为每个用户独立生成16字节随机盐值，盐值与哈希结果以标准格式拼接存储。

17、进一步地，操作日志单元全量记录所有用户的登录、数据提交、配置修改、档案导出和信息删除操作，每条日志包含操作时间、操作人ip和操作内容，日志永久留存且不可删除。

18、进一步地，自动归档引擎单元的归档目录层级规则为：自动按照年份、月份、河渠名称以及由巡查任务id、巡查人和巡查日期组成的任务标识，创建多级存储目录；现场图片自动重命名为由日期、隐患类型和序号组成的规范文件名；仅配置为pdf显示的字段纳入台账内容。

19、进一步地，自动归档引擎单元还包括批量导出单元，支持按时间段、河渠名称和巡查人员筛选巡查档案，将符合条件的所有归档目录打包生成zip压缩包供下载，同时支持单条巡查记录单独导出pdf或打包下载。

20、进一步地，可视化表单配置单元支持的字段类型包括文本、多行文本、下拉选择、数字和日期五种类型，每个字段可配置字段标识、显示名称、字段类型、是否必填和是否在pdf台账中显示属性，下拉类型字段支持自定义选项值列表；内置重置默认字段功能，可一键恢复系统初始表单配置。

21、优选地，自动同步单元在上传每条巡查记录之前，采用版本向量机制检测数据冲突，检测到并发冲突时采用最后写入者获胜策略执行合并；每条巡查记录维护一个版本向量，记录中每个设备标识对应一个单调递增的逻辑时钟值，同步时比较本地与服务端的版本向量，本地版本向量因果先于服务端版本向量时执行上传覆盖，服务端版本向量因果先于本地版本向量时执行下载更新，两者并发时触发冲突合并。

22、优选地，版本向量因果序比较的具体规则为：设本地版本向量为：

23、；

24、服务端版本向量为：

25、；

26、其中表示设备标识，和分别表示本地和服务端在设备上的逻辑时钟值；因果先于判据为：对所有满足且存在至少一个满足，则因果先于；并发判据为：既非因果先于也非因果先于；并发冲突时，若冲突字段为不同字段则自动合并保留双方修改，若为同一字段则以服务端记录的最后写入时间戳为准保留较新的值。

27、优选地，现场拍照处理单元在拍摄图片后、执行压缩之前，还执行图片质量预筛选：首先采用拉普拉斯方差算法计算图片清晰度评分，计算公式为：

28、；

29、其中，表示像素点处的拉普拉斯算子响应值，表示全图拉普拉斯响应均值，和分别表示图片的像素高度和宽度；清晰度评分低于预设阈值时，判定图片模糊并提示用户重新拍摄且拒绝存储；其次对通过清晰度筛选的图片，采用dct感知哈希算法生成64位二进制指纹，与本地已存储图片的哈希集合进行汉明距离比较，距离小于预设阈值时判定为重复图片并自动丢弃，大于或等于时存入离线存储单元并将哈希指纹加入本地集合。

30、进一步地，清晰度评分阈值的取值范围为[50,200]，默认值为100；汉明距离阈值的取值范围为[5,15]，默认值为10，即64位哈希指纹中不同位数不超过10时判定为重复图片。

31、优选地，自动同步单元将每张待同步图片按固定尺寸字节划分为若干数据块，每个数据块分配序号和上传状态标记；上传时按序号递增顺序依次传输各数据块，服务端每接收一个完整数据块即返回确认响应，移动端收到确认后将对应标记为已完成；上传过程中网络中断时，已标记为已完成的数据块不再重传，网络恢复后从首个为待上传的数据块继续传输。

32、进一步地，自动同步单元还为每条巡查记录维护同步状态机，包含待同步、同步中、已上传、已验证和已清理五种状态；状态转换规则为：记录进入同步队列时置为待同步，首个数据块开始上传时置为同步中，全部数据块上传完成且服务端返回校验通过后置为已上传，服务端完成归档处理并返回归档确认后置为已验证，本地缓存数据被清理后置为已清理。

33、优选地，自动归档引擎单元在完成每次归档操作后，对归档目录中的每个文件计算sha-256哈希值；将所有文件哈希值组织为merkle树结构；设归档目录包含个文件，每个文件的哈希值作为merkle树的第0层叶子节点：

34、；

35、相邻两个哈希值串联后再次哈希生成上一层节点：

36、；

37、逐层向上直至生成唯一的树根哈希值；写入操作日志单元中永久留存；同一条河渠的第次归档记录中将第次归档的树根哈希值作为前驱哈希字段，形成跨时间的哈希链。

38、优选地，一种支持离线采集的河渠巡查自动归档方法，包括以下步骤：

39、系统初始化配置：管理员通过pc后台录入河渠台账信息，创建用户账号并分配角色权限，根据巡查业务需求配置表单字段，所有配置信息存入本地数据存储单元；

40、移动端登录与资源缓存：巡查人员通过移动设备浏览器打开系统页面并添加至桌面，通过工号与密码完成身份认证，认证通过后系统自动拉取最新的表单字段配置和巡查人员负责的河渠列表，缓存至移动端本地；

41、现场巡查数据采集：巡查人员到达巡查点位后，gps定位单元自动获取当前坐标；巡查人员在动态生成的表单中填写巡查信息，调用摄像头拍摄现场照片，图片依次执行清晰度筛选、感知哈希去重、压缩和水印叠加处理；若网络正常，提交后数据实时上传至后端管理服务单元；若无网络，数据暂存至离线存储单元；

42、离线数据自动同步：移动端持续监测网络状态，检测到网络恢复后，对每条待同步巡查记录执行版本向量冲突检测，无冲突或冲突已合并的记录，将其关联图片按数据块分片执行断点续传式上传，上传成功后自动清理本地缓存数据；

43、后端自动归档处理：后端接收巡查数据后，自动归档引擎按预设层级规则创建多级存储目录，将现场图片按预设命名规则重命名后存入对应目录，根据表单字段配置生成包含巡查文字信息与图片缩略图的pdf巡查台账并存入对应目录，对归档目录中的所有文件计算哈希值并构建merkle树，树根哈希值写入操作日志永久留存；

44、档案查询与导出：管理员或领导通过pc端后台按时间段、河渠名称和巡查人员条件筛选巡查记录，查看记录详情与现场图片，选择单条记录导出pdf或批量选择记录生成zip档案包下载。

45、步骤中现场巡查数据采集中，图片清晰度筛选采用拉普拉斯方差算法：计算图片的拉普拉斯响应方差，当低于预设阈值时判定为模糊图片，拒绝存储并提示重拍；感知哈希去重采用dct感知哈希算法生成64位二进制指纹，与本地已存储图片哈希集合计算汉明距离，距离小于预设阈值时判定为重复图片并自动丢弃。

46、优选地，离线数据自动同步中，版本向量冲突检测机制为：每条巡查记录维护一个版本向量，每个设备对应一个逻辑时钟值，同步时比较本地与服务器的版本向量，若本地版本向量因果先于服务器版本向量则执行覆盖上传，若服务器版本向量因果先于本地版本向量则执行下载更新，若两者并发则触发冲突合并。

47、优选地，后端自动归档处理中，归档完成后的哈希链构建方式为：对归档目录中每个文件计算sha-256哈希值作为merkle树叶子节点，相邻叶子节点哈希值串联后再次哈希逐层向上生成树根哈希值；同一条河渠的第次归档记录中将第次归档的树根哈希值存入第次记录的前驱哈希字段，形成跨时间的哈希链。

48、优选地，一种计算机设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行所述的支持离线采集的河渠巡查自动归档方法。

49、优选地，一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行所述的支持离线采集的河渠巡查自动归档方法。

50、本发明的有益效果如下：

51、1，本发明通过构建基于渐进式网页技术的移动端采集终端，结合indexeddb与service worker实现无网络环境下的巡查数据与现场图片的结构化离线缓存，并在拍摄端引入拉普拉斯方差清晰度筛选与dct感知哈希去重机制对图片进行质量预筛选，同时采用分块断点续传方式实现网络恢复后的增量数据同步，实现了野外无信号区域巡查数据的完整采集与可靠回传。该方案使得巡查人员在完全无网络的河渠现场可正常填报巡查记录、拍摄并留存有效现场照片，关闭页面或重启设备后数据不丢失，网络恢复后自动从断点继续传输，无需人工干预。解决了现有技术中纯在线工具在无信号区域无法使用、基础缓存数据易丢失以及大图片上传反复失败的缺陷，完美适配偏远河渠无信号的巡查场景，同时免安装的使用方式大幅降低了基层巡查人员的学习与使用门槛。

52、2，本发明通过设置全自动归档引擎，接收巡查数据后按照预设的年份、月份、河渠名称和任务标识的层级自动创建多级存储目录，将现场图片按日期、隐患类型和序号的规则自动重命名，并根据表单字段配置自动生成包含巡查文字信息与图片缩略图的标准pdf巡查台账，同时在归档完成后对目录中全部文件构建merkle树哈希链并将树根哈希值永久留存于操作日志中。该方案实现了从巡查数据提交到标准档案成卷的全流程自动化处理，无需内勤人员手动分类整理，彻底避免了人工归档中常见的分类错误、资料遗漏和命名不规范等问题。哈希链机制为归档档案提供了文件级的完整性自证能力，任何对已归档文件的替换或修改均会导致哈希链断裂而被检出。解决了现有技术中巡查资料归档依赖人工操作、效率低且易出错的缺陷，满足了水利档案标准化管理要求，同时提升了归档档案的防篡改能力。

53、3，本发明通过配置可视化表单配置单元，使管理员可通过pc端后台以可视化方式完成巡查表单字段的增删改与拖拽排序操作，每个字段可独立配置标识、显示名称、类型、必填属性及pdf显示属性，配置保存后实时生效，移动端自动同步最新表单结构而无需更新客户端。同时引入版本向量冲突检测机制，在多设备协同巡查场景下自动检测并合并离线数据的并发修改冲突，避免数据覆盖丢失。此外，现场照片在拍摄时自动叠加包含河段名称、拍摄时间、gps坐标和巡查人姓名的半透明防伪水印，配合全操作流程日志的永久不可删除机制和三级角色权限体系，形成了从数据采集、传输、存储到归档的全链路防伪与追溯体系。解决了现有技术中表单字段固化需修改代码、离线多设备协同存在数据冲突隐患、照片缺乏防伪校验以及操作追溯能力弱的缺陷，大幅提升了系统的业务适配灵活性和巡查数据的存证效力，满足了水利工作的合规管理要求。