异构命名卫星信号数据文件的动态采集与自动分发方法与流程
本发明属于卫星信号数据处理,具体涉及一种异构命名卫星信号数据文件的动态采集与自动分发方法。
背景技术:
1、在卫星信号检测、解析与定位处理业务中,需要大量接收来自不同用户的iq数据文件。该类数据文件的文件名中通常携带数据的基本信息,例如中心频率、采样率、数据起始时刻、卫星标识等。然而,由于各用户采用的命名习惯、字段顺序、单位表达(如hz/khz/mhz)以及时间格式(如“yyyy-mm-dd-hh-mm-ss”、“yyyy_mm_dd_hh_mm_ss”等)各不相同,导致文件名格式千差万别。
2、为满足后续各处理产线(通常按 v 频段、u 频段、l 频段等不同频段划分多条产线)对输入文件命名与目录结构的统一要求,现有技术通常需要针对每一种用户文件格式,专门开发独立的文件解析与重命名工具,每接入一种新格式就要重复开发、测试与维护,工作量巨大且难以持续。
3、部分现有技术尝试采用通用文件同步工具(如 rsync、ftp 定时拉取)或简单文件监视脚本实现自动化搬运,但该类方案仅为“字节级搬运工具”:无法从文件名中解析出频率、采样率、时间等业务元数据,无法按元数据内容路由;不具备量纲归一化与缺失字段推断能力;过滤规则仅支持通配符与简单条件,无法表达“字段—操作符—值”的组合逻辑条件树;且无文件写入完成检测、无分发失败重试、无分发状态跟踪。
4、同时,现有处理流程中,文件需要由人工拷贝到各处理产线的指定目录,再由产线按约定格式查找文件进行处理。该方式主要存在以下缺陷:
5、1)定制开发重命名工具:针对每一种用户文件格式,专门开发独立的文件解析与重命名工具。每接入一种新格式就要重复进行“分析命名规则→编写解析代码→测试→部署”的编码开发流程,周期长达1-3天,且工具与格式强耦合,历史格式稍变即需重新开发,工作量巨大且难以持续。
6、2)通用文件同步/监视工具(如rsync、ftp定时拉取):仅为“字节级搬运工具”,无法从文件名中解析出频率、采样率、时间等业务元数据,无法按元数据内容路由;不具备量纲归一化与缺失字段推断能力;过滤规则仅支持通配符与简单条件,无法表达“字段—操作符—值”的组合逻辑条件树;且无文件写入完成检测、无分发失败重试、无分发状态跟踪。
7、3)人工拷贝分发:依赖人工发现、判断与搬运,易出现遗漏、错误,处理时效无法保障;分发条件固化在人员经验中,无分发过程记录与追溯。
8、同时,现有处理流程还存在以下缺陷:
9、(1) 缺乏对文件元数据(频率、采样率、时间范围、卫星等)的统一建模与集中管理,难以实现多维检索、统计与追溯;
10、(2) 文件分发规则与采集规则写死在各个工具中,无法在不重启、不改造的前提下快速适配新用户、新频段、新产线;
11、(3) 面对海量目录与海量文件,持续对全部目录进行监听会带来严重的资源开销,而仅靠事件监听又可能因事件丢失造成漏采。
12、因此,亟需一种能够动态配置采集与分发规则、实现全流程自动化且资源开销可控的技术方案。
技术实现思路
1、本发明旨在解决现有技术中存在的“异构文件名解析工具重复开发、人工分发易遗漏、规则固化难以扩展、海量目录监听资源开销大”等问题,提供一种异构命名卫星信号数据文件的动态采集与自动分发方法及系统,通过动态配置采集规则与分发规则,实现卫星信号数据文件“采集→统一重命名→元数据登记→按条件匹配→自动分发至处理产线”的全流程自动化,无需针对每种文件格式单独开发工具,并可在运行期实时扩展采集与分发规则。
2、本发明采用的技术方案为:
3、异构命名卫星信号数据文件的动态采集与自动分发方法,包括以下步骤:
4、预先定义带有领域语义的语义组名字典,所述语义组名字典中的命名捕获组携带字段单位语义和/或时间格式语义,用于标识卫星信号数据文件的元数据字段;
5、为采集规则配置源文件命名正则模板和输出文件命名模板,所述源文件命名正则模板和输出文件命名模板均基于同一所述语义组名字典构建;
6、实时监视按采集规则配置的源数据目录,捕获新增文件事件;
7、对捕获到的新增文件执行写入完成检测,仅当判定文件已完整写入后才进入后续处理;
8、将通过写入完成检测的文件名与所述源文件命名正则模板进行匹配,通过所述命名捕获组提取文件名中的元数据原始值,得到结构化的文件元数据;
9、对提取的元数据执行量纲归一化处理,包括:根据命名捕获组携带的单位语义将频率类字段换算为统一基准频率,根据时间格式语义将时间类字段换算为统一时间基准,并将归一化后的元数据持久化;
10、基于同一语义组名字典,根据所述采集规则中配置的输出文件命名模板,将归一化后的元数据反向渲染生成目标文件路径,并执行文件重命名与移动,从而实现解析模板与生成模板的双向复用;
11、将归一化后的文件元数据代入分发规则配置的递归条件树进行评估匹配,所述递归条件树由原子条件节点与逻辑组合节点构成,所述原子条件节点包括字段名、字段类型、比较操作符和比较值集合,且所述比较值集合基于归一化后的统一基准进行比较;
12、对匹配成功的文件执行异步分发至对应的处理产线,并记录分发结果。
13、进一步的, 所述命名捕获组覆盖以下元数据维度中的一个或多个:任务编号、上行频率、下行频率、采样率、数据开始时间、数据结束时间、卫星标识、卫星名称或别名、数据类型、文件扩展名、文件前缀、当前时间;其中,频率类命名捕获组区分hz、khz、mhz单位档位,时间类命名捕获组区分多种日期时间格式及毫秒、微秒、纳秒精度分量。
14、进一步的, 所述量纲归一化处理还包括缺失字段推断步骤:
15、当提取的元数据中下行频率缺失时,将上行频率的值作为下行频率;
16、当数据类型为iq且结束时刻缺失时,依据文件大小、样点字节长度和采样率推算数据持续时长,进而计算结束时刻;
17、当卫星标识为别名时,通过预置的映射表将其转换为标准卫星id,并据此判定轨道类型。
18、进一步的,所述写入完成检测包括:间隔采样比对文件大小,当连续多次采样结果一致时,判定文件已完整写入。
19、进一步的,所述实时监视步骤具体包括:
20、为每个采集规则建立源目录树,目录树中的每个节点记录自身最近活动时间和子孙最近活动时间,并维护监听状态;
21、仅对处于监听状态的活跃目录进行实时监听;当目录及其子孙在预设的超时阈值内无任何文件或子目录活动时,将该目录切换为超时状态并释放监听资源;
22、当超时目录再次出现新文件或新子目录活动时,沿目录树向上刷新活动时间并恢复监听状态;
23、同时,采用全量扫描与定期核对相结合的方式,将数据库记录与实际文件系统进行比对,对遗漏的文件进行补齐登记。
24、进一步的,所述递归条件树的逻辑组合节点支持与、或、非逻辑运算,并可任意嵌套形成多层条件表达式;
25、所述原子条件节点支持的操作符包括:等于、不等于、大于、小于、大于等于、小于等于、区间、包含于集合、不包含于集合、字符串模糊包含、为空、不为空;
26、所述字段类型包括整数、长整数、浮点数、字符串、布尔、日期时间中的一种或多种。
27、进一步的,所述分发规则以json格式存储,并在规则缓存中预解析为对象树;规则的状态变更经由缓存同步后即时生效,无需重启系统。
28、进一步的,所述异步分发步骤具体包括:
29、将待分发的文件标识提交至有界阻塞队列,由独立的分发线程消费;
30、遍历当前启用的分发规则,逐条调用条件树评估器进行匹配;
31、对未匹配到任何规则的文件标记为已处理,以避免重复评估;
32、另设定时重试任务,周期性扫描分发状态为未完成或失败的文件记录,批量重新提交分发,实现兜底保障;
33、所述分发全过程记录分发单、分发状态与分发次数,支持事后追溯与人工补发。
34、用于实现本发明异构命名卫星信号数据文件的动态采集与自动分发方法的系统,包括:
35、采集规则管理模块,用于配置采集规则,所述采集规则包括基于语义组名字典构建的源文件命名正则模板和输出文件命名模板;所述采集规则支持配置多条源文件命名正则模板,系统依次尝试匹配;所述输出文件命名模板支持多级目录逐级生成目标路径,上一级有值下一级才生效;
36、目录监视模块,用于实时监视源数据目录,捕获新增文件事件,并执行写入完成检测;
37、文件解析模块,用于将通过写入完成检测的文件名与所述源文件命名正则模板匹配,通过命名捕获组提取结构化的文件元数据,并根据组名携带的单位语义和/或时间格式语义执行量纲归一化处理;
38、文件管理模块,用于将归一化后的元数据持久化,并基于同一语义组名字典根据输出文件命名模板反向渲染生成目标文件路径,执行文件重命名与移动;
39、分发规则管理模块,用于配置包含递归条件树的分发规则,所述递归条件树基于归一化后的统一基准进行条件评估;
40、条件评估与分发模块,用于将归一化后的文件元数据代入递归条件树进行评估匹配,对匹配成功的文件执行异步分发至处理产线,并记录分发结果。
41、一种计算机可读存储介质,存储有计算机程序指令,当所述指令被至少一个处理器执行时,使所述处理器执行本发明的方法。
42、本发明的有益效果是:
43、1)免开发、可扩展:接入新用户、新格式、新产线时,只需动态配置采集规则与分发规则即可,无需针对每种文件格式单独开发、测试与维护工具,新格式适配周期由传统编码开发的1-3天压缩至分钟级配置,显著缩短开发周期、降低人力成本;
44、2)全流程自动化:文件从到达源目录到统一重命名、元数据登记、规则匹配、分发至对应产线全自动完成,文件落盘后秒级完成解析、重命名与分发,无需人工拷贝,杜绝遗漏与遗忘,处理时效与准确性大幅提升;
45、3)元数据统一治理:文件频率、采样率、时间范围、卫星等元数据统一建模、集中管理,支持多维度检索、统计与追溯,为后续数据分析提供支撑;
46、4)资源开销可控:基于目录活动时间对监听集合自适应管理,仅监听活跃目录,超时自动释放,可支撑海量目录场景;
47、5)可靠性高:全量扫描、实时监听、定期核对三层保障避免漏采,文件写入完成检测避免处理不完整文件,定时重试兜底保证分发不遗漏,分发全程留痕可追溯。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com