一种数据处理方法及系统与流程
本发明涉及数据处理和任务调度,具体为一种数据处理方法及系统。
背景技术:
1、随着互联网技术不断发展,很多个行业都积累了海量的业务数据需要处理。因为实时性要求,流批一体的概念被引入到了大数据处理领域。流批一体指的是将实时数据流处理和批量处理整合在一个统一框架中进行。比如apache flink就是一款常见的支持流批一体化的开源分布式处理框架。
2、在流批一体化设计思路中,数据处理任务不会先把全部数据读完再发送,而是生产端一边读取输入数据,一边按页、按条数或按大小形成批次并交给后续处理端。例如,在将数据库中的原始业务数据通过清洗操作转变为可分析报表数据的业务场景中,生产端从数据库分页读取数据、从消息流持续接收数据,或者从文件流中持续读出记录发送给处理端,在处理端按照预定义的各种逻辑对数据进行处理后得到可用的干净报表数据。通常在生产端开始读取数据时,系统无法获知本次处理任务的对象数据最终会形成多少个批次。
3、现有技术中,通常在生产端一旦形成批次时就立刻发送数据,而处理端则接收到数据后进行逻辑处理。生产端可以与数据源进行通信判断本次任务数据是否已经全部发送,而处理端不会与数据源直接通信,则一般通过一些间接方法判断本次任务数据是否已经发送结束,例如:当处理端在某个时间点取不到新批次数据时,会启动任务结束判断分支,读取预设的任务结束判定条件:数据队列为空并保持了xx时间,则判定数据流结束;一旦处理端判断当前情况满足了预设条件就会判断任务已经结束。然而在实际应用中发现,这种发送和接受方式可能会出现错误判断,比如当生产端中最后一个批次还在生成、还未发送时可能因为某些原因导致最后一个批次延迟发送,而处理端若仅按“队列暂时为空”判断结束,就会遗漏最后一个批次的数据,导致数据发送出错。在一些场景下还会因为重复回调或重试导致数据重复发送,导致数据发送出错的问题发生。
技术实现思路
1、为了解决现有技术中在流式批次生成过程中,因为总批次数量事先未知而导致在末批次可能尚未发送时后续处理端提前结束导致数据发送失败的问题,本发明提供一种数据处理方法,其可以在流式批次生成过程中降低数据发送失败的问题发生的概率。同时本身还公开了一种数据处理系统。
2、本发明的技术方案是这样的:一种数据处理方法,其特征在于,其包括以下步骤:
3、s1:针对处理端设置数据标记位;
4、所述数据标记位用于记录处理端的理论消费量,初始为空;
5、建立全局文件计数器,所述全局文件计数器包括:理论消费总量和实际消费总量;
6、针对处理端消费数据量初始化理论消费总量sendfilecount=0;所述理论消费总量基于生产端的所述发送批次总量计算获得;
7、为处理端初始化实际消费总量processfilecount=0;所述实际消费总量基于处理端的实际处理总量计算获得;
8、s2:生产端持续读取输入数据,并生成第i个批次数据;i≥1;
9、s3:生产端每生成一个批次后,执行以下操作;
10、统计当前已经生成的批次总量,计算得到理论消费总量赋值给sendfilecount;
11、s4: 判断i是否大于1;
12、如果是,则执行步骤s5;
13、如果不是,将刚生成的第i个批次数据放置在暂存区后,执行步骤s6;
14、s5:将第i-1批次数据发送给处理端;
15、将刚生成的第i个批次数据放置在暂存区中;
16、s6:判断本处理任务的输入数据是否全部结束;
17、如果输入数据已经结束,则执行步骤s7;
18、如果输入数据尚未结束,循环执行步骤s2~s5;
19、s7:将sendfilecount的值赋值给所述数据标记位后,判断sendfilecount是否为0;
20、如果sendfilecount为0,则不发送任何批次数据,结束本次处理任务;
21、如果sendfilecount不为0,则发送暂存区中的批次数据给处理端;
22、s8:所述处理端确认所述数据标记位是否为空;
23、如果所述数据标记为空,等待接收来自发送端的批次数据;每接收到一个批次数据后,执行以下操作:
24、对接收到的批次数据执行预定的逻辑处理;统计处理端当前已经处理过批次数据,并计算得到实际消费总量赋值给processfilecount;
25、如果所述数据标记不为空,则执行步骤s9;
26、s9:所述处理端读取所述数据标记位中的数值dm;
27、判断所述数据标记位中的数值dm是否为0;
28、如果为0,则直接判断本处理任务结束;
29、如果dm不为0,执行步骤s10;
30、s10:比较数据标记位中的数值dm和processfilecount;
31、如果dm=processfilecount,且当前处理处理端所有的逻辑处理任务都结束,则判断为当前处理任务结束;
32、如果dm 33、如果dm>processfilecount,则发出异常警报; 34、s11:等待接收来自处理端的批次数据,并对等待时间waitt计时; 35、将等待时间waitt与预设的等待时间阈值waitd进行比较; 36、当waitt>waitd时,发出异常警报; 37、如果在waitt≤waitd时,接收到批次数据,则对接收到的批次数据执行预定的逻辑处理;统计处理端当前已经处理过的批次总量并计算得到实际消费总量后赋值给processfilecount,然后执行步骤s10。 38、其进一步特征在于: 39、所述生产端和所述处理端之间设置共享状态存储区域,所述生产端和所述处理端可以同时访问所述共享状态存储区域; 40、所述数据标记位保存在所述共享状态存储区域中; 41、所述理论消费总量和所述实际消费总量的计算方法,包括以下情况: 42、情况1:处理端只包括一个消费分支,生成端每次将一个完整批次数据发送给分支消费;针对处理端的消费分支设置一个数据标记位; 43、理论消费总量sendfilecount=生产端发送批次总量; 44、实际消费总量processfilecount=处理端的处理批次总量; 45、情况2:处理端存在多个消费分支,生产端每次发送一个完整批次数据给处理端消费,为每个消费分支分别建立一个数据标记位; 46、理论消费总量sendfilecount=生产端发送给每个分支的批次总量; 47、实际消费总量processfilecount=处理端每个分支的处理批次总量; 48、情况3:处理端存在多个消费分支,生产端读取一个批次数据后,发送批次数据中的单条数据给处理端消费;每个分支每次消费量为单条数据;为每个消费分支分别建立一个数据标记位; 49、理论消费总量sendfilecount=m1+…+mj+…+mn; n为生产端发送批次总量,mj为第j个批次包括的数据总量; 50、处理端实际消费总量processfilecount=每个分支的处理数据个数之和; 51、所述共享状态存储区中的数据更新时采用原子方式执行; 52、所述共享状态存储区域中还保存:发送状态和处理状态; 53、所述发送状态用来标记数据是否已发送,所述发送状态包括:未发送和已发送,默认状态为未发送;所述生产端每生成批次数据时同步生成数据的所述发送状态,将数据成功发送给所述处理端后,将数据对应的所述发送状态修改为已发送; 54、所述处理端每接收到数据后,则针对接收到的数据生成所述处理状态;所述处理状态包括:未处理、执行中和已处理,默认状态为未处理;所述处理端对该数据按照预设的逻辑进行进入处理后设置为执行中,处理结束后将数据对应的所述处理状态修改为已处理; 55、所述生产端发送数据时,为本次发送数据构建唯一标识;所述共享状态存储区域中的所述发送状态和所述处理状态建立时以所述唯一标识进行区分; 56、所述处理端接收到数据后,先确认数据是否已经消费过,已经消费过的数据不再重复接收; 57、步骤s6中,判断本处理任务的输入数据是否全部结束的方法包括: 58、读取到文件末尾、数据库查询范围已读取完且不存在下一页数据、消息流收到结束消息,或者本次执行范围内的全部输入源均已结束。 59、一种数据处理系统,其特征在于,其包括:生产端、处理端和共享状态存储区域; 60、所述生产端连接数据源采集输入数据;所述生产端和所述处理端之间通信连接;所述生产端和所述处理端分别连接所述共享状态存储区域; 61、所述生产端包括:批次形成模块、暂存模块、发送模块和结束确认模块; 62、所述批次形成模块,用于通信连接所述数据源,并持续读取输入数据并形成理论消费总量; 63、所述暂存模块,用于暂存当前最新形成的批次数据; 64、所述发送模块,用于在形成新批次时发送暂存的前一批次,以及在写入理论消费总量后发送暂存的当前最新批次; 65、所述结束确认模块,用于确认输入数据已经结束,并在输入数据结束后统计实际形成的理论消费总量并写入所述共享状态存储区域; 66、所述处理端包括:接收模块、逻辑处理模块和完成判断模块; 67、所述接收模块用于接收来自所述生产端的批次数据,同时统计处理端当前已经处理过的实际消费总量; 68、所述逻辑处理模块用于针对每个批次数据按照预设的逻辑进行处理; 69、所述完成判断模块,用于判断理论消费总量是否已确定,判断已发送批次数量和已处理实际消费总量是否达到理论消费总量;根据判断结果确认任务是否完成。 70、本技术提供的一种数据处理方法及系统,为每次处理任务设置了一个数据标记位,基于数据标记位是否为空表示当前处理任务的理论消费总量是否已经生成;每次处理任务执行开始后,数据标记位为空表示理论消费总量状态为未确定状态;其在生产端流式读取数据并持续形成批次时,随时统计已经生成的批次量并计算理论消费总量,在每个处理任务的理论消费总量未确定期间,当前最新生成的数据只进入暂存区,不立即发送;后续产生新批次数据时,才发送此前暂存的前一批次数据,并将新批次替换为暂存批次;当输入数据流达到结束条件后,生产端统计实际形成的理论消费总量,将理论消费总量写入处理端可读取的状态位置,再发送暂存的最后一个批次数据。处理端只有在理论消费总量已经确定、已发送数量达到批次总量且已处理的实际消费总量达到理论消费总量时才结束。在理论消费总量未确定时,即使发送通道中暂时没有待处理批次数据,也不将本次处理标记为结束,确保不会发生末批次数据发送遗漏的问题。同时,本方法为每次发送的数据设置发送状态和处理状态,基于两个状态标记的内容防止数据重复发送或者重复处理的问题发生。本方法逻辑简单实现方便,可以基于较低成本解决问题,具备极强的实用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com