跨赛季足球赛事异构大数据清洗与多维度竞技指标智能量化算法的制作方法

本发明涉及计算机数据处理，尤其涉及跨赛季足球赛事异构大数据清洗与多维度竞技指标智能量化算法。

背景技术：

1、随着足球赛事数字化采集和分析技术的发展，比赛过程中形成的数据类型不断增加。除比赛结果、球员技术统计和人工事件记录外，足球赛事数据还包括球员及足球的连续位置轨迹、比赛视频解析数据、可穿戴设备采集数据、赛事基础信息以及由数据处理程序生成的派生数据。通过计算机处理前述数据，可以获得球员跑动距离、运动速度、传球、射门、防守、控球、空间活动和比赛贡献等多维度竞技指标。

2、在跨赛季足球赛事分析中，不同赛季的原始赛事数据可能由不同数据供应方、不同采集设备或者不同数据处理程序生成。同一数据来源在不同赛季也可能发生采样频率、场地坐标基准、时间精度、事件定义、动作识别条件、数据处理规则或者程序版本变化。

3、因此，即使两个赛季的数据采用相同字段名称或者相同指标名称，相关数据的形成条件、记录粒度和统计口径仍可能存在差异。部分数据差异可以通过单位换算、坐标转换或者字段映射进行处理，部分数据差异则来源于事件识别、动作切分和数据处理规则的变化。

4、例如，不同追踪系统对高速跑动的采样频率和连续时间要求可能不同，不同事件供应方对压迫、对抗、抢断或者球权夺回等事件的记录条件也可能不同。在此情况下，将不同赛季的数据转换为相同文件格式或者相同字段结构，并不能直接表明相关数值具有相同的观测基础。

5、现有足球赛事多源数据处理和竞技表现分析已有相关技术公开，例如：

6、公开号：cn119091346a的专利，公开了一种足球运动员比赛分析方法及装置。该方案获取足球比赛的追踪数据、事件数据和比赛数据，对追踪数据、事件数据和比赛数据进行预处理，并进一步分析球员的能量代谢数据、跑动速度分布数据、不同速度区间跑动距离、持球时间数据、跑动热区数据、传球风格、位置表现评分和集体贡献值。

7、该方案的预处理过程包括统一追踪数据和事件数据中的球员名单、球衣号码和主客队标识字段，过滤错误乱序帧，根据事件时间定位对应的追踪数据片段，并通过比较事件数据与追踪数据中的球员位置识别明显异常记录。该方案能够处理同场比赛中的多类赛事数据并形成多维度比赛分析结果。

8、但是，在跨赛季应用中，不同数据供应方或者不同处理程序生成的事件记录可能在各自赛季内部均不存在明显异常，却在事件定义、动作识别条件或者统计粒度方面存在差异。对数据进行字段统一、时间对齐和异常记录剔除，主要解决数据结构不一致和明显记录错误问题，难以据此确定不同赛季的同类技术量是否具有相同的数据形成条件。不同版本的数据直接进入同一竞技指标计算过程时，数据处理条件变化产生的差异可能与球员竞技表现变化共同反映在指标结果中。

9、公开号：cn118552088a的专利，公开了一种足球比赛综合运动表现评估方法和系统。该方案获取比赛视频和可穿戴传感器原始数据，提取比赛数据并进行预处理，将相关数据转换为标准化的足球球员动作描述语言格式，采用动态时间规整算法进行时间对齐，采用仿射变换统一空间坐标，并通过异常值过滤、缺失数据插值和重采样形成预处理比赛数据。该方案随后提取比赛基础特征和高级特征，并通过传球风险、传球网络、球员运动轨迹和球员表现评分等数据评价球员及球队的运动表现。

10、该方案能够对视频数据、传感器数据和事件数据进行格式、时间、空间和采样频率上的统一处理。但是，不同赛季数据之间的差异还可能来源于生成数据时采用的事件定义、动作持续时间、动作切分条件和处理程序版本。前述差异不一定能够通过统一格式、统一坐标或者统一采样频率消除。例如，将不同追踪系统的数据重采样为相同频率后，不同系统对于高速跑动片段起点、终点和持续时间的确定方式仍可能不同。由此形成的同名技术量虽然采用相同数据格式，但数值所对应的足球行为范围可能并不完全相同。

11、此外，采用插值方式补齐缺失数据时，还需要区分数据未记录与足球行为未发生等不同情况。某一赛季的数据源没有记录特定事件，并不表示球员在对应比赛中没有发生该类事件。如果将未记录数据统一作为零值处理，可能改变竞技指标的统计结果；如果直接删除缺失数据后继续输出原名称指标，也可能使不同赛季同名指标对应的统计范围不一致。

12、在历史比赛数据和球员评价结果的持续分析方面，公开号：cn115630774a的专利，公开了一种足球比赛的数据分析系统及方法。该方案采集球员的赛前训练数据和比赛数据，分别形成预测结果和比赛分析结果，对预测结果与比赛分析结果进行比较评价，存储历史评估结果和近期评估结果，并根据持续产生的数据动态更新球员评分。

13、该方案能够保存不同时间形成的评估结果并根据后续数据更新球员评价，但其更新过程主要面向新增训练数据、比赛数据和评价结果。对于已经进入竞技指标计算过程的历史赛事记录在视频复核、数据补录、球员身份校正、事件类型调整或者处理程序升级后发生变化的情况，原有派生数据和竞技指标如何与修改后的赛事数据保持一致，仍缺少针对性的处理。

14、足球赛事数据并非始终以首次采集结果长期保持不变。在赛事视频复核、供应商数据校正、球员身份修改、事件补录、动作类型调整或者数据处理程序升级后，已经存储的历史赛事记录可能发生修改。由于足球赛事事件具有时间顺序，一条记录发生变化后，受影响内容可能不限于被修改记录本身，还可能涉及后续控球过程、动作序列、时间统计范围以及基于相关数据形成的派生结果。

15、例如，一条原记录为成功传球的赛事数据在复核后被修改为传球失败或者对方抢断，除传球成功次数发生变化外，后续的控球队伍、球权转换、传球序列、推进距离和相关统计结果也可能随之变化。仅修改对应赛事记录而继续使用原有派生数据，可能造成底层赛事数据与竞技指标之间不一致。

16、如果在每次历史赛事记录发生变化后，重新处理整场比赛、整个赛季或者全部历史数据，会重复处理大量与修改内容无关的数据。相反，如果只处理被直接修改的记录或者只更新预先设定的邻近时间范围，又可能遗漏记录变化对后续赛事数据和派生指标的连续影响。不同竞技指标采用的数据类型、计算范围和历史数据关联关系不同，统一采用固定时间窗口或者固定赛事片段进行更新，也可能产生更新范围不足或者重复处理范围过大的问题。

17、综上，现有技术主要存在以下不足：

18、第一，现有足球赛事数据处理技术能够对事件数据、追踪数据、视频数据和传感器数据进行格式转换、时间对齐、空间转换、异常过滤、缺失值处理和统一采样，但不同赛季的数据来源、采集配置、事件定义和处理程序发生变化时，同名字段或者同类足球技术量并不必然具有相同的数据形成条件。一般的数据格式统一和数值归一化难以排除观测条件变化对跨赛季竞技指标产生的影响。

19、第二，现有多维度竞技指标计算通常按照已取得的数据直接形成统计结果。当不同赛季的数据存在记录范围不同、数据缺失或者统计定义不一致时，采用零值填充、删除记录或者直接聚合等处理方式，可能改变指标对应的数据组成、统计范围和计算口径，使不同赛季生成的同名指标缺乏一致的数据基础。

20、第三，足球赛事历史记录发生修订后，修订影响可能沿赛事时间顺序和数据关联关系继续传递。只更新被修改记录，容易保留已经与当前赛事数据不一致的派生结果；重新处理整场比赛或者整个赛季，又会产生大量重复数据处理。采用固定时间窗口或者固定事件边界进行更新，也难以适应不同足球动作和不同竞技指标的数据关联范围。

21、第四，现有足球赛事数据的预处理、竞技指标计算和历史结果更新通常作为相对独立的处理环节。当底层赛事数据或者数据处理版本发生变化时，已经生成的中间数据和竞技指标结果可能继续引用修改前的数据，导致同一分析结果中并存不同版本形成的数据内容。

技术实现思路

1、鉴于现有足球赛事数据处理技术中，不同赛季的数据来源、采集条件、事件定义和处理程序可能存在差异，导致同类赛事数据在统一格式后仍存在统计口径不一致的问题；部分数据缺失或者无法按照统一口径处理时，容易影响竞技指标的计算基础；历史赛事数据发生修订后，还存在局部更新容易遗漏、全量重新处理又造成重复计算的问题。基于上述问题，提出一种跨赛季足球赛事异构大数据清洗与多维度竞技指标智能量化算法。

2、本发明的目的在于，对不同赛季足球赛事数据进行版本关联和规范化处理，对不满足统一计算条件的数据进行区分处理，并在赛事数据发生修订时确定受影响的数据范围，更新对应的竞技指标计算结果。

3、本发明的技术方案为跨赛季足球赛事异构大数据清洗与多维度竞技指标智能量化算法，包括以下由计算机执行的数据处理步骤：

4、s1：获取不同赛季的足球赛事原始记录，记录足球赛事原始记录对应的版本信息，根据版本信息对应的规范映射规则生成规范足球动作。

5、为目标足球竞技指标建立指标定义和指标实例，根据指标定义建立与规范足球动作及必要规范输入关联的候选足球贡献项，并记录候选足球贡献项与指标实例之间的候选依赖。

6、s2：识别不能通过预先确定的映射关系唯一取得必要规范输入的跨版本差异，从同场比赛的跨版本赛事记录中匹配指向同一足球赛事事实的跨版本观测，根据跨版本观测覆盖的足球行为上下文建立转换支持关系。

7、从不以当前待验证转换结果为直接或者间接输入的赛事数据中取得支持判定信息，根据支持判定信息表征的足球行为上下文与转换支持关系覆盖的足球行为上下文之间的匹配结果确定必要规范输入的转换支持状态，在必要规范输入获得转换支持时生成对应的规范输入值。

8、s3：候选足球贡献项对应的必要规范输入均已直接取得，或者经预先确定的映射关系、转换支持关系生成规范输入值时，按照指标定义计算候选足球贡献项的贡献值。

9、目标足球竞技指标定义要求的必要候选足球贡献项均满足规范输入条件时，将对应的必要候选足球贡献项确定为已采纳足球贡献项，按照指标定义聚合已采纳足球贡献项，生成版本化指标结果，并记录已采纳足球贡献项与版本化指标结果之间的采纳依赖。

10、存在必要候选足球贡献项不能满足规范输入条件时，不生成目标足球竞技指标值。

11、s4：接收赛事数据修订批次。跨版本观测发生修订时，重新判断关联必要规范输入的转换支持状态，在关联必要规范输入获得转换支持时重新生成规范输入值。

12、转换支持状态或者规范输入值发生变化，并且相关变化涉及足球状态转移或者尚未完成结算的指标续算状态更新时，将关联的规范足球动作与原始赛事记录修订形成的差异规范足球动作纳入同一赛事数据修订批次。

13、根据赛事数据修订批次分别形成修订前规范足球动作序列和修订后规范足球动作序列，按照赛事事实关联对齐修订前后规范足球动作序列，确定修订差异区间，并确定修订差异区间之后两个规范足球动作序列重新对齐形成的共同未修订后缀。

14、s5：读取修订差异区间起点之前由修订前后规范足球动作序列共享的足球状态，并读取受赛事数据修订批次影响的足球竞技指标对应的未结算指标续算状态。

15、采用相同版本的足球状态转移规则和指标定义分别处理修订前规范足球动作序列和修订后规范足球动作序列，根据目标足球竞技指标后续计算依赖的足球状态信息和未结算指标续算状态形成指标后缀计算充分状态。

16、在共同未修订后缀中，确定修订前后的指标后缀计算充分状态一致并且修订前后规范足球动作序列关联同一未修订赛事事实的位置，将满足前述条件的位置确定为重放终点。

17、共同未修订后缀中不存在满足前述条件的位置时，将当前比赛数据序列结束位置确定为重放终点。

18、s6：重新生成修订差异区间起点至重放终点之前的候选足球贡献项，重新检查对应的必要规范输入条件和转换支持状态，重新计算满足规范输入条件的候选足球贡献项的贡献值，并重新确定采纳关系。

19、重放终点位于共同未修订后缀时，自重放终点起保留原版本化指标结果采用的足球贡献项。

20、根据重新确定的采纳关系和指标定义，生成、替换或者撤销受赛事数据修订批次影响的版本化指标结果。

21、s7：转换支持状态或者规范输入值发生变化，但相关变化未涉及足球状态转移和指标续算状态更新时，重新判断关联候选足球贡献项的规范输入条件和采纳关系，重新计算仍满足规范输入条件的候选足球贡献项的贡献值，并根据候选依赖和采纳依赖更新关联的指标实例和版本化指标结果。

22、进一步地，在s1中，版本信息包括数据源版本、赛季、采集配置版本、事件定义版本和处理程序版本。原始赛事记录发生版本变化时，保存新版本与被替代版本之间的版本关联；根据原始赛事记录版本和规范映射规则版本生成规范足球动作版本，并保存规范足球动作版本、原始赛事记录版本和规范映射规则版本之间的对应关系。

23、进一步地，在s2中，将通过预先确定的固定映射关系唯一得到规范输入值的版本差异划分为确定性差异，将不能通过固定映射关系唯一得到规范输入值的版本差异划分为非确定性差异。对确定性差异按照固定映射关系生成规范输入值，对非确定性差异执行跨版本观测匹配和转换支持关系建立。支持判定信息从原始观测数据、完成确定性转换的数据、独立赛事锚点或者已经完成转换支持判定的基础足球技术量中取得，支持判定信息的生成路径不以当前待验证转换结果为直接或者间接输入。

24、进一步地，在s2中，按照规范技术量、源版本、目标版本和足球行为上下文，将转换支持关系划分为转换支持单元。根据同场比赛中赛事时间、场上位置、参与对象和规范足球动作之间的对应关系，确认指向同一足球赛事事实的跨版本观测。为转换支持单元记录足球行为上下文范围、转换规则、验证状态和跨版本观测版本。

25、从候选足球贡献项对应的支持判定信息中取得足球行为上下文，足球行为上下文位于转换支持单元记录的足球行为上下文范围并且验证状态允许调用转换规则时，将对应的必要规范输入记录为获得转换支持，并按照转换规则生成规范输入值。

26、进一步地，在s3中，存在因必要规范输入未获得转换支持而不能满足规范输入条件的必要候选足球贡献项时，不生成目标足球竞技指标值。预先配置的备用指标定义满足对应规范输入条件时，按照备用指标定义选取候选足球贡献项并聚合贡献值，生成备用指标结果，并为备用指标结果写入区别于目标足球竞技指标的指标标识。

27、进一步地，在s3中，为候选足球贡献项关联的必要规范输入记录已观测非零值、已观测零值、不适用状态和未知状态。已观测非零值按照记录数值进入指标定义中的贡献生成规则，已观测零值按照数值零进入贡献生成规则，不适用状态不进入对应聚合基数，未知状态不作为对应候选足球贡献项的有效规范输入。

28、为候选依赖和采纳依赖分别记录版本信息，并记录转换支持关系与候选足球贡献项之间的版本关联。

29、进一步地，在s4中，跨版本观测发生修订时，分别保存更新前转换支持关系和更新后转换支持关系，并分别记录更新前转换支持关系和更新后转换支持关系对应的验证状态。

30、分别读取更新前后候选足球贡献项对应的支持判定信息，检查候选足球贡献项在更新前后转换支持关系中的转换支持状态；候选足球贡献项在更新前后均获得转换支持时，分别生成进入贡献生成规则前的规范输入值，并比较更新前后的规范输入值；同时比较更新前转换支持关系和更新后转换支持关系对应的验证状态。

31、将转换支持状态发生变化、规范输入值发生变化或者验证状态发生变化的候选足球贡献项记录为转换效应差量，沿转换支持关系与候选足球贡献项之间的版本关联定位转换效应差量对应的候选足球贡献项，再沿候选依赖和采纳依赖定位关联的指标实例和版本化指标结果。

32、进一步地，在s4中，在规范足球动作序列对齐前，将原始赛事记录修订形成的差异规范足球动作，以及与转换支持关系变化关联并涉及足球状态转移或者指标续算状态更新的规范足球动作，分别记为修订根节点，并将修订根节点合并为当前赛事数据修订批次对应的修订根集合。

33、赛事数据修订批次包含规范足球动作的插入、删除、替换、拆分、合并或者顺序变化时，根据赛事事实关联对齐修订前后规范足球动作序列，在对齐后的两个规范足球动作序列中确定首个差异规范足球动作和末个差异规范足球动作，并从末个差异规范足球动作之后两个规范足球动作序列重新关联同一未修订赛事事实的位置开始确定共同未修订后缀。

34、进一步地，在s5中，指标定义包括规范输入定义、贡献生成规则、指标续算状态更新规则和指标聚合规则。

35、从贡献生成规则和指标续算状态更新规则直接读取的足球状态分量开始，查询足球状态转移规则在生成或者更新对应足球状态分量时读取的上游足球状态分量，将查询得到的上游足球状态分量继续按照相同方式逐级查询，直至不再出现新的足球状态分量，形成足球状态依赖闭包。

36、指标续算状态记录继续处理后续规范足球动作时尚未完成结算并参与后续贡献生成的计算上下文。已经完成结算的历史足球贡献保存为贡献片段或者前缀聚合结果，不写入指标续算状态。指标后缀计算充分状态由足球状态依赖闭包对应的状态信息和指标续算状态共同组成。

37、进一步地，在s5中，在共同未修订后缀中按照规范足球动作顺序执行锚定收敛判断，将首个满足锚定收敛条件的位置确定为锚定收敛位置和重放终点。

38、共同未修订后缀中没有出现锚定收敛位置，并且存在后续保存完整指标后缀计算充分状态的未修订赛事事实位置时，继续处理至对应的未修订赛事事实位置，并再次执行锚定收敛判断。

39、不存在后续保存完整指标后缀计算充分状态的未修订赛事事实位置，或者再次执行锚定收敛判断后仍未出现锚定收敛位置时，将当前比赛数据序列结束位置确定为重放终点。

40、分别记录受赛事数据修订批次影响的各足球竞技指标对应的重放终点，并按照各重放终点更新对应的足球贡献片段。

41、进一步地，在s4形成转换效应差量后，从足球状态转移规则中提取状态转移输入字段集合，从指标定义中的指标续算状态更新规则中提取续算状态输入字段集合。

42、根据转换效应差量确定实际变化字段集合，实际变化字段集合由发生变化的最终规范输入字段、最终规范输入生成状态和规范足球动作数据字段组成；转换效应差量仅包含验证状态变化，并且未引起前述字段变化时，实际变化字段集合为空。

43、实际变化字段集合与状态转移输入字段集合及续算状态输入字段集合均无交集时，重新检查对应候选足球贡献项的转换支持状态；候选足球贡献项仍满足规范输入条件时，重新计算对应贡献值，根据候选依赖和采纳依赖定位关联的指标实例和版本化指标结果，重新判断采纳关系，并依据重新判断的采纳关系和指标定义生成、替换或者撤销版本化指标结果。

44、实际变化字段集合与状态转移输入字段集合或者续算状态输入字段集合存在交集时，将关联的规范足球动作纳入赛事数据修订批次，并重新执行规范足球动作序列对齐、共同未修订后缀确定和重放终点搜索。

45、进一步地，在s7中，配置具有独立指标标识的备用指标定义。候选足球贡献项由未获得转换支持变为获得转换支持时，根据候选依赖重新判断目标足球竞技指标定义和备用指标定义对应的规范输入条件；候选足球贡献项由获得转换支持变为未获得转换支持时，沿采纳依赖取消关联的采纳关系，并重新判断目标足球竞技指标定义和备用指标定义对应的规范输入条件。

46、与现有技术相比，本发明具有以下有益效果：

47、1.本发明通过关联不同赛季足球赛事原始记录的版本信息、规范足球动作和竞技指标输入，对不能通过预先确定的映射关系直接统一的数据，根据跨版本赛事观测及对应的足球行为上下文进行输入条件判断，降低因数据来源、采集条件、事件定义或者处理程序变化形成的数据口径差异直接进入跨赛季竞技指标计算的可能性。

48、2.本发明通过在竞技指标计算前检查候选足球贡献项对应的必要规范输入，并区分已观测非零值、已观测零值、不适用状态和未知状态，降低将未记录数据直接作为零值参与计算的可能性；在必要规范输入不满足目标足球竞技指标定义时不生成对应指标值，并在满足备用指标定义时采用不同指标标识生成备用指标结果，使不同计算结果对应的数据组成和计算口径能够被区分。

49、3.本发明通过对赛事数据修订批次形成的修订前后规范足球动作序列进行对齐，并结合足球状态信息和未结算指标续算状态确定重放终点，对重放范围内的候选足球贡献项进行重新处理，在满足后续数据复用条件时减少对未受赛事数据修订影响的数据进行重复处理。

50、4.本发明通过记录候选足球贡献项、已采纳足球贡献项、转换支持关系和版本化指标结果之间的依赖关系，在跨版本观测发生修订后，根据转换支持状态、规范输入值或者验证状态的变化定位关联的候选足球贡献项和指标结果；并根据实际变化字段是否被足球状态转移规则或者指标续算状态更新规则读取，分别执行足球贡献项更新或者重新纳入赛事数据修订批次的处理，降低遗漏关联结果更新或者继续使用基于修订前状态形成的后续计算数据的可能性。