用于时间序列数据的评价框架的制作方法

1.各种示例通常涉及配置数据生成算法，诸如生成性对抗网络，该算法被配置成生成包括数据点的训练时间序列的训练数据集。各种示例具体地涉及由该数据生成算法提供的数据点的所生成的时间序列的评价框架。


背景技术：

2.依赖于时间的信息出现在许多领域中，这些领域的范围从气象学、医学到股票市场。对这种数据点时间序列的分析是视觉分析、统计或机器学习（ml）中的中心目标，并且存在许多相关方法。参见aigner，w.；miksch，s.；muller，w.；schumann，h.；和tominski，c. 2008. visual methods for analyzing time-oriented data. ieee transactions on visualization and computer graphics 14（1）：47-60。还参见aigner，w.；miksch，s.；schumann，h.；和tominski，c. 2011. visualization of time-oriented data. springer publishing company，incorporated，first edition。例如，机器学习算法可以检测时间序列中的特征并且对所述特征进行分类。因此，将有可能检测机器的故障、实现预测性维护、检测机器的磨损、检测机器的异常系统状态等。各种这样的用例是可设想的。
3.机器学习（ml）算法是基于训练数据来训练的。有必要基于足够量的训练数据以及平衡的训练数据集（即，每个特征类别被同等良好地表示）来准确地训练ml算法。
4.实际上，ml专家会经常面临其中这些标准不被满足的情形。例如，当调试新机器时，可能会出现冷启动问题：这里，因为该机器仅刚刚开始操作，所以该机器提供的测量数据集尚不可用于训练。迁移学习（即，依赖于来自另外机器（例如，相同类型的机器）的测量数据集）并不总是合适的解决方案：特别地，特征类别可能甚至在相同类型的不同机器之间显著地变化。
5.为了减轻这种问题，生成新数据、即生成新的训练数据集可以提供可能的解决方案。可以基于可比较的有限量的信息（即，测量的小测量数据集）来生成训练数据集。训练数据集可以不仅包括所生成的数据，而且还包括测量数据。
6.这已经促使研究者深入地调查用于数据生成的新方法。在该情境下，生成性对抗网络（gan）——goodfellow，i.；pouget-abadie，j.；mirza，m.；xu，b.；warde-farley，d.；ozair，s.；courville，a.；和bengio，y. 2014. generative adversarial nets. in ghahramani，z.；welling，m.；cortes，c.；lawrence，n. d.；和weinberger，k.q.，eds.，advances in neural information processing systems27. curran associates，inc. 2672-2680——在生成训练数据集方面示出了出色的性能。gan实现了一种数据生成算法，以提供所生成的训练数据集（有时也被称为人工训练数据集）。
7.然而，为了信任在所生成的训练数据集上训练的ml算法，通常合期望的是评估所生成的训练数据集有多逼真；换句话说，应当评价该数据生成算法的性能。
8.对于图像生成，已经示出了最大的努力和最佳结果，其中所生成的训练数据集的质量可以利用人眼容易地评估。这是因为人脑能够直观地检测到可视化2d中的异常。
9.然而，虽然有经验的ml专家可以评价人类可理解的2d图像，但是对于技术数据、特别是数据点的技术时间序列，这变得更加困难。例如，人类通常难以检测到指示涡轮机中的压力分布或患者的心电图或其它医学或工业或一般技术数据的数据点时间序列中的异常。这样的时间序列在许多情况下无法被直观地解释。
10.在另一方面，已经示出的是，原则上，数据生成算法也可用于生成数据点时间序列。参见c esteban，sl hyland，g. r. 2017. real-valued（medical）time series generation with recurrent conditional gans. ，在 arxiv preprint arxiv:1706.02633中。


技术实现要素：

11.因此，存在对于生成包括数据点时间序列的数据集的先进技术的需要。特别地，存在对于配置数据生成算法以生成时间序列训练数据集的先进技术的需要。由于所生成的数据集被用作训练ml算法的训练数据集，因此需要评估所生成的训练数据集与可用真实数据集的相关程度。独立权利要求的特征满足了该需要。从属权利要求的特征限定了实施例。
12.本文中描述的技术通常通过提供用于评估包括数据点时间序列的所生成的训练数据集的质量的评价框架来解决该问题。
13.该评价框架可以包括用于对从数据生成算法获得的数据点的所生成的时间序列进行可视化分析（va）的工作流程。这种工作流程提供人机交互，以指导用户评价训练数据集，并且使得用户能够选择数据生成算法的适当配置。该工作流程通过将va与算法方法进行组合，从而使数据点的真实的和所生成的时间序列是可比较的。因此，这些技术使得用户能够信任gan配置。
14.该评价框架通常可以包括一个或多个视图。各种视图可以具有不同级别的抽象或降维。例如，第一视图（下文中被标记为迭代视图）可以包括一个或多个标绘图，这些标绘图作为迭代的函数示出了数据点的所生成的时间序列与数据点的参考时间序列之间的至少一个距离度量。
15.作为一般规则，不同的迭代对应于gan的不同配置。例如，不同的配置可以对应于配置参数的不同参数值。
16.因此，迭代视图对应于高级别抽象的概览可视化，其帮助用户标识gan生成过程中的感兴趣迭代。
17.第二视图（下文中被标记为实例视图）针对迭代中的所选一个迭代或针对多个迭代中的多个所选迭代可以包括在该迭代处使用该配置的数据点的所生成的时间序列的多个实例的标绘图。
18.作为一般规则，各种实例可以对应于在使用不同的种子值（例如，不同的实例化噪声）的情况下在相应迭代的相应配置处的数据生成算法的输出。
19.因此，实例视图使得能够实现详细的比较，其中用紧凑的方式以较低抽象级别/较高细节级别将时间序列可视化。
20.作为一般规则，可以使用例如主成分分析（pca）对时间序列的实例进行排序，以便于通过并列进行比较。
21.一种配置用于生成所生成的数据集的数据生成算法的方法。所生成的数据集包括
数据点的时间序列。该方法包括：获得数据点的参考时间序列的多个实例。该方法还包括：基于参考时间序列的多个实例来迭代地调整数据生成算法的配置。该方法还包括：利用经相应调整的配置来执行数据生成算法，从而获得数据点的所生成的时间序列的多个实例的多个迭代。该方法进一步包括：向人机接口输出至少一个距离度量的第一视图。所述至少一个距离度量在参考时间序列的多个实例与所生成的时间序列的多个实例之间。第一视图提供了作为多个迭代的函数的至少一个距离度量。该方法进一步包括：从人机接口获得指示多个迭代中的所选迭代的用户输入。
22.此外，所述至少一个距离度量包括第一距离度量，所述第一距离度量基于所生成的时间序列的多个实例中的每一个到参考时间序列的多个实例的最近邻距离。
23.还可能的是，所述至少一个距离度量包括第二距离度量，该第二距离度量基于参考时间序列的多个实例中的每一个到所生成的时间序列的多个实例的最近邻距离。
24.第一视图可以包括第一距离度量的第一标绘图，并且可以进一步包括第二距离度量的第二标绘图。第一标绘图和第二标绘图可以具有与多个迭代相关联的公共轴线。
25.第一视图的第一标绘图和第二标绘图可以包括作为多个迭代的函数和多次迭代的函数的第一距离度量和第二距离度量的2d热图标绘图。
26.所述至少一个距离度量可以包括指示所生成的时间序列的数据点的时域形状相对于参考时间序列之间的相似性的第一距离度量。
27.所述至少一个距离度量可以包括指示所生成的时间序列的数据点的时域形状相对于参考时间序列的变化强度的第二距离度量。
28.有可能的是，第一视图包括至少一个标绘图，该标绘图示出了参考时间序列和/或所生成的时间序列的多个实例中的每一个的至少一个距离度量。
29.该方法可以进一步包括：向人机接口输出第二视图，该第二视图包括针对多个迭代中的所选迭代的所生成的时间序列的多个实例的幅度或相位。
30.第二视图可以包括第一标绘图，在其中示出了参考时间序列的多个实例的幅度或相位。第二视图可以包括第二标绘图，其中针对多个迭代中的所选迭代示出了所生成的时间序列的多个实例的幅度或相位。第一标绘图和第二标绘图可以共享针对多个实例的公共轴线。
31.第二视图的标绘图可以包括作为多次迭代的函数并且作为时间的函数的所生成的时间序列和参考时间序列的多个迭代中的所选迭代的幅度或相位的2d热图。
32.该方法可以进一步包括：从人机接口获得指示多个迭代中的所选迭代的多个实例中的所选实例的另外用户输入，并且向人机接口输出第三视图，该第三视图指示作为时间的函数的多个迭代中的所选迭代的多个实例中的所选实例的幅度或相位。
33.第三视图可以包括多个迭代中的所选迭代的多个实例中的所选实例的幅度或相位的至少一个线标绘图。该线标绘图可以包括参考时间序列的多个实例的幅度或相位的统计参考。
34.该方法可以进一步包括：对参考时间序列或所生成的时间序列的多个实例中的至少一个进行排序。
35.有可能的是，所述排序基于另外的用户输入、所述至少一个距离度量、或对参考时间序列或所生成的时间序列中的至少一个的多个实例中的每一个的数据点的主成分分析
中的至少一个。
36.该方法可以进一步包括：基于用户输入，配置数据生成算法或数据生成算法的训练过程中的至少一个。
37.该方法可以进一步包括：基于用户输入，在数据生成算法的训练过程期间调整数据生成算法的配置的参数空间采样方案。
38.有可能的是，所生成的数据集用于训练机器学习算法。该方法可以进一步包括：基于用户输入来执行数据生成算法，从而获得所生成的数据集，以及使用所生成的数据集来训练机器学习算法。
39.该方法可以进一步包括：使用经训练的机器学习算法来识别传感器数据中的特征。
40.有可能的是，数据生成算法包括生成性对抗网络，该生成性对抗网络包括生成器和判别器。
41.一种计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器执行。执行程序代码使得所述至少一个处理器执行配置用于生成所生成的数据集的数据生成算法的方法，该所生成的数据集用于机器学习算法。所生成的数据集包括数据点的时间序列。该方法包括：获得数据点的参考时间序列的多个实例。该方法还包括：基于参考时间序列的多个实例来迭代地调整数据生成算法的配置。该方法还包括：利用经相应调整的配置来执行数据生成算法，从而获得数据点的所生成的时间序列的多个实例的多个迭代。该方法进一步包括：向人机接口输出至少一个距离度量的第一视图。所述至少一个距离度量在参考时间序列的多个实例与所生成的时间序列的多个实例之间。第一视图提供了作为多个迭代的函数的至少一个距离度量。该方法进一步包括：从人机接口获得指示多个迭代中的所选迭代的用户输入。
42.一种设备包括程序代码。程序代码可以由至少一个处理器执行。执行程序代码使得所述至少一个处理器执行配置用于生成所生成的数据集的数据生成算法的方法，该所生成的数据集用于机器学习算法。所生成的数据集包括数据点的所生成的时间序列。该方法包括：获得数据点的参考时间序列的多个实例。该方法还包括：基于参考时间序列的多个实例来迭代地调整数据生成算法的配置。该方法还包括：利用经相应调整的配置来执行数据生成算法，从而获得数据点的所生成的时间序列的多个实例的多个迭代。该方法进一步包括：向人机接口输出至少一个距离度量的第一视图。所述至少一个距离度量在参考时间序列的多个实例与所生成的时间序列的多个实例之间。第一视图提供了作为多个迭代的函数的至少一个距离度量。该方法进一步包括：从人机接口获得指示多个迭代中的所选迭代的用户输入。此外，所述至少一个距离度量包括第一距离度量，该第一距离度量基于所生成的时间序列的多个实例中的每一个到参考时间序列的多个实例的最近邻距离。
43.要理解的是，在不脱离本发明的范围的情况下，上面提到的特征和下面将要解释的那些特征不仅可以以所指示的相应组合使用，而且还可以以其他组合或单独使用。
附图说明
44.图1是根据各种示例的方法的流程图；图2示意性地图示了根据各种示例的包括评价框架的工作流程；
图3示意性地图示了根据各种示例的gan；图4是根据各种示例的方法的流程图；图5示意性地图示了根据各种示例的评价框架的多个视图；图6示意性地图示了根据各种示例的评价框架的多个视图；图7示意性地图示了根据各种示例的设备。
具体实施方式
45.本公开的一些示例通常提供多个电路或其他电气设备。对电路和其他电气设备以及由其每一个提供的功能的所有引用并不旨在限于仅涵盖本文中图示和描述的内容。虽然可以将特定的标签指派给所公开的各种电路或其他电气设备，但是这种标签并不旨在限制电路和其他电气设备的操作范围。这种电路和其他电气设备可以基于期望的电气实现方式的特定类型以任何方式彼此组合和/或分离。要认识到的是，本文中公开的任何电路或其他电气设备可以包括任何数量的微控制器、图形处理器单元（gpu）、集成电路、存储器设备（例如，闪存、随机存取存储器（ram）、只读存储器（rom）、电可编程只读存储器（eprom）、电可擦除可编程只读存储器（eeprom）或它们的其他合适的变型）、以及相互协作以执行本文中公开的（一个或多个）操作的软件。此外，电子设备中的任何一个或多个可以被配置成执行体现在非暂时性计算机可读介质中的程序代码，所述程序代码被编程为执行所公开的任何数量的功能。
46.在下文中，将参考附图来详细描述本发明的实施例。要理解的是，对实施例的以下描述不应被理解为限制性的。本发明的范围并不旨在由下文描述的实施例或附图来限制，这些实施例和附图仅被理解为说明性的。
47.附图要被视为示意性表示，并且附图中所图示的元件不一定按比例示出。而是，各种元件被表示成使得它们的功能和一般目的对于本领域技术人员来说变得显而易见。功能块、设备、组件或在附图中示出或本文中描述的其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。
48.在下文中，描述了便于找到用于数据生成算法的适当配置的技术。
49.这些技术可以用于评估数据生成算法训练过程的结果；替代地或附加地，所述技术可以在数据生成算法训练过程期间使用，并且有可能的是，基于本文中描述的技术来配置数据生成算法训练过程，从而找到适当的配置。
50.数据生成算法可以生成所生成的数据集。数据生成算法可以基于可以包括测量数据的参考数据集来这么做。在本文中描述的各种示例中，数据集包括数据点的时间序列的多个实例，即考虑时间分辨数据。
51.作为一般规则，各种选项可用于使用所生成的数据集。在一个示例中，所生成的数据集实现了用于训练ml算法的训练数据集。另一个示例将与实现测试数据集的所生成的数据集有关。测试数据集可以用于测试例如集成电路的功能。在下文中，为了简单起见，关于实现训练数据集的所生成的数据集描述了各种示例。训练数据集用于训练ml算法。然而，对于所生成的数据集的不同目的，可以容易地应用类似的技术。
52.作为一般规则，存在用于实现数据生成算法的各种选项。示例实现方式是包括生
成器和判别器的gan。在下文中，为了简单起见，将结合配置gan来描述各种示例；然而，相应的技术可以容易地应用于其他种类和类型的数据生成算法。存在不同类型的gan可用，例如cgan、infogan等。替代的实现方式可以使用变分自编码器（vae）。
53.作为一般规则，配置gan可以包括：确定gan的生成器和/或gan的判别器的配置。例如，可以设置gan的配置参数的一个或多个参数值。例如，设置gan配置的超参数的超参数值将是可能的。示例超参数包括：噪声类型；生成器的层的数量；判别器的层的数量；生成器的超参数；判别器的超参数；等等。
54.通常，可能存在影响gan的配置是否适当的各种目标。例如，适当配置可以是使得能够生成训练数据集的配置，所述训练数据集包括用于准确地训练ml算法的数据点的时间序列的多个实例。在这种场景中，所生成的时间序列应当准确地模仿参考数据集（例如，真实测量数据等）的参考时间序列。
55.各种技术基于以下发现：如果满足至少两个标准，则数据点的所生成的时间序列通常模仿数据点的参考时间序列：（i）所生成的时间序列的数据点的时域形状应当展现出与参考时间序列的时域形状的强相似性。即，对于所生成的时间序列和参考时间序列，数据点的幅度和/或相位的时域演变应当是相似的；（ii）所生成的时间序列的数据点的时域形状的变化强度应当近似等于参考时间序列的数据点的时域形状的变化强度。这是为了避免有时被称为“模式崩溃”的问题：这里，参考数据集中包括的多个特征类别可能不会被适当地反映在从gan获得的所生成的数据集中。例如，所述不同特征类别中的给定的一个可能被过度呈现（overrepresent）。然后，所生成的时间序列的多个实例的数据点的时域形状的变化强度可能小于参考时间序列的多个实例的数据点的时域形状的变化强度。这是因为并非所有需要的时域形状都被包括在所生成的数据集中。
56.本文所中描述的技术通常可以用于评价gan的性能或gan的训练过程。本文中描述的各种技术提供了一种评价框架，该评价框架使得能够准确地评估数据点的所生成的时间序列的多个实例是否适当地模仿了数据点的参考时间序列的多个实例，例如考虑到上述标准（i）和（ii）。本文中描述的技术便于用户进行快速和可靠的评价。在本文中描述的技术中，通常不要求用户具有数据点的时间序列中所包括的特定用例/信息内容的特定领域知识。而是，该评价框架便于基于统计品质因数对所生成的数据集进行分析，并且由此广泛地跨各种用例而适用。
57.这些技术可以在各种用例中找到应用。特别地，数据集的信息内容可能不同。例如，数据集可以包括诸如心电图、血流数据等医学测量数据点的时间序列；另一个示例包括语音测量数据点，例如语音记录；另一个示例包括工业测量数据点，诸如涡轮机或风电场或引擎中的流量测量结果、例如火车、地铁、飞机的加速度或位置传感器的数据点、例如电功率传输装备的温度数据点、例如海底装备的压力数据点等。如应当领会的，作为一般规则，数据集可以捕获物理或技术或生理过程的时域动态。
58.作为一般规则，gan训练过程可以具有多个迭代。对于多个迭代中的每个迭代，gan的配置参数的参数值是变化的。然后，基于数据点的参考时间序列的多个实例，可以利用经相应调整的配置来执行gan。每次迭代，gan输出数据点的时间序列的多个实例。作为gan训练过程的结果，可以获得数据点的所生成的时间序列的多个实例的多个迭代。因此，首先存在多个迭代，并且其次，每个迭代具有数据点的时间序列的多个实例。例如，参考时间序列
的不同实例可以与用于gan操作的不同种子值相关联，该种子值例如具有随机贡献的噪声，该噪声被提供作为去往生成器的输入。已经发现的是，难以评价如此大量的数据。
59.本文中描述的技术帮助实现以下目标：目标1：找到其中实现适当行为的gan训练过程的迭代，即示出了所生成的时间序列的多个实例的足够质量的迭代。例如，这使得能够检查训练过程的迭代数量是否足够、或者是否需要更高的迭代数量。
60.目标2：比较不同gan配置——例如，具有生成器和/或判别器的不同配置、或者具有不同的超参数值——的性能，并且支持用户在决策过程中或者信任或者拒绝给定配置。因此，用户应当能够标识哪种gan配置对于该任务是适当的。
61.目标3：提供充分的工作流程，以针对多次迭代在视觉上评价数据点的所生成的时间序列的多个实例的质量。即，检测所生成的时间序列的多个实例是否有噪声，或者与参考时间序列的多个实例相比是否示出不同的行为。用户应当能够决定由gan生成的数据点的所生成的时间序列的多个实例是否是逼真的。
62.目标4：检测常见gan训练问题，诸如不收敛或模式崩溃。模式崩溃描述了一种场景，在其中生成器崩溃成一种模式（即，一个特征类别），并且不能够生成多样化的样本。
63.本文中描述的技术提供了标识模式崩溃的可能性。一旦检测到模式崩溃，用户就能够使用现有技术来改进所考虑的gan模型的性能，例如salimans, t.；good-fellow, i.；zaremba, w.；cheung, v.；radford, a.；chen, x.；和chen, x. 2016，improved techniques for training gans。 在 lee, d. d.；sugiyama, m.；luxburg, u. v.；guyon, i.；和garnett, r.，eds.，advances in neural information processing systems 29. curran associates，inc. 2234-2242中。
64.根据示例，这是通过向人机接口（hmi）输出一个或多个视图来实现的。每个视图可以包括一个或多个标绘图。
65.第一视图包括作为训练过程的多个迭代的函数的、参考时间序列的多个实例与所生成的时间序列的多个实例之间的至少一个距离度量。
66.例如，可以使用热图标绘图，在其中，使用颜色/对比度来编码距离度量的值；因此，可以针对每个实例示出距离度量。另一个选项将是使用线标绘图，该线标绘图对跨实例被求平均或以其他方式被压缩的距离度量进行编码。
67.通过使用图示了作为多个迭代的函数的至少一个距离度量的第一视图，可以提供gan的性能的高级概述。
68.然后，有可能从hmi获得指示多个迭代中的所选迭代的用户输入。基于该用户输入，可以配置另外的视图。
69.该评价框架不限于第一视图。特别地，作为用户与hmi之间的持续交互的一部分，可以激活一个或多个另外的视图。
70.例如，第二视图可以包括作为多个迭代中的所选一个迭代的多个实例的函数的幅度和/或相位。
71.可以从基于第一视图做出的用户输入来获得多个迭代中的所选一个迭代。
72.通过使用图示了所选迭代的数据点的时间序列的多个实例（即，没有示出关于未选择的迭代的细节）的第二视图，可以进行对所生成的时间序列的数据点的时域形状的更
仔细的检查。
73.该评价框架可以包括第三视图，第三视图示出了作为时间的函数的、所选迭代的所选实例的幅度和/或相位。例如，第三视图可以包括幅度或相位的相应线标绘图。同样，所选实例可以根据基于第二视图做出的指示该所选实例的用户输入来确定。
74.如从上面应当领会的，可以提供多个视图，其中所述多个视图对应于不同的抽象级别。例如，第一视图可以提供训练过程的行为的一般概述，而第二和第三视图可以提供更高级别的细节。
75.如从上面应当进一步领会的，用户可以通过选择迭代或选择感兴趣的实例来通过多个视图进行导航。这种持续的用户-机器交互可以使大量的数据可处理并且可用于评价。
76.图1是根据各种示例的方法的流程图。
77.在框1001处，执行gan的训练过程。该训练过程可以包括多个迭代。针对多个迭代中的每个迭代，以相应的配置来执行gan。换句话说，迭代地调整gan的配置，例如gan的生成器的配置和/或判别器的配置。
78.特别地，可以更改生成器和/或判别器的参数的参数值。例如，可以使用反向传播连同梯度下降，来对生成器和判别器的参数值的参数空间进行采样。例如，可以将相应神经网络的权重调整为参数值。
79.gan的执行基于数据点的参考时间序列的多个实例，所述参考时间序列的多个实例也作为框1001的一部分而获得。例如，数据点的参考时间序列可以从测量中获得。
80.由此，在框1002处，获得所生成的数据集，该所生成的数据集包括针对多个迭代中的每一个的所生成的数据点时间序列的多个实例。所生成的数据集是ml算法的训练数据集的候选者。
81.在框1003处，执行对gan的性能的评价。框1003包括向hmi输出评价框架的一个或多个视图。鉴于训练过程来评价gan的性能。换句话说，可以针对与训练过程的多个迭代相关联的不同配置来评价gan的性能。
82.第一视图包括作为多个迭代的函数的、参考时间序列的多个实例与所生成的时间序列的多个实例之间的至少一个距离度量。
83.基于第一视图，然后有可能获得指示多个迭代中的所选迭代的用户输入。
84.基于这样的用户输入，然后在框1004处，有可能配置gan和/或生成性对抗网络的训练过程。
85.作为一般规则，存在各种选项可用于实现这种配置。例如，与多个迭代中的所选迭代相关联的gan的配置可以用于然后确定训练数据集。替代地或附加地，可以通过适当地配置gan的训练过程来调整gan的配置。在这种情况下，将有可能的是，使用训练过程的经调整的配置来重新执行框1001-框1003。例如，可以基于用户输入（例如，偏离于梯度下降）来调整训练过程期间的gan配置的参数空间采样方案。由此，可以快速找到适当的配置，因为高效地对可用配置的参数空间进行了采样，从而达到最优。
86.又另一个选项将与调整gan的超参数的超参数值相关联，该超参数例如判别器和/或生成器的层的数量、所考虑的噪声类型等。
87.然后，在框1005处，可以根据框1004的配置、即基于用户输入来执行gan。由此，获得训练数据集，并且在框1005处，可以基于训练数据集来训练ml算法。
88.然后，在框1006处，有可能基于经分别训练的ml算法来识别特征。这些特征可以在例如来自机器、医疗装备、监控装备等的传感器数据中被识别。
89.基于本文中描述的技术，有可能准确地训练ml算法，使得可以在传感器数据中准确地识别特征。
90.如从上面应当可以领会的是，框1003提供了用于gan的性能的评价框架。下面结合图2描述了关于评价框架和与其相关联的工作流程的细节。
91.图2是便于和评价gan的性能的工作流程的示意图。该工作流程包括评价框架104的执行。
92.在1011处，获得参考数据集；即，获得参考时间序列101的多个实例。参考时间序列101的多个实例被提供作为去往gan 102的输入。
93.在1012处，执行gan的训练过程（参见图1：框1001）。因此，gan 102输出多个迭代，每个迭代包括数据点的所生成的时间序列103的多个实例。
94.评价框架104使得能够评价gan 102的性能。为此，在1013处，将所生成的时间序列103的多个实例的多个迭代提供给评价框架104。在1017处，将参考时间序列的多个实例提供给评价框架。
95.评价框架104在1014处向用户105提供一个或多个视图；并且在1015处从用户105获得一个或多个用户输入。
96.用户105可以与评价框架交互以获得关于数据及其属性的进一步的见解。在对数据进行严格探索之后，如果达到期望行为，则他或她可以决定终止训练过程；gan的相应配置可以被选择。否则，他或她可以调整gan的配置。在1016处，基于由评价框架提供的反馈来调整或设置gan 102的配置。
97.接下来给出了图2的工作流程的示例实现方式：用户105通过执行gan 102来开始该过程，以生成多个迭代，每个迭代包括所生成的时间序列103的多个实例。评价框架104然后被用于检查gan配置和所生成的时间序列是否满足期望的要求，例如至少对于多个迭代中的一个是否满足期望的要求。如果是这种情况，则用户105已经成功地生成逼真的时间序列，并且可以停止配置过程。可以使用相应的配置来生成训练数据集。否则，他或她可以利用不同的配置——例如，经调整的参数值或超参数值——来重新执行gan 102，并且使用评价框架104来重复调查。应当注意的是，在线评价是可能的，即可以例如通过配置训练过程来在训练过程期间使用评价框架104。因为训练过程可能花费多达几天的时间，因此这种方法可以通过在训练过程期间确保gan 102的配置的参数值的变化在正确的方向上行进、或者如果检测到非预期行为则重新开始训练过程，来帮助节省宝贵的时间。
98.图3示意性地图示了关于gan 102的各方面。gan 102包括生成器121和判别器122。判别器获得参考时间序列101的多个实例作为输入。生成器121获得噪声109作为输入。生成器121输出数据点的所生成的时间序列103的多个实例。这些在判别器122处与参考时间序列101的多个实例被进行比较。判别器122的输出是所生成的时间序列103是否可以与参考时间序列101区分开的指示123。
99.gan可以被简单地描述为两个神经网络（即，生成器和判别器）之间的极小极大博弈。判别器通常是二进制分类器，它尝试最大化其对数似然性，以学习在真实数据与所生成的数据之间进行完美区分。同时，生成器通常尝试将所生成的被识别为错误的样本的对数
概率最小化。生成器121和判别器122的配置相应地根据跨多个迭代的相应损失被调整。
100.一个挑战是决定由生成器121产生的数据是否充分地表示原始参考数据集。研究者做出了很多努力来发现合适的量度来评价gan的性能，并且可以代替人类判断。例如，判别器122和生成器121损失不能被认为是gan性能的度量，并且该ml方法缺乏定义了具有合适数据质量的迭代的适当结束的目标函数。已经在theis, l.；van den oord, a.；和bethge, m. 2016，a note on the evaluation of generative models，international conference on learning representations中描述了各种评价方法，诸如parzen 窗或最大均值差异 （mmd）。如在上述中所证明的，这些方法的使用具有各种缺点。其他方法（即，开端得分（inception score））是仅针对图像设计的，并且无法容易地应用于包括数据点的时间序列的数据集。因此，所生成的数据的质量必须通过人类判断在视觉上被评估，参见c esteban，sl hyland，g. r. 2017，real-valued（medical）time series generation with recurrent conditional gans，在arxiv preprint arxiv:1706 .02633中。
101.图4是根据各种示例的方法的流程图。图4的方法图示了评价框架104的执行的示例实现方式，即图1的框1003的示例实现方式。
102.图4图示了一种方法，该方法包括用户与机器之间的持续交互，以便评价所生成的时间序列的多个实例的质量。
103.评价框架104提供了多个视图。基于所述多个视图，接收用户输入。基于用户输入，在所述多个视图之间导航是可能的。此外，基于用户输入，配置gan 102和/或gan 102的训练过程是可能的。
104.在框1021处，输出第一视图。第一视图可以被标记为迭代视图。第一视图包括一个或多个标绘图，所述一个或多个标绘图指示作为迭代的函数的所生成的时间序列103的多个实例中的参考时间序列101的多个实例之间的至少一个距离度量。例如，不同的标绘图可以图示不同的距离度量。所述多个标绘图可以共享与所述多个迭代相关联的轴线。
105.在框1022处，基于第一视图，接收指示所述多个迭代中的所选迭代的用户输入。
106.然后，在框1023处，输出第二视图。第二视图可以被标记为实例视图。这里，第二视图的一个或多个标绘图包括至少例如作为时间的函数的、框1022的所选迭代的所生成的时间序列103的多个实例的幅度或相位。替代地或附加地，实例视图可以包括参考时间序列101的多个实例。
107.然后，在框1024处，有可能基于第二视图来获得指示所选实例的另外用户输入。
108.在框1025处，然后有可能输出第三视图，例如被标记的所选样本视图，该视图指示所生成的时间序列的所选实例的数据点（针对多个迭代中的所选迭代），如框1024的另外用户输入所指示的。第三视图可以包括作为时间的函数的、所选实例的幅度或相位的线标绘图。
109.在框1026处，然后检查是否接收到另外用户输入。如图4中所图示，用户可以借助于另外用户输入在视图之间来回导航。
110.否则，在框1027处，基于先前的用户输入来配置gan 102和/或相应的训练过程。
111.接下来，结合图6中的图5来解释关于各种视图的细节。
112.图5和图6示意性地图示了由评价框架104（参见图2）提供的多个视图的标绘图。
113.图5和图6彼此对应，但是所图示的数据是不同的；这是因为在图5和图6中使用了
gan的不同配置，如将在下面进一步详细解释的。
114.图5和图6图示了第一视图391（图5和图6中的上部），即迭代视图。包括两个标绘图301、302的迭代视图391。两个标绘图301、302共享与多个迭代相关联的公共轴线312。
115.迭代视图391示出了作为迭代的函数的至少一个距离度量。
116.作为训练过程的迭代的函数，迭代视图391给予用户关于gan的行为的一般印象。
117.用户可以在第一视图391中交互式地选择感兴趣的迭代，并且在另外的视图392、393中获得关于所选迭代的更多见解。这将允许用户标识具有最佳行为的迭代。
118.第二视图392（图5和图6的中间部分）——即，实例视图——包括两个标绘图321、322（要注意的是，标绘图322被提供多次）。标绘图321、322共享与多个实例相关联的轴线311。提供了标绘图321、322、331、332。
119.第三视图393（图5和图6的下部和右侧）——即，所选择的样本视图——包括多个标绘图333-334，以进一步调查在用户选择的特定迭代和实例处的时间序列。多个标绘图333-334共享与时间相关联的公共轴线313。
120.实例视图392的标绘图321-322显示了分别在某个迭代处的时间序列（标绘图321：参考时间序列；标绘图322：所生成的时间序列）的所有实例的数据点（在图5中，标绘图322分别针对迭代40、198、382、614、769、899和978而示出；如箭头所图示；这些迭代也在迭代视图391的标绘图301、302中被突出显示）。
121.2d热图被用于标绘图321、322。2d热图将数据点的幅度编码为对比度或颜色，作为沿着轴线311的实例的函数和沿着轴线313的时间的函数。
122.要注意的是，两个2d热图以针对实例的共享轴线311和针对时间的共享轴线313而示出。这使得有可能将所生成的时间序列103与参考时间序列101进行比较。实例视图392的标绘图321、322允许调查和探索某个迭代处的所生成的时间序列103的多个实例，并且将它们与参考时间序列101的多个实例进行比较。
123.标绘图331-332图示了相应迭代的幅度和/或相位数据点的时间相关分布。标绘图331-332有时被标记为时间直方图视图，因为其示出了给定迭代的数据点的变化。如从图5和图6可以看出的，数据点的幅度和/或相位扩展了；这与由多个实例表示不同特征类别的假设是一致的。
124.实例视图392用于描绘跨给定迭代的时间序列的多个实例的数据点，并且使得能够对所生成的时间序列及其属性进行详细且严格的探索。每个2d热图表示特定迭代的所有数据，其中每一行对应于时间序列的特定实例。这种可视化允许用户以高效的方式来比较大量的时间序列。
125.用户可以同时调查不同的迭代，如图5和图6中所示（视图392中包括多个标绘图322、332）。
126.然后，在实例视图392中选择的给定实例的时间序列可以被可视化为所选样本视图393的线标绘图333-334。线标绘图333-334示出了参考时间序列和/或所生成的时间序列的给定实例的数据点的幅度和/或相位的时域演变；并且可选地示出了统计参考（例如，跨一个种类的所有时间序列取得的中值或平均值或百分位数）。在标绘图333中，针对标绘图322中突出显示的实例，使用方括号（浅实线；粗体实线；虚线）来图示幅度和/或相位。所选样本视图393的标绘图333和334还包括参考时间序列101的多个实例的相位的幅度的统计
参考（例如，百分位数；虚线区域）。标绘图334示出了所生成的时间序列的给定实例的数据点与该统计参考之间的差异。利用所选样本视图393，使得对一些所选时间序列的严格调查是可能的。为了给予用户关于参考时间序列的一些见解，标绘图333描绘了参考时间序列的实例的中值、以及落入第68、95和99.7百分位数中的数据的量。用户可以在不同的迭代处添加参考或所生成的时间序列的另外实例，以对它们进行比较。标绘图334突出显示了所生成的时间序列的所选实例与跨参考时间序列的所有实例的中值之间的逐元素差异。
127.如应当领会的，视图391和392包括轴线311，轴线311示出了作为实例的函数的属性。
128.作为一般规则，将可能的是，对参考时间序列101和/或所生成的时间序列103的多个实例进行排序。所述排序可以沿着轴线311来布置实例的序列。为了使得参考时间序列和所生成的时间序列两者是可比较的，通常对所生成的时间序列和参考时间序列应用相同的排序。
129.作为一般规则，各种排序标准是可设想的。例如，排序可以基于pca、或基于用户输入、或基于迭代视图391的至少一个距离度量。例如，排序可以在图4的框1021之前执行。
130.作为一般规则，基于pca的排序可以被应用于参考时间序列的多个实例，以将每个参考时间序列的数据点变换成不相关的成分。然后，参考时间序列的多个实例基于第一/主要主成分被排序。例如，pca可以基于参考数据集的参考时间序列来训练，并且被应用于训练数据集的所生成的时间序列。
131.接下来，将解释关于迭代视图391的进一步细节。这里，获得关于数据的属性的进一步见解，使用了相似性度量和降维技术。
132.作为一般规则，所述至少一个距离度量可以使用各种基本距离量度，例如欧几里德距离（ed）或动态时间扭曲（dtw）。作为一般规则，用户可以选择用于距离度量的量度。例如，用户可以选择或者ed或者dtw。该量度也可以预先定义。
133.作为进一步的一般规则，可以确定最近邻距离。即，有可能的是，针对所生成的时间序列的给定实例来确定参考时间序列的最接近实例（使用相应的距离量度），或者反之亦然；然后，该最小距离就是最近邻距离。
134.在图5和图6的具体示例中，标绘图301对应于第一距离度量，并且标绘图302对应于第二距离度量。标绘图301的第一距离度量是传入最近邻距离（innd）；并且标绘图302的第二距离度量是传出最近邻距离（onnd）。在标绘图301、302的示例中，还针对沿着轴线311的多个实例中的每一个来解析innd和onnd，但是这通常是可选的。实例的次序基于排序来确定，例如使用pca来确定。
135.针对所生成的时间序列的每个实例，标绘图301图示了到参考时间序列的任何实例的距离量度的最小值（即，到参考时间序列的多个实例的最近邻距离）作为innd。最近邻距离在多个迭代的每个迭代内被定义。
136.针对参考时间序列101的每个实例，标绘图302图示了到所生成的时间序列103的多个实例的最近邻距离，作为onnd。onnd的计算也通过下面的表1的伪代码来说明。-加载参考时间序列的所有实例-选择给定迭代-加载针对给定迭代的所生成的时间序列的所有实例-针对参考时间序列的每个实例
ꢀꢀꢀ‑
针对所生成的时间序列的每个实例
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ‑
确定当前参考时间序列与当前所生成的时间序列之间的距离
ꢀꢀꢀ‑
所生成的时间序列的下一个实例
ꢀꢀꢀ‑
参考时间序列的当前实例的onnd是跨所有确定的距离的最小值-参考时间序列的下一个实例表1：参考时间序列的各种实例的onnd计算的伪代码。
137.2d热图标绘图301、302图示了作为沿着轴线311的实例的函数以及作为沿着轴线312的迭代的函数的innd和onnd。2d热图标绘图中的每个像素的颜色强度分别突出显示了innd或onnd的值。在所图示的示例中，暗像素表示高的距离值，而亮像素表示低的距离值。
138.innd和onnd给出了关于gan遍及迭代的总体性能的概述，并且允许进行不同类型的调查：首先，所生成的时间序列103随着迭代而变得更加逼真了吗，即，innd/onnd作为沿着轴线312的迭代的函数变得更小了吗其次，innd/onnd作为沿着轴线312的迭代的函数而达到稳定的行为、并且指示几乎恒定的值了吗再次，参考时间序列的实例的时域形状的变化/变化强度代表了所生成的时间序列103的时域形状的变化强度的变化强度了吗这由标绘图302的onnd来指示。因此，onnd指示参考时间序列的所有实例是否由所生成的时间序列的实例同等良好地表示，或者所生成的时间序列的实例是否对应于参考时间序列的有限数量的实例。另一方面，innd指示所生成的时间序列的数据点的时域形状关于参考时间序列的相似性。
139.接下来，将具体讨论示例用例。
140.这仅仅是一个示例，但是会帮助理解该方法的基本动机和细节。该用例说明了评价框架104使得能够探索gan在迭代中的行为并且调查参考时间序列与所生成的时间序列之间的相似性。因此，所提出的以人类为中心的方法给出了在用户与ai算法之间建立信任关系的机会。
141.这里，用户在gan模型上测试了所提出的方法（mogren, o. 2016. c-rnn-gan：a continuous recurrent neural network with adversarial training, in constructive mlml work shop (cml) at nips 2016，1.），以基于参考数据集来生成数据（goldberger, a. l.；amaral, l. a. n.；glass, l.；hausdorff, j. m.；ivanov, p. c.；mark, r. g.；mietus, j. e.；moody, g. b.；peng, c.-k.；和stanley, h. e. 2000 (june 13)，physiobank，physiotoolkit，和physionet：components of a new research resource for complex physiologic signals. circulation 101 (23)：e215-e220. circulation electronic pages：http://circ.ahajournals.org/content/101/23/e215.full pmid:1085218；doi:10.1161/01.cir.101.23.e215.）。所考虑的参考数据集由7个长期心电图（ecg）组成，每个心电图的周期为14至22小时。它包含描绘了正常和异常行为的两个类别。为了减少训练时间，考虑来自参考时间序列的仅30个时间点。用户在他的实验中使用了一个类别。针对两个不同的参数配置（即，gan类型1和gan类型2）来评价gan的性能。图5和图6中分别描绘了对应的结果。
142.gan迭代视图391描绘了取决于迭代和实例的innd和onnd。两个场景的第一迭代以高innd和onnd为特征（迭代视图391的热图标绘图301、302中的暗像素）。随着迭代数量增加，可以看到innd方面的改进。因此，所生成的数据逐渐地达到与原始数据相似的值，并且gan的性能随着迭代数量增长而增加。然而，gan类型1的innd在一些迭代处急剧增加，例如在迭代600与900之间。gan类型2示出了更稳定的行为。事实上，在大约300个迭代之后，innd几乎是恒定的。图5的迭代视图391的标绘图302中的onnd示出了：在经排序的迭代的顶部和底部处的onnd仍然是高的（图5中的红色圆圈）。由于利用pca对参考时间序列的实例进行了排序，因此专家得出如下结论：具有重要移位的参考时间序列以高onnd为特征。因此，由第一gan产生的所生成的时间序列103的多个实例与参考时间序列101的特定类型的多个实例、即被排序在中间的实例相似（即，与相应的一个或多个特征类别相似）。专家假设gan模型类型1无法再现真实数据中存在的移位，并且正在崩溃到一种模式（模式崩溃）；并非参考时间序列的多个实例的所有特征类别都被再现。与gan类型1形成对照，图6的标绘图302中所图示的onnd描绘了参考时间序列的所有实例的低onnd。onnd帮助了用户验证生成的时间序列的实例是多样化的（即，示出了适当的变化强度），并且不对应于特定的特征类别，而是对应于几乎所有的真实特征类别。
143.此后，用户在迭代视图391中选择一些感兴趣的迭代，并且在实例视图392中继续他的调查。对于这两个场景，用户在训练过程的开始时选择一迭代，在训练过程的中间选择具有低innd的某些迭代，在gan类型1和2中选择以高innd和onnd为特征的几个迭代，并且在训练过程的最后一百个迭代中选择示出了稳定行为的一些迭代。
144.在训练过程的早期迭代处，所生成的时间序列的数据点的时间相关分布与参考时间序列101的数据点的时间相关分布完全不同。在大约200个迭代之后，性能中的改进是明显的。一般来说，所生成的时间序列的时间相关分布和质量在迭代中变得更加逼真。在针对gan类型1（图5）的迭代382、614和899与针对gan类型2（图6）的迭代386和669之间观察到结果中的增强。
145.为了严格检查gan类型1的行为，用户选择了不同的迭代处的所生成的时间序列的一些实例。在所选样本视图393中，他注意到，在迭代764处，所生成的时间序列的数据点展现出奇怪的峰值，并且在迭代40处，生成了噪声。因此，评价框架104帮助了用户检测该数据是否有噪声或者具有与真实数据不同的行为。
146.因此，这两个gan类型根本不能在训练过程的第一迭代中生成逼真的时间序列；针对该训练过程的后续迭代，性能提高了。然而，仅在单个迭代之后，即分别在图5的gan类型1场景和图6的gan类型2场景中的迭代769和480之后，数据质量可能急剧且突然地降低。用户确认这是在神经网络情况下的预期行为，因为它们的性能不是单调的。
147.对训练过程的最后一百个迭代的分析允许用户找到具有最佳结果的迭代；这便于相应地配置gan。
148.这对应于图5中针对gan类型1的迭代978和图6中针对gan类型2的迭代926。在这两种情况下，所生成的时间序列是平滑且逼真的。然而，图5中的gan类型1的实例视图392的二维直方图标绘图322仍然与参考时间序列的实例的相应标绘图321不同。对于时间直方图标绘图，标绘图331、332也彼此不同。此外，针对gan类型1的标绘图302的onnd表明：样本不像参考时间序列的实例中那样多样化。对所选样本视图393（例如，标绘图333）中的这些时间
序列的严格调查示出，所有生成的数据落在参考时间序列的实例的第68个百分位数（统计参考）中，并且太接近中值，即它们的变化强度是低的。这确认了用户在他观察迭代视图391时的较早假设。
149.因此，用户能够容易地检测到模式崩溃现象，这是gan的最困难的训练问题之一。为了避免该问题，用户在gan 类型2中使用了正态分布噪声而不是均匀分布噪声，并且应用了在salimans, t.；goodfellow, i.；zaremba, w.；cheung, v.；rad-ford, a.；chen, x.和chen, x. 2016，improved techniques for training gans. in lee, d. d.；sugiyama, m.；luxburg, u. v.；guyon, i.；和garnett, r.，eds.，advances in neural information processing systems 29. curran associates，inc. 2234-2242引入的技术，即迷你批判别（mini batch discrimination）。作为一般规则，各种选项可用于适当地配置gan，即，不仅仅是上面提到的那两个。与gan类型1相比，gan类型2更好地再现了参考时间序列的实例的分布：标绘图302的onnd示出了跨沿着轴线311的所有实例的较小值（图6的标绘图302具有比图5更多的白色像素）。此外，至少在一些迭代中，时间直方图标绘图332类似于时间直方图标绘图331。
150.为了更进一步探索，用户从实例视图392中选择了不同的实例时间序列，并且在所选样本视图393中将它们可视化。所生成的数据证明：gan类型2正在再现参考时间序列的实例的数据点的时域形状中存在的移位。变化强度更高。存在与统计中值的差异。
151.作为最后的步骤，我们的专家使用了视图393来直接将所生成的时间序列的给定实例的数据点的时域形状与参考时间序列的给定实例的数据点的时域形状进行比较。这在图6中针对标绘图333和334而图示。所生成的时间序列的数据点的行为与参考数据的数据点的行为相似。
152.因此，第二gan类型2呈现了更逼真的行为，并且能够在迭代926处生成真实数据集中罕见的时间序列。用户得出如下结论：gan类型2正在实现期望的行为。因此，所提出的评价框架帮助了用户找到值得信任的gan配置，该gan配置具有产生最佳结果的参数集。
153.图7示意性地图示了设备701。设备701包括处理器701和存储器702。处理器701可以从存储器702加载程序代码。处理器701可以执行程序代码。这使得处理器701执行如本文所描述的技术，例如：例如经由数据接口703获得参考数据集；执行gan的训练过程；基于用户输入来配置gan；执行评价框架；经由hmi 704向用户输出视图；经由hmi 704接收用户输入；例如经由数据接口703来输出通过执行gan所获得的训练数据集；等等。处理器701可以执行图1或图4的方法。
154.综上所述，已经描述了上面与评价和优化生成时间序列数据的gan的可视方法相关的技术。所提出的评价框架基于至少一个可视化技术，即跨多个迭代的距离度量、以及包括所有实例的一个或多个所选迭代的视图。距离度量以复杂的方式被用于计算innd和onnd。该评价框架在评价过程中为用户提供支持。专家可以检测到：gan的配置生成了并不多样化的样本。此外，可能的是，验证所生成的数据与真实数据之间的映射是否清楚，即所生成的样本应当对应于容易识别的类别。还计划了其他开发，以允许增加的透明度和对gan算法的更深理解，诸如：突出显示判别器的决策过程的附加视图、以及从不同gan配置生成的数据之间的高效比较。
155.尽管已经关于某些优选实施例示出和描述了本发明，但是本领域的其他技术人员
在阅读和理解说明书后将会想到等同物和修改。本发明包括所有这种等同物和修改，并且仅由所附权利要求的范围所限制。
156.为了说明，上面已经描述了各种示例，在其中数据生成算法由gan来实现。其他种类和类型的数据生成算法也是可设想的。
157.为了进一步说明，已经针对其中数据生成算法生成实现用于训练ml算法的训练数据集的所生成的数据集的场景描述了各种示例。对于所生成的数据集的其他目的（例如，用于测试数据集等），可以容易地应用如上所描述的类似技术。