动态批次限制验证的制作方法

动态批次限制验证
1.相关申请的交叉引用本技术要求保护于2018年12月20日提交的题为“dynamic batch limit validation”的美国临时申请第62/782,920号和于2019年7月22日提交的题为“dynamic batch limit validation”的美国临时申请第62/876,990号的优先权，它们两者都由此通过引用整体地并入本文中。
技术领域
2.本公开一般涉及监测和分析数据收集中的合规性，并且更具体地涉及对所收集的数据动态应用限制。


背景技术：

3.制成品（诸如医药产品、食品和饮料产品，以及通过化学和其他过程生成的其他产品）通常必须满足特定规格，例如，监管规格、内部规格等等。可能存在与产品的某些成分的限制有关的规格（例如，杂质百分比、化学成分、身份特性等）。产品规格可以取决于各种因素，诸如例如产品类型、目标市场、环境影响、成本等等。例如，医药产品的限制与糖果棒的限制不同，并且儿童产品的要求可能与成人产品的要求不同。在生产或实验运行期间，公司测试产品批次或运行的各种化学成分和构成，以评估成分是否落入与规格或参数相对应的特定限制内。
4.适用的限制可以由公司设置（例如，以限制成本，确保纯度、所需性能等）、由监管机构设置（例如，以确保安全和限制环境影响）或由第三方利益（例如，投资者）设置。例如，公司可以为各种参数设置限制作为产品生产过程中的目标。作为另一个示例，监管机构对各种参数值设置了限制，以确保每批产品都具有足够的质量。当一个批次的参数值在规定的限制内时，它就符合既定的目标和/或法规。限制可能会随着时间的推移而改变，例如，由于改变了监管方案、产品变化等等，并且照此，在不同时间分析的批次可能具有不同的适用限制。
5.监管主体对公司强加生产符合特定标准和限制（例如，基于人类、动物和环境的健康、身心健康和安全）的产品的严格要求。为了满足这些要求，公司必须在开发的所有阶段监测其产品和过程，并且收集、组织和分析与强加的要求有关的数据。
6.作为一个示例，美国食品药品监督管理局(fda)卫生与公众服务部要求产品的采样和检测计划符合一套标准，以确保药品批次符合适当的规格和统计质量控制标准，作为其批准和发布的条件。例如，药物制造必须使用被评估为足以保持药物身份、强度、质量和纯度的方法、设施和控制程序。
7.此外，监管主体对数据管理强加了一定的要求，以确保数据完整性。数据完整性要求数据完整、一致和准确。特别地，随着计算机化系统使用的增加，许多监管方案要求对数据进行一些控制，以防止未经授权的访问或变化。例如，fda发布的药品现行良好生产规格(cgmp)要求有一种手段来确保任何计算机化系统的数据保护。例如，cgmp指南建议对所做
出的任何数据改变、先前的条目、做出改变的人以及做出改变的时间进行记录。
8.监测数据收集合规性的常规方法需要繁琐的手动输入和数据比较，或者需要编程技能。例如，公司通常在excel电子表格中组织数据、手动输入数据和在收集数据时相关的适用限制。这样的手动输入可能会令人生畏，因为批次及其适用的限制可能很多。另外，这样的手动输入通常不符合对数据完整性的政府授权，因为它无法充分跟踪和保存数据。
9.本说明书的背景部分中包括的信息（包括本文中引用的任何参考文献及其任何描述或讨论）仅出于技术参考目的而被包括在内，并且不要被视为要约束权利要求中所限定的本发明范围的主题。


技术实现要素：

10.本文中公开的技术通常涉及用于跟踪所收集数据的合规性的系统。
11.在一个实施例中，公开了一种利用数据合规性跟踪系统验证数据的方法。该方法包括：从计算元件接收至少一个数据点，其中，该数据点对应于在产品的批次运行期间从至少一个参数的采样中收集的数据，并且包括时间戳数据；确定与至少一个参数相对应的限制信息，其中，该限制信息包括与至少一个参数相关联的至少一个限制，并且具有相关联的有效值范围；存储至少一个数据点和限制信息；从用户设备接收分析请求；分析所存储的限制信息以将限制应用于选择的数据点；以及显示分析输出。
12.在另一个实施例中，公开了一种在数据合规性跟踪系统中更新动态限制值的方法。该方法包括：从第一用户设备接收新的限制值和与新的限制值相关联的改变原因；向第二用户设备传输批准请求，其中，第二用户设备的用户具有令人满意的特权级别（privilege level）；从第二用户设备接收对新的限制值的批准；确定所批准的新的限制值的有效间隔；生成新的限制值条目，该新的限制值条目包括新的限制值和相关联的有效间隔；将新的限制值条目存储在存储器中；以及将存储在存储器中的先前限制值的状态更新为过时的。
13.在又另一个实施例中，公开了一种向用户实时提供选择的数据合规性反馈的方法。该方法包括：从产品的批次运行接收数据值；确定数据值被批准；确定所批准的数据值与活动警报相关联，其中，该活动警报与关联于数据值的限制或规则有关；评估所批准的数据值与限制或规则的合规性；以及向用户传输警报通知，其指示基于评估的所批准的数据值与限制或规则的合规性。
14.提供本概述是为了以简化的形式介绍一系列概念，这些概念将在下面的说明书中进一步描述。本概述无意标识要求保护的主题的关键特征或必要特征，也不意图用于限制要求保护的主题的范围。在权利要求中限定的本发明的特征、细节、效用和优点的更广泛的呈现在以下各种实施例和实现方式的书面描述中提供，并且在附图中图示。
附图说明
15.图1是图示了数据合规性监测系统的示例的框图。
16.图2是代表图1系统的一个或多个组件的计算设备的简化框图。
17.图3是图示了基于图1的数据合规性监测系统内的对应限制来分析数据的方法的流程图。
18.图4是图示了用于更新图1的数据合规性监测系统内的限制值的方法的流程图。
19.图5a图示了图1的系统的数据库结构的示例。
20.图5b图示了图1的系统的数据库结构的另一个示例。
21.图6图示了允许在不同限制类别之间进行选择的用户界面。
22.图7图示了调整规格限制数据的用户界面。
23.图8图示了调整目标控制限制数据的用户界面。
24.图9图示了提供与对规格限制数据或目标控制限制数据的调整有关的附加信息的用户界面。
25.图10图示了调整为规格限制或目标控制限制所显示的限制状态的用户界面。
26.图11图示了显示随着时间的推移和针对不同市场的变化限制的用户界面。
27.图12图示了显示单个参数的控制图的用户界面。
28.图13图示了显示用于为一个或多个控制图生成数据的单个批次的信息的用户界面。
29.图14图示了显示单个参数的分段控制图的用户界面，该单个参数示出了限制随时间推移的变化。
30.图15图示了以表格格式显示在图14的分段控制图中的参数的限制数据中的变化的用户界面。
31.图16图示了显示具有针对单个市场的限制的控制图的用户界面。
32.图17图示了显示针对单个市场的过程能力图的用户界面。
33.图18图示了显示具有针对多个市场的限制的控制图的用户界面。
34.图19图示了用于调整显示在控制图上的规格限制的用户界面显示。
35.图20是图示了用于批次过滤的方法的流程图。
36.图21是图示了用于限制过滤的方法的流程图。
37.图22图示了显示交互式控制图的用户界面，该交互式控制图具有用于显示与数据点相关联的元数据的图形。
38.图23是图示了用于向用户发送警报的方法的流程图。
39.图24图示了显示提供对用户警报偏好的访问的主屏幕的用户界面。
40.图25图示了显示主屏幕的图24的用户界面，其中警报选项卡打开以定制警报。
41.图26图示了显示分析选项卡的用户界面，该分析选项卡允许用户为所选参数定制一个或多个规则和/或限制。
42.图27图示了图26的用户界面，其显示具有为所选参数定制的规则和规格限制的分析选项卡。
43.图28图示了图26的用户界面，其显示允许用户为所选参数定制一个或多个警报的警报选项卡。
44.图29图示了由本公开的系统向用户发送的示例性警报。
45.图30图示了显示主屏幕的图24的用户界面，其中快速访问图表选项卡打开以用于快速访问订阅的图表。
46.图31图示了用户界面，其显示用于查看特定于订阅图表的信息的分析屏幕。
47.图32图示了图22的用户界面，其显示具有用于显示与数据点相关联的警报元数据
的图形的交互式控制图。
具体实施方式
48.本公开的系统和方法提供将多个限制与针对多个批次或产品等等的一个或多个参数（例如，化学成分、跟踪值等等）所收集的数据相关联的机制。作为一个示例，在产品运行或实验（例如，药物开发）期间，可以通过一种或多种化学过程生产几批产品。批次可以具有一个或多个与其相关联的限制，诸如纯度限制、特定化学特性的期望范围（例如，乙醇百分比、ph、温度），和/或在过程的各个阶段的化学成分的范围。可以收集批次的数据点或值，诸如通过连接到处理线的仪器（例如，温度探针、ph探针、流量计、压力传感器、分光光度计等等）和/或通过在过程中自动或手动采样来收集。这些值可以自动和/或由用户手动输入到数据库中。
49.批次的值或数据点通常包括一个或多个对应的限制或阈值（例如，最大值、最小值），这些值是可接受的（诸如那些落入特定法规要求或遵循产品规格或配方的准确性所需的值）。本公开的数据合规性跟踪系统自动将值或数据点与对应的限制相关联，使得可以针对给定的限制验证数据点和值，而不管该验证被审查或运行的时间。
50.在若干实施例中，数据合规性跟踪系统包括：批次或数据点数据库和限制数据库。该数据点或值数据库接收并且存储为各种参数或特性所收集的数据点或值。该数据点数据库可以直接从计算或其他设备（例如，仪器）、或从将值输入到系统中的用户接收信息。数据点可以包括与特定采样的周围环境有关的值元数据。例如，元数据可以包括指示样本或批次被测试从而得到（一个或多个）所收集的数据点的日期和/或时间的时间戳。限制数据库存储适用的有效时间间隔（例如，有效时间窗口）的各种参数的限制值。验证窗口或验证间隔包括：特定限制的开始时间/日期，以及可选的，特定限制的结束日期或持续时间/日期。系统对给定参数（或对参数、子产品和市场组合）强制实施不重叠的有效日期范围。由于限制值可能随时间的推移而变化，因此限制数据库能够收集和存储各种限制值及其适用的有效时间间隔，而不会影响值数据库中数据点的存储或数据完整性。
51.考虑到数据点数据库和限制数据库的结构，可以在系统内运行分析以确定合规性，或以其他方式分析与期望结果相对应的一个或多个批次的成功，而无需单独标识运行时有效的适用限制。例如，在分析数据时，系统会自动将定义的限制应用于在对应的限制验证窗口期间制造的批次。
52.该系统可以在建立新的限制时取代旧的或无效的限制，从而帮助防止基于过时信息无意中破坏批次。这种新的限制可能具有不同的适用有效时间窗口。该系统可以将新的限制应用于在新的时间窗口内制造的批次。该系统可以基于批次的制造时间自动应用限制，并且以图形形式绘制批次与限制之间的这种关系。
53.在一个实施例中，当检索用于分析的数据或其他对用户的输出时，数据合规性跟踪系统检索期望的数据点以用于分析，检索包括时间戳信息的对应的值元数据，并且然后分析限制数据库以确定针对存储在数据点数据库中的每个数据点的适用限制值。然后将限制值应用于相应的数据点或值，从而允许在应用正确限制的情况下以图形方式标绘或以其他方式在控制图（或其他统计工具）中分析这些值，使得分析对应于在处理批次时有效的限制的数据，而不是对特定参数或特性有效的当前限制。这允许准确反映参数或特性在制造
时是否有效和/或是否曾经有效，而不是根据当时无效的标准来分析值。以这种方式，用户可以确定所收集的数据是否在规定的限制内或曾经在规定的限制内，并且因此确定是否符合在数据收集时强加的规定。这有助于缓解常规系统不监测和更新限制的问题，该问题会导致不必要的产品浪费、资源浪费等等。
54.本公开的系统允许批次过滤和限制过滤两者来向用户显示适当的批次和适用的限制。遍及制造过程可能会生产若干批次的产品。各个批次可能具有若干与其相关联的限制。例如，批次可能具有许多相关联的参数（例如，温度、ph、毒性等），并且每个参数可能具有许多限制。例如，每个参数可能具有不同的限制，这基于建立机构（例如，公司或一个或多个监管主体）、子产品（例如，包装或浓度）、限制日期范围或状态、市场和其他杂项因素（例如，可能影响参数值的用户定义因素）。该系统能够快速且有效地过滤批次和限制，以将期望的限制应用于适当的批次。
55.本公开的系统提供了一种可验证的手段来遵守关于与产品质量控制相关联的数据完整性的法规。该系统将数据与上下文联系起来，以加快和满足与用于质量控制的数据处理有关的政府要求，同时维持数据完整性，以及对各种限制和数据值的可表明/可跟踪改变。另外，该系统为几乎没有或没有计算机编程专业知识的普通用户提供了一种以一致、可靠和有效的方式组织和分析数据的方式，从而避免了与手动输入电子表格（例如，excel）相关联的用户错误。该系统几乎不需要用户进行配置；相反，用户可以创建流程定义、输入规格和目标控制限制、输入批次数据并且简单地监测合规性。
56.另外，该系统允许用户在批次运行和超出限制时、或基于其他用户设置偏好（诸如输入新数据值时）接收自动警报。警报功能允许用户更密切地监测过程，并且有助于确保批次正常运行，从而允许用户在过程中出现问题时纠正问题，而不是事后纠正。
57.现在转向附图，将更详细地讨论本公开的系统。图1是图示了数据合规性跟踪系统100的示例的框图。系统100包括：用户设备106，其可以与一个或多个仪器108a
‑
n通信。该系统还可以包括服务器102和一个或多个数据库110，其可以与用户设备106和/或仪器108a
‑
n通信。合规性跟踪系统100的各个组件中的每一个都可以直接或间接地（诸如通过网络104）相互通信。以这种方式，每一个组件都可以从系统中的其他组件传输和接收数据。在许多情况下，服务器102可以充当系统100中某些组件的中间人。
58.网络104基本上可以是用于通过有线或无线机制（例如，wifi、以太网、蓝牙、蜂窝数据等等）传输数据的任何类型或类型的组合的通信系统。在一些实施例中，合规性跟踪系统100中的某些组件可以经由第一模式（例如，蓝牙）进行通信，并且其他的可以经由第二模式（例如，wifi）进行通信。附加地，某些组件可以具有多种传输机制，并且被配置成以两种或更多种方式传送数据。网络104的配置和每一个组件的通信机制可以根据需要改变。
59.服务器102包括：处理和执行信息的一个或多个计算设备。服务器102可以包括其自己的处理元件、存储器组件等等，和/或可以与一个或多个外部组件（例如，单独的存储器存储装置）通信（在下面关于图2公开了可以包括在服务器102中的计算元件的示例)。服务器102还可以包括经由网络104或单独的通信协议互连在一起的一台或多台服务器计算机。服务器102可以托管和执行由系统100执行的多个过程。
60.用户设备106可以是各种类型的计算设备中的任何一种，例如，智能电话、平板计算机、台式计算机、膝上型计算机、机顶盒、游戏设备、可穿戴设备等等。用户设备106向用户
提供输出并且从用户接收输入。例如，用户设备106可以从用户接收限制和所收集的数据，并且向用户输出合规性信息、警报和其他通知。用户设备106的类型和数量可以根据需要改变。
61.仪器108a
‑
n可以是用于创建、采样和测试产品的任何类型的仪器或技术。例如，仪器108可以是用于实行测定的任何仪器（例如，细胞计数器、质谱仪、nir探针等等）。作为另一个示例，仪器108可以是可以监测一个或多个参数（例如，温度、压力、ph、电、运动等等）的传感器。
62.一个或多个数据库110可以是链接到用户的任何数据库。例如，数据库110可以是公司直接使用的内部数据库，或者数据库110可以是外部数据库。例如，公司可以访问与监管机构相关联的外部数据库。例如，数据库可以与美国食品和药物管理局、欧洲药品管理局、兽药局、世界卫生组织、保健品监管局或类似的监管机构相关联。数据库110存储合规性信息，包括某些化学成分或化学构成、过程等等的规格限制。
63.图2示出了可以与系统100一起使用或集成到一个或多个系统100组件中的计算设备的简化块结构。例如，服务器102、用户设备106、仪器108a
‑
108n和/或（一个或多个）数据库110可以包括图2所示的一个或多个组件，并且使用这些组件中的一个或多个来执行方法200、250、500和550中公开的一个或多个操作。参照图2，计算设备150可以包括：一个或多个处理元件152、输入/输出接口154、网络接口156、一个或多个存储器组件158、显示器160、一个或多个外部设备162、以及电源164。各种组件中的每一个都可以通过一个或多个总线、无线部件等等相互通信。
64.处理元件152是能够处理、接收和/或传输指令的任何类型的电子设备。例如，处理元件152可以是中央处理单元、微处理器、处理器或微控制器。附加地，应当注意到，计算机150的选择的组件可以由第一处理器控制，并且其他组件可以由第二处理器控制，其中第一和第二处理器可以或可以不相互通信。
65.计算机150使用存储器组件158来存储用于处理元件152的指令，以及存储数据，诸如所收集的数据点（例如，批次数据）、时间信息、限制值等等。存储器组件158可以是例如磁光存储装置、只读存储器、随机存取存储器、可擦除可编程存储器、闪速存储器或一种或多种类型的存储器组件的组合。
66.显示器160向用户提供视觉反馈，并且可选地，可以充当输入元件以使得用户能够控制、操纵和校准计算设备150的各种组件。显示器160可以是液晶显示器、等离子显示器、有机发光二极管显示器和/或阴极射线管显示器。在显示器160被用作输入的实施例中，显示器160可以包括一个或多个触摸或输入传感器，诸如电容式触摸传感器、电阻栅等等。
67.i/o接口154允许用户将数据输入到计算机150中，以及为计算机150提供输入/输出以与其他设备（例如，服务器102、仪器108a
‑
n、其他计算机、扬声器等等）通信。i/o接口154可以包括一个或多个输入按钮、触摸板等等。
68.网络接口156提供去往计算机150和从计算机150到其他设备的通信。例如，网络接口156允许服务器102通过网络104与仪器108a
‑
n通信。网络接口156包括一种或多种通信协议，诸如但不限于wifi、以太网、蓝牙等等。网络接口156还可以包括一个或多个硬连线组件，诸如通用串行总线(usb)电缆等等。网络接口156的配置取决于所期望的通信类型，并且可以被修改为经由wifi、蓝牙等等进行通信。
69.外部设备162是可以用于向计算设备150提供各种输入的一个或多个设备，例如，鼠标、麦克风、键盘、触控板等等。外部设备162可以是本地的或远程的，并且可以根据需要而有所不同。电源164可以是使得计算机150能够运行的任何电源（例如，壁式电源、电池等等）。
70.图3是图示了基于数据合规性跟踪系统100内的对应限制来分析数据的方法的流程图。方法200开始于操作202，并且服务器102接收一个或多个数据点或值。数据点可以对应于从对一批特定产品（例如，药品）进行测试或采样所收集的数据。通常，批次的采样或测试是特定于参数的，即，采样基于批次的一个或多个参数值，诸如例如温度、ph、特定物质或杂质的浓度、粘度、生存力（viability）、硬度、溶解度等等。在另一个示例中，测试仪可以在一次采样中测试多个参数。所收集的数据包括一个或多个参数值，并且可以包括与采样情况相关联的元数据。例如，如图13所示，批次数据350还可以包括批次id号或名称352（例如，标识了值适用的批次）、时间戳信息354（例如，对应于采样或创建批次的时间和/或日期的时间和/或日期）、批次状态356和任何适用的子产品358或市场360。批次数据350可以包括参考url 362或附件364，以提供与批次有关的附加信息/结果。
71.批次数据350可以由用户手动输入到系统100中，或者可以在它被收集时自动上传到系统100。例如，可以经由系统100中的一个或多个仪器108a
‑
n来检测这些值。作为示例，温度计可以用于检测和输入特定批次样品的温度值。一个或多个仪器108a
‑
n可以与服务器102通信，并且可以将所收集的批次数据直接或通过网络104发送到服务器102。数据值可以直接从仪器108a
‑
n接收，或者从与仪器108a
‑
n通信或已经具有（例如，经由批次数据上传的）来自仪器108a
‑
n的接收到的信息的计算设备或存储装置接收。时间戳信息也可以在值被记录时由仪器108a
‑
n直接记录，并且可以直接或通过网络104上传到服务器102。替代地，与仪器108a
‑
n通信的计算设备可以记录数据值被收集的时间，并且将时间戳信息上传到服务器102。在又另一个示例中，当批次数据被上传时，时间戳信息可以被自动地或手动地输入到系统100中（例如，指示批次被输入到系统中的时间）。
72.在操作202之后，方法200进行到操作204，并且服务器102确定限制信息。限制信息可以与监管机构所设置的有效标准、用户所设置的阈值等等有关。例如，监管机构或用户可以为对应于特定市场的安全或可接受产品的一个或多个参数设置最大值、最小值或范围。这样的最大值、最小值或范围是一个限制。如果参数值超过最大值、低于最小值、或超出监管机构和/或用户所设置的范围，则该参数值不符合监管框架或用户强加的限制。然而，如果参数值低于最大值、高于最小值、或在监管机构和/或用户所设置的范围内，则该参数值是合规的。限制信息也可以是特定于产品的，因为可能会取决于产品而应用不同的质量属性。以此方式，限制信息可以基于各种因素，诸如例如特定产品的临床经验。
73.限制信息可以由用户输入，或者可以从一个或多个数据库110获取。作为一个示例，限制信息由用户通过用户设备106输入。用户可以与用户界面交互，该用户界面诸如是图6
‑
19和图22中所示的界面300。用户可以选择限制类别302，诸如例如规格304或目标306，如图6所示的。规格304可以由监管主体定义，而目标306可以由用户定义或可以基于统计、配方或目标。例如，规格304的限制值可以取决于监管机构对安全或环境友好内容的确定（例如，设置最低值）。规格304限制可以与产品有关（例如，控制药品背面的成分列表）。作为示例，规格304限制可以基于原材料的变化而变化。作为另一个示例，可以基于过程开发、验
证研究和/或fda提交来为过程中（in
‑
process）参数设置规格304限制值。
74.另一方面，目标306限制值可以由用户基于用户的目标来设置。替代地，目标306限制值可以基于指示特定参数的典型值（例如，平均值）的统计数据。例如，目标306限制值可以是从基线批次或先前的经验统计得出的控制限制。目标306限制可能与过程有关（例如，控制实际制造过程的操作范围）。目标306限制可能会遍布多个批次。通常，目标306可能比规格304限制更快速地变化。
75.如图7和图8所示，规格304和目标306两者都可以由上限制值和下限制值两者定义，使得限制由范围来定义。然而，还设想到规格304和目标306可以由最小值或最大值定义。规格304和目标306可以包括各种单元操作或子类别308（例如，如图7所示，扩展、n
‑
1、prod、harvest、pro a、vi、cex、aex、vf、uf/df、ff、bos，除了别的之外）。如图8
‑
11所示，每个子类别308包含特定参数310。对于规格304或目标306，用户可以选择参数310来调整其相关联的限制。用户可以基于从数据库110收集的限制数据来输入规格304限制，或者系统100可以被配置成从数据库110自动拉取限制数据。用户还可以基于用户偏好（例如，目标）或从数据库110获取的统计数据来输入目标306限制。替代地，系统100可以被配置成从数据库110自动拉取统计数据以应用于目标306的限制值。
76.在操作204之后，方法200进行到操作206。在操作206中，系统100存储所收集的数据和限制信息。信息以离散的、有组织的方式存储。例如，系统100可以将数据存储在表格中。作为一个示例，系统将数据和限制信息存储在不同的存储数据库或系统中。图5a图示了系统100的存储系统270的示例。如所示的，存储系统270包括数据点存储或值数据库272和限制存储数据库274。数据点存储数据库272存储为一个或多个参数(例如，批次数据)收集的数据点。在图5a所示的实施例中，数据点存储系统272包括为参数温度收集的多个数据点275a
‑
g。数据点275a
‑
g包括参数值276和时间戳278。在该示例中，温度值276以摄氏度为单位记录，并且时间戳278指示该值被采样的日期和时间两者。时间戳信息可以基于该值被输入到存储装置中的时间、该值被收集的时间、该值相对应的批次的运行时间等等来自动确定。
77.限制存储数据库274存储一个或多个参数310的各种有效时间间隔280的限制值。在图5a所示的实施例中，限制存储数据库274包括参数温度的多个限制条目285a
‑
h。在所示示例中，每个限制条目285a
‑
h包括有效值范围286，其具有以摄氏度为单位的最小值282和最大值284的温度值，以及相关联的有效时间间隔280。限制（例如，值范围286）可以在有效时间间隔280内变化。如所示的，可能不存在重叠的有效时间间隔280，使得没有时间间隔（例如，单个日期）具有多于一个限制条目285a
‑
h（或者，在该示例中，多于一个值范围286）。
78.图5b图示了系统100的存储系统600的另一个示例。如所示的，存储系统600包括批次数据库602和限制数据库604。批次数据库602存储与不同批次606相关联的批次数据。批次数据库602可以是单个数据库，或者它可以在若干个数据库当中被划分。如所示的，批次数据库602包括批次标识数据库602a和批次值数据库602b。批次标识数据库602a使得能够基于标识符（例如，字母、数字等等）、适用的市场608和制造日期610来标识批次606。如所示的，三个批次606与标识符b101、b102和b103一起存储在批次数据库602中。每个批次606具有相关联的市场608和制造日期610。如所示的，批次606 b101于2018年2月1日下午1:55生产，并且与美国市场608相关联；批次606 b102于2018年2月8日上午11:06生产，并且与欧洲
市场608相关联；并且批次606 b103于2018年2月15日下午4:54生产，并且与美国市场608相关联。
79.批次值数据库602b可以与批次标识数据库602a相关联，并且可以包括每个批次606的一个或多个参数612，以及每个参数612的记录值614。如所示的，批次值数据库602b包括参数612温度和ph值，并且包括它们各自的值614。如所示的，每个批次606（例如，b101、b102、b103）都具有记录的温度和ph值两者。
80.限制数据库604基于各种有效时间间隔存储一个或多个参数的限制数据。限制数据库604可以是单个数据库，或者它可以在若干个数据库当中被划分。如所示的，限制数据库604包括规格限制数据库604a和目标控制限制数据库604b。规格限制数据库604a可以包括各种规格限制条目616a
‑
g。如所示的，规格限制条目616a
‑
g包括：有效起始日期620、有效截止日期622、参数612、限制类别624、类型628、下限630和上限632。规格限制可以基于限制类别624而有所不同。限制类别624可以包括特定市场（例如，如所示的）、子产品或可能影响限制的任何杂项类别（例如，产品类型、所使用的设备、测试环境等等）。在所示示例中，规格限制适用于参数612温度和ph值，并且适用于美国和欧洲市场。类型628可以指示颁发机构。例如，监管机构（诸如例如fda）可能需要类型628版本。作为另一个示例，类型628动作可以在内部发布，诸如例如由公司发布。规格限制可以具有下限630值、上限630值或两者（例如，限制范围）。
81.目标控制限制数据库604b可以包括各种目标控制限制条目618a
‑
e。如所示的，目标控制限制条目618a
‑
e包括：有效起始日期620、有效截止日期622、参数612、限制类别624和限制值634。目标控制限制可以以与上面关于规格限制所讨论的方式相同的方式基于限制类别624而有所不同。在所示示例中，目标控制限制适用于参数612温度和ph值，并且适用于美国和欧洲市场。限制值634可以包括下限值、上限值或两者（例如，限制范围）。例如，如所示的，限制值634包括控制下限(lcl)、警告下限(lwl)、内部下限(lil)、内部上限(uil)、警告上限(uwl)和控制上限(ucl)的值。
82.在操作206之后，方法200进行到操作208，并且系统100接收分析请求，该分析请求可以是对所收集的数据的验证的请求。例如，用户可能想知道特定批次在采样时是否符合法规和/或目标。为了确定批次是否合规，用户经由用户设备106提交分析请求。分析可以是所收集的数据点与相关联的限制之间的基本上任何类型的关系，诸如图表请求。例如，用户可以选择参数310（例如，温度），并且请求系统100将相对于相关联的限制的参数数据点绘制在图形标绘图上，其被称为控制图314，如图12、14、16和18所示。作为另一个示例，用户可以请求其他输出，诸如例如重叠线图、箱线图、条形图等等。例如，用户可能需要这样的输出标绘各种规格限制。
83.在操作208之后，方法200进行到操作210，并且服务器102分析所存储的数据点和限制，以将适用的限制应用于所选数据点。作为一个示例，服务器102可以基于用户选择过滤所存储的数据点(例如，批次数据)或限制数据中的一个或两个，如下面参照图20和21更详细地讨论的。作为另一个示例，参照图5a，系统100可以使用存储系统270基于时间信息将限制映射到数据点275a
‑
g。在该示例中，系统100自动将各个数据点275a
‑
g与其对应的限制条目285a
‑
h相关，诸如通过将时间戳278与有效时间间隔280相关联来进行。例如，系统分析时间戳以确定适用的有效时间间隔，并且然后参考与适用的有效时间间隔相对应的限制，
并且将该限制应用于相应的数据点。以这种方式，当检索分析时，限制数据库可起到数据值数据库的查找表的作用，从而确保与在分析时依赖于用户输入的限制相比，数据将具有所应用的正确限制。
84.以这种方式，当数据点275a
‑
g与限制条目285a
‑
h相关联时，系统100然后可以确定数据点275a
‑
g在其记录（或应用其他分析）时是否合规。例如，数据点275a具有18年2月6日下午1:55的时间戳278。该时间戳278对应于有效时间间隔280 18年1月1日
‑
18年3月3日，因为日期18年2月6日落入该范围内。该有效时间间隔280进而对应于限制条目285a。以这种方式，系统100可以确定数据点275a与具有在4.5℃
‑
5.5℃之间的值范围286的限制条目285a相关。数据点275a的温度值276为5.2℃，其落入限制条目285a的值范围286 4.5℃
‑
5.5℃内。因为数据点275a落入限制条目285a的值范围286内，所以系统100将确定在18年2月6日下午1:55记录或收集数据点275a时，该数据点275a是合规的。
85.作为另一个示例，数据点275c和数据点275d两者都记录了5.5℃的相同温度值276。然而，在该示例中，这些数据点275c
‑
d中的一个是合规的，而另一个不合规，因为合规性可能取决于在记录数据时有效的适用限制。在此示例中，数据点275c是在18年5月3日下午3:04记录的，落入有效时间间隔280 18年3月4日
‑
18年6月4日内，该间隔对应于限制条目285b，其值范围286为4.4℃
‑
5.4℃。数据点275d记录于2018年8月22日下午12:26，它落入有效时间间隔280 18年7月16日
‑
18年10月21日内，该间隔对应于限制条目285d，其值范围286为4.6℃
‑
5.6℃。5.5℃的温度值276落入具有4.6℃
‑
5.6℃的值范围286的限制条目285d的限制内，但是在具有4.4℃
‑
5.4℃的值范围286的限制条目285b的限制之外。因此，数据点275d符合其对应的限制条目285d，而数据点275c不符合其对应的限制条目285b。
86.在另一个示例中，数据点275e在18年10月22日下午4:54记录了4.8℃的温度值276。该数据点275e落在有效时间间隔280 18年10月22日
‑
18年12月1日内，该间隔对应于具有4.8℃
‑
5.7℃的值范围286的限制条目285e。在此示例中，时间戳278日期和参数值276两者都满足有效时间间隔280或限制值范围286的最终值。例如，数据点275e的日期18年10月22日满足开始限制条目285e的有效时间间隔280的第一个日期18年10月22日。该日期被认为在限制条目285e的有效时间间隔280内，使得限制条目285e适用于数据点275e。数据点275e的温度值276 4.8℃与限制条目285e的限制的最小值282 4.8℃匹配。最小值282被认为在该限制内，使得数据点275e的温度值276在该限制内。因此，系统100将确定数据点275e在其被记录时是合规的。
87.虽然在该示例中描绘的有效时间间隔280以月长间隔为单位，但通常可以使用任何时间范围。例如，有效时间间隔280可以跨越几小时、几天或几年。另外，虽然在该示例中描绘的限制是值范围286，但也设想到该限制可以是单个值，诸如最小或最大阈值。
88.作为又另一个示例，参照图5b，系统100可以使用存储系统600来将限制映射到批次。图5b所示的箭头表示批次到限制的示例性映射。系统100可以首先基于其标识信息（例如，如批次标识数据库602a中所示）标识适用的批次606（例如，基于用户选择）。例如，系统100可以基于其标识符（例如，b101、b102、b103）、其市场608（例如，美国、欧盟）和/或其制造日期610来标识批次606。在所示的示例中，系统100已经标识出在2018年2月1日下午1:55制造并且与美国市场608相关联的批次606 b101。
89.一旦系统100标识了适用的批次606，系统100就可以将批次606与其适用的参数
612和值614相关联（例如，如批次值数据库602b中所示）。例如，如所示的，基于标识符b101，如箭头636a所示的，批次606 b101被映射到值614为5.27的参数612温度。如箭头636b所示的，基于相同标识符b101，批次606 b101也被映射到值614为7.8的参数612 ph。在此阶段，批次606与标识符、市场608、制造日期610、参数612和参数值614相关联；然而，设想到批次606也可以基于批次606周围的环境与其他元数据相关联。
90.系统100可以基于将批次606与限制相关联的各种因素将批次606映射到一个或多个相应的限制。例如，映射可以基于批次生产日期610、市场608和/或参数612。例如，如所示的，批次606 b101被映射到目标控制限制数据库604b中的各种目标限制条目618b，d，如箭头638a，b所示。作为一个示例，如箭头638a所示的，批次606 b101被映射到目标控制限制条目618b。批次606 b101已经被映射到目标控制限制条目618b，因为批次606 b101制造日期610落在由有效起始日期620和有效截止日期622所定义的有效时间间隔内，并且市场608和参数612匹配目标控制限制条目618b的限制类别624和参数612。批次606 b101的生产日期610 2018年2月1日落在为目标控制限制条目618b所定义的有效时间间隔内，该时间间隔具有2018年1月1日的有效起始日期和2018年2月5日的有效截止日期622。美国市场608和温度参数612也匹配目标控制限制条目618b的限制类别624（美国市场）和参数612（温度）。以此方式，系统100确定批次606 b101与限制值634 lcl 5.4、lwl 5.5、lil 5.6、uil 5.8、uwl 5.9和ucl 6.0相关联。与批次606 b101相关联的温度值614 5.27落在5.4
‑
6.0的lcl
‑
ucl范围内、5.5
‑
5.9的lwl
‑
uwl范围之外，以及5.6
‑
5.8的lil
‑
uil范围之外。以此方式，系统100可以确定批次606 b101符合控制限制，但是不符合警告和内部限制。
91.如所示的，批次606 b101也被映射到目标控制限制条目618d，如箭头638b所示。在该示例中，批次606 b101基于制造日期610和参数612而被映射。批次606 b101已经被映射到目标控制限制条目618d，因为批次606 b101的制造日期610落在由有效起始日期620和有效截止日期622所定义的有效时间间隔内，并且参数612匹配。如所示的，目标控制限制条目618d用于参数612 ph，其与来自批次值数据库602b的参数612 ph相匹配。批次606 b101的生产日期610 2018年2月1日落在为目标控制限制条目618d所定义的有效时间间隔内，该时间间隔具有2018年1月1日的有效起始日期620和2018年2月5日的有效截止日期622。目标控制限制条目618d仅具有与其相关联的控制限制值。目标控制限制条目618d的控制限制值634范围是7.1
‑
8。与批次606 b101相关联的ph值614 7.8落在此范围内。以此方式，系统100可以确定批次606 b101符合适用的控制限制。
92.如所示的，批次606 b101也被映射到规格限制数据库604a中的各种规格限制条目616b、c、e和f，由箭头640 a、b、c和d所示。在该示例中，系统100通过制造日期610、参数612和市场608进行匹配（或过滤）。系统100可以首先通过参数612、其次通过制造日期610，并且第三通过市场608进行过滤，或者系统100可以以任何其他次序进行过滤。在一个示例中，系统100首先通过参数612进行过滤。在该示例中，系统100可以在规格限制数据库604a中搜索与温度有关的任何限制，该温度是与批次606 b101相关联的一个参数612。如所示的，规格限制条目616a
‑
d都与温度有关。
93.接下来，在该示例中，系统100可以按制造日期610过滤这些规格限制条目616a
‑
d。系统100可以在这些规格限制条目616a
‑
d中搜索有效起始日期620和有效截止日期622，其包括批次606 b101的制造日期610：2010年2月1日。在该示例中，系统100将确定规格限制条
目616a
‑
c全部包括为2018年2月1日的制造日期610。规格限制条目616a具有有效起始日期2018年1月1日，而没有有效截止日期622。没有有效截止日期622意味着该限制当前适用（例如，当前有效）。在这种情况下，2018年2月1日适应于2018年1月1日到现在的日期范围内。这也是规格限制条目616c的情况，它具有相同的日期范围。规格限制条目616b具有2018年1月1日的有效起始日期620，和2018年2月5日的有效截止日期622，其中也包括2018年2月1日。
94.在该相同示例中，系统100随后可以按市场624过滤规格限制条目616a
‑
c。系统100搜索与批次606 b101的市场608匹配的市场624。批次606 b101的市场608是美国。如所示的，规格限制条目616b、c两者都与市场624美国相关联。如所示的，箭头640a将批次606 b101映射到规格限制条目616b，并且箭头640b将批次606 b101映射到规格限制条目616c。以此方式，两个规格限制与批次606 b101的参数温度相关联。与批次606 b101相关联的两个规格限制条目616b、c与两种不同类型628的限制相关联。规格限制条目616b与类型628发布（release）相关联，而规格限制条目616c与类型628行动（action）相关联。规格限制条目616b具有大于5.10的下限630值，并且没有上限632值（例如，示出限制是最小值）。与批次606 b101相关联的温度值614 5.27大于5.10，其指示批次606 b101符合参数温度的适用发布限制。规格限制条目616c具有大于或等于5.5的下限630值和小于6.0的上限632值（例如，示出该限制是一个范围）。与批次606 b101相关联的温度值614 5.27小于下限值630，该下限值大于或等于5.5，使得温度值614落在限制范围之外。以此方式，批次606 b101不符合参数温度的适用行动限制。
95.可以对与批次606相关联的其他参数612执行相同的处理方法。例如，可以对与批次606 b101相关联的参数612 ph执行相同的过滤过程。遵循相同的处理次序，系统100可以在规格限制数据库604a中搜索与参数ph有关的任何限制。如所示的，规格限制条目616e
‑
g都与ph有关。
96.接下来，在该示例中，系统100可以按照制造日期610过滤这些规格限制条目616e
‑
g。系统100可以在这些规格限制条目616e
‑
g中搜索包括批次606 b101的制造日期610 2018年2月1日的有效起始日期620和有效截止日期622。在该示例中，系统100将确定规格限制条目616e、f涵盖制造日期610 2018年2月1日。日期2018年2月1日落入规格限制条目616e的日期范围2018年1月1日到2018年2月5日，并且落入规格限制条目616f的日期范围2018年1月1日到现在。日期2018年2月1日没有落入规格限制条目616g的日期范围2018年2月6日到现在，因此规格限制条目616g被过滤掉，并且不再考虑。
97.在该相同示例中，系统100随后可以按照市场624过滤规格限制条目616e、f。系统100为批次606 b101搜索与市场608 usa匹配的市场624。如所示的，规格限制条目616e、f不与任何市场624相关联。在这种情况下，系统100可以基于制造日期610和参数612确定批次606 b101与规格限制条目616e,f之间存在匹配。如所示的，箭头640c将批次606 b101映射到规格限制条目616e，并且箭头640d将批次606 b101映射到规格限制条目616f。以此方式，两个规格限制与批次606 b101的参数ph相关联。与批次606 b101相关联的两个规格限制条目616e、f与两种不同类型628的限制相关联。规格限制条目616e与类型628发布相关联，而规格限制条目616f与类型628行动相关联。规格限制条目616e具有大于或等于7.05的下限630值，和小于或等于8.00的上限632值。与批次606 b101相关联的ph值614 7.8落在限制范围内，从而指示批次606 b101符合参数ph的适用发布限制。规格限制条目616f具有下限630
值，该下限630值大于或等于7.25，而没有上限632。与批次606 b101相关联的ph值614 7.8大于7.25，从而指示批次606 b101符合参数ph的适用行动限制。
98.在图5a和5b中描绘的两个示例中，系统100可以使用数据库作为查找表，来利用其各自的限制协调数据点或批次数据。在另一个实施例中，系统100使用利用数据库的算法来将限制链接到批次。例如，算法可以执行过程流以填充图表内的相关数据。
99.在操作210之后，方法200进行到操作212，并且系统100输出分析或与分析请求有关的其他分析。例如，系统100可以输出图示了限制与数据点之间的关联和/或合规性确定（即，数据点是否在相关联的限制内）的显示图。该信息可以以图表或表格的形式输出。例如，信息可以以图形形式输出，如图12、14、16
‑
19所示。
100.图12示出了单个参数310的控制图314的示例。在该示例中，参数310温度（℃）与从不同批次318（例如，被标记为mab_001
‑
mab_020）收集的各种数据点一起标绘。与这些数据点相关联的两种不同类型的限制也作为线被标绘在图上，该线在数据点的上方和下方示出。尽管在该示例中显示了两种类型的限制，但设想到仅可以示出一个限制，或者可以示出多于两个限制。所显示的不同限制可以对应于一个或多个目标限制、一个或多个规格限制、独特的发布机构（例如，公司或监管机构）、独特的子产品、独特的市场等等。如图12所示，第一限制被显示为具有由最小值线320与最大值线322之间的空间限定的有效值范围324。在该示例中，最小值线320表示警告下限(lwl)，并且最大值线322表示警告上限(uwl)。示出了具有由最小值线326与最大值线328之间的空间限定的有效值范围330的第二限制。在此示例中，最小值线326表示控制下限(lcl)，并且最大值线328表示控制上限(ucl)。在此情况中，两个所显示的限制对于所有数据点都是相同的，并且限制线320、322、326、328延伸穿过整个图表。虽然仅描绘了警告限制和控制限制这两个限制，但也设想到其他限制。作为一个示例，可以显示诸如内部限制之类的另一个限制，其具有内部下限(lil)和内部上限(uil)。这种限制——lwl、uwl、lcl、ucl、lil和uil——可以确定控制图限制，特别是在数据分布为非正态，并且控制限制关于均值不对称的情况下。
101.在图12所示的示例中，温度数据点落在最小值线320和最大值线322内，或在有效值范围324内，并且在最小值线326和最大值线328之间中、或在有效值范围330中。因此，数据点在各自的限制内，并且批次318符合温度参数310。如与图表314相邻的图例332所示，规则违反334将导致以不同的形状（例如，在该示例中为菱形）显示的数据点；然而，设想到规则违反与其他点之间的其他物理区别，诸如例如不同的颜色（例如，红色比对黑色）。规则违反334意味着数据点不在限制内。换言之，数据点超过最大值（例如，高于最大值线322或最大值线328）或低于最小值（例如，低于最小值线320或最小值线326））。然而，在该示例中，所有数据点都在两个限制内，使得没有示出规则违反334（并且所有数据点都具有相同的形状——在这种情况下为圆形）。
102.图14示出了单个参数310的分段控制图316的示例。当参数的适用限制随时间变化时，可能出现分段图表316或多重限制图表。在图14中，控制图316包括来自如图12所示的批次318的相同数据点，并且在图中具有相同的两种限制类型。然而，在此示例中，当收集了批次318 mab_011
‑
mab_020时，两种限制类型的值都发生了变化。在此示例中，限制线320、322、326、328没有延伸跨越整个图表；代替地，有两组限制线或区段336、338，反映了在来自第一区段336的限制（具有有效值范围324b、330b）到第二区段338中的限制（具有有效值范
围324a、330a）随时间的变化。换言之，一个或多个图表轴可能会发生改变而被扩展，以便于捕获由变化的限制所规定的附加范围。
103.例如，继续参照图12，批次318 mab_001
‑
mab_010具有由线336所展示的第一组限制，其中的限制具有在约21.7℃处的最小值线320a与约22.2℃处的最大值线322a之间的有效值范围324a，并且另一个限制具有在约21.6℃处的最小值线326a与约22.3℃处的最大值线328a之间的有效值范围330a。批次mab_011
‑
mab_020具有由线338所展示的第二组限制，其中的限制具有在约22.7℃处的最小值线320b与23.3℃处的最大值线322b之间的有效值范围324b，并且另一个限制具有在22.55℃处的最小值线326b与23.45℃处的最大值线328b之间的有效值范围330b。在此示例中，批次318 mab_001
‑
mab_010的数据点全部都在第一组限制线336的两个有效值范围324a、330a内，从而指示所有批次318在对批次318采样时都符合法规。然而，mab_011
‑
mab_020的数据点并不全部都在第二组限制线338内。如线320b和326b所示，批次318 mab_015的数据点低于两个最小值限制，并且因此不在有效值范围324b或330b内。数据点被显示为不同的形状（菱形）（或不同的颜色（例如，红色））以指示这些规则违反334。在这种情况下，除了批次318 mab_015外，所有批次318都符合在对批次318采样时适当的法规。另一方面，批次318 mab_015不符合对其采样时适当的法规，如规则违反334所指示的那样。虽然在所描绘的分段图表中仅示出了两个区段，从而反映了两个不同的有效时间间隔内的两个不同限制值，但会设想到多于两个区段，它们反映各种有效时间间隔内的各种限制值。
104.常规工具无法绘制具有不同限制的值，如图14所示。相反，需要运行两个单独的分析图，一个是第一批具有第一限制值的值，并且第二个是第二批具有第二限制值的值。然而，与图14中所示的单个多重限制图表相比，这两个图表需要很长时间才能生成，效率低下，并且不能为用户提供参数性能的整体评估。由于值与限制之间的参考关系，这种类型的多重限制分析是可能的，从而允许单独评估与限制相比的值，和/或在标绘的后端上应用限制。
105.图15以表格形式示出了在图14的分段控制图316中所描绘的每个分段336、338的变化限制数据。第一行示出了第一区段336，并且第二行示出了显示在分段控制图316上的第二区段338。这些行包括每个区段336、338的相关限制信息，诸如有效起始日期376、限制类别374、状态394和值382。如所示的，第一区段336的有效起始日期376是从2018年10月1日开始。第一区段336限制被标记为过时的，这意味着该限制不再适用于当前收集的批次数据。下一区段338限制被标记为当前的，并且具有2018年11月7日的有效起始日期376。第二区段338使先前区段336是过时的，这意味着第一区段336的有效截止日期是第二区段338的有效起始日期376之前的日期。换言之，第一区段336的有效截止日期为2018年11月6日，即第二区段338的有效起始日期2018年11月7日之前的一天。第一区段336的有效时间间隔为2018年10月1日至2018年11月6日，而第二区段338的有效时间间隔为2018年11月7日到现在。参照图14的分段控制图316，与第一区段336(例如，mab_001
‑
mab
‑
010)相关联的批次318全部都是在2018年10月1日至2018年11月6日之间的某个时间收集的，而与第二区段338（例如，mab_011
‑
mab_020）相关联的批次318全部都是在2018年11月7日或在其之后（当温度参数的限制值改变时）收集的。
106.输出的格式可以基于用户偏好进行调整。例如，用户可能更喜欢查看单个市场的
输出。限制可能取决于市场而有所不同。例如，美国可能具有与欧洲不同的适当法规。一个批次可能符合一个市场中的法规，但是不符合另一个市场中的法规。如图16所示，数据点是关于欧洲市场中当时强加的限制而标绘的。相同的限制适用于被标记为bds_001
‑
bds_017的每个批次318（如由单个显示区段所指示的），从而指示每个批次318在相同的有效时间间隔内被采样。在这种情况下，会显示三个类型的限制。所示两个类型的限制具有值范围，而所示第三限制具有上限（或最大）值。要使数据点符合第三限制，该数据点必须低于上限值。一个限制具有带最小值线320和最大值线322的值范围324，另一个限制具有带有最小值线326和最大值线328的值范围330，并且第三限制具有最大值线340。在此情况下，数据点全部都在值范围324、330内，并且低于最大值线340，使得所有数据点都符合当时的欧洲法规。如所示的，标有“美国”的图形图标342位于欧洲市场图表的正下方。在此示例中，用户可以选择美国图标342来查看与美国市场当时强加的一个或多个限制相关的相同数据点。
107.替代地，可以在同一图表上显示若干市场限制以及这些市场的特定特性或参数的表现。例如，如图18所示，控制图314可以包括两个或更多个市场340a、b的限制。在此示例中，同时示出了欧盟和美国市场限制340a、b。在这种情况下，所描绘的限制340是上限值，并且美国强加的限制340b大约为2%，而欧盟强加的限制340a大约为3%。以此方式，用户可以确保符合用户计划利用测试产品进入的适用市场。在所描绘的示例中，数据点必须低于上限值才是合规的。所有数据点都低于欧盟上限制线340a，具有的发布限制值为3.0。换言之，所有数据都符合欧盟市场的此限制。然而，与批次318 bds_018相关联的数据点位于美国上限制线340b上方。换言之，批次318 bds_018不符合美国市场，其将发布上限设置为2.0。虽然批次318 bds_018符合欧盟市场，但其不符合美国市场。
108.图17示出了可以由系统100输出的另一种图表格式。在该示例中，数据显示在单个市场(eu)的过程能力图表400中。这种过程能力图表400示出了与可接受的操作范围相比的过程的可变性。过程能力指数提供了反映特定过程在设定的规格限制内产生输出的能力的统计量度。
109.通过调整显示选项402，可以将附加的用户偏好并入图表314、316，如图19所示。例如，用户可以通过打开或关闭它们来选择性地激活显示在图表314上的各种规则403。规则403可以用于检测指示非随机变化的失控状况。通过检测这样的非随机变化，用户可以发起对可能原因的调查，以降低未来批次失败的风险。用户可以调整规则定义中的点数，以在错误信号与遗漏的真正的非随机变化之间取得适当的平衡。在所描绘的示例中，规则5
‑
8处于打开状态。
110.作为另一个示例，用户可以调整显示在图表314上的线404和限制406。作为一个示例，用户可以打开或关闭图表314上的数据线408（例如，其连接数据点）或中心线410（例如，示出了限制的平均值）。在所描绘的示例中，所有线404都被留住（如图表314上所示的）。作为另一个示例，用户可以打开或关闭不同的限制406，诸如例如控制限制412、警告限制414、内部限制416和规格限制418。在所描绘的实施例中，存在三个不同的规格限制418，并且在图表314上仅打开和描绘了一个限制。如所示的，用户还可以打开或关闭oos（超出规格）违规。例如，用户可能希望在超出限制时查看视觉提示，并且可能打开oos违规标志。拨动开关422被用于打开和关闭各种显示偏好。例如，在右侧方位的拨动开关422意味着显示偏好开启，而在左侧方位的拨动开关422意味着显示偏好关闭。设想到可以使用其他按钮或指示符
来指示该开/关功能。
111.输出控制图（例如，如图12、14、16
‑
19所示的)可以是交互式的，从而允许用户选择图表内的各个点来确定基础数据。例如，用户可以选择新的限制或特定数据点以查看相关联的改变原因和任何参考url或附件，这些url或附件可以向用户指示改变限制的原因或做出改变的人。以此方式，用户可以查看与每个数据点相关联的任何限制的实时历史。用户还可以选择图表上的个体数据点以查看所选数据点的基础批次元数据（例如，图13所示的信息）。
112.图22示出了交互式输出控制图的示例。如所示的，控制图450具有多个交互式数据点。用户可以将光标悬停在数据点上和/或选择数据点以查看与数据点相关联的元数据。例如，当用户悬停在数据点上或选择数据点时，显示提供与数据点有关的信息的文本框或其他图形452。图形452可以指示与数据点相关联的参数，并且可以包括将数据分成类别的选项卡。如所示的，图形452指示参数454温度与数据点相关联。该图形还包括具有类别“详细信息”456、“规格限制”458、“目标限制”460和“批次元数据”462的四个选项卡。细节类别456可以包括与数据点有关的信息，诸如数据点的值和趋势。例如，该信息可以指示数据点是否是异常值（例如，不符合其他数据点的趋势或不合规，即，超过或超出适用的限制）。
113.详细信息类别456还可以包括用于输入附加信息的空间。例如，用户可以更新关于与数据点相关联的批次的信息。用户的信息和输入时间被记录并且与数据输入相关联。规格限制458和目标限制460可以包括关于与数据点（例如，发行机构、市场等）相关联的限制的信息。批次元数据462可以包括与关联于数据点的批次周围的环境有关的信息。例如，批次元数据462可以包括批次标识符、市场、制造日期、参数和与数据点相关联的参数值。设想到图13中所示的信息中的一个或多个可以被包括在批次元数据462中。通过提供对与数据点有关的信息的轻松访问，这样的图形452使得用户能够快速查看批次和一致性数据，而无需在图表之外单独运行报告或分析。附加地，通过提供输入和审查与每个数据点有关的变化的能力，图形452提供了附加的数据完整性。
114.如图22所示，目标限制类别460在图形452内被选择，并且包括与关联于数据点的目标限制有关的信息，包括参数值、子产品、市场、参数类、有效间隔（例如，有效起始日期和有效截止日期）、值、参考url、附件、评论、改变原因，以及状态。如所示的，与目标限制相关联的参数是温度，它与关联于数据点的参数454匹配。参数类是wc
‑
cpp。该限制从2019年1月5日到现在有效。该限制的平均值为23，st标准偏差为0.12，并且lt标准偏差为0.15。用户已填写评论和改变原因部分。例如，用户可以在存在对限制的更新时输入评论。该信息还可以包括标识用户信息和用户更新限制的时间。限制的状态被指示为当前。规格限制选项卡中可以包含相同或类似的信息。还设想到用户可以在任何选项卡中上传参考url、附件和评论，以提供该类别的附加信息。虽然交互式图形452是用分段控制图来描绘的，但设想到交互式数据点和图形452可以与任何图形输出一起使用，诸如例如，与图12、16、18和19中描绘的控制图314一起使用。
115.在另一个实施例中，分析可以以表格的形式输出。例如，每个数据点都可以显示在表格中，并带有其对应的限制。在一个实施例中，该表格可以示出每个数据点的合规状态。例如，该表格可以指示每个数据点是否符合收集该数据点时有效的法规或目标。换言之，该表格可以指示每个数据点是否在其相关联的限制内。该信息可以通过yes（指示符合）/no
（指示不符合）、通过颜色编码（例如，绿色用于符合，而红色用于不符合）或任何其他区分符合与不符合的手段而被传达给用户。
116.在一些实施例中，系统还可以限制和/或跟踪限制变化以确保系统内的完整性。图4是图示了用于更新数据合规性跟踪系统100内的限制值的方法的流程图。方法250开始于操作252，并且服务器102接收新的限制值，诸如通过参考数据库、从用户设备接收或其他类型的输入。特定参数或参数集合的限制值可以随着其随着时间的推移发生变化而被输入到系统100中。例如，监管机构可能会基于新的发现（例如，关于哪些参数值被认为是安全的、环保的等等的发现）来改变标准，或者用户可能会基于新的目标（例如，如果公司面临新的开支、获取新的投资者、改变其商业计划等等，则公司可能会改变其目标）来改变限制。随着限制改变，新的限制值可以被输入到系统100中。
117.在一个示例中，基于对相关联的数据库110的更新来自动更新限制值。例如，数据库110可以与监管机构相关联，并且可以在设定的时间间隔（例如，每周、每季度）或随着更新发生（例如，推送检索或按需）直接从数据库中拉取限制信息。随着限制信息在数据库110中被更新（例如，随着限制信息改变而动态地更新），限制信息可以在系统100内自动填充。替代地，系统100可以以特定时间间隔针对限制更新来周期性地检查数据库110。例如，系统100可以每小时、每天、每周、每月、每年或在任何其他时间间隔内检查更新。当检测到变化时，系统100可以从数据库110中拉取更新的限制信息，并且将限制信息存储在限制存储数据库274中。
118.替代地，用户可以更新系统100内的限制值。例如，用户可以调整限制值以满足公司设置的新目标、过程变化、协议变化、制造变化、构成或成分变化等等。作为另一个示例，用户可以监测由监管机构设置的限制值，并且向系统100添加新的或更新的限制值。
119.参照图11，用户可以查看与不同参数的各种限制有关的信息，并且所显示的限制信息可以包括限制类别（例如，适用的市场）374、有效起始日期376、状态394和限制值382。在所示示例中，对于参数310 聚集体(%)，存在三个限制条目396a
‑
c。状态394指示该限制是最新的限制还是过时的。参照图10，用户可以控制为每个参数显示的状态394。例如，用户可以根据需要选择性地查看作为过时的、当前的、未来的、草拟的、待定的或拒绝的限制、或其他状态。
120.当限制的“有效截止”日期已过去时，该限制可能是过时的。换言之，该限制不再适用于当前收集的数据；而是，该限制仅适用于先前收集的过去数据。另一方面，当前限制可能具有开放的“有效截止”日期或未来设置的“有效截止”日期，并且当前适用于实时收集的任何数据。未来限制具有从未来某个时间点开始的“有效起始”日期，指示该限制仅适用于在时间上从该未来日期向前收集的数据。草拟限制是用户输入的新的限制值，该值已被用户保存但未提交。换言之，新的限制值并不完整，并且还不是有效的活动限制。待定限制是用户输入的新的限制值，该值已经被提交给具有令人满意的特权级别的用户以供批准。该限制在较高级别用户批准之前是无效的。拒绝限制是用户输入的新的限制值，该值已经被发送给较高级别用户以供批准，但是出于某种原因被该较高级别用户作为无效或不适当的变化而拒绝。拒绝限制不是有效的限制值。
121.继续参照图11，为欧洲和美国市场选择了过时和当前限制两者。如果用户仅对符合欧洲市场感兴趣，则用户将查看提供与欧洲市场有关的限制信息的第一数据条目396a。
欧洲市场的聚集体(%)的限制信息指示，发布值小于或等于3.0的最新有效限制自2018年10月1日起有效。换言之，用户只能使用小于或等于3.0的限制值382来确定在2018年10月1日或在其之后采样的批次的合规性。用户不能使用小于或等于3.0的限制值382来确定2018年10月1日之前采样的批次的合规性。如果用户仅对符合美国市场感兴趣，则用户将查看提供与美国市场有关的限制信息的第二和第三限制条目396b，c。如所示的，第二限制条目396b中的限制是过时的，而第三限制条目396c中的限制是当前的。如果从2018年10月1日到2018年11月29日对批次进行采样，则第二个限制条目396b中小于或等于2.0的限制值将适用于该批次。如果在2018年11月30日或在其之后的任何时间对批次进行采样，则第三限制条目396c中的限制值（小于或等于2.5）将适用于该批次。
122.用户可以查看此限制信息以便于确定是否需要更新限制值。用户可以通过选择最新的限制来输入新的限制值。在图11中，可以选择右侧的圆形图标398来访问限制更新菜单370。如图7
‑
9所示，限制更新菜单370可以包括各种可调参数310。例如，用户可以调整适用的子产品372、市场374、有效起始日期376、有效截止日期378，以及新的限制的限制值382。例如，新的限制可能仅适用于特定市场374。用户可以输入限制值382的发布日期（例如，由监管机构或由公司发布的）作为有效起始日期376，这意味着从该日期开始应用新的限制。如果存在限制值382将不再适用的已知日期，则用户可以输入有效截止日期278；然而，用户可以将此值留空，从而指示限制值382当前有效。在有效截止日期378留空的情况下，它可以在新的限制值被输入系统100中时自动更新，如下面更详细讨论的。可以输入新的限制值382作为上限、下限或包括最小值282和最大值284的范围286。有效起始日期376到有效截止日期378指示了限制值382的有效时间间隔380。
123.在操作252之后，方法250进行到操作254，并且服务器接收改变原因或其他验证或解释。如图9所示，在输入新的限制值382时，用户可以输入改变原因388。此特征有助于确保变化是合法的（例如，由于监管或公司范围内的变化）而不是随意的，以及有助于记录整个生产过程历史中的变化。在诸如excel之类的常规系统中，限制变化（在它们反映在系统中的程度上）与任何特定的推理、理由等等无关。照此，在某些情况下，不会检测到并且不会通过数据传播临时或意外的限制变化。
124.系统可以被配置成接受多种格式的数据，例如，参考url 384或附件386，和/或文本输入以提供对限制变化的附加支持。例如，用户可以提供来自网站或数据库的屏幕截图或url，其示出了发布限制变化的监管机构。作为另一个示例，可以在可以被上传到系统100中的文章或手册中列出限制变化。这些特征增强了数据验证过程的合法性，并且有助于符合监管机构所强加的任何数据收集标准，因为用户可以轻松参考当前限制和跟踪历史背后的推理。在用户输入与新的限制有关的所有相关信息之后，用户可以保存草稿390（例如，如果用户希望输入附加信息的话）或者可以提交392该信息。
125.在操作254之后，方法250进行到操作256，并且服务器102确定该变化是否需要另一个用户的批准。例如，变化的类型或做出变化的用户类型可以指示在将该变化输入到系统中之前需要另一个用户的批准。作为一个示例，无论输入变化的用户如何，变化的类型都可能触发对批准的需求。例如，对特定类型的限制（例如，目标限制、规格限制、警告限制、控制限制、内部限制等等）的改变可能需要来自第二用户的批准。特定的变化是否需要批准可能会基于“需要批准”配置设置而有所不同。该设置可以基于用户偏好进行调整。
126.作为另一个示例，用户的特权级别可以指示是否需要另一个用户的批准。用户在系统100内可能具有不同级别的权限。例如，某些用户可能具有低级别权限，而其他用户可能具有高级别权限。具有高级别权限的用户可能具有令人满意的或必备的特权级别来自动做出改变，而具有低级别权限的用户可能需要另一个用户的批准才能做出改变。低级别权限可以允许用户审查系统100内的数据，并且输入新的数据以供批准。高级别权限可以允许用户审查数据，并且将新的数据输入到系统100中，审查低级别用户输入到系统中的新的数据，以及批准、不批准或拒绝低级别用户输入的新的数据。在一些实施例中，用户可以具有关于不同限制类别或参数的不同级别的权限。例如，用户可能有权改变目标或规格限制，但不能同时改变两者。具有高级别权限的用户（例如，经理或批准角色）具有令人满意的特权级别，而低级别用户则没有。用户可以利用用户名和密码或其他验证（例如，生物计量的等等）在系统100中建立账户。系统100可以将用户的权限级别与他或她的用户名、标识符、账号等等相关联。系统100可以基于访问系统以输入变化的账户来确定用户的权限级别，并且确定用户是否具有令人满意的特权级别，例如，系统可以参考用户的特权级别，并且然后与具有授权的特权级别或标题的查找表进行比较，以对限制做出自动改变。特权级别可以基于限制类型、参数、过程等等而有所不同。
127.如果不需要另一个用户的批准（例如，该用户具有令人满意的特权级别），则方法250进行到操作260，并且服务器102确定是否准予批准。例如，如果高级别用户输入具有改变原因的新的限制值，并且点击提交，则暗示为批准，并且新的限制值被接受到系统100中。如果用户的权限足够高，但是没有为变化提供推理，则系统100可以拒绝该变化。
128.如果需要另一个用户的批准（例如，该用户没有令人满意的特权级别），则方法250进行到操作258，并且系统100将批准请求传输给适用的用户（例如，具有令人满意的特权级别的用户，或具有管理权限的用户）。例如，系统100可以确定账户与不具有令人满意的特权级别的低级别用户相关联，或者用户正在输入需要另一个用户批准的限制变化的类型。当用户提交具有改变原因的新的限制值时，系统100向与高级别用户相关联的账户发送批准请求。例如，账户可以包括收件箱，并且系统100可以在高级别用户的收件箱中生成消息。该消息可以包括用于高级别用户批准或拒绝改变的限制值的按钮或链接。高级别用户可以审查该变化，其包括改变原因和任何参考url或附件，并且确定是批准还是拒绝该限制变化。
129.在操作258之后，方法250进行到操作260，并且系统100确定是否准予批准。系统100从高级别用户接收批准或拒绝限制变化的输入。该输入可以采用消息、按钮选择、复选标记等等的形式。附加地或替代地，系统100可以分析来自批准请求的输入推理数据以验证变化。例如，对于某些参数，系统可以针对可能性来分析新的限制，或者分析其他基准特征，这些特征将标识出印刷错误或其他输入错误。作为另一个示例，系统100可以分析批准请求以确保包括评论，或者某些参数可能需要附加的支持文档来改变（例如，监管值可能需要到对应法规的链接）等等。照此，操作260可以包括用户确认评估，以及规定清单项目的格式等等，作为指明批准之前的分析的一部分。
130.如果没有准予批准，则方法250进行到操作262，并且拒绝新的限制值，并且方法250终止。例如，当高级别用户拒绝限制变化时，新的限制值不会被输入到系统100中，而代替地被丢弃。可以将消息往回发送到低级别用户（如果限制改变最初由低级别用户输入的话），从而指示该变化被拒绝。
131.如果批准被授予，则方法250进行到操作264，并且确定有效间隔。系统100基于用户输入的有效起始日期到有效截止日期来生成有效间隔。如果有效截止日期为空，则有效间隔延长到当前日期。有效间隔与限制相关联，并且作为与限制相关联的元数据而被存储。
132.在操作264之后，方法250进行到操作266，并且新的限制值被存储为新的限制值条目。例如，新的限制值可以存储在限制存储数据库274或604中。在此示例中，新的限制值286和有效间隔280两者都被存储。新的限制还会为用户界面上的特定参数填充新的限制条目。例如，如图11所示，新的限制条目396将在第三限制条目396c下面生成。在此示例中，如果针对美国市场改变了限制，则新的限制条目396将示出市场：美国，并且其状态将跟上用户输入的有效起始日期。如果出于某种原因，确定新的限制的值在其被批准和/或输入到系统100中之后是不正确的，则该限制可能未被高级别用户（例如，具有管理角色的用户）批准，使得限制信息（例如，值和/或有效时间间隔）可以被修改或更正，并且重新提交以供批准。
133.在操作266之后，方法250进行到操作268，并且更新先前限制的状态。在上面参照图11所讨论的示例中，系统100将会在输入新的限制时将先前的第三限制条目396c的状态从当前的变为过时的。代替地，新的限制将具有状态当前的。先前的第三限制条目396c还将在新条目的有效起始日期之前的日期生成有效截止日期。例如，如果新的条目的有效起始日期为2019年1月1日，则先前的第三限制条目396c将生成有效截止日期为2018年12月31日。以此方式，限制不具有任何重叠的有效间隔。在操作268之后，方法250终止。
134.在若干实施例中，诸如在服务器上或在基于云的网络中执行的处理元件152执行一种或多种算法，以确定用于一种或多种指定参数的批次和限制。当试图分析批次和限制的特定选集时，系统100的批次和限制过滤帮助用户更快地对成百上千的批次和限制进行分类。如图20所示，处理元件152可以执行具有用于批次过滤的方法500的算法。方法500开始于操作502，并且基于所选参数来确定单元操作。例如，所选参数可以是温度、ph、粘度等等。单元操作是适用于一组批次的最宽泛的类别。例如，单元操作可以是要测试的产品、过程或一些其他实验或制造相关因素。图7中示出了示例性单元操作308的列表。这些单元操作308中的每一个都可以由用户定义。
135.在操作502之后，方法500进行到操作504，并且确定与单元操作相关联的批次。例如，作为产品的单元操作可能在制造产品时随着时间的推移而生产若干个批次。可以在操作504处确定与该特定产品相关联的任何批次。在操作504之后，方法500进行到操作506，并且处理元件152确定是否存在相关联的子产品（例如，用户是否已经从子产品列表中选择了一个或多个值）。与操作的单元相关联的众多批次在子产品中可能会有所不同。子产品可以是产品中的任何变体。例如，特定成分或药物的浓度可能略有不同，从而产生不同的子产品。作为另一个示例，产品的包装或外壳可以有所不同（例如，药物可以采用药丸形式作为一种子产品，而采用液体形式作为另一种子产品）。作为又另一个示例，产品的大小可以作为不同的子产品而有所不同。用户在输入批次信息时可以输入子产品或将子产品留空。如果已输入子产品，则该批次具有相关联的子产品。如图13所示，与所显示的特定批次352相关联的子产品358是75 mg/ml的小瓶（vial）。
136.如果在操作506处确定存在相关联的子产品（例如，用户已经选择了子产品列表中的一个或多个值），则方法500进行到操作508，并且批次被限制为具有所选子产品值的批次。例如，如果系统100正在过滤图13所示的批次mab_020 352，则系统100将确定存在相关
联的子产品358，并且限制为具有子产品358（例如，75mg/ml的小瓶）的批次。任何不具有相同子产品值（例如，75 mg/ml的小瓶）的批次会被过滤掉。
137.在操作508之后，该方法进行到操作510，并且处理元件152确定是否存在相关联的市场值（例如，用户是否已经选择了市场列表内的一个或多个值）。如果在操作506处确定不存在相关联的子产品，则方法500直接进行到操作510。存储在系统100内的各种批次可以具有不同的适用市场（例如，美国、欧洲、加拿大等）。例如，可以在考虑特定市场的情况下生产批次，并且当批次被输入到系统100中时可以将市场输入到批次数据中。如图13所示，所显示的特定批次352与美国市场360相关联。
138.如果在操作510处确定存在相关联的市场值（例如，用户已经从列表中选择了市场值），则方法500进行到操作512，并且批次被限制为具有所选市场值的批次。例如，如果系统100正在过滤图13所示的批次mab_020 352，则系统100将确定存在相关联的市场360（美国），并且限制为具有美国市场的批次。任何不具有相同市场（美国）的批次都被过滤掉。
139.在操作512之后，该方法进行到操作514，并且处理元件152确定是否存在用于单元操作的杂项限制类别（例如，目标限制类别）（例如，用户是否已经选择了杂项限制类别中的一个或多个值）。如果在操作510处确定不存在相关联的市场值，则方法500直接进行到操作514。杂项限制类别可以包括批次之间的任何其他杂项差异。例如，批次可以基于批次周围的环境而不同，诸如例如不同的测试环境、所使用的设备等等。基于这些杂项差异，每个批次的限制值可能会有所不同。作为一个示例，不同的设备可能会导致不同的限制值。例如，不同的设备可能具有不同的效率、无菌性、容量等等。使用不同设备的产品或过程的最佳限制可能基于设备的物理能力而有所不同。在此示例中，设备类型或id可以是杂项限制类别。杂项限制类别可以是用户定义的或者是以其他方式为新的限制类型所保留的。例如，用户可以输入类别标签（例如，设备类型）和类别的期望参数。系统100确定是否存在具有由用户输入的特定类别标签和/或类别的期望参数的批次。
140.如果在操作514中存在用于单元操作的所定义的杂项限制类别，则方法500进行到操作516，并且批次被限制为具有所选杂项限制类别和相关联的值的批次。例如，如果用户输入类别“设备”作为杂项限制类别，并且输入“钢铁”作为值，则系统将会把批次限制为在批次信息中输入有钢铁设备的批次。任何没有钢铁设备的批次会被过滤掉。
141.在操作516之后，方法500进行到操作518，并且应用批次范围过滤器。如果在操作514处确定没有为单元操作定义的杂项限制类别，则方法500直接进行到操作518。批次范围过滤器基于日期过滤批次。例如，批次范围过滤器可以基于最近生产的n个批次、最近n天（或几周、几个月或其他时间段）生产的批次、或特定日期范围内的批次来过滤批次。在操作518之后，方法500进行到操作520，并且确定n个批次。选择在所选时间范围内生产的任何批次，而在所选时间范围外生产的批次会被过滤掉。结果是所选批次的特定数量n。
142.作为另一个示例，处理元件152可以执行具有用于确定具有指定参数的给定批次的相关联的限制的方法550的算法。该算法可以应用于目标限制和规格限制。方法550开始于操作552，并且确定指定的批次和相关联的批次日期。可以随时间收集批次，使得每个批次在其被采样时可以具有各自的日期。例如，如图13所示，批次mab_020 352的批次日期354为16
‑
nov
‑
2018 15:13。在操作552之后，方法550进行到操作554，并且确定指定参数。一个批次可以具有一个或多个相关联的参数。每个参数可以具有不同的限制和与其相关联的
值。用户可以选择用户针对数据合规性希望监测的特定参数。例如，用户可以取决于用户希望审查的参数来选择温度、ph、毒性等等。
143.在操作554之后，方法550进行到操作556，并且确定指定参数的所有限制。每个参数具有一个或多个与其相关联的限制，并且可能具有规格限制和目标限制之一或两者。在操作556处，处理元件152确定所有目标限制、所有规格限制或两者。在操作556之后，方法550进行到操作558，并且仅选择批准的限制，而过滤掉待定的、草拟的和拒绝的限制。换言之，仅选择先前已由具有指定特权级别的用户所批准的限制。
144.在操作558之后，方法550进行到操作560，并且仅选择状态为当前或过时的限制。例如，如图10所示，用户可以通过选择希望的状态（例如，当前的和过时的）来显示以及选择关闭状态（例如，未来的、草拟的、待定的和拒绝的）以隐藏来按状态394进行过滤。只会显示当前的（例如，没有有效截止日期）或过时的（例如，具有过去的有效截止日期）的限制。
145.在操作560之后，方法550进行到操作562，并且仅选择特定日期范围内的限制。例如，如果用户希望审查当前限制，则用户可以选择具有在批次日期或在其之前的目标“有效起始”日期并且不具有“有效截止”日期的限制。作为另一个示例，如果用户希望审查过时的限制，用户可以选择具有在批次日期或在其之前的目标“有效起始”日期和具有在批次日期或在其之后的“有效截止”日期的限制。在任一情况下，所选日期范围都包括批次日期，以便将限制应用于特定批次。
146.在操作562之后，方法550进行到操作564，并且处理元件152确定是否存在具有类似子产品和市场价值的限制。例如，如果批次具有与其相关联的子产品和市场值两者，则处理元件152确定是否存在具有与批次中的那些相同的两个既定值的一个或多个限制。作为另一个示例，如果批次具有子产品值但是没有市场值，则处理元件152确定是否存在具有相同子产品值且没有设定的市场值的一个或多个限制。作为附加示例，如果批次具有市场值但是没有子产品值，则处理元件152确定是否存在一个或多个具有相同市场值且没有设定的子产品值的限制。作为又另一个示例，如果批次不具有子产品值或市场值，则处理元件152确定是否存在一个或多个不具有子产品值或市场值的限制。
147.如果存在具有类似子产品和市场值的限制，则方法550进行到操作566，并且选择具有这样的值的限制。如果没有具有类似子产品和市场值的限制，则方法550进行到操作568，并且选择不具有为子产品和市场设置的值的限制。在操作566或操作568之后，方法550进行到操作570，并且处理元件152确定该批次是否存在杂项限制类别。杂项限制类别可以由单元操作或由个体批次定义。例如，单个单元操作可能具有适用于单元操作内所有批次的所定义的杂项限制类别。例如，单元操作可以具有杂项限制类别“设备”，并且所有批次都具有为“设备”设置的值。替代地，批次可以均具有其自己定义的杂项限制类别。
148.如果该批次没有杂项限制类别，则方法550结束。当适用的限制是规格限制而不是目标限制时，这是一个典型的路径。如果批次存在杂项限制类别，则方法550进行到操作572，并且处理元件152确定是否存在具有匹配批次元数据值的杂项限制类别值的限制。作为示例，用户可以为系统100中存储的各种限制定义一个或多个杂项限制类别和值。以此方式，这样的限制可以与具有定义的杂项限制类别的特定值的批次相关联。例如，批次可以具有针对“设备”杂项限制类别的值为“钢铁”。某些限制可能仅适用于在钢铁设备上采样的批次。如果存在具有此类匹配值的限制，则方法550进行到操作574，并且选择这样的限制，并
且方法550结束。如果没有具有这样的匹配值的限制，则方法550进行到操作576，并且选择不具有设定的杂项限制类别的限制，并且方法550结束。
149.本公开的系统可以包括向用户提供选择的信息的一个或多个警报或用户通知，该信息可以在系统接收和分析数据时实时提供。例如，警报可以提供关于输入到系统中的、与批次有关的各种参数或特性的数据值的信息。警报可以向用户提供与输入到系统中的新的数据有关的实时反馈。例如，警报可以提供不符合一个或多个限制或违反一个或多个规则的值的实时反馈，和/或当新的数据值被输入到系统中时提供值的实时反馈。警报功能允许用户轻松监测批次的进度和性能，而无需持续监测数据库。警报还可以快速标识批次运行中的问题，诸如特定参数未达到限制，这允许用户在过程运行期间进行工作以纠正化学、机械和/或电气问题，这可以有助于“保存”批次。常规的数据跟踪和合规系统并不包括警报功能，使得用户必须不断检查数据库，防止用户同时监测多个批次和/或在仍然监测一个批次的同时实现其他工作功能。
150.图23是图示了用于利用系统100来激活并且向用户(诸如向一个或多个用户设备)传输警报的方法700的流程图。方法700可以作为算法或编程指令被存储在存储器中，并且由处理元件等等执行。方法700开始于操作702，并且数据值被接收到存储器中，诸如通过被输入到系统中来接收，诸如在方法200的操作202中关于图6所描述的，这可以是手动的、自动的或两者的某种组合。例如，数据值可以从计算或其他设备（例如，仪器或传感器）、或者从将值输入到系统中的用户（例如，通过用户设备106输入）直接接收，或者从数据库中检索。数据值可以对应于在批次运行期间检测或跟踪的批次的一个或多个参数。
151.在操作702之后，方法700进行到操作704，并且系统确定数据值是否已经被批准。例如，某些数据在其被输入时可能会被自动批准，而其他数据可能需要具有令人满意的特权级别的用户的批准。例如，对于被输入到系统中的改变，例如，在方法250的操作256处，系统可以以与关于图4所描述的方式类似的方式确定是否需要另一个用户的批准。作为另一个示例，某些数据（例如，参数）可以被配置为被自动批准。例如，用户（例如，管理员）可以将系统配置为不需要对某些数据进行批准（例如，通过将数据设置为自动批准、不将数据标记为需要批准等等）。当系统确定被输入到系统中的数据值不需要批准时，会自动批准该数据。系统可以将这样的配置存储在存储器中，以在分析被输入到系统中的新数据的批准时使用。例如，系统可以存储批准数据、不需要批准的数据和/或需要批准的数据的预定义列表。在一些情况下，可以基于其值适合于特定的值范围内、或高于或低于某个阈值、基于参数、基于用户输入值（例如，特权级别）等等来批准数据。
152.在一些实施例中，如果数据符合必备的参数级配置，则可以自动地或由用户批准数据。例如，特定参数可以是数值或文本值。在此示例中，对于要符合要求的数据，数据值必须分别为数值或文本值。例如，如果数据被配置为数字，则无法输入文本，或者如果数据被配置为文本，则无法输入数字。在这些示例中，如果在需要数字时输入文本，则违反了参数级配置。作为另一个示例，系统可以存储特定参数的有效值的预定义列表。在此示例中，如果数据落入预定义的有效值列表内，则数据符合参数级配置；然而，如果数据超出预定义的有效值列表，则违反参数级配置。在这些示例中，如果违反参数级配置，则无法批准数据。例如，如果违反参数级配置，则本应被自动批准的数据将不会被批准。替代地，如果不需要批准，并且数据不违反参数级配置，则数据将被自动批准。
153.如果数据值未被批准，则方法700进行到操作706，并且获得对数据值的批准。例如，如果数据值需要批准，并且该值不违反参数级配置，则数据被设置为待定（例如，需要来自用户的批准）。例如，服务器可以向具有令人满意的特权级别的用户（例如，管理员）发送批准请求。
154.如果数据值被批准，则在操作704或操作706处，方法700进行到操作708，并且服务器确定与被批准的数据值相关联的警报是否被设置为活动的。用户可能能够通过用户界面配置一个或多个警报。例如，图24
‑
28示出了用于在所公开的系统中定制警报的示例性用户界面。如图24所示，用户界面700包括：提供对“我的警报”选项卡754的访问的主屏幕752。“我的警报”选项卡754提供关于活动警报的用户信息。例如，如所示的，没有为当前用户设置活动的电子邮件警报。用户可以在“我的警报”选项卡754上选择被标记为“开始使用”的链接756和/或访问选项卡758，以设置合期望的警报。例如，图25示出了通过选择访问选项卡758而打开的“我的警报”选项卡754，使得用户可以定制一个或多个警报。
155.警报可以由具有所定义的权限的选择的用户创建，例如，在某些情况下，警报可能仅由参数管理器或系统管理员创建。例如，参数管理器可能具有允许访问受限用户界面的特殊系统权限，该受限用户界面使得参数管理器能够为不同的情况建立警报。例如，参数管理器可以为一个或多个类别设置一个或多个警报，例如，基于站点、产品、批次、批次日期、单元操作、参数、规则违反、限制违反等。例如，警报可以被配置为当接收到的数据值来自运行批次的特定站点、在特定时间窗口期间接收、针对特定参数、违反一项或多项规则、超过一项或多项限制等等时被发送给用户。
156.在若干实施例中，警报的创建可以由（例如，在参数级配置的）过程定义配置管理，并且可以被包括在参数的元数据中。例如，图26
‑
28示出了供用户（例如，参数管理器）通过过程定义屏幕772定制警报的示例性用户界面。例如，用户可以选择过程选项卡774来访问过程定义屏幕772。用户可以为不同的参数定制各种分析和警报。例如，如图26所示，通过选择参数776，用户可以访问参数776的过程定义框778。如所示的，过程定义框778包括：分析选项卡780和警报选项卡782。在图26中，选择分析选项卡780，其允许用户定制一个或多个规则和/或限制。换言之，用户可以选择用户想要应用于特定参数的规则或限制。参数的过程定义中的规则或限制可能已经被预先设置（例如，由参数管理器或系统管理员设置）。例如，如图26所示，规则784 1
‑
5和规格限制786 1
‑
2已经预先设置在系统中，并且可由用户调整。如所示的，用户可以通过经由拨动开关792、按钮或另一种选择机构打开或关闭规则784，为个人的图表788和/或mr图表790定制一个或多个规则784。用户可以通过从下拉条794中选择选项来进一步定制一个或多个规格限制786。如图27所示，用户通过向右移动拨动开关792来打开规则784 1和2，并且已经从下拉条794中为参数776 scr的规格限制786 1选择了“行动（action）”。用户可以选择保存按钮796来保存定制的分析780设置。
157.图28示出了所选择的警报选项卡782，其允许用户为所选参数776定制一个或多个警报。用户可以为所选参数打开或关闭警报。如所示的，用户可以通过移动拨动开关798（或选择按钮或其他选择机构）来打开针对所选参数776的活动警报800。当活动警报打开时，系统会确定一个或多个警报是否与该参数相关联。如果警报与参数相关联，则系统将警报信息存储在数据库中，例如，作为与参数相关联的元数据。如示例性警报选项卡782中所示，用户可以通过图表类型802（例如，个体或i
‑
mr）、批次范围804（例如，接收最后x数量的批次的
警报）、子产品806、和/或市场807来定制警报。设想到其他警报定制，例如，可以基于参数类（例如，cpp（关键过程参数））、cqa（关键质量属性）等等来建立警报。用户可以选择保存按钮808来保存定制的警报782设置。
158.如图32所示，用户可以通过显示在用户界面300上的交互式输出控制图来查看与参数相关联的警报信息，例如，如关于图22所讨论的。如所示的，控制图450包括具有可通过将光标悬停在数据点上和/或选择数据点来查看的元数据的交互式数据点。如所示的，当用户悬停在数据点上或选择数据点时，系统显示提供与数据点有关的信息的文本框或图形452。该图形包括选项卡“详细信息”456和“批次元数据”462（如关于图22所讨论的），以及选项卡“警报”463。在该示例中，选择警报选项卡463，从而显示与参数454 osmo的所选数据点相关联的警报信息。在该示例中，警报信息包括：警报时间戳465（例如，指示发送警报的时间）、图表类型467、图表值469、规则集名称471、规则编号473和规则描述475，其中的每一个都与为参数454 osmo设置的特定警报相关联，例如，如关于图26
‑
28所讨论的。
159.用户可以基于用户偏好订阅或激活不同的警报。例如，用户可能只希望接收针对特定产品的警报，并且可能激活针对那些产品的警报。作为一个示例，用户可能希望接收针对特定产品的限制警报和/或规则警报，并且可以针对这样的情况激活警报。系统可以单独存储用户偏好（例如，存储作为特定于用户的用户账户的偏好），和/或可以存储订阅每个警报的用户列表（例如，电子邮件列表）。在一些实施例中，管理员或系统管理器可以将警报分配给一个或多个用户，从而使他们订阅警报。在这些实施例中，在一些情况下，被分配给警报的用户可以取决于个人用户偏好打开或关闭警报。
160.如图25所示，用户可以经由主屏幕752和“我的警报”选项卡或条754订阅或激活不同的警报。通过选择访问选项卡758，用户可以查看一个或多个可定制警报。访问选项卡758所访问的警报可以包括由参数管理器创建的警报列表、用户已经订阅的警报和/或分配给用户的警报。在图25所示的示例中，用户可以针对不同的站点764、产品766和单元操作768打开（激活）或关闭（停用）规格警报760和/或运行规则警报762。用户可以为所有单元操作768或单元操作768的子集打开警报。如所示的，用户可以经由拨动开关770打开和关闭警报；然而，也设想到其他选择机构（例如，按钮）。在所描绘的示例中，用户已将拨动开关770向右移动以打开在剑桥站点764处生产的与单元操作768的子集相关联的产品766 a
‑
mab的规格警报760和运行规则警报762两者，该子集包括prod、proa、vi和cex。通过将拨动开关770留在左侧来关闭其他警报。照此，用户可以仅接收针对激活的警报（例如，激活的单元操作）的警报。在一些实施例中，用户可以定制警报的格式和/或目的地。例如，用户可能更喜欢经由电子邮件、文本、网站链接等等接收警报或通知。替代地，警报的格式和/或目的地可以由系统管理员定制。
161.继续参照图23，如果服务器在操作708处确定没有活动警报与批准的数据值相关联，则方法700结束。如果服务器在操作708处确定活动警报与批准的数据值相关联（例如，基于用户保存的警报偏好），则方法700可选地进行到操作710，并且服务器基于选择的分析来评估批准的数据值的合规性。在警报与分析相关联的情况下，诸如规则违反或符合限制，服务器评估批准的数据值是违反适用规则还是符合适用限制。例如，如图27所示，规则1和规则2是激活的分析。在这种情况下，当用户激活规则警报时，用户将接收到规则1和2的警报。在该示例中，在操作710处，服务器评估批准的数据值与规则1和2的合规性，例如，是否
违反了任一规则。作为另一个示例，服务器可以评估批准的数据值与一个或多个限制的合规性。
162.在操作708之后，或者可选地在操作710之后，方法700进行到操作712，并且向用户发送警报。例如，警报可以是电子邮件、文本消息、应用程序通知等等。图29示出了服务器基于激活的警报发送到用户设备106的示例电子邮件警报810。可以向订阅特定警报的任何用户发送警报。在一些实施例中，还可以向管理员发送警报，该管理员在一些情况下可以选择性地订阅警报。警报可以提供关于接收到的数据值的各种信息。例如，警报可以提供产品、过程和批次信息。在服务器评估数据值的合规性的情况下（例如，如在操作710处确定的），警报还可以包括关于接收到的数据值的合规性的信息。如图29所示，电子邮件警报810为特定接收到的数据值提供关于站点812、产品814、批次id 816、批次日期818、单元操作820、阶段822、复制表824、参数826、结果828和规则违反830的信息。电子邮件警报810的主题行832可以指示警报的类型。如所示的，警报的类型是巴塞尔站点关于产品乌托邦的控制图警报。电子邮件警报810向用户指示在2019年11月7日记录的巴塞尔站点处的批次vi
‑
07的产品乌托邦违反了规则5（连续增加或减少3个点）。在该示例中，用户已经订阅了针对规则违反（例如，违反规则5）的警报。尽管本示例示出了提供文本信息的警报，但设想到该信息也可以作为图表（例如，本文中描述的图表）或数据表来提供。
163.主屏幕还可以提供对一个或多个图表的快速访问。例如，用户可能更喜欢监测和审查与特定产品、子产品、批次、站点、参数、市场等等有关的图表。用户可以订阅一个或多个图表，而不是对大量数据（例如，多个产品）进行排序。为了轻松检索订阅的图表，用户可以将特定图表保存到快速访问位置。例如，如图24所示，主屏幕752可以包括“我的图表”选项卡或条834。用户可以选择“我的图表”选项卡834上的访问标签836以快速查看特定产品、子产品、批次、站点、参数、市场等等的图表。例如，图30示出了通过选择访问选项卡836而打开的“我的图表”选项卡834，使得用户可以查看保存的或经常查看的图表。例如，如图31所示，用户可以通过选择保存的图标或按钮838（在这种情况下是盘，但也设想到其他图标形状）来保存图表。如所示的，用户还可以通过选择最喜欢的图标或按钮840（在这种情况下为星形，但也设想到其他图标形状）来将图表标记为优选或最喜欢的图表。如图30所示，保存的图表出现在我的图表选项卡834中以供快速检索。在所描绘的示例中，最喜欢的图表846（具有所选择的星号）出现在我的图表选项卡834中的图表列表的顶部。还设想到服务器可以监测图表视图，并且将具有一定数量的视图（例如，超过阈值数量的视图）的图表保存到我的图表选项卡834以供快速检索。
164.如图30所示，主屏幕752显示用户已经订阅的图表。所显示的图表可以是针对特定产品(例如，当产品被选择时)或所有产品(例如，当所有产品都被选择时)。例如，如所示的，当主屏幕752上的拨动开关844被选择时，用户已经订阅的所有图表（例如，所有产品842）被显示（尽管也设想到其他选择机构）。图表可以按不同类别分组，诸如按产品（如所示的）、站点、批次、参数、市场等等分组。用户可以选择列表中的图表来查看图表和有关数据。如图30所示，用户选择了最喜欢的图表846来查看图表848和有关数据，诸如限制数据850和合规性。在这种情况下，最喜欢的图表846是产品gf时间的个人图表。用户可以选择图表848来查看其中用户创建图表并且订阅图表848的分析模块。例如，在选择图表848之后，显示分析屏幕852，如图31所示。分析屏幕852提供关于参数854、图表类型856、批次范围858、批次类别
860等等的附加信息。如先前讨论的，用户可以将光标悬停在数据点上和/或选择数据点以查看与数据点相关联的元数据（例如，批次信息）。
165.结论在本文中描述的技术可以被实现为一个或多个系统中的逻辑操作和/或模块。逻辑操作可以被实现为由在一个或多个计算机系统中执行的软件程序指导的处理器实现的步骤的序列，和作为一个或多个计算机系统内的互连机器或电路模块，或者作为两者的组合。同样地，可以根据由模块执行或实现的操作来提供对各种组件模块的描述。所得实现方式是一个选择问题，这取决于实现所描述技术的基础系统的性能要求。因此，构成本文中描述的技术的实施例的逻辑操作被不同地称为操作、步骤、对象或模块。另外，应当理解，逻辑操作可以以任何次序实行，除非另外明确声明或者权利要求语言固有地需要特定次序。
166.在一些实现方式中，制品被提供为计算机程序产品，其导致计算机系统上的操作的实例化以实现程序操作。计算机程序产品的一种实现方式提供了一种可由计算机系统读取并对计算机程序进行编码的非暂时性计算机程序存储介质。应当进一步理解，所描述的技术可以用于独立于个人计算机的专用设备中。
167.上述说明书、示例和数据提供了如权利要求中限定的本发明的示例性实施例的结构和使用的完整描述。尽管以上已经以一定程度的特殊性或参照一个或多个个体实施例描述了要求保护的发明的各种实施例，但本领域技术人员可以在不脱离本发明的精神或范围的情况下对所公开的实施例做出众多更改。因此设想到其他实施例。意图的是，以上描述中包含的所有内容以及附图中所示的所有内容均应被解释为仅是对特定实施例的说明而非限制。在不脱离如以下权利要求中限定的本发明的基本要素的情况下，可以对细节或结构做出改变。