1.本公开涉及计算机
技术领域：
：，具体涉及软件测试
技术领域：
：，尤其涉及一种实验指标修正方法、装置、电子设备及存储介质。
背景技术：
：：2.现有技术中，a/btest能够精确地评估单个功能或产品效果，是应用的新版本上线后常用的测试方法。3.但对于随版本上线实验效果而言，版本上线后存在用户积累过程，用户积累的速率影响实验检验效率。尤其是，当空转期与实验期用户基数不一致时，用户指标波动幅度也会不一致。从用户升级曲线看，空转期相对于实验期的用户数据波动幅度会更大，会导致检验中敏感度的下降。4.为了解决指标波动幅度较大的问题，行内采用的一种主流的方法是避开发版收敛的阶段，用时间换可度量性。计算多版本从版本发布到版本收敛的整个周期，找到收敛曲线上用户收敛速度变缓的关键节点，认为当新版本收敛率超过该节点所对应的收敛率时，用户收敛速度趋于平缓，发版指标波动相对较小可以用于实验。技术实现要素：5.本公开提供了一种实验指标修正方法、装置、电子设备及存储介质。6.根据本公开的一方面，提供了一种实验指标修正方法，包括：7.获取发版实验中实验组的实验指标的值以及实验组的数据信息；8.基于预先建立的收敛系数表以及所述实验组的数据信息，对所述实验指标的值进行修正。9.根据本公开的另一方面，提供了一种实验指标修正装置，包括：10.信息获取模块，用于获取发版实验中实验组的实验指标的值以及实验组的数据信息；11.修正模块，用于基于预先建立的收敛系数表以及所述实验组的数据信息，对所述实验指标的值进行修正。12.根据本公开的再一方面，提供了一种电子设备，包括：13.至少一个处理器；以及14.与所述至少一个处理器通信连接的存储器；其中，15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。16.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。17.根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。18.根据本公开的技术，能够有效地缩短实验周期，提高实验效率。19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明20.附图用于更好地理解本方案，不构成对本公开的限定。其中：21.图1是根据本公开第一实施例的示意图；22.图2是根据本公开第二实施例的示意图；23.图3是根据本公开第三实施例的示意图；24.图4是根据本公开第四实施例的示意图；25.图5是根据本公开第五实施例的示意图；26.图6是用来实现本公开实施例的方法的电子设备的框图。具体实施方式27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。28.显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。29.需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。30.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。31.针对行业内的主流的避开发版收敛阶段的方案，优点是操作性强，但是缺点也很明显。等待新版本用户收敛的整个周期过长，且用户收敛过程不可操控，只能通过经验判断。而产品又要求快速迭代，且随着整个应用开发效率提升，新版本的发布越来越频繁，长周期的发版收敛与快速迭代的要求产生矛盾，所以避开发版收敛阶段的方法，会导致实验周期过长，越来越不可行。32.图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种实验指标修正方法，可以应用于任意的实验指标修正装置中，具体可以包括如下步骤：33.s101、获取发版实验中实验组的实验指标的值以及实验组的数据信息；34.s102、基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正。35.本实施例的实验指标修正方法，用于对实验指标进行修正，使得空转期和实验期的实验指标的波动幅度不会太大，使得两者具备可比性。能够正确的对实验效果进行统计检验。36.本实施例的实验组可以指的是a/btest中的a组或者b组。具体地，该实验组可以为空转期的实验组，也可以为实验期的实验组。37.在具体地实验过程中，可以采用本实施例的方式对空转期和实验期中的a组和b组的实验指标都进行修正，进而使得所有指标在相同的标准下，可以更加客观地进行比较，以有效地检测实验效果。38.本实施例的实验指标可以包括应用新版本发布后的各种检验指标，如用户使用应用的平均时长、用户对应用的热度等等。通过实验指标可以检验新版本发版后用户的反应，进而可以反应出用户对新版本的接受程度等。39.本实施例的实验组的数据信息可以包括实验组的各种数据信息，如实验组的样本数、实验组中升级了新版本的样本数等各种详细的实验组信息。40.本实施例的实验组中的样本即为参与实验的用户的账户。在实际应用中。应用的新版本发版后，也可以向用户的账户推送实验邀请信息，在用户同意后，可以加入实验组。加入实验组的用户使用该新版本应用的各种行为都将直接影响实验指标，进而影响实验效果。另外，应用方也可以在使用该应用的用户的授权下，随机选择部分授权用户参与实验，以对该应用的新版本进行检验。41.本实施例中，预先建立的收敛系数表中为经过统计实验，预先采集的收敛相关的系数。而收敛相关的系数本身表征的是使用新版本的样本的占有率，仅仅与样本中的版本升级行为有关，而与实验指标无关，与实验指标对应的实验效果无关，所以基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正的时候，不会影响实验效果。42.本实施例中，通过采用预先建立的收敛系数表以及实验组的数据信息，可以有效地对发版实验中实验组的实验指标的值进行修正，使得修正后的所有实验指标都在同一标准下，具有可比性，进而基于修正后的实验指标进行检验。采用本实施例的技术方案，可以不用在发版后等待用户收敛期再进行实验，能够有效地缩短实验周期，提高实验效率，进而还可以促进应用的发版率和发版效果。43.图2是根据本公开第二实施例的示意图；如图2所示，本实施例提供一种收敛系数表的建立过程，以便于对实验指标的值进行修正时使用，具体可以包括如下步骤：44.s201、基于预设的多个流量中的各流量，从预设的第一样本集合进行多次抽取第二样本集合的抽样；45.本实施例中的流量可以等于第二样本集合与第一样本集合中的样本比例。本实施例中的第一样本集和和第二样本集合中的样本都是模拟的用户使用该应用的信息，每一个样本对应一个用户的信息。且本实施例中，第一样本集合中随机设定部分样本对应的用户升级了新版本的应用，具体地，设定的升级了新版本的用户的比例可以根据经验来设置，在此不做限定。46.为了覆盖所有的实验情况，本实施例中，可以预设多个不同大小的流量如1％、2％、3％、5％、10％、20％等等。若第一样本集合的数量为n时，流量为1％时，第二样本集合中包括的样本数量为n*1％。流量为20％时，第二样本集合中包括的样本数量为n*20％。其他情况类似。也就是说，流量用于标识被评估的第二样本集合占总的第一样本集合中的样本的比例大小。47.对于每个流量，本实施例中，可以进行多次抽取第二样本集合的抽样，例如，可以进行1000次、2000次或者其他次数，具体可以根据实际经验来设置，在此不做限定。经过多次不同的抽样，可以获取建立更加准确地收敛系数表。48.s202、获取各流量下，多次抽样的第二样本集合分别对应的收敛率；49.对于每个流量、每次抽样第二样本集合时，都可以计算出相应的收敛率。例如，具体计算过程可以包括如下步骤：50.(1)统计各流量下各次抽样的第二样本集合中升级了新版本的样本数；51.(2)基于各流量下各次抽样的第二样本集合中升级了新版本的样本数和第二样本集合中包括的样本数，计算各流量下各次抽样的第二样本集合分别对应的收敛率。52.具体地，将各流量下，抽取的第二样本集合中升级了新版本的样本数除以第二样本集合中包括的样本数，便等于该流量下，该次抽样第二样本集合对应的收敛率。53.s203、基于各流量下多次抽样的第二版本集合分别对应的收敛率，获取各流量下多次抽样的收敛率方差和收敛率均值；54.对于同一个流量，经过多次抽样，可以得到对应的收敛率。然后基于该流量对应的多个收敛率计算流量下多次抽样的收敛率方差和收敛率均值。55.s204、基于各流量、各流量对应的收敛率方差和收敛率均值以及预设的第一样本集合的样本数，建立收敛系数表。56.对于不同的流量，均能够获取到各流量下对应的收敛率方差和收敛率均值，此时可以基于各流量、各流量对应的收敛率方差和收敛率均值建立相应的收敛系数表。也就是说，本实施例的收敛系数表中存储有各流量对应的收敛率方差和收敛率均值。57.同时，本实施例中，还可以在收敛系数表中标记预设的第一样本集合的样本数，以便于后续统计实验组的流量，进而可以基于流量查询相关的收敛信息。58.bootstrap是一个成熟的非参数的推断算法，依靠对观测到的样本重新抽样，使用经验分布去近似真正的分布。在发版实验的评估中，无法得到真实流量大小下，收敛率波动分布，因此本实施例的上述技术方案中，可以采用bootstrap重复抽样的方法，针对不同的流量，对第一样本集合不断重复随机抽样，抽样取出小的样本集合即第二样本集合，然后对每个小样本集合即第二样本集合进行收敛率计算，进而得到不同流量下的收敛率的波动分布，并建立相应的收敛系数表在流量系数表中，。59.本实施例中，通过上述方法，能够建立一个准确、合理、有效地流量系数表，以便于后续进行实验指标的修正。60.图3是根据本公开第三实施例的示意图；如图3所示，在上述图1和图2所示实施例的基础上，本实施例提供一种实验指标修正方法，具体可以包括如下步骤：61.s301、获取发版实验中实验组的实验指标的值以及实验组的数据信息；62.s302、基于实验组的数据信息和收敛系数表，获取实验组的流量；63.例如，实验组的流量可以通过如下方式来获取：64.(a1)从实验组的数据信息中，获取实验组的样本数；65.(b1)从收敛系数表中，获取预设的第一样本集合的样本数；66.(c1)基于实验组的样本数和预设的第一样本集合的样本数，获取实验组对应的流量。67.具体地，将实验组的样本数除以第一样本集合中的样本数，便等于该实验组对应的流量。68.s303、从流量收敛系数查询中获取实验组的流量对应的收敛率方差和收敛率均值；69.s304、基于实验组的数据信息，获取实验组的收敛率；70.例如，实验组的收敛率可以通过如下方式获取：71.(a2)从实验组的数据信息中，获取实验组的样本数；72.(b2)从实验组的数据信息中，获取实验组中升级了新版本的样本数；73.(c2)基于实验组中升级了新版本的样本数和实验组的样本数，获取实验组的收敛率。74.s305、基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正。75.使用实验前数据的对照实验(controlled-experimentusingpre-experimentdata；cuped)是一个通用的方法，主要利用实验前的无偏数据，一般选取实验前的同一指标，对实验核心指标进行修正，使得新指标的方差更低，得到更敏感的新指标，放大实验效果的影响。76.本实施例中，在发版实验中，为了打平实验在不同时期的指标，可以吸收cuped使用相关指标修正的思想，从原理上看，因为收敛本身取决于样本中的用户的应用版本升级行为，与实验效果完全无关，不会被实验效果干扰。因此采用收敛率做为协变量，进行实验指标的修正。77.例如，本实施例中，基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，可以采用如下公式对实验组的实验指标的值进行修正：[0078][0079]其中，indexad表示修正的实验指标的值；index表示修正前的实验指标的值；x表示实验组的收敛率，cor(index,x)表示修正前的实验指标的值和实验组的收敛率的方差；var(x)表示当前实验组对应的流量下的收敛率方差；e(x)表示当前实验组对应的流量下的收敛率平均值。[0080]事实上，对于同一版本的同样大小流量，是一个定值，对于每个实验，只需要使用实验组的收敛率x和指标index进行修正计算即可。[0081]由于收敛率、收敛率方差、收敛率平均值等收敛率相关的系数，仅与样本中的版本升级行为有关，而与实验指标无关，与实验指标对应的实验效果无关，所以本实施例中，基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正的时候，不会影响实验效果。而且，可以将所有的实验指标修正到统一的标准下，非常方便实验指标的检验。[0082]例如，现有技术中，空转期和实验期用户数据波动幅度很大，将实验期的a/b进行检验的结果，和空转期的a/b进行检验的结果进行对比，可能无法获取到有效地检测结果。而采用本实施例的技术方案后，可以将所有实验组的检测结果修正到统一的标准下，进而可以进行非常准确地检测，能够有效地提高实验的检测效率。[0083]基于该思想，本实施例的技术方案，可以适用于发版后的任意时期的实验检测。所以，采用本实施例的技术方案，可以不用在发版后等待用户收敛期再进行实验，可以随时进行实验，进而能够有效地缩短实验周期，提高实验效率，还可以促进应用的发版率和发版效果。[0084]采用本实施例的技术方案进行模拟实验，从数据上看，使用某指标随机抽样仿真模拟了887次实验，在同样的随版实验效果下，采用了本实施例的实验指标修正方法后检测显著的实验次数778次，与使用不修正指标监测相比，正确检验次数增加685次。[0085]同时，将本实施例的方法与不做处理但是避开发版收敛阶段的方案进行对比，例如，避开发版收敛阶段使用的实验数据向后推迟5天，采用随机抽样仿真模拟943次实验。其中，采用了本实施例的实验指标修正方法，检测显著的实验次数828次，而避开发版收敛阶段的方案不仅总实验天数增加5天，而且检测显著的实验次数415次。与避开发版收敛阶段的方案相比，采用本实施例的方法的方案正确检验次数增加了413次。[0086]基于以上所述，可以得知，在发版实验的实验检测中，本实施例的实验指标修正方法，能够有效地在精度不损失的前提下显著减少实验周期。[0087]图4是根据本公开第四实施例的示意图；如图4所示，本实施例提供一种实验指标修正装置400，包括：[0088]信息获取模块401，用于获取发版实验中实验组的实验指标的值以及实验组的数据信息；[0089]修正模块402，用于基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正。[0090]本实施例的实验指标修正装置400，通过采用上述模块实现实验指标修正的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。[0091]图5是根据本公开第五实施例的示意图；如图5所示，本实施例提供一种实验指标修正装置500，包括上述图4所示实施例的同名同功能模块，信息获取模块501和修正模块502。[0092]进一步地，如图5所示，本实施例的实验指标修正装置500中，还包括：[0093]抽样模块503，用于基于预设的多个流量中的各流量，从预设的第一样本集合进行多次抽取第二样本集合的抽样；[0094]收敛率获取模块504，用于获取各流量下，多次抽样的第二样本集合分别对应的收敛率；[0095]收敛率获取模块504，还用于基于各流量下多次抽样的第二版本集合分别对应的收敛率，获取各流量下多次抽样的收敛率方差和收敛率均值；[0096]建立模块505，用于基于各流量、各流量对应的收敛率方差和收敛率均值以及预设的第一样本集合的样本数，建立收敛系数表。[0097]进一步地，收敛率获取模块504，用于：[0098]统计各流量下各次抽样的第二样本集合中升级了新版本的样本数；[0099]基于各流量下各次抽样的第二样本集合中升级了新版本的样本数和第二样本集合中包括的样本数，计算各流量下各次抽样的第二样本集合分别对应的收敛率。[0100]进一步地，修正模块502，用于：[0101]基于实验组的数据信息和收敛系数表，获取实验组的流量；[0102]从流量收敛系数查询中获取实验组的流量对应的收敛率方差和收敛率均值；[0103]基于实验组的数据信息，获取实验组的收敛率；[0104]基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正。[0105]进一步地，修正模块502，用于：[0106]从实验组的数据信息中，获取实验组的样本数；[0107]从收敛系数表中，获取预设的第一样本集合的样本数；[0108]基于实验组的样本数和预设的第一样本集合的样本数，获取实验组对应的流量。[0109]进一步地，修正模块502，用于：[0110]从实验组的数据信息中，获取实验组的样本数；[0111]从实验组的数据信息中，获取实验组中升级了新版本的样本数；[0112]基于实验组中升级了新版本的样本数和实验组的样本数，获取实验组的收敛率。[0113]本实施例的实验指标修正装置500，通过采用上述模块实现实验指标修正的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。[0114]本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。[0115]根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。[0116]图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。[0117]如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。[0118]设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。[0119]计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram603并由计算单元601执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。[0120]本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。[0121]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。[0122]在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。[0123]为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。[0124]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。[0125]计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。[0126]应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。[0127]上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。当前第1页12当前第1页12
技术领域：
：，具体涉及软件测试
技术领域：
：，尤其涉及一种实验指标修正方法、装置、电子设备及存储介质。
背景技术：
：：2.现有技术中，a/btest能够精确地评估单个功能或产品效果，是应用的新版本上线后常用的测试方法。3.但对于随版本上线实验效果而言，版本上线后存在用户积累过程，用户积累的速率影响实验检验效率。尤其是，当空转期与实验期用户基数不一致时，用户指标波动幅度也会不一致。从用户升级曲线看，空转期相对于实验期的用户数据波动幅度会更大，会导致检验中敏感度的下降。4.为了解决指标波动幅度较大的问题，行内采用的一种主流的方法是避开发版收敛的阶段，用时间换可度量性。计算多版本从版本发布到版本收敛的整个周期，找到收敛曲线上用户收敛速度变缓的关键节点，认为当新版本收敛率超过该节点所对应的收敛率时，用户收敛速度趋于平缓，发版指标波动相对较小可以用于实验。技术实现要素：5.本公开提供了一种实验指标修正方法、装置、电子设备及存储介质。6.根据本公开的一方面，提供了一种实验指标修正方法，包括：7.获取发版实验中实验组的实验指标的值以及实验组的数据信息；8.基于预先建立的收敛系数表以及所述实验组的数据信息，对所述实验指标的值进行修正。9.根据本公开的另一方面，提供了一种实验指标修正装置，包括：10.信息获取模块，用于获取发版实验中实验组的实验指标的值以及实验组的数据信息；11.修正模块，用于基于预先建立的收敛系数表以及所述实验组的数据信息，对所述实验指标的值进行修正。12.根据本公开的再一方面，提供了一种电子设备，包括：13.至少一个处理器；以及14.与所述至少一个处理器通信连接的存储器；其中，15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。16.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。17.根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。18.根据本公开的技术，能够有效地缩短实验周期，提高实验效率。19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明20.附图用于更好地理解本方案，不构成对本公开的限定。其中：21.图1是根据本公开第一实施例的示意图；22.图2是根据本公开第二实施例的示意图；23.图3是根据本公开第三实施例的示意图；24.图4是根据本公开第四实施例的示意图；25.图5是根据本公开第五实施例的示意图；26.图6是用来实现本公开实施例的方法的电子设备的框图。具体实施方式27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。28.显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。29.需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。30.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。31.针对行业内的主流的避开发版收敛阶段的方案，优点是操作性强，但是缺点也很明显。等待新版本用户收敛的整个周期过长，且用户收敛过程不可操控，只能通过经验判断。而产品又要求快速迭代，且随着整个应用开发效率提升，新版本的发布越来越频繁，长周期的发版收敛与快速迭代的要求产生矛盾，所以避开发版收敛阶段的方法，会导致实验周期过长，越来越不可行。32.图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种实验指标修正方法，可以应用于任意的实验指标修正装置中，具体可以包括如下步骤：33.s101、获取发版实验中实验组的实验指标的值以及实验组的数据信息；34.s102、基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正。35.本实施例的实验指标修正方法，用于对实验指标进行修正，使得空转期和实验期的实验指标的波动幅度不会太大，使得两者具备可比性。能够正确的对实验效果进行统计检验。36.本实施例的实验组可以指的是a/btest中的a组或者b组。具体地，该实验组可以为空转期的实验组，也可以为实验期的实验组。37.在具体地实验过程中，可以采用本实施例的方式对空转期和实验期中的a组和b组的实验指标都进行修正，进而使得所有指标在相同的标准下，可以更加客观地进行比较，以有效地检测实验效果。38.本实施例的实验指标可以包括应用新版本发布后的各种检验指标，如用户使用应用的平均时长、用户对应用的热度等等。通过实验指标可以检验新版本发版后用户的反应，进而可以反应出用户对新版本的接受程度等。39.本实施例的实验组的数据信息可以包括实验组的各种数据信息，如实验组的样本数、实验组中升级了新版本的样本数等各种详细的实验组信息。40.本实施例的实验组中的样本即为参与实验的用户的账户。在实际应用中。应用的新版本发版后，也可以向用户的账户推送实验邀请信息，在用户同意后，可以加入实验组。加入实验组的用户使用该新版本应用的各种行为都将直接影响实验指标，进而影响实验效果。另外，应用方也可以在使用该应用的用户的授权下，随机选择部分授权用户参与实验，以对该应用的新版本进行检验。41.本实施例中，预先建立的收敛系数表中为经过统计实验，预先采集的收敛相关的系数。而收敛相关的系数本身表征的是使用新版本的样本的占有率，仅仅与样本中的版本升级行为有关，而与实验指标无关，与实验指标对应的实验效果无关，所以基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正的时候，不会影响实验效果。42.本实施例中，通过采用预先建立的收敛系数表以及实验组的数据信息，可以有效地对发版实验中实验组的实验指标的值进行修正，使得修正后的所有实验指标都在同一标准下，具有可比性，进而基于修正后的实验指标进行检验。采用本实施例的技术方案，可以不用在发版后等待用户收敛期再进行实验，能够有效地缩短实验周期，提高实验效率，进而还可以促进应用的发版率和发版效果。43.图2是根据本公开第二实施例的示意图；如图2所示，本实施例提供一种收敛系数表的建立过程，以便于对实验指标的值进行修正时使用，具体可以包括如下步骤：44.s201、基于预设的多个流量中的各流量，从预设的第一样本集合进行多次抽取第二样本集合的抽样；45.本实施例中的流量可以等于第二样本集合与第一样本集合中的样本比例。本实施例中的第一样本集和和第二样本集合中的样本都是模拟的用户使用该应用的信息，每一个样本对应一个用户的信息。且本实施例中，第一样本集合中随机设定部分样本对应的用户升级了新版本的应用，具体地，设定的升级了新版本的用户的比例可以根据经验来设置，在此不做限定。46.为了覆盖所有的实验情况，本实施例中，可以预设多个不同大小的流量如1％、2％、3％、5％、10％、20％等等。若第一样本集合的数量为n时，流量为1％时，第二样本集合中包括的样本数量为n*1％。流量为20％时，第二样本集合中包括的样本数量为n*20％。其他情况类似。也就是说，流量用于标识被评估的第二样本集合占总的第一样本集合中的样本的比例大小。47.对于每个流量，本实施例中，可以进行多次抽取第二样本集合的抽样，例如，可以进行1000次、2000次或者其他次数，具体可以根据实际经验来设置，在此不做限定。经过多次不同的抽样，可以获取建立更加准确地收敛系数表。48.s202、获取各流量下，多次抽样的第二样本集合分别对应的收敛率；49.对于每个流量、每次抽样第二样本集合时，都可以计算出相应的收敛率。例如，具体计算过程可以包括如下步骤：50.(1)统计各流量下各次抽样的第二样本集合中升级了新版本的样本数；51.(2)基于各流量下各次抽样的第二样本集合中升级了新版本的样本数和第二样本集合中包括的样本数，计算各流量下各次抽样的第二样本集合分别对应的收敛率。52.具体地，将各流量下，抽取的第二样本集合中升级了新版本的样本数除以第二样本集合中包括的样本数，便等于该流量下，该次抽样第二样本集合对应的收敛率。53.s203、基于各流量下多次抽样的第二版本集合分别对应的收敛率，获取各流量下多次抽样的收敛率方差和收敛率均值；54.对于同一个流量，经过多次抽样，可以得到对应的收敛率。然后基于该流量对应的多个收敛率计算流量下多次抽样的收敛率方差和收敛率均值。55.s204、基于各流量、各流量对应的收敛率方差和收敛率均值以及预设的第一样本集合的样本数，建立收敛系数表。56.对于不同的流量，均能够获取到各流量下对应的收敛率方差和收敛率均值，此时可以基于各流量、各流量对应的收敛率方差和收敛率均值建立相应的收敛系数表。也就是说，本实施例的收敛系数表中存储有各流量对应的收敛率方差和收敛率均值。57.同时，本实施例中，还可以在收敛系数表中标记预设的第一样本集合的样本数，以便于后续统计实验组的流量，进而可以基于流量查询相关的收敛信息。58.bootstrap是一个成熟的非参数的推断算法，依靠对观测到的样本重新抽样，使用经验分布去近似真正的分布。在发版实验的评估中，无法得到真实流量大小下，收敛率波动分布，因此本实施例的上述技术方案中，可以采用bootstrap重复抽样的方法，针对不同的流量，对第一样本集合不断重复随机抽样，抽样取出小的样本集合即第二样本集合，然后对每个小样本集合即第二样本集合进行收敛率计算，进而得到不同流量下的收敛率的波动分布，并建立相应的收敛系数表在流量系数表中，。59.本实施例中，通过上述方法，能够建立一个准确、合理、有效地流量系数表，以便于后续进行实验指标的修正。60.图3是根据本公开第三实施例的示意图；如图3所示，在上述图1和图2所示实施例的基础上，本实施例提供一种实验指标修正方法，具体可以包括如下步骤：61.s301、获取发版实验中实验组的实验指标的值以及实验组的数据信息；62.s302、基于实验组的数据信息和收敛系数表，获取实验组的流量；63.例如，实验组的流量可以通过如下方式来获取：64.(a1)从实验组的数据信息中，获取实验组的样本数；65.(b1)从收敛系数表中，获取预设的第一样本集合的样本数；66.(c1)基于实验组的样本数和预设的第一样本集合的样本数，获取实验组对应的流量。67.具体地，将实验组的样本数除以第一样本集合中的样本数，便等于该实验组对应的流量。68.s303、从流量收敛系数查询中获取实验组的流量对应的收敛率方差和收敛率均值；69.s304、基于实验组的数据信息，获取实验组的收敛率；70.例如，实验组的收敛率可以通过如下方式获取：71.(a2)从实验组的数据信息中，获取实验组的样本数；72.(b2)从实验组的数据信息中，获取实验组中升级了新版本的样本数；73.(c2)基于实验组中升级了新版本的样本数和实验组的样本数，获取实验组的收敛率。74.s305、基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正。75.使用实验前数据的对照实验(controlled-experimentusingpre-experimentdata；cuped)是一个通用的方法，主要利用实验前的无偏数据，一般选取实验前的同一指标，对实验核心指标进行修正，使得新指标的方差更低，得到更敏感的新指标，放大实验效果的影响。76.本实施例中，在发版实验中，为了打平实验在不同时期的指标，可以吸收cuped使用相关指标修正的思想，从原理上看，因为收敛本身取决于样本中的用户的应用版本升级行为，与实验效果完全无关，不会被实验效果干扰。因此采用收敛率做为协变量，进行实验指标的修正。77.例如，本实施例中，基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，可以采用如下公式对实验组的实验指标的值进行修正：[0078][0079]其中，indexad表示修正的实验指标的值；index表示修正前的实验指标的值；x表示实验组的收敛率，cor(index,x)表示修正前的实验指标的值和实验组的收敛率的方差；var(x)表示当前实验组对应的流量下的收敛率方差；e(x)表示当前实验组对应的流量下的收敛率平均值。[0080]事实上，对于同一版本的同样大小流量，是一个定值，对于每个实验，只需要使用实验组的收敛率x和指标index进行修正计算即可。[0081]由于收敛率、收敛率方差、收敛率平均值等收敛率相关的系数，仅与样本中的版本升级行为有关，而与实验指标无关，与实验指标对应的实验效果无关，所以本实施例中，基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正的时候，不会影响实验效果。而且，可以将所有的实验指标修正到统一的标准下，非常方便实验指标的检验。[0082]例如，现有技术中，空转期和实验期用户数据波动幅度很大，将实验期的a/b进行检验的结果，和空转期的a/b进行检验的结果进行对比，可能无法获取到有效地检测结果。而采用本实施例的技术方案后，可以将所有实验组的检测结果修正到统一的标准下，进而可以进行非常准确地检测，能够有效地提高实验的检测效率。[0083]基于该思想，本实施例的技术方案，可以适用于发版后的任意时期的实验检测。所以，采用本实施例的技术方案，可以不用在发版后等待用户收敛期再进行实验，可以随时进行实验，进而能够有效地缩短实验周期，提高实验效率，还可以促进应用的发版率和发版效果。[0084]采用本实施例的技术方案进行模拟实验，从数据上看，使用某指标随机抽样仿真模拟了887次实验，在同样的随版实验效果下，采用了本实施例的实验指标修正方法后检测显著的实验次数778次，与使用不修正指标监测相比，正确检验次数增加685次。[0085]同时，将本实施例的方法与不做处理但是避开发版收敛阶段的方案进行对比，例如，避开发版收敛阶段使用的实验数据向后推迟5天，采用随机抽样仿真模拟943次实验。其中，采用了本实施例的实验指标修正方法，检测显著的实验次数828次，而避开发版收敛阶段的方案不仅总实验天数增加5天，而且检测显著的实验次数415次。与避开发版收敛阶段的方案相比，采用本实施例的方法的方案正确检验次数增加了413次。[0086]基于以上所述，可以得知，在发版实验的实验检测中，本实施例的实验指标修正方法，能够有效地在精度不损失的前提下显著减少实验周期。[0087]图4是根据本公开第四实施例的示意图；如图4所示，本实施例提供一种实验指标修正装置400，包括：[0088]信息获取模块401，用于获取发版实验中实验组的实验指标的值以及实验组的数据信息；[0089]修正模块402，用于基于预先建立的收敛系数表以及实验组的数据信息，对实验指标的值进行修正。[0090]本实施例的实验指标修正装置400，通过采用上述模块实现实验指标修正的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。[0091]图5是根据本公开第五实施例的示意图；如图5所示，本实施例提供一种实验指标修正装置500，包括上述图4所示实施例的同名同功能模块，信息获取模块501和修正模块502。[0092]进一步地，如图5所示，本实施例的实验指标修正装置500中，还包括：[0093]抽样模块503，用于基于预设的多个流量中的各流量，从预设的第一样本集合进行多次抽取第二样本集合的抽样；[0094]收敛率获取模块504，用于获取各流量下，多次抽样的第二样本集合分别对应的收敛率；[0095]收敛率获取模块504，还用于基于各流量下多次抽样的第二版本集合分别对应的收敛率，获取各流量下多次抽样的收敛率方差和收敛率均值；[0096]建立模块505，用于基于各流量、各流量对应的收敛率方差和收敛率均值以及预设的第一样本集合的样本数，建立收敛系数表。[0097]进一步地，收敛率获取模块504，用于：[0098]统计各流量下各次抽样的第二样本集合中升级了新版本的样本数；[0099]基于各流量下各次抽样的第二样本集合中升级了新版本的样本数和第二样本集合中包括的样本数，计算各流量下各次抽样的第二样本集合分别对应的收敛率。[0100]进一步地，修正模块502，用于：[0101]基于实验组的数据信息和收敛系数表，获取实验组的流量；[0102]从流量收敛系数查询中获取实验组的流量对应的收敛率方差和收敛率均值；[0103]基于实验组的数据信息，获取实验组的收敛率；[0104]基于实验组的流量对应的收敛率方差和收敛率均值、实验组的收敛率，对实验组的实验指标的值进行修正。[0105]进一步地，修正模块502，用于：[0106]从实验组的数据信息中，获取实验组的样本数；[0107]从收敛系数表中，获取预设的第一样本集合的样本数；[0108]基于实验组的样本数和预设的第一样本集合的样本数，获取实验组对应的流量。[0109]进一步地，修正模块502，用于：[0110]从实验组的数据信息中，获取实验组的样本数；[0111]从实验组的数据信息中，获取实验组中升级了新版本的样本数；[0112]基于实验组中升级了新版本的样本数和实验组的样本数，获取实验组的收敛率。[0113]本实施例的实验指标修正装置500，通过采用上述模块实现实验指标修正的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。[0114]本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。[0115]根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。[0116]图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。[0117]如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。[0118]设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。[0119]计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram603并由计算单元601执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。[0120]本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。[0121]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。[0122]在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。[0123]为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。[0124]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。[0125]计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。[0126]应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。[0127]上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
