用户界面的调整方法和装置、存储介质及电子设备与流程

本技术涉及智慧家庭，具体而言，涉及一种用户界面的调整方法和装置、存储介质及电子设备。

背景技术：

1、在当前智慧家庭跨品牌设备交互场景中，用户常通过移动终端或增强现实界面（augmented reality interface，简称为ar）控制来自不同厂商的智能设备，其用户界面（user interface，简称为ui）多由安卓系统或webview组件动态渲染生成。由于安卓生态碎片化严重，各品牌设备在ui布局、控件样式、渲染引擎及系统版本上存在显著差异，导致界面元素（如按钮偏移、图标缺失、文字重叠、控件遮挡等）频繁出现渲染异常。现有技术多采用基于规则匹配或模板比对的静态检测方法，即预先构建有限数量的标准ui模板，通过图像相似度计算或控件属性比对判断异常，极易出现漏检与误检的问题。

2、针对相关技术中，传统ui异常检测方案依赖简单规则和有限模板来识别ui的渲染异常，从而导致异常检测的准确率较低的问题，尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种用户界面的调整方法和装置、存储介质及电子设备，以至少解决相关技术中，传统ui异常检测方案依赖简单规则和有限模板来识别ui的渲染异常，从而导致异常检测的准确率较低的问题。

2、根据本技术实施例的一个实施例，提供了一种用户界面的调整方法，包括：根据实际的第一用户界面中的图像数据特征构建符合预期标准的第二用户界面；根据所述第一用户界面中的多个第一像素和所述第二用户界面中的多个第二像素计算多个像素的均方误差，其中，所述多个像素包括所述多个第一像素和所述多个第二像素；在所述均方误差大于预设阈值的情况下，确定所述第一用户界面存在异常，并根据所述异常的异常原因对所述第一用户界面进行调整。

3、在一个可选实施例中，根据所述异常的异常原因对所述第一用户界面进行调整之后，所述方法还包括：获取第一终端设备所在区域的光强数据，其中，所述第一用户界面用于显示所述第一终端设备的状态；在所述光强数据小于第一预设值的情况下，确定所述光强数据属于弱光区间；在所述光强数据大于或等于所述第一预设值，且所述光强数据小于第二预设值的情况下，确定所述光强数据属于中等光区间；在所述光强数据大于或等于所述第二预设值的情况下，确定所述光强数据属于强光区间；根据所述光强数据所属的光强区间调整第三用户界面中多个第一控件的识别阈值，其中，所述识别阈值为识别所述多个第一控件的最小参考值，所述光强区间包括：所述弱光区间、所述中等光区间、所述强光区间，所述第三用户界面为调整后的第一用户界面；根据所述识别阈值调整所述多个第一控件在所述第三用户界面中的能见度。

4、在一个可选实施例中，根据所述光强数据所属的光强区间调整第三用户界面中多个第一控件的识别阈值，包括：在所述光强区间为所述弱光区间的情况下，根据以下第一公式确定所述识别阈值：，其中，l为所述光强数据，为所述第一公式的一次项系数，为所述第一公式的常数项；在所述光强区间为所述中等光区间的情况下，根据以下第二公式确定所述识别阈值：，其中，为所述第二公式的一次向系数，为所述第二公式的常数项；在所述光强区间为所述强光区间的情况下，根据以下第三公式确定所述识别阈值：，其中，为所述第三公式的一次向系数，为所述第三公式的常数项。

5、在一个可选实施例中，根据所述异常的异常原因对所述第一用户界面进行调整之后，所述方法还包括：持续采集第三用户界面的渲染数据流，其中，所述第三用户界面为调整后的第一用户界面；确定当前时刻的第一数据流中的第一字节值和前一时刻的第二数据流中的第二字节值是否相同，其中，所述渲染数据流包括所述第一数据流和所述第二数据流，所述第一字节值和所述第二字节值的字节位置相同；在确定所述第一字节值和所述第二字节值不相同的情况下，根据多个所述第一字节值构成的第一字节序列在所述第三用户界面中加载第二控件，其中，所述第二控件为所述第三用户界面中多个第一控件之外的控件。

6、在一个可选实施例中，根据多个所述第一字节值构成的第一字节序列在所述第三用户界面中加载第二控件，包括：根据所述第一字节序列检索控件映射库中的多个第三控件对应的第二字节序列，确定多个所述第二字节序列中是否存在与所述第一字节序列相同的第三字节序列，其中，所述多个第三控件与多个所述第二字节序列一一对应；在确定多个所述第二字节序列中存在所述第三字节序列的情况下，将所述第三字节序列对应的第三控件确定为所述第二控件，并根据所述第三控件的第一位置坐标在所述第三用户界面中加载所述第二控件。

7、在一个可选实施例中，根据多个所述第一字节值构成的第一字节序列在所述第三用户界面中加载第二控件之后，所述方法还包括：在检测到目标对象对第二位置坐标的点击操作的情况下，根据所述第二位置坐标确定第四控件；根据所述第四控件的功能属性确定所述目标对象的操作指令，以及根据所述第四控件的设备标识信息确定第二终端设备；将所述操作指令发送至所述第二终端设备，以指示所述第二终端设备执行所述操作指令。

8、在一个可选实施例中，根据所述第一用户界面中的多个第一像素和所述第二用户界面中的多个第二像素计算多个像素的均方误差，包括：根据以下公式确定所述均方误差mse：，其中，为所述多个第一像素中的第i个像素的像素值，为所述多个第二像素中的第i个像素的像素值，n为所述多个第一像素的数量，所述多个第一像素与所述多个第二像素的数量相同。

9、根据本发明的另一个方面，还提供了一种用户界面的调整装置，包括：构建模块，用于根据实际的第一用户界面中的图像数据特征构建符合预期标准的第二用户界面；计算模块，用于根据所述第一用户界面中的多个第一像素和所述第二用户界面中的多个第二像素计算多个像素的均方误差，其中，所述多个像素包括所述多个第一像素和所述多个第二像素；调整模块，用于在所述均方误差大于预设阈值的情况下，确定所述第一用户界面存在异常，并根据所述异常的异常原因对所述第一用户界面进行调整。

10、根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述用户界面的调整方法。

11、根据本技术实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述用户界面的调整方法。

12、根据本技术实施例的又一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述用户界面的调整方法。

13、在本技术实施例中，根据实际的第一用户界面中的图像数据特征构建符合预期标准的第二用户界面；根据第一用户界面中的多个第一像素和第二用户界面中的多个第二像素计算多个像素的均方误差，其中，多个像素包括多个第一像素和多个第二像素；在均方误差大于预设阈值的情况下，确定第一用户界面存在异常，并根据异常的异常原因对第一用户界面进行调整。采用上述技术方案，解决了相关技术中，传统ui异常检测方案依赖简单规则和有限模板来识别ui的渲染异常，从而导致异常检测的准确率较低的问题。