电子设备及电子设备的控制方法与流程

1.本发明涉及一种电子设备和该电子设备的控制方法。更具体地，本发明涉及一种电子设备和该电子设备的控制方法，用于识别包括在外部设备中的神经网络模型的转换适合性。


背景技术：

2.近年来，用户和行业对通过个性化神经网络模型为每个用户提供定制服务的技术的需求不断增加。然而，另一方面，保护与用户隐私相关的个人数据的需求也在增加，因此，在许多情况下，仅限于通过收集神经网络模型个性化所需的个人数据来训练神经网络模型。
3.因此，研究一种技术，使得神经网络模型能够在设备上使用，而无需将个人数据传输到外部服务器或云，以及一种通过设备到设备通信将个性化神经网络模型的信息从特定设备传送到另一设备的技术正在引起人们的注意。
4.在将关于个性化神经网络模型的信息从特定设备传送到另一设备的情况下，如果设备的类型彼此不同，或者即使设备的类型相同硬件规格也不同，可能不适合传送神经网络模型。因此，在将关于个性化神经网络模型的信息从设备传送到另一设备时，有必要执行关于是否适合在不同设备之间传送神经网络模型的识别过程。
5.此外，当电子设备的用户购买新电子设备时，需要一种能够以高效可靠的方法将个性化神经网络模型从现有电子设备传送到新电子设备的技术。
6.以上信息仅作为背景信息提供，以帮助理解本公开。对于上述任何一项是否可以作为本公开的现有技术适用，尚未做出任何决定，也未做出任何断言。


技术实现要素：

7.[技术问题]
[0008]
本发明的方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本发明的方面是提供一种电子设备和该电子设备的控制方法，其能够基于关于每个电子设备和外部设备的硬件规格的信息和神经网络模型的信息识别是否适合将包括在外部设备中的神经网络模型传送到该电子设备。
[0009]
附加方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。
[0010]
[技术解决方案]
[0011]
根据本发明的一个方面，提供了一种用于识别包括在外部设备中的神经网络模型的转换适合性的电子设备。该电子设备包括：通信器；存储器，被配置为存储关于电子设备的硬件规格的第一设备信息以及识别适合于电子设备的硬件的神经网络模型的硬件适合性识别器；以及处理器，被配置为基于接收到的用户输入，控制通信器发送用于请求与包括在一个或多个外部设备中的一个或多个神经网络模型相关的信息的第一信号，作为对第一
信号的响应，通过通信器从一个或多个外部设备中的第一外部设备接收第二信号，该信号包括关于第一外部设备的硬件规格的第二设备信息和关于第一外部设备中包括的一个或多个神经网络模型的第一模型信息，通过将第一设备信息、第二设备信息和第一模型信息输入到硬件适合性识别器中，识别第一外部设备中包括的一个或多个神经网络模型中的每一个是否适合电子设备的硬件，控制通信器向第一外部设备发送包括对被识别为适合于电子设备的硬件的一个或多个神经网络模型的安装数据的请求的第三信号，以及作为对第三信号的响应，通过通信器从第一外部设备接收包括被识别为适合于电子设备的硬件的一个或多个神经网络模型的安装数据的第四信号，其中，处理器被配置为基于包括在电子设备中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备中的多个硬件配置的规格，将第一外部设备中包括的一个或多个神经网络模型识别为适合于电子设备的硬件，以及基于包括在电子设备中的多个硬件配置中的一个或多个的规格小于包括在第一外部设备中的多个硬件配置的规格，将包括在第一外部设备中的一个或多个神经网络模型中的、硬件需求规格低于包括在电子设备中的多个硬件配置规格的一个或多个神经网络模型识别为适合于电子设备的硬件，。
[0012]
根据本发明的另一方面，一种电子设备的控制方法，该电子设备存储关于电子设备的硬件规格的第一设备信息以及识别适合于电子设备的硬件的神经网络模型的硬件适合性识别器，并识别包括在外部设备中的神经网络模型的转换适合性。该控制方法包括基于接收到的用户输入发送用于请求与包括在一个或多个外部设备中的一个或多个神经网络模型相关的信息的第一信号，作为对第一信号的响应，从一个或多个外部设备中的第一外部设备接收包括关于第一外部设备的硬件规格的第二设备信息和关于第一外部设备中包括的一个或多个神经网络模型的第一模型信息的第二信号，通过将第一设备信息、第二设备信息和第一模型信息输入到硬件适合性识别器中，识别第一外部设备中包括的一个或多个神经网络模型中的每一个是否适合于电子设备的硬件，向第一外部设备发送包括对被识别为适合于电子设备的硬件的一个或多个神经网络模型的安装数据的请求的第三信号，以及作为对第三信号的响应，从第一外部设备接收包括被识别为适合于电子设备的硬件的一个或多个神经网络模型的安装数据的第四信号，其中，识别一个或多个神经网络模型中的每一个是否适合于电子设备的硬件包括，基于包括在电子设备中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备中的多个硬件配置的规格，将第一外部设备中包括的一个或多个神经网络模型识别为适合于电子设备的硬件，以及基于包括在电子设备中的多个硬件配置中的一个或多个的规格小于包括在第一外部设备中的多个硬件配置的规格，将包括在第一外部设备中的一个或多个神经网络模型中的、硬件需求规格低于包括在电子设备中的多个硬件配置的规格的一个或多个神经网络模型识别为适合于电子设备的硬件。
[0013]
根据本公开的另一方面，一种非暂时性计算机可读记录介质，包括用于执行电子设备的控制方法的程序，该电子设备存储关于电子设备的硬件规格的第一设备信息以及识别适合于电子设备的硬件的神经网络模型的硬件适合性识别器，并识别包括在外部设备中的神经网络模型的转换适合性。该控制方法包括基于接收到的用户输入发送用于请求与包括一个或多个外部设备的一个或多个神经网络模型相关的信息的第一信号，作为对第一信号的响应，从一个或多个外部设备中的第一外部设备接收包括关于第一外部设备的硬件规
格的第二设备信息和关于第一外部设备中包括的一个或多个神经网络模型的第一模型信息的第二信号，通过将第一设备信息、第二设备信息和第一模型信息输入到硬件适合性识别器中，识别第一外部设备中包括的一个或多个神经网络模型中的每一个是否适合于电子设备的硬件，向第一外部设备发送包括对被识别为适合于所述电子设备的硬件的一个或多个神经网络模型的安装数据的请求的第三信号，以及作为对第三信号的响应，从第一外部设备接收包括被识别为适合于电子设备的硬件的一个或多个神经网络模型的安装数据的第四信号，其中，识别一个或多个神经网络模型中的每一个是否适合于电子设备的硬件包括基于包括在电子设备中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备中的多个硬件配置的规格，识别第一外部设备中包括的一个或多个神经网络模型适合于电子设备的硬件，以及基于包括在电子设备中的多个硬件配置中的一个或多个的规格小于包括在第一外部设备中的多个硬件配置的规格，将包括在第一外部设备中的一个或多个神经网络模型中的、硬件需求规格低于包括在电子设备中的多个硬件配置的规格的一个或多个神经网络模型识别为适合于电子设备的硬件，。
[0014]
根据本发明的另一方面，提供了一种用于识别包括在外部设备中的神经网络模型的转换适合性的电子设备。该电子设备包括通信器；存储器，被配置为存储关于电子设备中包括的一个或多个神经网络模型的内部模型信息以及识别神经网络模型适合于替换电子设备中包括的神经网络模型的模型适合性识别器；以及处理器，被配置为基于接收到的用户输入，控制通信器发送第一信号，用于请求与包括在一个或多个外部设备中的一个或多个神经网络模型相关的信息，作为对第一信号的响应，通过通信器从一个或多个外部设备中的第一外部设备接收包括关于第一外部设备中包括的一个或多个神经网络模型的外部模型信息的第二信号，通过将内部模型信息和外部模型信息输入到模型适合性识别器中，识别包括在第一外部设备中的一个或多个神经网络模型中的每一个是否适合于替换包括在电子设备中的神经网络模型，控制通信器将包括对被识别为适合于替换电子设备中包括的一个或多个神经网络模型的安装数据的请求的第三信号发送到第一外部设备，以及作为对第三信号的响应，通过通信器从第一外部设备接收包括一个或多个被识别的神经网络模型的安装数据的第四信号，其中，处理器被配置为基于内部模型信息和外部模型信息的每一个中包括的服务类型信息，将电子设备中包括的一个或多个神经网络模型的服务类型与第一外部设备中包括的一个或多个神经网络模型的服务类型进行比较，基于包括在第一外部设备中的一个或多个神经网络模型中的第一神经网络模型的服务类型与包括在电子设备中的多个神经网络模型中的第二神经网络模型的服务类型相同，基于包括在内部模型信息和外部模型信息的每一个中的关于个性化水平的信息，比较第一神经网络模型的个性化水平和第二神经网络模型的个性化水平，以及基于第一神经网络模型的个性化水平高于第二神经网络模型的个性化水平，将第一神经网络模型识别为适合于替换第二神经网络模型。
[0015]
本发明的其他方面、优点和显著特征对于本领域技术人员将从以下详细描述中变得显而易见，结合附图，以下详细描述公开了本发明的各种实施例。
附图说明
[0016]
通过以下结合附图的描述，本发明的某些实施例的上述和其他方面、特征和优点
将更加明显，其中：
[0017]
图1是示出根据本发明实施例的电子设备的控制方法的流程图；
[0018]
图2、3和4是用于具体描述根据本发明的各种实施例的用于执行根据图1的电子设备的控制方法的硬件适合性识别模块的操作的图；
[0019]
图5a是示出根据本发明实施例的电子设备的控制方法的流程图；
[0020]
图5b是示出根据本发明实施例的电子设备的控制方法的流程图；
[0021]
图6、7和8是用于具体描述根据本发明的各种实施例的用于执行根据图5a和5b的电子设备的控制方法的模型适合性识别模块的操作的图；
[0022]
图9是用于描述根据本发明实施例的电子设备的控制方法的流程图；
[0023]
图10是用于描述根据本发明实施例的存在多个外部设备的情况的示例的序列图；
[0024]
图11是用于描述根据本发明实施例的由电子设备提供的用户界面的图；
[0025]
图12是用于描述根据本发明实施例的由第一外部设备提供的用户界面的图；
[0026]
图13是示出根据本发明实施例的电子设备、第一外部设备和第二外部设备的示例的图；
[0027]
图14是用于描述根据本发明的实施例的当包括在第一外部设备中的神经网络模型被传送到第二外部设备时，由电子设备识别转换适合性的过程的序列图；
[0028]
图15是详细示出根据本发明实施例的电子设备中包括的软件模块的架构的框图；
[0029]
图16是详细示出根据本发明实施例的包括在第一外部设备中的软件模块的架构的框图；
[0030]
图17是示意性地示出根据本发明实施例的电子设备中包括的硬件配置的架构的框图；以及
[0031]
图18是更详细地示出根据本发明实施例的电子设备中包括的硬件配置的架构的框图。
[0032]
在整个附图中，类似的参考编号将被理解为指代类似的部件、组件和结构。
具体实施方式
[0033]
以下参考附图的描述有助于全面理解权利要求及其等效物定义的本发明的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清晰和简洁，可以省略对已知功能和构造的描述。
[0034]
以下描述和权利要求书中使用的术语和词语不限于参考文献中的含义，发明人仅使用这些术语和词语，以便清楚、一致地理解本发明。因此，本领域技术人员应当清楚，以下对本发明各种实施例的描述仅用于说明目的，而不是为了限制所附权利要求及其等效物所定义的本发明。
[0035]
应理解，单数形式“一”、“一”和“该”包括复数指代，除非上下文另有明确规定。因此，例如，对“组件表面”的引用包括对一个或多个这样的表面的引用。
[0036]
本发明中使用的术语仅用于描述具体实施例，并不旨在限制范围。单数表达包括复数表达，除非上下文另有明确说明。
[0037]
在本发明中，表述“具有”、“可以具有”、“包括”、“可以包括”等表示存在相应特征
(例如，数值、功能、操作、诸如部件的组件等)，并且不排除存在附加特征。
[0038]
在本发明中，表述“a或b”、“a和/或b中的至少一个”、“a和/或b中的一个或多个”等可以包括一起列出的项目的所有可能组合。例如，“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可指所有情况(1)包括至少一个a、(2)包括至少一个b，或(3)包括至少一个a和至少一个b。
[0039]
本发明中使用的表述“第一”、“第二”等可以表示各种组件，而不考虑组件的顺序和/或重要性，将仅用于区分一个组件和其他组件，并且不限制相应的组件。
[0040]
当提及任何组件(例如，第一组件)与另一组件(例如，第二组件)(操作地或通信地)耦合或连接到另一组件(例如，第二组件)时，应理解，任何组件直接与另一组件耦合/连接到另一组件，或者可以通过其他组件(例如，第三组件)与另一组件耦合/连接到另一组件。
[0041]
另一方面，当提及任何组件(例如，第一组件)与另一组件(例如，第二组件)“直接耦合”或“直接连接”到另一组件(例如，第二组件)时，应理解，另一组件(例如，第三组件)不存在于任何组件和另一组件之间。
[0042]
根据具体情况，本发明中使用的“被配置(或设置)为”的表述可以替换为“适合于”、“有能力”、“被设计为”、“适于”、“被制造为”或“能够”。术语“被配置(或设置)为”不一定仅指硬件中的“被专门设计为”。
[0043]
替代的，在任何上下文中，表述“被配置为”可能意味着该设备“能够”与其他设备或组件一起。例如，“被配置(或设置)为执行a、b和c的处理器”可指用于执行相应操作的专用处理器(例如嵌入式处理器)，或可通过执行存储在存储器设备中的一个或多个软件来执行相应操作的通用处理器(例如中央处理单元(cpu)或应用处理器)。
[0044]
在实施例中，“模块”或“～器”可执行至少一项功能或操作，并可实现为硬件或软件，或实现为硬件和软件的组合。此外，多个“模块”或多个“～器”可集成在至少一个模块中，并可实现为至少一个处理器，但需要实现为特定硬件的“模块”或“～器”除外。
[0045]
另一方面，附图中的各种元件和区域以示意图的形式示出。因此，本发明的技术精神不受附图中所示的相对大小或间隔的限制。
[0046]
根据本发明不同实施例的电子设备可以包括例如智能手机、平板电脑(pc)、台式电脑、笔记本电脑或可穿戴设备中的至少一个。可穿戴设备可包括配饰型可穿戴设备(例如手表、戒指、手镯、踝链、项链、眼镜、隐形眼镜或头戴式设备(hmd))、纺织品或服装整体型可穿戴设备(例如电子服装)、身体附着型可穿戴设备(例如皮肤垫或纹身)或生物植入式电路中的至少一个。
[0047]
在一些实施例中，电子设备可以包括电视(tv)、数字视频光盘(dvd)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气滤清器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如三星电子有限公司的homesynctm、苹果公司的tvtm或谷歌tm的tvtm)、游戏机(如xboxtm和playstationtm)、电子词典、电子钥匙、摄像机或数码相框。
[0048]
在其他实施例中，电子设备可包括各种医疗设备(例如，各种便携式医疗测量设备(诸如血糖计、心率计、血压计、体温计等)、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)、摄影设备、超声波设备等)、导航设备、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、汽车信息娱乐设备、船用电子设备(例如船用导航
设备、陀螺罗盘等)、航空电子设备、安全设备、汽车主机、工业或家用机器人、无人机、金融机构的自动取款机(atm)、商店的销售终端(pos)或物联网(iot)设备(例如，灯泡、各种传感器、喷水灭火系统、火灾报警器、恒温器、路灯、烤面包机、运动设备、热水箱、加热器、锅炉等)中的至少一种。
[0049]
在下文中，将参考附图详细描述本发明的实施例，以便本发明所属领域的技术人员可以容易地实施本发明。
[0050]
图1是示出根据本发明实施例的电子设备的控制方法的流程图。
[0051]
图2至图4是用于具体描述根据本发明的各种实施例的用于执行根据图1的电子设备100的控制方法(参见图17)的硬件适合性识别模块1100(参见图2)的操作的图。
[0052]
首先，根据本发明的“电子设备”可以实现为各种类型，诸如智能手机、平板电脑、笔记本电脑、电视和机器人，并且不限于特定类型的设备。在下文中，根据本发明的电子设备被称为电子设备100。
[0053]
神经网络模型是指包括人工神经网络在内的人工智能模型，并且可以通过深度学习进行训练。例如，神经网络模型可包括深度神经网络(dnn)、卷积神经网络(cnn)、递归神经网络(rnn)或生成性对抗网络(gan)中的至少一个人工神经网络模型。然而，根据本发明的神经网络模型不限于上述示例。
[0054]
在根据本发明的电子设备100中，可以存储关于电子设备100和硬件适合性识别模块1100的硬件规格的第一设备信息。
[0055]“第一设备信息”是指关于电子设备100的硬件规格的信息。具体地，第一设备信息是一个术语，用于泛指关于指示包括在电子设备100中的多个硬件中的每一个具有何种性能的规格的信息，并且可以包括关于包括在电子设备100中的多个硬件组件中的每一个的存在、数量、类型以及性能的详细信息。
[0056]
具体而言，第一设备信息可以包括关于包括在电子设备100中的处理器的规格、包括在电子设备100中的存储器的规格以及包括在电子设备100中的数据获取器的规格的信息。数据获取器是获取输入到包括在电子设备100中的一个或多个神经网络模型的数据的组件，并且可以包括包括在电子设备100中的相机、麦克风或传感器中的至少一个。
[0057]
第一设备信息可以包括关于包括在电子设备100中的多个硬件中的每个硬件的性能评估信息。“性能评估信息”是通过基于专家的实验和分析对每个硬件配置的性能进行综合评估而获得的得分，并且可以被预先存储在电子设备100中，并且可以从外部服务器接收和更新。
[0058]“硬件适合性识别模块1100”是指识别适合于电子设备100的硬件的神经网络模型的模块。具体地，“硬件适合性识别模块1100”可以通过使用电子设备100的硬件来输出关于是否适合于执行包括在外部设备中的神经网络模型的信息。在描述本发明时，术语“适合于”可替换为诸如“兼容”或“替代”的术语。
[0059]
参考图1，在操作s110，当接收到用户输入时，电子设备100可以发送用于请求与一个或多个外部设备中包括的一个或多个神经网络模型相关的信息的第一信号。
[0060]
可以基于通过电子设备100的显示器的用户触摸输入、通过电子设备100的麦克风接收的用户语音或电子设备100中提供的物理按钮的输入、由用于控制电子设备100的远程控制设备发送的控制信号等来接收“用户输入”。术语“传输”可用作包括单播(其中通过针
对特定外部设备来传输信号或数据)以及广播(其中信号或数据被同时传输到连接到网络的所有外部设备，而在传输信号或数据时不以特定外部设备为目标)的含义。“与一个或多个神经网络模型相关的信息”可以包括第二设备信息和第一模型信息，这将在后面描述。
[0061]
类似电子设备100，“外部设备”可以实现为各种类型，诸如智能手机、平板电脑、笔记本电脑、电视和机器人，并且外部设备的类型也可能不同于电子设备100的类型。电子设备100和外部设备可以彼此“连接”，这意味着通过交换电子设备100和外部设备之间的通信连接的请求和响应而建立通信连接。根据本发明的通信连接方法不受特别限制。
[0062]
作为对第一信号的响应，在操作s120，电子设备100可以从一个或多个外部设备中的第一外部设备接收第二信号，该第二信号包括关于第一外部设备的硬件规格的第二设备信息和关于包括在第一外部设备中的一个或多个神经网络模型的第一模型信息。也就是说，如果接收到与搜索一个或多个神经网络模型的请求相对应的第一信号，第一外部设备可以向电子设备100发送第二信号作为对该请求的响应，并且第二信号可以包括第二设备信息和第一模型信息。在描述本发明时，术语“第一外部设备”被用作指定能够将神经网络模型的安装数据传输到电子设备100的外部设备的术语。以下，根据本发明的第一外部设备将被称为第一外部设备200-1(参见图14)。
[0063]
第一外部设备200-1可以基于包括在第一信号中的第一用户信息和存储在第一外部设备200-1中的第二用户信息执行用户认证过程，并且还可以在用户认证完成时将第二信号发送到电子设备100。将参考图9和10详细描述用户认证过程或用户适合性识别过程。
[0064]“第二设备信息”是指关于第一外部设备200-1的硬件规格的信息。具体地，第二设备信息是一个术语，用于泛指关于指示包括在第一外部设备200-1中的每个硬件具有何种性能的规格的信息，并且对应于关于电子设备100的硬件性能的第一设备信息。
[0065]
也就是说，第二设备信息可以包括关于包括在第一外部设备200-1中的多个硬件配置中的每一个的存在、数量、类型和性能的详细信息，并且类似于第一设备信息的情况，第二设备信息还可以包括第一外部设备200-1中包括的每个硬件的性能评估信息。此外，第二设备信息可以包括关于包括在第一外部设备200-1中的处理器的规格、包括在第一外部设备200-1中的存储器的规格以及包括在第一外部设备200-1中的数据获取器的规格的信息。第一外部设备200-1的数据获取器是获取输入到包括在第一外部设备200-1中的一个或多个神经网络模型的数据的组件，类似于电子设备100的数据获取器，并且可以包括第一外部设备200-1中包括的相机、麦克风或传感器中的至少一个。
[0066]“第一模型信息”是指关于第一外部设备200-1中包括的一个或多个神经网络模型的信息。具体地，第一模型信息可以包括关于服务类型的信息、关于个性化水平的信息，以及关于包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格的信息。
[0067]
在操作s130处，如果从第一外部设备200-1接收到包括第二设备信息和第一模型信息的第二信号，电子设备100可以将第一设备信息、第二设备信息以及第一模型信息输入到硬件适合性识别模块1100中，以识别包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个是否适合于电子设备100的硬件。也就是说，如果输入了第一设备信息、第二设备信息和第一模型信息，硬件适合性识别模块1100可以基于第一设备信息、第二设备信息以及第一模型信息执行根据本公开的不同实施例的硬件适合性识别过程。下文中，
将参考图2至4以及图1详细描述“硬件适合性识别过程”。具体地，根据本发明的硬件适合性识别过程可以包括如图2和图3所示的操作1和2。
[0068]
首先，将参考图1和2描述“步骤1”。通过基于存储在电子设备100中的第一设备信息和从第一外部设备200-1接收的第二设备信息，识别电子设备100的硬件规格在所有部分中是否等于或优于第一外部设备200-1的硬件规格，电子设备100可以对包括在第一外部设备200-1中的所有神经网络模型执行硬件适合性识别过程。
[0069]
具体而言，如果包括在电子设备100中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备200-1中的多个硬件配置的规格(在s140中为y)，在操作s150-1处，电子设备100可将包括在第一外部设备200-1中的一个或多个神经网络模型识别为适合于电子设备100的硬件。
[0070]
也就是说，电子设备100可以识别与包括在电子设备100中的多个硬件配置中的每一个相对应的第一外部设备200-1的硬件配置，并且可以比较每个对应硬件配置的规格。此外，作为将电子设备100中包括的多个硬件配置中的每个硬件配置的规格与第一外部设备200-1中包括的多个硬件配置中的每个硬件配置的规格进行比较的结果，如果包括在电子设备100中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备200-1中的多个硬件配置的规格，这可以被估计为这样的情况，其中包括在第一外部设备200-1中的所有一个或多个神经网络模型可以使用电子设备100的硬件来执行，而不管包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个都需要哪种硬件规格。因此，在这种情况下，电子设备100可以将包括在第一外部设备200-1中的所有一个或多个神经网络模型识别为适合于电子设备100的硬件。
[0071]
参考图4，硬件适合性识别模块1100可以包括处理器适合性识别模块1110、存储器适合性识别模块1120、相机适合性识别模块1130、麦克风适合性识别模块1140和传感器适合性识别模块1150。此外，电子设备100可以通过包括在硬件适合性识别模块1100中的每个模块基于包括在第一和第二设备信息中的关于处理器规格、存储器规格、相机规格、麦克风规格以及传感器规格的信息，对每个硬件配置执行硬件适合性识别过程。
[0072]
例如，如果包括在电子设备100中的处理器、存储器、相机、麦克风和传感器的规格都大于或等于包括在第一外部设备200-1中的处理器、存储器、相机、麦克风和传感器的规格，电子设备100可将包括在第一外部设备200-1中的所有一个或多个神经网络模型识别为适合于电子设备100的硬件。此时，电子设备100可以按照处理器、存储器、相机、麦克风和传感器的顺序对每个硬件配置执行硬件适合性识别过程，然而，对于根据本发明的每个硬件配置，在硬件适合性识别过程中没有特定的顺序限制。
[0073]
在上文中，已经描述了对包括在电子设备100和第一外部设备200-1中的每一个中的处理器、存储器、相机、麦克风和传感器的规格进行比较，但这只是为了便于描述，并且，根据本发明，电子设备100可以比较包括处理器、存储器、相机、麦克风和传感器中的每个详细组件的规格。
[0074]
例如，电子设备100还可以通过针对处理器中的中央处理单元(cpu)、图形处理单元(gpu)和神经处理单元(npu)比较电子设备100和第一外部设备200-1的规格、针对存储器中的随机存取存储器(ram)和只读存储器(rom)比较电子设备100和第一外部设备200-1的规格，以及针对传感器中的每个传感器(诸如全球定位系统(gps)传感器、陀螺传感器、加速
度传感器和激光雷达传感器)比较电子设备100和第一外部设备200-1的规格来执行硬件适合性识别过程。处理器、存储器、相机、麦克风和传感器中包括的详细组件的示例不限于上述示例。
[0075]
根据本发明的一个实施例，包括在电子设备100中的硬件配置的规格大于或等于包括在第一外部设备200-1中的硬件配置的规格，这可能意味着指示包括在电子设备100中的硬件配置的性能的所有规格都优于或至少等于指示包括在第一外部设备200-1中的硬件配置的性能的所有规格。
[0076]
例如，如果包括在电子设备100中的cpu的内核数为8，线程数为16，时钟速度为3.6ghz，高速缓存的容量为8mb，并且包括在第一外部设备200-1中的cpu的内核数为4，线程数为8，时钟速度为3.3ghz，并且高速缓存的容量为8mb，电子设备100可以识别出电子设备100的cpu的性能大于或等于第一外部设备200-1的cpu的性能。在该示例中，内核的数量、线程的数量、时钟速度和高速缓存作为cpu的性能指标被举例说明，但是可以另外考虑诸如总线速度和热设计功率(tdp)的性能指标。
[0077]
根据另一个实施例，包括在电子设备100中的硬件配置的规格大于或等于包括在第一外部设备200-1中的硬件配置的规格，这可能意味着指示包括在电子设备100中的硬件配置的性能的性能评估信息高于指示包括在第一外部设备200-1中的硬件配置的性能的性能评估信息。如上所述，性能评估信息是基于专家的实验和分析，通过综合评估每个硬件配置的性能而获得的得分，并且可以包括在第一设备信息和第二设备信息中。例如，如果包括在电子设备100中的cpu具有根据性能评估信息的得分97，并且包括在第一外部设备200-1中的cpu具有根据性能评估信息的得分86，电子设备100可以识别出电子设备100的cpu的性能高于第一外部设备200-1的cpu的性能。
[0078]
其次，根据本发明的一个实施例，将参考图1和3描述“操作2”。通过基于存储在电子设备100中的第一设备信息和从第一外部设备200-1接收的第一模型信息，识别电子设备100的硬件规格是否等于或优于包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格，电子设备100可以对包括在第一外部设备200-1中的每个神经网络模型执行硬件适合性识别过程。
[0079]
参考图3，仅当如上所述的硬件适合性识别过程的步骤1未通过时，才可执行硬件适合性识别过程的步骤2。也就是说，作为执行如上所述的硬件适合性识别过程的步骤1的结果，如果识别出包括在第一外部设备200-1中的一个或多个神经网络模型中的至少一个神经网络模型不适合电子设备100的硬件，电子设备100可以执行硬件适合性识别过程的步骤2。
[0080]
具体而言，如果包括在电子设备100中的多个硬件配置的至少一个规格小于包括在第一外部设备200-1中的多个硬件配置的规格(在s140中为n)，在操作s150-2处，电子设备100可以在包括在第一外部设备200-1中的一个或多个神经网络模型中，将硬件需求规格低于包括在电子设备100中的多个硬件配置的规格的至少一个神经网络模型识别为适合于电子设备100的硬件。
[0081]
也就是说，作为将电子设备100中包括的多个硬件配置中的每个硬件配置的规格与第一外部设备200-1中包括的多个硬件配置中的每个硬件配置的规格进行比较的结果，如果包括在电子设备100中的多个硬件配置中的至少一个的规格小于包括在第一外部设备
200-1中的多个硬件配置的规格，这可以说是这样一种情况，其中仅当第一外部设备200-1中包括的一个或多个神经网络模型中的每一个的硬件需求规格与包括在电子设备100中的多个硬件配置的规格被单独比较时，才可以识别适合于使用电子设备100的硬件执行的所有神经网络模型。
[0082]
因此，在这种情况下，电子设备100可以通过针对第一外部设备200-1中包括的一个或多个神经网络模型比较硬件需求规格和电子设备100中包括的多个硬件配置的规格，识别第一外部设备200-1中包括的一个或多个神经网络模型的所有硬件需求规格是否小于电子设备100中包括的多个硬件配置的规格。
[0083]
例如，如果包括在第一外部设备200-1中的第一神经网络模型的所有硬件需求规格小于包括在电子设备100中的多个硬件配置的规格，电子设备100可将第一神经网络模型识别为适合于电子设备100的硬件。另一方面，如果包括在第一外部设备200-1中的第二神经网络模型的硬件需求规格中的至少一个大于或等于包括在电子设备100中的多个硬件配置的规格，电子设备100可以将第二神经网络模型识别为不适合电子设备100的硬件。如上所述，关于包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格的信息可以包括在从第一外部设备200-1接收的第一模型信息中。
[0084]
步骤1中的将包括在电子设备100中的多个硬件配置的规格与包括在第一外部设备200-1中的多个硬件配置中的每个硬件配置的规格进行比较的各种方法可以应用于步骤2中的将包括在电子设备100中的多个硬件配置的规格与包括在第一外部设备200-1中的一个或多个神经网络模型的硬件需求规格进行比较的方法。因此，省略对步骤2中将包括在电子设备100中的多个硬件配置的规格与包括在第一外部设备200-1中的一个或多个神经网络模型的硬件需求规格进行比较的方法的冗余描述。
[0085]
在比较包括在第一外部设备200-1中的一个或多个神经网络模型的每一个的硬件需求规格和包括在电子设备100中的多个硬件配置的规格时，在产品发布时电子设备100的硬件规格可与包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格进行比较，然而，在将包括在第一外部设备200-1中的一个或多个神经网络模型的每个的硬件需求规格与包括在电子设备100中的多个硬件配置的规格进行比较时可用的、电子设备100的硬件规格也可以与包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格进行比较。
[0086]
如上所述，步骤1中将包括在电子设备100中的多个硬件配置的规格与包括在第一外部设备200-1中的多个硬件配置的规格进行比较基于各个配置彼此对应以及比较对象存在的前提。也就是说，如果存在包括在第一外部设备200-1中但不包括在电子设备100中的硬件配置，电子设备100可以执行根据步骤2的硬件适合性识别过程，除非可以用包括在电子设备100中的另一硬件配置替换硬件配置。
[0087]
此外，如上所述，步骤2中将包括在电子设备100中的多个硬件配置的规格与包括在第一外部设备200-1中的一个或多个神经网络模型的硬件需求规格进行比较还基于各个配置彼此对应以及比较对象存在的前提。也就是说，如果存在在第一外部设备200-1的神经网络模型的硬件需求规格中请求但不包括在电子设备100中的硬件配置，电子设备100可将神经网络模型识别为不适合于电子设备100的硬件，除非硬件配置可被包括在电子设备100中的另一硬件配置替换。
[0088]
如上所述，如果在包括在第一外部设备200-1中的一个或多个神经网络模型中识别出至少一个适合于电子设备100的硬件的神经网络模型，在操作s160处，电子设备100可以向第一外部设备200-1发送包括对所识别的一个或多个神经网络模型的安装数据的请求的第三信号。此外，作为对第三信号的响应，在操作s170，电子设备100可以从第一外部设备200-1接收包括被识别为适合于电子设备100的硬件的至少一个神经网络模型的安装数据的第四信号。
[0089]
也就是说，如果包括对一个或多个识别的神经网络模型的安装数据的请求的第三信号被发送到第一外部设备200-1，第一外部设备200-1可以将一个或多个识别的神经网络模型的安装数据发送到电子设备100。此外，如果接收到一个或多个识别的神经网络模型的安装数据，电子设备100可以基于接收到的安装数据安装一个或多个识别的神经网络模型。因此，电子设备100可以通过用一个或多个识别的神经网络模型替换包括在电子设备100中的多个神经网络模型中的一个或多个来执行由电子设备100中的第一外部设备200-1个性化的至少一个神经网络模型。根据本发明的实施例，神经网络模型的个性化将在后面参考图5a至8进行描述。
[0090]
具体地，从第一外部设备200-1接收的安装数据可以包括一个或多个识别的神经网络模型中的每一个的识别信息，以及安装一个或多个识别的神经网络模型所需的配置信息。“配置信息”可以包括关于包括在神经网络模型中的神经网络的结构和类型、包括在神经网络中的层的数量、每层的节点数量、每个节点的权重值以及多个节点之间的连接关系的信息。
[0091]
同时，“安装”神经网络模型可包括将包括在电子设备100中的神经网络模型“切换”到第一外部设备200-1的神经网络模型。此外，将包括在电子设备100中的神经网络模型“切换”到包括在外部设备中的神经网络模型可以包括用外部设备的一些神经网络模型替换电子设备100的一些神经网络模型的情况，诸如仅将包括在电子设备100的神经网络模型中的节点的权重值改变为包括在外部设备的神经网络模型中的节点的权重值的情况，以及用外部设备的整个神经网络模型替换电子设备100的整个神经网络模型的情况。
[0092]
根据上文参考图1至4所述的各种实施例，当从外部设备传输神经网络模型时，电子设备100可以通过识别是否适合于使用电子设备100的硬件执行神经网络模型来确定是否传输神经网络模型，并且因此，传送学习的效率和可靠性可能会显著改善。
[0093]
图5a是示出根据本发明实施例的电子设备的控制方法的流程图。
[0094]
图5b是示出根据本发明实施例的电子设备的控制方法的流程图。
[0095]
图6至图8是用于具体描述根据本发明的各种实施例的用于执行根据图5a的电子设备的控制方法的模型适合性识别模块的操作的图。
[0096]
在上文中，参考图1至4描述了根据本发明的硬件适合性识别过程。然而，根据本发明的另一个实施例，电子设备100可以对包括在电子设备100的第一外部设备中的每个神经网络模型执行“模型适合性识别过程”。下文中，将参考图5a至8详细描述根据本发明的模型适合性识别过程。
[0097]
首先，电子设备100还可以存储第二模型信息和模型适合性识别模块1200，以及如上所述的第一设备信息、第二设备信息和硬件适合性识别模块1100。
[0098]“第二模型信息”是指关于电子设备100中包括的一个或多个神经网络模型的信
息。具体地，第二模型信息可以包括关于服务类型的信息和关于电子设备100中包括的一个或多个神经网络模型中的每一个的个性化水平的信息。
[0099]“模型适合性识别模块1200”是指识别适合于替换包括在电子设备100中的神经网络模型的神经网络模型的模块。参考图6，基于存储在电子设备100中的第二模型信息和从第一外部设备200-1接收的第一模型信息，“模型适合性识别模块1200”可以输出关于是否适合用外部设备中包括的神经网络模型替换电子设备100中包括的神经网络模型的信息。
[0100]
参考图5a，如果识别出适合于电子设备100的硬件的一个或多个神经网络模型(s210中的u)，在操作s220处，电子设备100可以将第一模型信息和第二模型信息输入到模型适合性识别模块1200中，以识别被识别为适合于电子设备100的硬件的一个或多个神经网络模型中的每一个是否适合于替换包括在电子设备100中的神经网络模型。
[0101]
具体而言，如图7所示，根据本发明的模型适合性识别过程可以包括通过模型类型适合性识别模块1210和个性化水平适合性识别模块1220中的每一个执行的两个过程，因此，在下文中，在将详细描述包括在模型适合性识别过程中的每个过程之后，将再次描述根据本发明实施例的控制方法。
[0102]
首先，如图7所示，基于包括在第一模型信息和第二模型信息中的每一个中的关于服务类型的信息，“模型类型适合性识别模块1210”可以通过将电子设备100中包括的一个或多个神经网络模型中的每一个的服务类型与被识别为适合于电子设备100的硬件的一个或多个神经网络模型中的每一个的服务类型进行比较来识别具有相同服务类型的神经网络模型。
[0103]
可以根据神经网络模型的输入/输出信息以及相应的神经网络模型的功能，对“神经网络模型的类型”进行分类。例如，当第一神经网络模型和第二神经网络模型两者都是通过根据用户的话语输入语音信号并输出对应于用户语音的文本来提供语音识别服务的神经网络模型时，模型类型适合性识别模块1210可以识别第一神经网络模型的服务类型和第二神经网络模型的服务类型彼此相同。
[0104]
其次，如图7所示，基于关于第一模型信息和第二模型信息中的每一个中包括的个性化水平的信息，“个性化水平适合性识别模块1220”可以通过比较具有相同服务类型的神经网络模型之间的个性化水平，在具有相同服务类型的神经网络模型中识别具有较高个性化水平的神经网络模型。
[0105]“神经网络模型的个性化水平”是指在将神经网络模型安装在电子设备100中后，基于与电子设备100的用户相关的个性化数据训练神经网络模型时，根据用户更新神经网络模型的程度。“个性化数据”是指用于对外部设备中包括的神经网络模型进行个性化的训练数据。根据本发明的实施例，将参考图7和8更详细地描述个性化水平适合性识别模块1220的操作。
[0106]
具体而言，可以基于“关于用户的历史的信息”确定个性化水平。关于用户的历史的信息可以包括关于用户使用的神经网络模型的使用次数、频率和持续时间的信息。例如，如果包括在电子设备100中的第二神经网络模型在1个月内被使用100次，可以确定这比包括在外部设备中的第一神经网络模型在1个月内被使用30次或在2个月内被使用100次时具有更高的个性化水平。
[0107]
参考图8，关于使用包括在电子设备100中的神经网络模型2000的用户的历史的信
息可以包括用户基于通过连接到电子设备100的另一电子设备100获取的数据使用神经网络模型2000的情况(图8中的类型2)，以及用户基于通过电子设备100获取的数据使用包括在电子设备100中的神经网络模型2000的情况(图8中的类型1)。
[0108]
例如，在用户通过连接到智能手机的机器人清洁器获取的图像被传输到智能手机时使用智能手机中包括的神经网络模型2000的情况，以及用户基于通过智能手机获取的图像使用智能手机中包括的神经网络模型2000的情况，可以包括在使用智能手机中包括的神经网络模型2000的历史中。
[0109]
还可以根据“关于用户的反馈的信息”来确定个性化水平。关于用户的反馈的信息可以包括在使用神经网络模型2000之后为用户的使用结果输入的直接评估信息和与使用结果相关的间接评估信息(图8中的类型3)。
[0110]
例如，当在电子设备100中使用神经网络模型2000之后，用户直接输入针对包括神经网络模型2000的应用的肯定评估信息时，神经网络模型2000的个性化水平可能会增加。另一方面，当在电子设备100中使用神经网络模型2000之后，用户直接输入包括神经网络模型2000的应用的负面评估信息时，神经网络模型2000的个性化水平可以增加。另一方面，当相同内容的用户输入被重复输入到神经网络模型2000时，可以间接地确认用户对神经网络模型2000的输出不满意，因此，神经网络模型2000的个性化水平可以降低。
[0111]
个性化水平可以根据用于评估上述个性化水平的各种类型信息的加权和进行定量计算。具体地，参考图8，可以通过将通过乘以每个“每种类型的次数”和预设的“每种类型的权重”而获得的值求和来计算个性化水平用于评估个性化水平。
[0112]
例如，当用户输入针对包括神经网络模型2000的应用的直接评估信息时，可以分配最高权重，当从电子设备100获取的数据(诸如使用电子设备100的相机捕获的图像或使用电子设备100的麦克风获取的语音)被输入到神经网络模型2000时，可以分配第二高权重，并且当从连接到电子设备100的另一电子设备100(而不是电子设备100)接收的数据被输入到神经网络模型2000时，可以分配第三高权重。此外，通过将上述每种类型的次数乘以每种类型的权重而获得的值可以成为每种类型的加权和，并且通过将所有类型的每种类型的加权和相加而获得的值可以是指示神经网络模型2000的个性化水平的定量值。
[0113]
再次参考图5a，如果被识别为适合于电子设备100的硬件的一个或多个神经网络模型中的第一神经网络模型的服务类型与包括在电子设备100中的多个神经网络模型中的第二神经网络模型的服务类型相同(操作s230中的y)，电子设备100可以基于包括在第一模型信息和第二模型信息中的每一个中的关于个性化水平的信息来比较第一神经网络模型的个性化水平和第二神经网络模型的个性化水平。此外，如果第一神经网络模型的个性化水平高于第二神经网络模型的个性化水平(操作s240中的y)，在操作s250处可以识别第一神经网络模型适合于替换第二神经网络模型。
[0114]
在操作s260处，如果执行了上述模型适合性识别过程，电子设备100可以向第一外部设备200-1发送第三信号，该第三信号包括对被识别为适合于替换电子设备100中包括的神经网络模型的至少一个神经网络模型的安装数据的请求。即，当在不仅执行硬件适合性识别过程而且还执行模型适合性识别过程之后将第三信号发送到第一外部设备200-1时，第三信号可包括对在执行模型适合性识别过程时被识别的至少一个神经网络模型的安装数据的请求。
[0115]
作为对第三信号的响应，在操作s270处，电子设备100可以从第一外部设备200-1接收包括一个或多个识别的神经网络模型的安装数据的第四信号。即，当在不仅执行硬件适合性识别过程而且还执行模型适合性识别过程之后将第三信号发送到第一外部设备200-1时，作为对第三信号的响应而接收的第四信号可以包括在执行模型适合性识别过程时被识别的至少一个神经网络模型的安装数据。
[0116]
在上面，已经描述了在执行硬件适合性识别过程之后执行模型适合性识别过程的实施例，然而，根据本发明，硬件适合性识别过程和模型适合性识别过程之间不存在时间序列限制。具体地，电子设备100可以首先将第一模型信息和第二模型信息输入到模型适合性识别模块1200中，以识别是否适合用第二神经网络模型替换第一神经网络模型。此外，如果确定适合用第二神经网络模型替换第一神经网络模型，电子设备100还可以通过比较电子设备100的硬件性能和执行第二神经网络模型所需的硬件性能来确定是否适合于使用电子设备100的硬件来执行第二神经网络模型。
[0117]
在上文中，已经描述了仅当包括在第一外部设备200-1中的第一神经网络模型和包括在电子设备100中的第二神经网络模型的服务类型相同时，才比较第一神经网络模型的个性化水平和第二神经网络模型的个性化水平。然而，根据本发明的另一个实施例，当电子设备100中不存在具有与第一外部设备200-1中包括的第一神经网络模型的服务类型相同的服务类型的神经网络模型时，电子设备100还可以识别出，在不识别第一神经网络模型的个性化水平的情况下，适合将第一神经网络模型传送到电子设备100。
[0118]
在上文中，已经描述了在执行硬件适合性识别过程之后，为被识别为适合于电子设备100的硬件的一个或多个神经网络模型中的每一个另外执行模型适合性过程的实施例，但本公开不限于此。也就是说，根据本发明的另一个实施例，电子设备100还可以通过仅执行模型适合性识别过程而不执行硬件适合性识别过程，从第一外部设备200-1接收满足模型适合性的神经网络模型的安装数据。下文中，将参考图5b描述通过仅执行模型适合性识别过程从第一外部设备200-1接收安装数据的实施例。然而，在图5b的以下描述中，将省略与上述内容相同的内容的冗余描述。
[0119]
参考图5b，在操作s205处，当接收到用户输入时，电子设备100可以发送用于请求与一个或多个外部设备中包括的一个或多个神经网络模型相关的信息的第一信号。此外，在操作s215处，作为对第一信号的响应，电子设备100可以从一个或多个外部设备中的第一外部设备200-1接收包括关于第一外部设备200-1中包括的一个或多个神经网络模型的外部模型信息的第二信号。在下文中，在用于描述如图5b所示的实施例的限制范围内，术语“外部模型信息”的含义与图1至5a的描述中的术语“第一模型信息”的含义相同。
[0120]
在操作s220处，如果从第一外部设备200-1接收到包括外部模型信息的第二信号，电子设备100可以将存储在电子设备中的内部模型信息和从第一外部设备200-1接收到的外部模型信息输入到模型适合性识别模块1200中，以识别识别出的适合于模型电子设备100的硬件的一个或多个神经网络模型中的每一个是否适合于替换包括在电子设备100中的神经网络模型。在下文中，在描述如图5b所示的实施例的限制范围内，术语“内部模型信息”以与图5a的描述中的术语“第二模型信息”相同的含义使用。
[0121]
如上所述，根据本发明的模型适合性识别过程可以包括通过模型类型适合性识别模块1210和个性化水平适合性识别模块1220中的每一个执行的模型类型适合性识别过程
和个性化水平适合性识别过程，如图7所示。
[0122]
具体而言，如果包括在第一外部设备200-1中的一个或多个神经网络模型中的第一神经网络模型的服务类型与包括在电子设备100中的多个神经网络模型中的第二神经网络模型的服务类型相同(操作s230中的y)，电子设备100可以基于包括在内部模型信息和外部模型信息的每一个中的关于个性化水平的信息来比较第一神经网络模型的个性化水平和第二神经网络模型的个性化水平。此外，在操作s250处，如果第一神经网络模型的个性化水平高于第二神经网络模型的个性化水平(在操作s240中的y)，可以识别第一神经网络模型适合于替换第二神经网络模型。
[0123]
在操作s260处，如果执行了上述模型适合性识别过程，电子设备100可以向第一外部设备200-1发送第三信号，该第三信号包括对被识别为适合于替换电子设备100中包括的神经网络模型的至少一个神经网络模型的安装数据的请求。此外，在操作s270处，作为对第三信号的响应，电子设备100可以从第一外部设备200-1接收包括一个或多个识别的神经网络模型的安装数据的第四信号。
[0124]
根据上文参考图5a至8所述的各种实施例，当从外部设备传送神经网络模型时，电子设备100可以通过基于外部设备中包括的神经网络模型的个性化程度识别是否适合于替换包括在电子设备100中的神经网络模型来确定是否传输神经网络模型，并且相应地，传送学习的效率和可靠性可能会进一步改善。
[0125]
图9是用于描述根据本发明实施例的电子设备100的控制方法的流程图。
[0126]
图10是用于描述根据本发明实施例的存在多个外部设备的情况的示例的序列图。
[0127]
在上文中，已经描述了根据本发明的硬件适合性识别过程和模型适合性识别过程，但是根据本发明的另一个实施例，在硬件适合性识别过程和模型适合性识别过程之前，还可以执行用户适合性识别过程。“用户适合性识别过程”是识别电子设备100的用户是否适合于使用外部设备的神经网络模型的过程，并且可以被称为“用户认证过程”。在本发明中，术语“转换兼容性”可以用作包括硬件适合性、模型适合性和用户适合性的含义。下文中，将参考图9和10详细描述用户适合性识别过程。
[0128]
在图1至8的描述中，已经基于以下前提进行了描述：当电子设备100向第一外部设备200-1发送用于请求与包括在第一外部设备200-1中的一个或多个神经网络模型相关的信息的第一信号时，外部设备将包括关于第一外部设备200-1的硬件规格的第二设备信息和关于包括在第一外部设备200-1中的一个或多个神经网络模型的第一模型信息的第二信号发送到电子设备100作为对第一信号的响应。
[0129]
然而，在外部设备向电子设备100提供第二设备信息和第一模型信息之前，用户适合性识别过程可以由外部设备执行，或者用户适合性识别过程可以由电子设备100执行。在用户适合性识别过程中，因为可以使用第一用户信息和第二用户信息，因此第一用户信息可以包括关于电子设备100的用户的帐户信息或关于电子外部设备的识别信息中的至少一个，并且第二用户信息可以包括关于第一外部设备200-1的用户的帐户信息和关于第一外部设备200-1的识别信息中的至少一个。
[0130]
参考图9，根据本发明的电子设备100可以执行用户适合性识别过程。具体地，如图9所示，可以通过包括在电子设备100中的用户适合性识别模块1300来执行用户适合性识别过程。
[0131]“用户适合性识别模块1300”是指基于存储在电子设备100中的第一用户信息和从第一外部设备200-1接收的第二用户信息，识别电子设备100的用户是否适合于使用包括在第一外部设备200-1中的神经网络模型的模块。
[0132]
具体地，第一用户信息可以存储在电子设备100中。此外，电子设备100可以将用于请求与第一外部设备200-1中包括的一个或多个神经网络模型相关的信息的第一信号发送到第一外部设备200-1。如果接收到第一信号，第一外部设备200-1可以向电子设备100发送第二用户信息。如果接收到第二用户信息，电子设备100可以基于第一用户信息和第二用户信息执行用户适合性识别过程。
[0133]
特别地，如果包括在第一用户信息中的关于电子设备100的用户的帐户信息与包括在第二用户信息中的关于第一外部设备200-1的用户的帐户信息匹配，电子设备100可以识别出电子设备100的用户适合于使用包括在第一外部设备200-1中的神经网络模型。另一方面，如果包括在第一用户信息中的关于电子设备100的用户的帐户信息与包括在第二用户信息中的关于第一外部设备200-1的用户的帐户信息不匹配，电子设备100可以识别出电子设备100的用户不适合于使用包括在第一外部设备200-1中的神经网络模型。
[0134]
在上文中，已经描述了当关于电子设备100的用户的帐户信息与关于第一外部设备200-1的用户的帐户信息匹配时，满足用户适合性，但本公开不限于此。也就是说，根据一个实施例，当电子设备100的用户帐户具有比第一外部设备200-1的用户帐户更高的权限时，并且，即使当用于电子设备100的用户的帐户被包括在与先前注册为第一外部设备200-1的用户的帐户的相同组中时，也可以满足根据本发明的用户适合性。
[0135]
根据另一个实施例，接收第一信号的外部设备还可以通过向电子设备100发送包括加密的第二设备信息和加密的第一模型信息的第二信号(而不是将第二用户信息发送到电子设备100)来引起用户认证。具体地，如果输入用于解密加密的第二设备信息和加密的第一模型信息的密码或生物测定信息(例如，指纹信息、虹膜信息等)，电子设备100可以识别出电子设备100的用户适合于使用包括在第一外部设备200-1中的神经网络模型。加密和解密方法以及解密所需的身份验证过程没有特殊限制。
[0136]
参考图10，用户适合性识别过程可由根据本发明的第一外部设备200-1执行。具体地，用户适合性识别过程未示出，但可以通过包括在第一外部设备200-1中的用户适合性识别模块1300来执行。
[0137]
参考图10，在操作s1010处，电子设备100可以接收第一用户输入，并且在操作s1020处，可以根据第一用户输入向第一外部设备200-1发送用于请求与一个或多个外部设备中包括的一个或多个神经网络模型相关的信息的第一信号。
[0138]
在操作s1030，如果接收到第一信号，第一外部设备200-1可以基于包括在第一信号中的第一用户信息和存储在第一外部设备200-1中的第二用户信息执行用户适合性识别过程。
[0139]
具体而言，如果包括在第一用户信息中的关于电子设备100的用户的帐户信息与包括在第二用户信息中的关于第一外部设备200-1的用户的帐户信息匹配，第一外部设备200-1可以识别出电子设备100的用户适合于使用包括在第一外部设备200-1中的神经网络模型。另一方面，如果包括在第一用户信息中的关于电子设备100的用户的帐户信息与包括在第二用户信息中的关于第一外部设备200-1的用户的帐户信息不匹配，第一外部设备
200-1可以识别出电子设备100的用户不适合于使用包括在第一外部设备200-1中的神经网络模型。如果第一用户信息不包括在从电子设备100接收的第一信号中，第一外部设备200-1可以通过向电子设备100发送对第一用户信息的请求来接收第一用户信息。
[0140]
在操作s1040处，如果识别出电子设备100的用户适合于使用包括在第一外部设备200-1中的神经网络模型，第一外部设备200-1可以将包括关于第一外部设备200-1的硬件规格的第二设备信息和关于包括在第一外部设备200-1中的一个或多个神经网络模型的第一模型信息的第二信号发送到电子设备100。另一方面，如果识别出电子设备100的用户不适合于使用包括在第一外部设备200-1中的神经网络模型，第一外部设备200-1可以不向电子设备100发送第二信号。此外，如果在预设时间内没有从第一外部设备200-1接收到第二信号，电子设备100可以提供用户通知，其指示对与包括在第一外部设备200-1中的一个或多个神经网络模型相关的信息的请求已被拒绝。
[0141]
作为执行如上所述的用户适合性识别过程的结果，如果识别出电子设备100的用户适合于使用包括在第一外部设备200-1中的神经网络模型，电子设备100可以执行根据本发明的硬件适合性识别过程和模型适合性识别过程。
[0142]
也就是说，在操作s1050处，如果接收到第二信号，电子设备100可以基于第一设备信息、第二设备信息以及关于电子设备100的硬件规格的第一模型信息识别出第一外部设备200-1中包括的一个或多个神经网络模型中的至少一个神经网络模型适合于电子设备100的硬件。此外，在操作s1060处，电子设备100可以基于关于电子设备100中包括的一个或多个神经网络模型的第一模型信息和第二模型信息，在被识别为适合于电子设备100的硬件的一个或多个神经网络模型中，识别出至少一个适合于替换包括在电子设备100中的神经网络模型的神经网络模型。硬件适合性识别过程和模型适合性识别过程已参考图1至8详细描述，因此，将省略对特定内容的冗余描述。
[0143]
如果执行了硬件适合性识别过程和模型适合性识别过程，电子设备100可以在操作s1070处接收第二用户输入，并且可以在操作s1080处向第一外部设备200-1请求根据第二用户输入选择的至少一个神经网络模型的安装数据。此外，如果请求神经网络模型的安装数据，在操作s1090处，第一外部设备200-1可以将至少一个所选神经网络模型的安装数据发送到电子设备100。
[0144]
在上文中，已经描述了第一外部设备200-1执行用户适合性识别过程、电子设备100执行硬件适合性识别过程和模型适合性识别过程的实施例，但本发明不限于此。也就是说，根据本发明的另一个实施例，第一外部设备200-1还可以执行根据本发明的所有用户适合性识别过程、硬件适合性识别过程和模型适合性识别过程。
[0145]
根据上文参考图9和10所述的各种实施例，只有当识别出电子设备100的用户适合于通过用户认证过程使用包括在外部设备中的神经网络模型时，才可能确定是否传送神经网络模型，并且因此，在传送神经网络模型的过程中，可以改善系统的安全性和可靠性。
[0146]
图11是用于描述根据本发明实施例的电子设备100提供的用户界面的图。
[0147]
参考图11，根据本发明的电子设备100可以在电子设备100的显示器上显示用于接收用户输入的用户界面(ui)。此外，电子设备100可以通过用户界面接收用于搜索包括在一个或多个第一外部设备200-1中的一个或多个神经网络模型的用户输入。例如，可以根据在用户界面中包括的多个ui元素中选择“查找”ui元素2110的用户交互来接收用于搜索至少
一个神经网络模型的用户输入。
[0148]
根据用户输入，电子设备100可以发送第一信号，用于请求与包括在一个或多个第一外部设备200-1中的一个或多个神经网络模型相关的信息。作为对第一信号的响应，电子设备100可以从一个或多个第一外部设备200-1中的每一个接收关于第一外部设备200-1的识别信息和包括在每个第一外部设备200-1中的识别信息。此外，电子设备100可以在用户界面中显示接收到的关于第一外部设备200-1的识别信息和关于神经网络模型的识别信息。例如，电子设备100可以显示指示称为设备a的第一外部设备200-1包括称为模型a1、模型a2和模型a3的神经网络模型，并且称为设备b的第一外部设备200-1在用户界面中包括称为模型b1和模型b2的神经网络模型的信息。
[0149]
具体而言，电子设备100可以在用户界面中显示ui元素，该ui元素指示每个神经网络模型是否是满足根据本发明的转换适合性的神经网络模型，以及关于第一外部设备200-1的识别信息和关于神经网络模型的识别信息。例如，电子设备100可以以“可勾选复选框”的形式显示ui元素2120和2130，以指示包括在设备a中的模型a1和模型a2是满足转换适合性的神经网络模型。此外，电子设备100可以以“不可勾选复选框”的形式显示ui元素2140，以指示包括在设备a中的模型a3是不满足转换适合性的神经网络模型。在设备b中包括型号b1和b2的情况下，电子设备100可以显示ui元素2150，用于指示根据本发明的转换适合性识别过程“正在进行”。
[0150]
在显示指示每个神经网络模型是否是满足根据本发明的转换适合性的神经网络模型的ui元素之后，电子设备100可以接收用户输入，用于在满足转换适合性的一个或多个神经网络模型中选择要安装在电子设备100中的一个或多个神经网络模型。例如，可以根据在显示器上显示的ui元素2120和2130中选择一个ui元素2130的用户交互来接收用于选择要安装在电子设备100中的一个或多个神经网络模型的用户输入。在这种情况下，电子设备100可以如图11所示以“选中复选框”的形式显示ui元素2130，以指示选择了模型a2。
[0151]
在选择了要安装在电子设备100中的一个或多个神经网络模型之后，如果接收到用于在电子设备100中安装所选一个或多个神经网络模型的用户输入，电子设备100可以向包括一个或多个所选神经网络模型的每个第一外部设备200-1发送对一个或多个所选神经网络模型的安装数据的请求。例如，可以根据在用户界面中包括的多个ui元素中选择“安装”ui元素2160的用户交互来接收用于在电子设备100中安装一个或多个所选神经网络模型的用户输入。
[0152]
作为对一个或多个所选神经网络模型的安装数据请求的响应，电子设备100可以接收一个或多个所选神经网络模型的安装数据，并基于安装数据在电子设备100中安装相对应的神经网络模型。
[0153]
在上文中，已经描述了电子设备100显示指示神经网络模型是否满足转换适合性的ui元素的实施例。在本发明中，满足转换适合性意味着满足硬件适合性、模型适合性和用户适合性中每个实施例所需的所有条件，并且，转换适合性未满足意味着未满足硬件适合性、模型适合性和用户适合性中的每个实施例所需的至少一些条件。
[0154]
根据上文参考图11所述的实施例，电子设备100可以通过仅请求和接收用户在满足根据本发明的转换适合性的第一外部设备200-1的神经网络模型中所选神经网络模型的安装数据来改善用户的便利性以及传送神经网络模型的过程的效率。
[0155]
图12是用于描述根据本发明实施例的第一外部设备200-1提供的用户界面的图。
[0156]
在图11中，已经描述了由电子设备100提供的用户界面，但是根据另一个实施例，根据本发明用于接收用户输入的用户界面可以显示在第一外部设备200-1的显示器上。如图12所示的用户界面表示用于在电子设备100上安装包括在第一外部设备200-1中的一个或多个应用的用户界面。
[0157]
参考图12，用户界面可以包括表示第一外部设备200-1中包括的应用的ui元素。例如，如图12所示，用户界面可以包括表示“呼叫和联系人”应用的ui元素2210、表示“消息”应用的ui元素2220、表示“ai秘书”应用的ui元素2230、表示“gallery”应用2250的ui元素等。
[0158]
此外，用户界面可以包括表示第一外部设备200-1中的每个应用中包括的神经网络模型的ui元素。再次参考图12，用户界面可以包括ui元素2240，其表示包括在“ai秘书”应用中的称为“ai模型x”的神经网络模型，以及ui元素2260，其表示包括在“gallery”应用中的称为“ai模型y”的神经网络模型。
[0159]
第一外部设备200-1可以通过用户界面接收用户输入，用于在包括在第一外部设备200-1中的多个应用中选择一个或多个应用。例如，第一外部设备200-1可以接收用于在包括在第一外部设备200-1中的多个应用中选择“呼叫和联系人”应用、“ai秘书”应用和“gallery”应用的用户输入。在图12中，“选中复选框”形式的ui元素表示它们是所选应用。
[0160]
如果接收到用于选择一个或多个应用的用户输入，第一外部设备200-1可以将一个或多个所选应用的安装数据发送到电子设备100。例如，可以根据用于在用户界面中包括的多个ui元素中选择“发送”元素1270的用户交互来接收用于选择一个或多个应用的用户输入。
[0161]
第一外部设备200-1可以将关于第一外部设备200-1的硬件规格的第二设备信息和关于包括在一个或多个所选应用中的每个应用中的神经网络模型的第一模型信息，以及一个或多个所选应用的安装数据，一起发送到用户电子设备100。此外，电子设备100可以基于从第一外部设备200-1接收的第二设备信息和存储在电子设备100中的第一模型信息以及第一设备信息和第二模型信息，执行如上所述的硬件适合性识别过程和模型适合性识别过程。此后，如果从电子设备100接收到对被识别为满足硬件适合性和模型适合性的神经网络模型的安装数据的请求，第一外部设备200-1可以将所识别的神经网络模型的安装数据发送到电子设备100。
[0162]
应用的至少一些安装数据和神经网络模型的安装数据可以直接从第一外部设备200-1发送到电子设备100，并且还可以通过提供应用的安装数据或神经网络模型的安装数据的服务器发送到电子设备100。
[0163]
根据上文参考图12所述的实施例，在执行识别所选应用中包括的神经网络模型的转换适合性的过程之后，可以将神经网络模型的安装数据从第一外部设备200-1发送到电子设备100，在将用户所选应用的安装数据从第一外部设备200-1发送到电子设备100的同时，可以进一步改善用户的便利性。具体而言，图12的实施例可以应用于在电子设备(新设备)的初始设置中，将关于包括在第一外部设备200-1(旧设备)中的应用和神经网络模型的至少一些信息共同地发送到电子设备100(新设备)的情况。
[0164]
图13是示出根据本发明实施例的电子设备、第一外部设备和第二外部设备的示例的图。
[0165]
图14是用于描述根据本发明的实施例的当包括在第一外部设备中的神经网络模型被传送到第二外部设备时，电子设备识别转换适合性的过程的序列图。
[0166]
参考图13，根据本发明的电子设备100可以实现为智能手机，第一外部设备200-1可以实现为机器人清洁器，第二外部设备200-2可以实现为智能伴侣机器人。也就是说，根据本发明的电子设备100、第一外部设备200-1和第二外部设备200-2的类型可以彼此不同。在本发明中，术语“第一外部设备200-1”用作指定能够将神经网络模型的安装数据发送到电子设备100的外部设备的术语，而术语“第二外部设备200-2”被用作指定能够从第一外部设备200-1接收神经网络模型的安装数据的外部设备的术语。
[0167]
另一方面，当将包括在第一外部设备200-1中的神经网络模型传送到第二外部设备200-2时，因为当第一外部设备200-1和第二外部设备200-2不包括如图13所示的显示器时，可能不会显示如上文参考图11和12所述的用户界面，因此存在的问题在于难以接收用于执行根据本发明的实施例的用户输入。此外，当第一外部设备200-1和第二外部设备200-2不包括根据本发明的软件模块时，存在一个问题，即不能通过第一外部设备200-1或第二外部设备200-2执行根据本发明的转换适合性识别过程。
[0168]
因此，根据本发明的实施例，电子设备100可以接收用户输入，并且可以基于从第一外部设备200-1和第二外部设备200-2接收的信息执行硬件适合性识别过程和模型适合性识别过程。
[0169]
参考图14，在操作s1410处，电子设备100可以接收第一用户输入。此外，在操作s1420-1处，电子设备100可以根据第一用户输入，将对关于第一外部设备200-1的硬件规格的第一设备信息和关于第一外部设备200-1中包括的一个或多个神经网络模型的第一模型信息的请求发送到第一外部设备200-1，并且可以在操作s1420-2处，将对关于第二外部设备200-2的硬件规格的第二设备信息和关于包括在第二外部设备200-2中的一个或多个神经网络模型的第二模型信息的请求发送到第二外部设备200-2。
[0170]
与图1至12的描述不同，在图13和14的描述中，第一设备信息用作指定关于第一外部设备200-1的硬件规格的信息的术语，第二设备信息用作指定关于第二外部设备200-2的硬件规格的信息的术语，第一模型信息用作指定关于包括在第一外部设备200-1中的一个或多个神经网络模型的信息的术语，第二模型信息用作指定关于包括在第二外部设备200-2中的一个或多个神经网络模型的信息的术语。
[0171]
响应于从电子设备100接收到的请求，在操作s1430-1处，第一外部设备200-1可以将第一设备信息和第一模型信息发送到电子设备100，并且在操作s1430-2处，第二外部设备200-2可以将第二设备信息和第二模型信息发送到电子设备100。
[0172]
如果从第一外部设备200-1接收到第一设备信息和第一模型信息，并且从第二外部设备200-2接收到第二设备信息和第二模型信息，在操作s1440处，电子设备100可以基于第一设备信息、第二设备信息和第一模型信息，在包括在第一外部设备200-1中的一个或多个神经网络模型中识别适合于第二外部设备200-2的硬件的一个或多个神经网络模型。此外，在操作s1450处，电子设备100可以基于第一模型信息和第二模型信息，在被识别为适合于第一外部设备200-1的硬件的一个或多个神经网络模型中，识别出适合于替换包括在第二外部设备200-2中的神经网络模型的一个或多个神经网络模型。在参考图13和14描述的实施例中，可以类似地应用如上所述的硬件适合性识别过程和模型适合性识别过程。
[0173]
如果执行了硬件适合性识别过程和模型适合性识别过程，在操作s1460处，电子设备100可以接收第二用户输入。此外，在操作s1470处，电子设备100可以将对根据第二用户输入选择的一个或多个神经网络模型的安装数据的请求发送到第一外部设备200-1。如果接收到对一个或多个所选神经网络模型的安装数据的请求，在操作s1480处，第一外部设备200-1可以将一个或多个所选神经网络模型的安装数据发送到第二外部设备200-2。第一外部设备200-1可以将一个或多个所选神经网络模型的安装数据发送到电子设备100，并且电子设备100还可以将接收到的安装数据发送到第二外部设备200-2。
[0174]
根据上文参考图13和14所述的实施例，电子设备100可以用作第一外部设备200-1和第二外部设备之间的中间设备，从而改善根据本发明在不包括显示器或不包括软件模块的外部设备之间传送神经网络模型的过程的效率和可靠性
[0175]
图15是详细示出根据本发明实施例的电子设备100中包括的软件模块的架构的框图。
[0176]
参考图15，根据本发明的电子设备100可以包括软件模块，诸如神经网络模型安装模块1500和神经网络模型性能监视器。此外，神经网络模型安装模块可包括适合性识别模块、神经网络模型切换模块1510和神经网络模型微调模块1520，并且神经网络模型性能监视器1700可以包括个性化水平监视器1710和硬件需求规格监视器1720。
[0177]“适合性识别模块”是指一个概念模块，该概念模块共同指代能够根据本发明识别转换适合性的模块。具体地，如上所述，适合性识别模块可以包括硬件适合性识别模块1100、模型适合性识别模块1200和用户适合性识别模块1300。此外，硬件适合性识别模块1100、模型适合性识别模块1200和用户适合性识别模块1300可以基于存储在电子设备100中的第一设备信息和第二模型信息，以及从外部设备接收的第二设备信息和第一模型信息，根据本发明的不同实施例执行硬件适合性识别过程、模型适合性识别过程以及用户适合性识别过程。在图15中，以包括在第一设备信息中的形式示出了用户信息，但这仅与实施例有关。以上参考图1至14描述了硬件适合性识别模块1100、模型适合性识别模块1200和用户适合性识别模块1300的具体操作，因此，省略了多余的描述。
[0178]“神经网络模型切换模块”是指基于从外部设备接收的神经网络模型的安装数据，将电子设备100中包括的神经网络模型切换为外部设备中包括的神经网络模型的模块。具体而言，神经网络模型切换模块可以基于安装数据中包括的、神经网络模型中包括的神经网络的结构和类型、包括在神经网络中的层的数量、每个层的节点数量、每个节点的权重值以及多个节点之间的连接关系，将电子设备100中包括的神经网络模型切换为外部设备中包括的神经网络模型。
[0179]
电子设备100中包括的神经网络模型到外部设备中包括的神经网络模型的“切换”可以包括用外部设备的一些神经网络模型替换电子设备100的一些神经网络模型的情况，诸如仅将包括在电子设备100的神经网络模型中的节点的权重值改变为包括在外部设备的神经网络模型中的节点的权重值的情况，以及用外部设备的整个神经网络模型替换电子设备100的整个神经网络模型的情况。
[0180]“神经网络模型微调模块”是指将电子设备100中包括的神经网络模型切换为外部设备中包括的神经网络模型，然后对细节进行微调的模块。具体地，神经模型微调模块可以通过反映电子设备100的硬件规格和外部设备的硬件规格之间的详细差异来调整神经网络
模型中包括的每一层的节点数量和每个节点的权重值，从而使神经网络模型更适合于电子设备100。此外，神经网络模型微调模块可以基于从外部设备接收的个性化数据来调整与神经网络模型的个性化相关的参数。如上所述，“个性化数据”是指用于对包括在外部设备中的神经网络模型进行个性化的训练数据。
[0181]
如果根据神经网络模型切换模块和神经网络模型微调模块切换/调整神经网络模型，关于神经网络模型的信息可以被存储/更新为第二模型信息。
[0182]“个性化水平监视器”是指监视电子设备100中包括的神经网络模型的个性化水平的模块。特别地，当安装了包括在外部设备中的第二神经网络模型，而电子设备100中包括的第一神经网络模型在某种程度上是个性化的时，个性化水平监视器可以获取关于第一神经网络模型的个性化水平的信息，并将所获取的信息发送到适合性识别模块。此外，适合性识别模块可以通过比较从个性化水平监视器接收的关于第一神经网络模型的个性化水平的信息和从外部设备接收的关于第二神经网络模型的个性化水平的信息来识别第二神经网络模型是否适合于替换第一神经网络模型。
[0183]“硬件需求规格监视器”是指用于监视执行电子设备100中包括的神经网络模型所需的硬件规格的模块。具体地，硬件需求规格监视器可以获取关于执行包括在电子设备100中的一个或多个神经网络模型中的每一个所需的硬件规格的信息，并且这种信息可以被存储为包括在第二模型信息中的信息。包括在第一设备信息中的“硬件规格信息”是关于电子设备100的产品发布时的硬件规格的信息，或者是关于模型适合性确定时的硬件需求规格的信息，与通过硬件需求规格监视器获取的神经网络模型的硬件需求规格信息不同。
[0184]
电子设备100中包括的软件模块已在上文中描述，但这只是根据本发明的实施例，除所示模块外，还可以添加新配置或省略一些模块。此外，根据本发明的软件模块中的至少两个或更多个可以实现为一个集成模块。
[0185]
图16是详细示出根据本发明实施例的第一外部设备200-1中包括的软件模块的架构的框图。
[0186]
参考图16，第一外部设备200-1可以包括软件模块，诸如神经网络模型安装模块1600和神经网络模型性能监视器1700。此外，神经网络模型安装模块1600可以包括神经网络模型描述信息管理模块1610和神经网络模型安装信息管理模块1620，神经网络模型性能监视器可以包括个性化水平监视器1710和硬件需求规格监视器1720。
[0187]“神经网络模型描述信息管理模块1610”是指综合管理确定第一外部设备200-1中包括的神经网络模型的转换适合性所需的信息的模块。具体地，神经网络模型描述信息管理模块1610可以将第二设备信息和第一模型信息发送到电子设备100。
[0188]
如上所述，第二设备信息是关于第一外部设备200-1的硬件规格的信息，具体是指一个术语，用于泛指关于指示包括在第一外部设备200-1中的每个硬件具有何种性能的规格的信息。此外，第一模型信息是关于包括在第一外部设备200-1中的一个或多个神经网络模型的信息，并且可以具体地包括关于服务类型的信息、关于个性化水平的信息以及关于包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个的硬件需求规格的信息。
[0189]
此外，神经网络模型描述信息管理模块1610可以集体管理各种信息，诸如包括在第一外部设备200-1中的每个神经网络模型的识别信息、性能和版本信息。
[0190]“神经网络模型安装信息管理模块1620”是指管理神经网络模型安装数据的模块。具体地，神经网络模型安装信息管理模块1620可以响应于从电子设备100接收的安装数据请求，将一个或多个神经网络模型的安装数据发送到电子设备100。具体地，安装数据可以包括一个或多个神经网络模型中的每一个的识别信息，以及安装一个或多个识别的神经网络模型所需的配置信息。“配置信息”可以包括神经网络模型中包括的神经网络的结构和类型、神经网络中包括的层的数量、每层的节点数量、每个节点的权重值以及多个节点之间的连接关系。
[0191]
此外，神经网络模型安装信息管理模块1620可以将一个或多个神经网络模型的个性化数据与一个或多个神经网络模型的安装数据一起发送到电子设备100。
[0192]“个性化水平监视器1710”是指监视第一外部设备200-1中包括的神经网络模型的个性化水平的模块。具体地，个性化水平监视器1710可以基于关于用户的历史的信息和关于用户的反馈的信息，输出关于包括在第一外部设备200-1中的神经网络模型的个性化水平的信息。如上所述，关于用户的历史的信息可以包括关于用户使用神经网络模型的次数、频率和持续时间的信息，关于用户的反馈的信息可以包括用户使用神经网络模型之后输入的对使用结果的直接评估信息和与使用结果相关的间接评估信息。
[0193]“硬件需求规格监视器1720”是指监视执行第一外部设备200-1中包括的神经网络模型所需的硬件规格的模块。具体地，硬件需求规格监视器1720可以获取关于执行第一外部设备200-1中包括的一个或多个神经网络模型中的每一个所需的硬件规格的信息，并且这种信息可以被存储为包括在第一模型信息中的信息。
[0194]
上面已经描述了第一外部设备200-1中包括的软件模块，但这只是根据本发明的实施例，除了所示的模块之外，还可以添加新的配置或省略一些模块。此外，根据本发明的软件模块中的至少两个或更多个神经网络模型可以实现为集成的神经网络模型。
[0195]
图17是示意性地示出根据本发明实施例的电子设备中包括的硬件配置的架构的框图。
[0196]
图18是更详细地示出根据本发明实施例的电子设备中包括的硬件配置的架构的框图。
[0197]
参考图17，根据本发明实施例的电子设备100包括通信器110、存储器120和处理器130。此外，如图18所示，根据本发明实施例的电子设备100还可以包括数据获取器140和数据输出器150。然而，如图17和18所示的配置仅为示例，在实施本发明时，除了图17和图18所示的配置之外，还可以添加新配置或省略一些配置。
[0198]
通信器110可以包括电路，并与外部设备进行通信。具体地，处理器130可以从通过通信器110连接的外部设备接收各种数据或信息，并且还可以向外部设备发送各种数据或信息。
[0199]
通信器110可以包括无线保真(wi-fi)模块、蓝牙模块、无线通信模块或近场通信(nfc)模块中的至少一个。具体地，wi-fi模块和蓝牙模块中的每一个都可以以wi-fi方式和蓝牙方式执行通信。在使用wi-fi模块或蓝牙模块的情况下，首先发送和接收诸如服务集标识符(ssid)的各种连接信息，使用该连接信息连接通信，然后可以发送和接收各种信息。
[0200]
此外，无线通信模块可以根据各种通信协议执行通信，各种通信协议诸如电气和电子工程师协会(ieee)、zigbee、第三代(3g)、第三代合作伙伴计划(3gpp)、长期演进
(lte)、第五代(5g)等。此外，nfc模块可以使用各种射频识别(rf-id)频带(诸如135khz、13.56mhz、433mhz、860至960mhz和2.45ghz)中的13.56mhz频带，以nfc方式执行通信。
[0201]
具体而言，在根据本发明的不同实施例中，通信器110可以向第一外部设备200-1发送用于请求与第一外部设备200-1中包括的一个或多个神经网络模型相关的信息的第一信号，以及包括请求一个或多个神经网络模型的安装数据的第三信号。此外，作为对第一信号的响应，通信器110可以从第一外部设备200-1接收包括第一外部设备200-1的硬件规格的第二设备信息和第一外部设备200-1中包括的一个或多个神经网络模型的第一模型信息的第二信号，以及作为对第三信号的响应，接收包括一个或多个识别的神经网络模型的安装数据的第四信号。
[0202]
关于电子设备100的一条或多条指令可存储在存储器120中。此外，存储器120可以存储用于驱动电子设备100的操作系统(o/s)。此外，存储器120还可以存储用于操作根据本发明的各种实施例的电子设备100的各种软件程序或应用程序。此外，存储器120可以包括诸如闪存等的半导体存储器，或者诸如硬盘等的磁存储介质。
[0203]
具体地，存储器120可以存储根据本发明的不同实施例的用于操作电子设备100的各种软件模块，并且处理器130可以执行存储在存储器120中的各种软件模块来控制电子设备100的操作。即，存储器120由处理器130访问，并且存储器120中的数据的读取、写入、校正、删除、更新等可由处理器130执行。
[0204]
另一方面，在本发明中，术语存储器120可用作包括存储器120、处理器130中的只读存储器(rom)(未示出)、随机存取存储器(ram)(未示出)或者安装在电子设备100中的存储卡(未示出)(例如，微安全数字(sd)卡或记忆棒)的含义。
[0205]
具体而言，在根据本发明的各种实施例中，存储器120可以存储关于电子设备100的硬件规格的第一设备信息，以及关于包括在电子设备100中的一个或多个神经网络模型的第二模型信息。此外，存储器120可以存储如上参考图15所述的各种模块，包括硬件适合性识别模块1100、模型适合性识别模块1200和用户适合性识别模块1300。此外，在实现本发明目的的范围内所需的各种信息可以存储在存储器120中，并且存储在存储器120中的信息也可以在从外部设备接收或由用户输入时更新。
[0206]
处理器130控制电子设备100的整体操作。具体地，处理器130可以如上所述连接到包括通信器110和存储器120的电子设备100的配置，并且可以如上所述执行存储在存储器120中的一个或多个指令以控制电子设备100的整体操作。
[0207]
处理器130可以以各种方式实现。例如，处理器130可以实现为专用集成电路(asic)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(fsm)或数字信号处理器(dsp)中的至少一个。另一方面，在本发明中，术语处理器130可用作包括中央处理单元(cpu)、图形处理单元(gpu)、主处理单元(mpu)等的意思。
[0208]
具体而言，在根据本发明的不同实施例中，当接收到用户输入时，处理器130可以控制通信器110发送第一信号，用于请求与一个或多个外部设备中包括的一个或多个神经网络模型相关的信息，可以通过通信器110从一个或多个外部设备中的第一外部设备200-1接收第二信号作为对第一信号的响应，该第二信号包括关于第一外部设备200-1的硬件规格的第二设备信息和关于第一外部设备200-1中包括的一个或多个神经网络模型的第一模型信息，可以通过将第一设备信息、第二设备信息、以及第一模型信息输入到硬件适合性识
别模块1100来识别包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个是否适合于电子设备100的硬件，可以控制通信器110向第一外部设备200-1发送第三信号，该第三信号包括对被识别为适合于电子设备100的硬件的一个或多个神经网络模型的安装数据的请求，并且可以通过通信器110从第一外部设备200-1接收第四信号作为对第三信号的响应，该第四信号包括被识别为适合于电子设备100的硬件的一个或多个神经网络模型的安装数据。
[0209]
此外，如果识别出适合于电子设备100的硬件的一个或多个神经网络模型，处理器130还可以通过将第一模型信息和第二模型信息输入到模型适合性识别模块1200中来识别被识别为适合于电子设备100的硬件的一个或多个神经网络模型中的每一个是否适合于替换包括在电子设备100中的神经网络模型。以上参考图1至16描述了基于处理器130的控制的根据本发明的各种实施例，因此将省略多余的描述。
[0210]
数据获取器140可以包括电路，处理器130可以通过数据获取器140获取电子设备100中使用的各种类型的数据。具体地，数据获取器140可以包括相机141、麦克风142、传感器143等。
[0211]
相机141可以获取至少一个对象的图像。具体地，相机141可以包括图像传感器，并且图像传感器可以将通过透镜进入的光转换为电图像信号。此外，麦克风142可以接收语音信号，并将接收到的语音信号转换为电信号。
[0212]
传感器143可以检测电子设备100内部和外部的各种信息。具体地，传感器143可以包括全球定位系统(gps)传感器、陀螺仪传感器、加速度传感器(加速计)、激光雷达传感器、惯性传感器(惯性测量单元(imu))或运动传感器中的至少一个。此外，传感器143可以包括各种类型的传感器，诸如温度传感器、湿度传感器、红外传感器和生物传感器。
[0213]
具体而言，在根据本发明的各种实施例中，数据获取器140可以获取输入到包括在电子设备100中的一个或多个神经网络模型的数据。例如，处理器130可以通过相机141获取输入到与对象识别相关的神经网络模型的图像数据，并且可以通过麦克风142获取输入到与语音识别相关的神经网络模型的语音信号。此外，处理器130还可以通过gps传感器或激光雷达传感器的至少一个传感器143获取输入到与自主驾驶相关的神经网络模型的位置信息。
[0214]
数据输出器150可以包括电路，并且处理器130可以通过数据输出器150输出电子设备100可以执行的各种功能。具体地，数据输出器150可以包括显示器151、扬声器152或指示器153中的至少一个。
[0215]
显示器151可以输出图像数据。具体地，显示器151可以在处理器130的控制下显示存储在存储器120中的图像或用户界面。显示器151可以实现为液晶显示器(lcd)面板、有机发光二极管(oled)等，并且在一些情况下还可以实现为柔性显示器、透明显示器等。然而，根据本发明的显示器151不限于特定种类。显示器151可以以触摸显示器的形式实现，并被配置为接收用户的触摸交互。扬声器152可以在处理器130的控制下输出音频数据，并且指示器153可以在处理器130的控制下点亮。
[0216]
具体而言，在根据本发明的各种实施例中，显示器151可以显示包括关于满足根据本发明的硬件适合性和模型适合性的神经网络模型的信息的用户界面。此外，处理器130可以通过用户界面接收用于在一个或多个神经网络模型中选择一个或多个神经网络模型的
用户输入。
[0217]
如果识别出外部设备中包括的神经网络模型中没有满足硬件适合性和模型适合性的神经网络模型，处理器130还可以输出用户通知，以指示包括在外部设备中的所有神经网络模型都不满足根据本发明的转换适合性。用户通知可以通过显示器151以视觉信息的形式输出，并且可以通过扬声器152以音频信息的形式输出，或者以指示器153点亮的方式输出。
[0218]
另一方面，根据上述实施例的电子设备100的控制方法可以通过程序实现并提供给电子设备100。具体地，包括电子设备100的控制方法的程序可以存储在非暂时性计算机可读介质中，并被提供。
[0219]
具体而言，在包括用于执行电子设备100的控制方法的程序的非暂时性计算机可读记录介质中，电子设备100的控制方法可以包括当接收到用户输入时，发送用于请求与包括在一个或多个外部设备中的一个或多个神经网络模型相关的信息的第一信号，通过通信器110从一个或多个外部设备中的第一外部设备200-1接收第二信号作为对第一信号的响应，该第二信号包括关于第一外部设备200-1的硬件规格的第二设备信息和关于第一外部设备200-1中包括的一个或多个神经网络模型的第一模型信息，通过将第一设备信息、第二设备信息以及第一模型信息输入到硬件适合性识别模块1100中，识别包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个是否适合于电子设备100的硬件，将包括对被识别为适合于电子设备100的硬件的一个或多个神经网络模型的安装数据的请求的第三信号发送到第一外部设备200-1，以及作为对第三信号的响应，从第一外部设备200-1通过通信器110接收包括被识别为适合电子设备100的硬件的一个或多个神经网络模型的安装数据的第四信号。
[0220]
此外，识别包括在第一外部设备200-1中的一个或多个神经网络模型中的每一个是否适合于电子设备100的硬件可以包括当包括在电子设备100中的多个硬件配置中的每一个的规格大于或等于包括在第一外部设备200-1中的多个硬件配置的规格时，将第一外部设备200-1中包括的一个或多个神经网络模型识别为适合于电子设备100的硬件，以及当包括在电子设备100中的多个硬件配置中的一个或多个的规格小于包括在第一外部设备200-1中的多个硬件配置的规格时，将第一外部设备200-1中包括的一个或多个神经网络模型中硬件需求规格低于包括在电子设备100中的多个硬件配置的规格的一个或多个神经网络模型识别为适合于电子设备的硬件。
[0221]
非暂时性计算机可读介质不是短时间存储数据的介质，诸如寄存器、高速缓存、存储器120等，而是指半永久存储数据的机器可读介质。具体地，上述各种应用或程序可以存储和提供在非暂时性计算机可读介质中，诸如光盘(cd)、数字多功能盘(dvd)、硬盘、蓝光盘、通用串行总线(usb)、存储器120卡、只读存储器(rom)等。
[0222]
在上文中，已经简要描述了电子设备100的控制方法和包括执行电子设备100的控制方法的程序的计算机可读记录介质，但这仅仅是为了省略多余的描述，并且电子设备100的各种实施例还可以应用于电子设备100的控制方法和包括执行电子设备100的控制方法的程序的计算机可读记录介质。
[0223]
根据如上所述的各种实施例，当从外部设备传送神经网络模型时，电子设备100可以通过识别是否适合于将神经网络模型传送到电子设备100来确定是否传送神经网络模
型，并相应地，传送学习的效率和可靠性可能会显著改善。
[0224]
可以通过存储器120和处理器130执行与上述神经网络模型相关的功能。处理器130可以被配置为一个或多个处理器130。此时，一个或多个处理器130可以是诸如cpu、ap等的通用处理器130，诸如gpu、vpu等的图形专用处理器130，或者诸如npu的人工智能专用处理。一个或多个处理器130执行控制，以根据存储在非易失性存储器120和易失性存储器120中的预定义操作规则或人工智能模型来处理输入数据。预定义的操作规则或人工智能模型的特征在于是通过训练创建的。
[0225]
在这里，“通过训练创建的”是指通过将学习算法应用于大量学习数据而创建的具有预期特性的预定义操作规则或人工智能模型。这种学习可以在执行根据本发明的人工智能的设备本身中执行，或者也可以通过单独的服务器/系统执行。
[0226]
人工智能模型可以包括多个神经网络层。每一层具有多个权重值，并且通过计算前一层的计算结果和多个权重值来执行层计算。神经网络的示例包括卷积神经网络(cnn)、深层神经网络(dnn)、递归神经网络(rnn)、受限玻尔兹曼机(rbm)、深层信念网络(dbn)、双向递归深层神经网络(brdnn)、生成对抗网络(gan)和深层q网络，除另有规定外，本发明中的神经网络不限于上述示例。
[0227]
学习算法是一种使用大量学习数据训练预定目标设备(例如机器人)使得预定目标设备可以做出决定或预测自身的方法。学习算法的示例包括有监督学习、无监督学习、半监督学习或强化学习，本发明中的学习算法不限于上述示例，但规定了其的情况除外。
[0228]
机器可读存储介质可以非暂时性存储介质的形式提供。术语“非暂时性”仅指存储介质是有形设备且不包括信号(例如，电磁波)，并且该术语不区分数据半永久性存储在存储介质中的情况和数据临时存储在存储介质中的情况。例如，“非暂时性存储介质”可以包括临时存储数据的缓冲器。
[0229]
根据实施例，可以在计算机程序产品中包括并提供根据本发明公开的不同实施例的方法。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(cd-rom))的形式分发，或者可以通过应用商店(例如，play storetm)在线分发(例如，下载或上传)，或者直接在两个用户设备(例如，智能手机)之间分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品(例如，可下载的应用)的至少一部分可以至少临时存储在机器可读存储介质中，诸如制造商的服务器的存储器、应用商店的服务器或中继服务器，或者可以临时生成。
[0230]
根据上述不同实施例的每个组件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子组件的一些子组件，或者在不同实施例中还可以包括其他子组件。可选地或另外，一些组件(例如，模块或程序)可以集成到一个实体中，以执行在集成之前由各个组件执行的相同或类似功能。
[0231]
根据不同实施例，由模块、程序或其他组件执行的操作可以以顺序、并行、迭代或启发式方式执行，或者至少一些操作可以以不同的顺序执行或省略，或者可以添加其他操作。
[0232]
另一方面，本发明中使用的术语“～器”或“模块”包括由硬件、软件或固件组成的单元，并且可以与诸如逻辑、逻辑块、组件或电路等术语互换使用。“～器”或“模块”可以是整体形成的组件或执行一个或多个功能或其一部分的最小单元。例如，该模块可以被配置
为专用集成电路(asic)。
[0233]
本发明的各种实施例可以通过软件实现，包括存储在机器(例如，计算机)可读存储介质中的指令。机器是从存储介质调用存储的指令并根据被调用的指令可操作的设备，并且可以包括根据所公开的实施例的电子设备(例如，电子设备100)。
[0234]
当指令由处理器130执行时，处理器130可以直接或使用处理器130控制下的其他组件执行与指令对应的功能。指令可以包括由编译器或解释器生成或执行的代码。
[0235]
虽然已经参考本发明的各种实施例展示和描述了本发明，但本领域技术人员将理解，在不偏离所附权利要求及其等效物所定义的本发明的精神和范围的情况下，可以对本发明的形式和细节进行各种更改。