基于智慧中屏的智能家具场景推荐方法、系统及设备与流程

本技术涉及数据处理的，尤其是涉及基于智慧中屏的智能家具场景推荐方法、系统及设备。

背景技术：

1、随着智能家居技术的快速发展，智慧中屏作为家庭环境中的核心交互终端，正逐渐从单纯的设备控制面板向具备多模态感知与集中管理能力的智能中枢演进。智慧中屏通常部署于客厅、卧室等家庭公共区域，不仅能够接收用户的语音指令，还可通过视觉感知用户的行为、姿态和空间位置，从而在更自然的交互过程中理解用户意图。在实际应用中，智慧中屏所面对的是多个家庭成员在同一空间内同时或交替产生的多样化需求，这些需求既包括用户通过语音明确表达的显性控制要求，也包括隐含在用户行为习惯、环境反应以及多用户互动中的隐性需求；不同用户对同一智能家具设备可能存在不同偏好，对多个设备的联动状态也可能存在相互冲突或相互补充的期待，使得场景理解和推荐变得尤为复杂。

2、目前，在处理此类场景时，通常依赖单一的语音指令识别或基于固定规则的自动化触发机制。基于语音的控制方式要求用户发出较为明确和结构化的指令，难以应对真实家庭中普遍存在的模糊表达和非语言意图，而基于规则的联动方式往往依据预设条件进行简单触发，缺乏对用户当前实际需求的动态理解，容易产生误触发或响应不及时的问题。更为突出的是，现有系统普遍缺乏对多用户需求的有效区分与综合处理能力，当多个用户在同一空间内产生不同甚至矛盾的控制需求时，系统往往仅依据最近一次指令或简单的用户优先级进行决策，无法在语义层面上对各用户的需求进行合理聚合与协调，导致推荐结果顾此失彼，影响用户体验。

3、此外，智能家具设备之间存在较强的功能关联性和协同控制需求，例如灯光、窗帘、空调和窗户等设备的状态往往需要相互配合才能形成合理的场景效果。但目前大多将各设备视为相互独立的控制对象，缺乏对设备间协同关系的有效建模和推理，即便部分系统支持场景模式，其场景定义也多依赖于厂商预设或用户手动配置的固定模板，难以根据当前用户组合、行为状态及环境变化进行动态调整，灵活性和个性化程度明显不足。

4、综上所述，智慧中屏应用场景的独特性在于其需要持续面对多用户、多设备、多模态信息交织的复杂环境，既要准确识别各用户的显性控制需求，又要捕捉那些未明确表达但客观存在的隐性需求，并在此基础上结合设备间协同关系动态生成合理的场景推荐方案。现有技术在这些方面存在明显局限，导致智慧中屏在实际使用中仍难以摆脱被动响应和固定模式切换的局限，无法真正实现智能化、个性化和协同化的场景推荐。因此，亟需一种能够提升多用户需求理解与综合能力、增强设备协同推理水平并支持动态场景生成的方法，以改善智能家居系统的整体交互体验和服务质量。

技术实现思路

1、为了提高智慧中屏对多用户需求的理解能力，以提升场景推荐的精准性，本技术提供基于智慧中屏的智能家具场景推荐方法、系统及设备。

2、第一方面，本技术提供了基于智慧中屏的智能家具场景推荐方法，采用如下的技术方案：

3、基于智慧中屏的智能家具场景推荐方法，包括：

4、获取目标空间内各个用户的语音数据和视频数据，对同一用户的所述语音数据和所述视频数据进行多模态语义融合，得到各个用户对各个智能家具设备的设备级需求语义特征，其中，所述设备级需求语义特征用于表征同一用户对同一智能家具设备的显性控制需求和隐性控制需求；

5、对于单个智能家具设备，对各个用户对该智能家具设备分别对应的所述设备级需求语义特征进行语义聚合，得到对应的语义聚合特征，其中，所述语义聚合特征用于表征各个用户对同一智能家具设备的综合控制需求；

6、基于预生成的设备拓扑图，对各个智能家具设备的所述语义聚合特征进行语义推导，得到设备协同语义特征，其中，所述设备协同语义特征用于表征各个智能家具设备之间的协同控制需求；

7、基于预生成的基场景向量，对所述设备协同语义特征进行语义分解，得到各个预设基场景的场景系数；

8、基于所述场景系数，生成场景推荐方案，以对智慧中屏及联动设备进行控制。

9、通过采用上述技术方案，获取目标空间内各个用户的语音数据和视频数据，对同一用户的语音数据和视频数据进行多模态语义融合，得到各个用户对各个智能家具设备的设备级需求语义特征，其中，设备级需求语义特征用于表征同一用户对同一智能家具设备的显性控制需求和隐性控制需求，然后对于单个智能家具设备，对各个用户对该智能家具设备分别对应的设备级需求语义特征进行语义聚合，得到对应的语义聚合特征，其中，语义聚合特征用于表征各个用户对同一智能家具设备的综合控制需求，然后基于预生成的设备拓扑图，对各个智能家具设备的语义聚合特征进行语义推导，得到设备协同语义特征，其中，设备协同语义特征用于表征各个智能家具设备之间的协同控制需求，然后基于预生成的基场景向量，对设备协同语义特征进行语义分解，得到各个预设基场景的场景系数，然后基于场景系数，生成场景推荐方案，以对智慧中屏及联动设备进行控制。本发明通过语音与视频的多模态语义融合，提升了智慧中屏对多用户显性及隐性控制需求的理解能力，经多用户需求语义聚合与设备协同推理，结合基场景向量动态生成场景推荐方案，从而提高了场景推荐的精准性，减少了需求冲突与误触发，改善了智能家居系统的整体交互体验。

10、可选的，所述对同一用户的所述语音数据和所述视频数据进行多模态语义融合，得到各个用户对各个智能家具设备的设备级需求语义特征的步骤，包括：

11、对于每个用户，对该用户的所述语音数据进行语音识别与语义解析，得到语音语义特征；以及，对该用户的所述视频数据进行人体动作识别与视觉目标检测，得到动作语义特征；

12、对于同一用户的所述语音语义特征与所述动作语义特征在时间维度上进行对齐，得到该用户的语音语义对齐特征和动作语义对齐特征；

13、对所述语音语义对齐特征和所述动作语义对齐特征进行跨模态融合，得到该用户的语义-动作语义特征；

14、对所述语义-动作语义特征进行设备需求解码与意图映射，得到该用户对各个智能家具设备各自的设备级需求语义特征。

15、通过采用上述技术方案，为了生成设备级需求语义特征，对于每个用户，对该用户的语音数据进行语音识别与语义解析，得到语音语义特征；以及，对该用户的视频数据进行人体动作识别与视觉目标检测，得到动作语义特征，然后对于同一用户的语音语义特征与动作语义特征在时间维度上进行对齐，得到该用户的语音语义对齐特征和动作语义对齐特征，然后对语音语义对齐特征和动作语义对齐特征进行跨模态融合，得到该用户的语义-动作语义特征，然后对语义-动作语义特征进行设备需求解码与意图映射，得到该用户对各个智能家具设备各自的设备级需求语义特征。

16、可选的，所述对各个用户对该智能家具设备分别对应的所述设备级需求语义特征进行语义聚合，得到对应的语义聚合特征的步骤，包括：

17、获取各个用户对该智能家具设备分别对应的设备级需求语义特征，构成需求语义特征组；

18、对所述需求语义特征组中任意两个设备级需求语义特征进行冲突检测，得到冲突特征对；以及，对所述冲突特征对进行冲突消解，得到冲突消解特征；

19、基于冲突消解特征对所述需求语义特征组进行更新，得到更新后的需求语义特征组；

20、对所述更新后的需求语义特征组中的特征进行平均池化，得到平均需求语义特征；

21、分别计算所述更新后的需求语义特征组中的特征与所述平均需求语义特征之间的语义相似度，并对各个所述语义相似度进行归一化处理，得到各自对应的相似度权重；

22、基于各个所述相似度权重，对所述更新后的需求语义特征组中的特征进行加权聚合，得到该智能家具设备的语义聚合特征。

23、通过采用上述技术方案，为了生成语义聚合特征，获取各个用户对该智能家具设备分别对应的设备级需求语义特征，构成需求语义特征组，然后对需求语义特征组中任意两个设备级需求语义特征进行冲突检测，得到冲突特征对；以及，对冲突特征对进行冲突消解，得到冲突消解特征，然后基于冲突消解特征对需求语义特征组进行更新，得到更新后的需求语义特征组，然后对更新后的需求语义特征组中的特征进行平均池化，得到平均需求语义特征，然后分别计算更新后的需求语义特征组中的特征与平均需求语义特征之间的语义相似度，并对各个语义相似度进行归一化处理，得到各自对应的相似度权重，然后基于各个相似度权重，对更新后的需求语义特征组中的特征进行加权聚合，得到该智能家具设备的语义聚合特征。

24、可选的，所述对所述冲突特征对进行冲突消解，得到冲突消解特征的步骤，包括：

25、获取所述冲突特征对中的两个所述设备级需求语义特征分别对应的用户优先级等级、历史设备控制频率以及所述智能家具设备的历史运行状态；

26、根据所述用户优先级等级、历史设备控制频率以及所述历史运行状态，确定所述冲突特征对中两个所述设备级需求语义特征各自的冲突消解权重，其中，所述冲突消解权重与所述用户优先级等级呈正相关，与所述历史设备控制频率呈正相关，且与所述历史运行状态和对应的所述设备级需求语义特征之间的语义契合度呈正相关；

27、基于所述冲突消解权重，对所述冲突特征对中的两个所述设备级需求语义特征进行加权平均，得到冲突消解特征。

28、通过采用上述技术方案，为了生成冲突消解特征，获取冲突特征对中的两个设备级需求语义特征分别对应的用户优先级等级、历史设备控制频率以及智能家具设备的历史运行状态，然后根据用户优先级等级、历史设备控制频率以及历史运行状态，确定冲突特征对中两个设备级需求语义特征各自的冲突消解权重，其中，冲突消解权重与用户优先级等级呈正相关，与历史设备控制频率呈正相关，且与历史运行状态和对应的设备级需求语义特征之间的语义契合度呈正相关，然后基于冲突消解权重，对冲突特征对中的两个设备级需求语义特征进行加权平均，得到冲突消解特征。

29、可选的，所述基于预生成的设备拓扑图，对各个智能家具设备的所述语义聚合特征进行语义推导，得到设备协同语义特征的步骤，包括：

30、获取预生成的设备拓扑图，其中，所述设备拓扑图以各个智能家具设备为节点，以智能家具设备之间的功能联动关系或空间共现关系为边；

31、基于所述设备拓扑图，确定各个节点的邻居节点，并根据所述语义聚合特征进行节点特征初始化；

32、在第t次特征传播中，基于第t-1次特征传播后的所述节点特征，计算各节点与所述邻居节点之间的语义-拓扑融合权重；以及，基于所述语义-拓扑融合权重，对所述邻居节点的所述节点特征进行加权融合，得到对应的邻居加权特征；以及，基于所述邻居加权特征和第t-1次特征传播后的所述节点特征，对第t次特征传播的所述节点特征进行更新，得到第t次特征传播后的所述节点特征；

33、当t达到预设迭代次数t后，对各个节点的所述节点特征进行拼接，得到设备协同语义特征。

34、通过采用上述技术方案，为了生成设备协同语义特征，获取预生成的设备拓扑图，其中，设备拓扑图以各个智能家具设备为节点，以智能家具设备之间的功能联动关系或空间共现关系为边，然后基于设备拓扑图，确定各个节点的邻居节点，并根据语义聚合特征进行节点特征初始化，然后在第t次特征传播中，基于第t-1次特征传播后的节点特征，计算各节点与邻居节点之间的语义-拓扑融合权重；以及，基于语义-拓扑融合权重，对邻居节点的节点特征进行加权融合，得到对应的邻居加权特征；以及，基于邻居加权特征和第t-1次特征传播后的节点特征，对第t次特征传播的节点特征进行更新，得到第t次特征传播后的节点特征，然后当t达到预设迭代次数t后，对各个节点的节点特征进行拼接，得到设备协同语义特征。

35、可选的，所述在第t次特征传播中，基于第t-1次特征传播后的所述节点特征，计算各节点与所述邻居节点之间的语义-拓扑融合权重的步骤，包括：

36、对于单个节点，获取该节点在第t-1次特征传播后的所述节点特征，以及该节点的所述邻居节点在第t-1次特征传播后的所述节点特征，并计算该节点的所述节点特征与所述邻居节点的所述节点特征之间的语义相似度；

37、获取所述设备拓扑图中该节点与所述邻居节点之间的边权重，并对所述语义相似度和所述边权重进行乘法运算，得到该节点与所述邻居节点之间的修正权重；

38、对该节点与所述邻居节点之间的修正权重进行归一化处理，得到语义-拓扑融合权重。

39、通过采用上述技术方案，为了生成语义-拓扑融合权重，对于单个节点，获取该节点在第t-1次特征传播后的节点特征，以及该节点的邻居节点在第t-1次特征传播后的节点特征，并计算该节点的节点特征与邻居节点的节点特征之间的语义相似度，然后获取设备拓扑图中该节点与邻居节点之间的边权重，并对语义相似度和边权重进行乘法运算，得到该节点与邻居节点之间的修正权重，然后对该节点与邻居节点之间的修正权重进行归一化处理，得到语义-拓扑融合权重。

40、可选的，所述基于预生成的基场景向量，对所述设备协同语义特征进行语义分解，得到各个预设基场景的场景系数的步骤，包括：

41、获取预生成的基场景向量集合，其中，所述基场景向量集合包括多个预设基场景分别对应的基场景向量，每个所述基场景向量用于表征一个预设基场景的语义中心；

42、基于所述基场景向量，对所述设备协同语义特征进行语义投影，得到多个协同语义投影特征，其中，所述协同语义投影特征与所述基场景向量在同一语义空间中；

43、计算所述协同语义投影特征与各个所述基场景向量之间的语义相似度；

44、对各个所述语义相似度进行归一化处理，得到对应的场景系数。

45、通过采用上述技术方案，为了生成场景系数，获取预生成的基场景向量集合，其中，基场景向量集合包括多个预设基场景分别对应的基场景向量，每个基场景向量用于表征一个预设基场景的语义中心，然后基于基场景向量，对设备协同语义特征进行语义投影，得到多个协同语义投影特征，其中，协同语义投影特征与基场景向量在同一语义空间中，然后计算协同语义投影特征与各个基场景向量之间的语义相似度，然后对各个语义相似度进行归一化处理，得到对应的场景系数。

46、可选的，所述基于所述基场景向量，对所述设备协同语义特征进行语义投影，得到多个协同语义投影特征的步骤，包括：

47、对各个所述基场景向量进行单位化处理，得到对应的单位投影向量，其中，所述单位投影向量与所述基场景向量具有相同的语义方向，且模长为1；

48、基于所述单位投影向量，对所述设备协同语义特征进行向量投影，得到对应的中间投影特征；

49、对所述中间投影特征进行非线性激活处理，得到对应的协同语义投影特征。

50、通过采用上述技术方案，为了生成协同语义投影特征，对各个基场景向量进行单位化处理，得到对应的单位投影向量，其中，单位投影向量与基场景向量具有相同的语义方向，且模长为1，然后基于单位投影向量，对设备协同语义特征进行向量投影，得到对应的中间投影特征，然后对中间投影特征进行非线性激活处理，得到对应的协同语义投影特征。

51、第二方面，本技术还提供了基于智慧中屏的智能家具场景推荐系统，采用如下的技术方案：

52、基于智慧中屏的智能家具场景推荐系统，包括：

53、多模态语义融合模块，用于获取目标空间内各个用户的语音数据和视频数据，对同一用户的所述语音数据和所述视频数据进行多模态语义融合，得到各个用户对各个智能家具设备的设备级需求语义特征，其中，所述设备级需求语义特征用于表征同一用户对同一智能家具设备的显性控制需求和隐性控制需求；

54、语义聚合模块，用于对于单个智能家具设备，对各个用户对该智能家具设备分别对应的所述设备级需求语义特征进行语义聚合，得到对应的语义聚合特征，其中，所述语义聚合特征用于表征各个用户对同一智能家具设备的综合控制需求；

55、语义推导模块，用于基于预生成的设备拓扑图，对各个智能家具设备的所述语义聚合特征进行语义推导，得到设备协同语义特征，其中，所述设备协同语义特征用于表征各个智能家具设备之间的协同控制需求；

56、语义分解模块，用于基于预生成的基场景向量，对所述设备协同语义特征进行语义分解，得到各个预设基场景的场景系数；

57、场景推荐生成模块，用于基于所述场景系数，生成场景推荐方案，以对智慧中屏及联动设备进行控制。

58、第三方面，本技术还提供了一种计算机设备，采用如下的技术方案：

59、一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述的方法。

60、综上所述，本技术至少包括以下有益技术效果：获取目标空间内各个用户的语音数据和视频数据，对同一用户的语音数据和视频数据进行多模态语义融合，得到各个用户对各个智能家具设备的设备级需求语义特征，其中，设备级需求语义特征用于表征同一用户对同一智能家具设备的显性控制需求和隐性控制需求，然后对于单个智能家具设备，对各个用户对该智能家具设备分别对应的设备级需求语义特征进行语义聚合，得到对应的语义聚合特征，其中，语义聚合特征用于表征各个用户对同一智能家具设备的综合控制需求，然后基于预生成的设备拓扑图，对各个智能家具设备的语义聚合特征进行语义推导，得到设备协同语义特征，其中，设备协同语义特征用于表征各个智能家具设备之间的协同控制需求，然后基于预生成的基场景向量，对设备协同语义特征进行语义分解，得到各个预设基场景的场景系数，然后基于场景系数，生成场景推荐方案，以对智慧中屏及联动设备进行控制。本发明通过语音与视频的多模态语义融合，提升了智慧中屏对多用户显性及隐性控制需求的理解能力，经多用户需求语义聚合与设备协同推理，结合基场景向量动态生成场景推荐方案，从而提高了场景推荐的精准性，减少了需求冲突与误触发，改善了智能家居系统的整体交互体验。