一种基于多模态感知与去中心化协同的太阳能庭院灯系统及其控制方法与流程

本发明涉及太阳能庭院灯领域，尤其涉及一种基于多模态感知与去中心化协同的太阳能庭院灯系统及其控制方法。

背景技术：

1、太阳能庭院灯作为一种绿色节能的户外照明设备，已广泛应用于住宅庭院、公园步道、社区广场等场所。随着物联网技术和人工智能的发展，用户对照明系统的智能化程度、协同能力和节能效果提出了更高的要求。

2、目前，现有的太阳能庭院灯系统比如公开号为cn207251982u的中国实用新型专利主要存在以下技术问题：

3、第一，现有庭院灯系统普遍采用单灯独立感应控制的方式，即每盏灯仅依赖自身搭载的被动式红外（pir）传感器进行人体检测并触发亮灯。这种方式是点状感应，灯只能感知到自身周围小范围的人体活动，无法感知整个庭院的全局人流分布状态，导致在人流集中的区域和几乎无人经过的角落，灯的亮度没有区分，造成不必要的能量浪费；而且无法识别出不同的庭院行为场景（如散步、聚会、儿童追逐等），照明效果始终单一、缺乏针对性。以中国专利cn207251982u为代表的现有技术方案，就是典型的单灯感应+独立控制架构，无法实现从单灯感应到区域协同感知的跨越。

4、第二，现有技术中具备联网能力的庭院灯系统通常采用中心主机+终端节点的集中式架构。这种架构需要一个中心控制器负责收集所有太阳能庭院灯节点数据、做出决策并下发指令。一旦中心控制器发生故障或通信中断，整个照明系统将瘫痪。对于部署在户外的庭院灯系统来说，温度变化、雨水、灰尘等环境因素易导致硬件故障，集中式架构的可靠性和容错能力十分脆弱，存在明显的单点故障隐患。

5、第三，现有的多灯协同系统缺乏对能量的全局优化调度能力。在多盏太阳能庭院灯共同工作的场景中，由于每盏灯安装位置的光照条件不同（如部分灯位于树荫下），各灯的充电量存在天然差异。现有系统对此缺乏有效的处理，具体而言，一方面，电量低的灯可能提前熄灭，形成照明暗区，严重影响用户体验和安防效果；另一方面，电量充沛的灯无法将富余能量共享给低电量节点，系统整体能量利用效率低下。在连续阴雨天气条件下，这一矛盾尤为突出。

6、第四，现有庭院灯系统缺乏对多种庭院场景的智能识别与自适应照明能力。庭院作为一个多功能的生活空间，在不同场景下对照明的要求截然不同，即静谧散步需要柔和的暖光逐步跟随，家庭聚会需要明亮温馨的整体照明，儿童追逐嬉戏需要灯光的动态响应以确保安全可视。现有系统无法区分这些场景，更无法根据场景自动切换照明处理。至于节日氛围的自动营造，如春节自动切换为红色喜庆照明、中秋节使用暖黄色，则完全需要用户手动设置，智能化程度极低。

7、第五，在需要多灯协同产生动态灯效（如流水灯、呼吸灯、跑马灯）的场景中，现有系统面临严峻的同步挑战。由于各灯之间缺少高精度的时间同步处理，即使收到相同的灯效指令，各灯的led驱动时序仍存在偏差，导致肉眼可见的灯效不同步，如流水效果出现跳跃或断裂，严重破坏视觉体验。

8、综上所述，现有技术中缺少一种能够综合解决上述五大问题的一体化控制方法，既要实现从单灯点状感应到全区域协同感知与理解的跨越，又要具备去中心化的高可靠架构，还要在满足场景照明质量的前提下对全系统能量进行全局优化调度。

技术实现思路

1、本发明的目的在于提供一种基于多模态感知与去中心化协同的太阳能庭院灯系统及其控制方法，解决了现有技术中指出的上述技术问题。

2、本发明提供了一种基于多模态感知与去中心化协同的太阳能庭院灯系统，包括数据采集模块、热力图生成模块、指令模块、亮度控制模块、计算模块以及预测能量调度模块；

3、其中，数据采集模块，用于由部署于庭院区域的若干太阳能庭院灯节点周期性地采集多模态感知数据；

4、热力图生成模块，用于各太阳能庭院灯节点将从多模态感知数据中提取到的本地多模态特征打包为状态广播包，将状态广播包泛洪广播至每个增强计算节点后，将所有收到的状态广播包中的本地多模态特征作为输入，运行分布式高斯过程回归算法，生成时空连续的人流密度热力图；

5、指令模块，用于太阳能庭院灯节中的各增强计算节点读取人流密度热力图、声音事件分类结果、当前时刻值和运动趋势向量，并与增强计算节点本地存储器中预置的场景规则库中包含的每一条预设场景规则逐一进行条件匹配计算，得到每条预设场景规则的综合匹配得分；基于综合匹配得分生成并发送场景执行指令包；

6、亮度控制模块，用于全网络中的各太阳能庭院灯节点读取本太阳能庭院灯节点安装坐标处的瞬时人流密度值；各太阳能庭院灯节点根据本节点安装坐标处的瞬时人流密度值和场景执行指令包中的基准亮度字段，计算本太阳能庭院灯节点的初始亮度；基于初始亮度进行综合优化处理分析，得到各太阳能庭院灯节点最终亮度值；

7、计算模块，用于若场景执行指令包中包含动态色彩效果，由发送场景切换提议数据包的增强计算节点生成同步数据包，并广播至全网络中的所有太阳能庭院灯节点后，对同步数据包进行数据读取并分析计算处理，得到当前色相值和当前亮度值；

8、预测能量调度模块，用于各增强计算节点通过当前公历日期与本地节日数据库进行比较分析，得到基准亮度字段的取值。

9、相应地，本发明还提出了一种基于多模态感知与去中心化协同的太阳能庭院灯控制方法，包括如下操作步骤：

10、由部署于庭院区域的若干太阳能庭院灯节点周期性地采集多模态感知数据；

11、各太阳能庭院灯节点将从多模态感知数据中提取到的本地多模态特征打包为状态广播包，将状态广播包泛洪广播至每个增强计算节点后，将所有收到的状态广播包中的本地多模态特征作为输入，运行分布式高斯过程回归算法，生成时空连续的人流密度热力图；

12、太阳能庭院灯节中的各增强计算节点读取人流密度热力图、声音事件分类结果、当前时刻值和运动趋势向量，并与增强计算节点本地存储器中预置的场景规则库中包含的每一条预设场景规则逐一进行条件匹配计算，得到每条预设场景规则的综合匹配得分；基于综合匹配得分生成并发送场景执行指令包；

13、全网络中的各太阳能庭院灯节点读取本太阳能庭院灯节点安装坐标处的瞬时人流密度值；各太阳能庭院灯节点根据本节点安装坐标处的瞬时人流密度值和场景执行指令包中的基准亮度字段，计算本太阳能庭院灯节点的初始亮度；基于初始亮度进行综合优化处理分析，得到各太阳能庭院灯节点最终亮度值；

14、若场景执行指令包中包含动态色彩效果，由发送场景切换提议数据包的增强计算节点生成同步数据包，并广播至全网络中的所有太阳能庭院灯节点后，对同步数据包进行数据读取并分析计算处理，得到当前色相值和当前亮度值；

15、各增强计算节点通过当前公历日期与本地节日数据库进行比较分析，得到基准亮度字段的取值。

16、较佳的，太阳能庭院灯节点包括标准感知节点与增强计算节点；多模态感知数据包括：被动式红外/微波雷达人体存在标志、触发持续时间、运动方向、环境光照度、自身剩余电量，以及增强计算节点额外采集的环境声音数据；

17、其中标准感知节点采集被动式红外/微波雷达人体存在标志与触发持续时间、环境光照度及自身剩余电量，增强计算节点在所述标准感知节点采集内容的基础上还通过微型麦克风采集环境声音并运行轻量级声音事件分类模型，由轻量级声音事件分类模型输出声音事件分类结果及其置信度；

18、所述人流密度热力图包含每个网格坐标处的瞬时人流密度值和运动趋势向量；

19、较佳的，基于综合匹配得分生成并发送场景执行指令包括如下操作步骤：

20、当某一条预设场景规则的综合匹配得分在所有预设场景规则中最高且大于场景切换置信度阈值、并且该条件在连续多个热力图更新周期内持续成立的热力图更新周期数超过确认时间窗所对应的热力图更新周期数时，该增强计算节点构造场景切换提议数据包；并将场景切换提议数据包通过mesh网络发送至全网络中的所有增强计算节点；在增强计算节点收到场景切换提议数据包后，运行去中心化raft共识算法对场景切换提议数据包中的提议场景标识字段进行投票；若投票结果为赞成票数超过增强计算节点总数的半数，则由发送场景切换提议数据包的增强计算节点生成场景执行指令包，并将场景执行指令包通过mesh网络广播至全网络中的所有太阳能庭院灯节点；若投票结果为赞成票数未超过增强计算节点总数的半数，则所有增强计算节点维持当前场景不变。

21、较佳的，基于初始亮度进行综合优化处理分析，得到各太阳能庭院灯节点最终亮度值，包括：

22、各太阳能庭院灯节点通过mesh网络广播步骤s10采集的自身剩余电量；各太阳能庭院灯节点以本节点的初始亮度和收到的全网络所有太阳能庭院灯节点广播的自身剩余电量作为输入，运行分布式交替方向乘子法优化算法，在满足总照度约束与亮度边界约束的前提下，联合求解使全网络所有太阳能庭院灯节点的最终亮度与初始亮度的偏差以及全网络所有太阳能庭院灯节点的自身剩余电量与全网平均剩余电量的差异综合最小化的各太阳能庭院灯节点最终亮度值。

23、较佳的，将所有收到的状态广播包中的本地多模态特征作为输入，运行分布式高斯过程回归算法，生成时空连续的人流密度热力图，包括如下操作步骤：

24、每个增强计算节点以本节点安装坐标和增强计算节点本地系统时钟提供的当前时间t为输入，构建观测向量；

25、每个增强计算节点从mesh网络路由表中获取二跳以内邻居节点的节点唯一标识符列表，仅将节点唯一标识符属于二跳以内邻居节点的观测向量纳入观测数据子集；每个增强计算节点以观测数据子集中的全部观测向量作为训练数据，在本地执行高斯过程回归预测计算；对于人流密度热力图网格上每一个查询点，计算预测均值；各增强计算节点将本节点计算得到的局部预测热力图通过mesh网络发送给其他增强计算节点，各增强计算节点将本节点计算得到的局部预测热力图与收到的其他增强计算节点发送的局部预测热力图进行加权平均融合，对融合后的每个网格点的预测均值经非线性映射得到该网格点的最终人流密度值；

26、基于网格点的最终人流密度值生成人流密度热力图；每个增强计算节点读取本节点生成的当前帧人流密度热力图和上一帧人流密度热力图，将当前帧人流密度热力图和上一帧人流密度热力图作为farnebäck光流估计算法的输入，计算得到每个网格坐标处的人流运动趋势向量，将人流运动趋势向量写入当前帧人流密度热力图中对应网格坐标的运动趋势向量字段。

27、较佳的，由发送场景切换提议数据包的增强计算节点生成同步数据包，并广播至全网络中的所有太阳能庭院灯节点后，对同步数据包进行数据读取并分析计算处理，得到当前色相值和当前亮度值，包括：

28、读取同步数据包中的色相贝塞尔曲线控制点字段、亮度贝塞尔曲线控制点字段、全局起始tai时间戳字段和周期字段以及本地当前tai时间，根据本地当前tai时间、全局起始tai时间戳字段和周期字段计算周期内归一化相位，利用三次贝塞尔曲线插值公式对周期内归一化相位进行色相插值计算和亮度插值计算，得到当前色相值和当前亮度值；各太阳能庭院灯节点将当前色相值和当前亮度值写入本节点的pwm驱动寄存器，由pwm驱动寄存器驱动led输出对应颜色和亮度。

29、较佳的，各增强计算节点通过当前公历日期与本地节日数据库进行比较分析，得到基准亮度字段的取值，包括：

30、各增强计算节点于每日预设时刻，读取增强计算节点本地系统时钟提供的当前公历日期，并通过增强计算节点本地运行的农历算法将当前公历日期换算为当前农历日期；各增强计算节点将当前公历日期和当前农历日期，与增强计算节点本地存储器中预置的本地节日数据库中的每一个节日条目的日期规则字段逐一进行相等性比较；若存在节日条目的日期规则字段与当前公历日期或当前农历日期相等，则该节日条目匹配成功，将该匹配成功的节日条目的节日标识作为匹配到的节日标识；各增强计算节点根据匹配到的节日标识，从增强计算节点本地存储器中预置的节日氛围规则库中读取该匹配到的节日标识对应的预设参数；各增强计算节点将读取到的预设参数中的默认亮度基准作为基准亮度字段的取值，并在计算初始亮度时引入节日密度增益系数，同时在各增强计算节点本地触发预测性能量预调度计时器。

31、较佳的，太阳能庭院灯节中的各增强计算节点读取人流密度热力图、声音事件分类结果、当前时刻值和运动趋势向量，并与增强计算节点本地存储器中预置的场景规则库中包含的每一条预设场景规则逐一进行条件匹配计算，得到每条预设场景规则的综合匹配得分，包括如下操作步骤：

32、每个增强计算节点从人流密度热力图中，以本增强计算节点安装坐标为中心、半径等于空间长度尺度参数的圆形区域作为本增强计算节点邻域范围，提取平均人流密度、最大人流密度、主导声学事件类别、主导声学事件置信度、平均运动速度以及当前时段编码；基于平均人流密度、最大人流密度、主导声学事件置信度、主导声学事件类别、区域平均运动速度以及当前时段编码构建场景特征向量；

33、将场景特征向量f与增强计算节点本地存储器中预置的场景规则库中的每一条预设场景规则的判定条件集合逐一进行条件匹配计算，采用多维度场景关联度评估算法对每条匹配成功的预设场景规则计算综合匹配得分。

34、较佳的，基于综合匹配得分生成并发送场景执行指令包，包括：

35、当任一增强计算节点检测到综合匹配得分最高的预设场景规则的综合匹配得分大于场景切换置信度阈值、且该预设场景规则的场景标识在连续超过确认时间窗所对应的热力图更新周期数内均保持为综合匹配得分最高的场景标识时，该增强计算节点构造场景切换提议数据包，场景切换提议数据包中包含提议场景标识字段和综合匹配得分字段；该增强计算节点将场景切换提议数据包通过mesh网络发送至全网络中的所有其他增强计算节点；所有增强计算节点收到场景切换提议数据包后，运行去中心化raft共识算法对场景切换提议数据包中的提议场景标识字段进行投票；若赞成票数超过增强计算节点总数的半数，则由发送场景切换提议数据包的增强计算节点生成场景执行指令包并通过mesh网络广播至全网络中的所有节点；若赞成票数未超过增强计算节点总数的半数，则所有增强计算节点维持当前场景不变。

36、与现有技术相比，本发明实施例至少存在如下方面的技术优势：

37、分析本发明提供的上述一种基于多模态感知与去中心化协同的太阳能庭院灯系统及其控制方法可知，在具体应用时，系统部署庭院灯节点按1秒周期采集多模态数据，各节点将本地多模态特征打包为状态广播包，经mesh网络泛洪后，增强节点以自身及二跳邻居的观测数据运行分布式gpr算法，融合生成分辨率1m×1m、更新频率1hz的时空连续人流密度热力图，含瞬时密度值与运动趋势向量，使系统获得庭院全域定量化人流分布视图；接着，增强节点将热力图、声音分类、当前时刻和运动趋势与场景规则库逐一匹配，以多维度关联度算法计算综合得分，得分最高且超阈值且连续超过确认时间窗后发起raft共识投票，过半即生成含基准亮度和色温/rgb参数的场景执行指令包全网广播，实现从传感数据到照明处理的端到端自动转化；进一步地，各节点从热力图中以自身坐标读取瞬时密度值，结合基准亮度以指数权重函数计算初始亮度，再以admm算法引入各节点剩余电量差异进行迭代优化，在总照度不低于初始90%约束下输出最终亮度，高电量节点多承担负载、低电量节点适度下调，拉平电量消耗速率以延长整体续航；若包含动态色彩效果，则由发起节点生成含贝塞尔曲线控制点和tai起始时间戳的同步数据包全网广播，各节点独立计算归一化相位后插值得到色相与亮度写入pwm寄存器，凭借全网tai同步误差小于1毫秒实现全域视觉同步动态灯效；同时，每日凌晨增强节点以公历和农历日期比对本地节日数据库，匹配后自动提取节日默认亮度基准代入亮度计算流程，使节日高亮度需求与既有能量均衡处理协同求解。