基于事件相机的表面法向与多光谱反射率联合重建方法

本发明属于计算成像与计算机视觉，具体涉及一种基于事件相机的表面法向与多光谱反射率联合重建方法。

背景技术：

1、表面法向和多光谱反射率是物理场景理解中的两类关键底层量。表面法向反映几何形状，多光谱反射率反映材料在不同波段下的固有响应。二者的联合恢复对工业检测、文物分析、材料识别、机器人感知等应用具有重要价值。

2、现有基于帧相机的多光谱光度立体方法通常依赖多次顺序拍摄、窄带光源切换、多光谱相机或较高数据吞吐。此类方法一方面采集过程慢、带宽高、系统复杂；另一方面，多数模型默认近似朗伯反射，遇到镜面高光和附着阴影时容易出现估计偏差。

3、事件相机以异步方式输出亮度对数变化，具有高时间分辨率、高动态范围和低数据带宽等优点。已有事件光度立体方法能够利用事件流估计表面法向，例如，一种基于帧相机的多光谱/彩色光度立体技术，参考文献《g. fyffe. single-shot photometric stereoby spectral multiplexing. acm siggraph asia, 2010.》和《m. kitahara, t. okabe,c. fuchs, h. p. a. lensch. simultaneous estimation of spectral reflectanceand normal from a small number of images. visapp, 2015.》。其典型过程是：在若干照明条件下采集多幅帧图像，依据朗伯或其扩展反射模型，从强度值中恢复表面法向；同时结合多光谱成像或光谱复用信息恢复各波段反射率。该技术路线通常需要密集帧采样、多次曝光或多阶段光谱采集，依赖完整帧数据和较高数据吞吐，不利于高速、低带宽采集，采集速度慢、带宽高，且对高光和附着阴影敏感，在复杂材质与快速采集场景中适用性受限。

4、已有事件高光谱/多光谱成像方法能够从事件流中恢复光谱信息。例如，一种基于事件相机的两阶段组合方案，参考文献《b. yu, j. ren, j. han, f. wang, j. liang,b. shi. eventps: real-time photometric stereo using an event camera. cvpr,2024.》、《j. liang, b. yu, s. yang, h. zhuang, j. ren, p. duan, b. shi.eventups: uncalibrated photometric stereo using an event camera. iccv, 2025.》和《b. yu, j. liang, z. wang, b. fan, a. subpa-asa, b. shi, i. sato. activehyperspectral imaging using an event camera. cvpr, 2025.》。其典型过程是：第一阶段，先在已知或待估计光照方向下，通过事件光度立体恢复表面法向；第二阶段，使用另一套事件光谱成像编码方案恢复多光谱反射率。该技术路线通常需要异构照明协议、不同系统配置或顺序处理，虽然一定程度上降低了带宽，但本质上仍属于串联式求解，无法在单一系统和单一采集阶段中直接联合恢复，误差会在两阶段中累积；系统集成复杂，且难以直接保证多光谱反射率尺度正确，难以得到绝对值。综上，现有技术在以下几个方面存在明显问题：

5、（1）缺乏单阶段联合恢复能力。现有技术通常只能恢复表面法向或多光谱反射率中的一个，或者必须依赖两阶段串联，难以在一次采集中同时获得表面法向与绝对多光谱反射率。

6、（2）缺乏适用于事件域解耦的照明编码设计。若每个波段只照射一次，表面法向与多光谱反射率在事件观测中会乘性耦合，无法形成足够的多光谱反射率抵消约束。

7、（3）难以抵抗附着阴影和镜面高光导致的无效观测。现有技术通常依靠额外剔除策略或复杂光学装置补偿，系统负担较重。

8、（4）无法自然解决事件测量的尺度歧义。现有技术仅依赖事件强度比值观测时，不同多光谱反射率尺度可能产生相同事件响应，从而无法恢复绝对多光谱反射率。

9、另外，如果直接将几何恢复与多光谱反射率恢复简单拼接，会面临至少三类核心困难：第一，事件观测中表面法向与多光谱反射率是乘性耦合的，缺少足够约束时无法稳定解耦；第二，附着阴影和镜面高光会使部分观测失效，降低可用约束数量；第三，事件相机本质上只观测相对对数亮度变化，容易导致多光谱反射率只能够恢复到未知尺度，而无法直接得到绝对多光谱反射率。

10、因此，需要一种面向事件流的硬件-算法协同方案，在单次采集、低带宽前提下，将照明方向信息、波段信息和绝对尺度信息共同编码到事件流中，并提供与之匹配的解码方法，从而联合恢复表面法向和绝对多光谱反射率。

技术实现思路

1、为了解决现有技术存在的缺乏单阶段联合恢复能力、缺乏适用于事件域解耦的照明编码设计、难以抵抗附着阴影和镜面高光导致的无效观测、无法自然解决事件测量的尺度歧义的问题，本发明提供一种基于事件相机的表面法向与多光谱反射率联合重建方法。

2、本发明为解决技术问题所采用的技术方案如下：

3、本发明提供的一种基于事件相机的表面法向与多光谱反射率联合重建方法，主要包括以下步骤：

4、步骤s1：搭建谱-角复用照明编码装置；

5、步骤s2：建立照明标定参数；

6、步骤s3：进行单次事件采集；

7、步骤s4：建立联合成像与事件约束模型；

8、步骤s5：利用同波段多方向重复实现表面法向与多光谱反射率解耦；

9、步骤s6：通过冗余重复机制提升附着阴影与高光条件下的可用性；

10、步骤s7：通过恒定光分量恢复绝对反射率；

11、步骤s8：采用事件驱动谱-角解码器进行联合优化。

12、进一步的，步骤s1中，所述谱-角复用照明编码装置包括事件相机、分光镜、恒定光源、光环照明模块和控制器；被测物体、光环照明模块、恒定光源、分光镜、事件相机依次设置，分光镜布置在事件相机前方，使事件相机视场与恒定光路径共轴，恒定光源用于产生恒定光分量，光环照明模块用于产生方向光。

13、进一步的，所述光环照明模块包括环形支架以及沿方位角均匀布置在环形支架上的多个led，并划分为个波段通道，每个波段通道重复布置多次，每个波段通道对应多个不同角度的照明方向。

14、进一步的，步骤s2中，预先标定或记录每个波段通道对应的多个不同角度的照明方向、每个波段通道的光谱功率分布、事件相机在每个波段通道处的光谱响应以及恒定光分量的已知辐亮度。

15、进一步的，步骤s3中，被测物体在一轮或多轮预设时序的照明条件切换下，由事件相机输出事件流，为像素位置，为事件极性，为事件时间戳。

16、进一步的，步骤s4中，所述联合成像模型表示为：，表示像素位置处被测物体表面的法向量，表示时刻 下对应的入射光照方向；表示参与编码的波段通道数量；表示第 个波段通道的事件相机相应参数；表示像素位置处对第 个波段通道的反射响应率，表示该像素位置在相应光谱或照明条件下的反射率；表示第 个波段通道在时刻 的时序调函数，用于表示第 个波段通道在时刻 的强度。

17、进一步的，步骤s4中，所述事件约束模型表示为：，表示时刻的成像强度，表示时刻的成像强度，为事件触发阈值。

18、进一步的，步骤s5中，针对同波段的两组事件强度比值构造反射率抵消的几何约束；至少需要两组相互独立的事件强度比值约束来确定表面法向方向；在表面法向被约束后，剩余的多波段强度信息用于求解各波段反射率。

19、进一步的，步骤s7中，在方向光之外额外叠加已知辐亮度的恒定光分量，使事件强度满足，其中，表示步骤s4中不同时间成像强度的绝对值，表示步骤s4中成像强度归一化后的数值；对两个已知的时间、，得到事件强度比值，求得。

20、进一步的，步骤s8中，将未知量参数化为像素级法向图n和低秩多光谱反射率模型，表示像素系数，表示波段基，表示低秩矩阵维度；通过最小化相邻事件对的一致性误差，并结合非负约束、法向单位长度约束、前向可见约束及空间一致性正则项，获得最终结果。

21、本发明的有益效果是：

22、（1）本发明实现了单次采集、单系统配置下的联合恢复。相比现有需要多阶段串联的方案，本发明可在一套硬件、一段连续事件流中同时恢复表面法向和绝对多光谱反射率，显著降低系统复杂度。

23、（2）本发明显著降低了数据带宽与采集时延。事件相机仅在亮度变化时输出数据，相比传统多帧多光谱采集具有更低带宽和更高速度，适合动态或高吞吐应用场景。

24、（3）本发明在阴影与高光条件下具有更好的稳健性。通过同波段多角度重复和相应的解码降权机制，系统在附着阴影和镜面高光存在时仍能保留有效约束，提高恢复稳定性。

25、（4）本发明能够恢复绝对多光谱反射率而非仅相对反射率。通过引入恒定光分量，可打破事件强度比值观测的尺度不变性，无需额外帧强度传感器即可获得绝对尺度结果。

26、（5）本发明具有较强扩展性。本发明可扩展到更多波段、不同光环布局、不同事件相机以及不同解码模型，便于工程部署。

27、（6）本发明既可用于离线高精度重建，也可用于在线快速检测；既可用于单个静态物体，也可通过同步控制与时序调度扩展到流水线式检测场景。