一种AI亲属纪念AR投影眼镜增强现实投影方法与流程

本发明涉及投影眼镜，尤其涉及一种ai亲属纪念ar投影眼镜增强现实投影方法。

背景技术：

1、随着增强现实技术、三维数字人重建技术以及人工智能情感计算技术的快速发展，ar眼镜已从早期的概念验证阶段逐步进入消费级应用市场。

2、在亲属纪念与情感慰藉领域，传统数字化纪念方式局限于网上纪念馆、二维码扫墓、静态音视频回放等，沉浸感与交互性不足。虽可通过头戴式设备看逝者全景视频，或在应用程序中浏览预设三维模型，但本质仍为被动观看，无法实现情感化双向交互；

3、传统增强现实投影方法面向ai亲属纪念ar投影应用时，仍存在诸多缺陷，现有高保真三维人脸重建及语音克隆算法通常需要上传用户提供的照片与录音至远程云服务器进行处理，导致用户敏感生物特征数据面临泄露与滥用的风险，受网络带宽与服务器负载限制，建模耗时较长，无法满足用户的即时缅怀需求，云端建模模式在离线环境下部分失效，制约了使用的场景灵活性；

4、且传统增强现实投影方法将用户的照片、语音、数字人模型及交互记忆数据存储于云端数据库或第三方平台，缺乏有效的端到端加密手段。一旦服务端遭受攻击或发生数据滥用，逝者的个人隐私及用户家庭的敏感记忆将面临不可控的泄露风险，难以实现数据所有权与访问控制权的完全用户自持，且同时，回复内容千篇一律，无法模拟特定逝者的说话习惯、常用语气词及家庭专属话术，导致交互过程机械生硬，难以唤起用户的情感共鸣，现有系统缺乏针对用户实时情绪状态的多模态感知与主动安抚机制，无法在识别到用户情绪低落时自动触发符合逝者性格的温暖对话。

技术实现思路

1、本发明的目的是为了解决现有技术中隐私泄露风险大、建模流程繁琐耗时、交互缺乏个性化与情感温度的缺陷的问题，而提出的一种ai亲属纪念ar投影眼镜增强现实投影方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种ai亲属纪念ar投影眼镜增强现实投影方法，具体操作步骤如下：

4、s1：开机后自动进入缅怀模式，无需用户选择菜单，启动ar投影显示后自动触发后续流程；

5、s2：仅通过普通手机照片和生前语音录音，在本地离线环境下利用轻量化ai模型，2分钟内自动生成目标亲属的三维数字人模型及原声音色克隆；

6、s3：所有照片、语音、数字人模型及记忆数据均采用本地加密存储，不上传云端、不联网，密钥由本地安全芯片派生；

7、s4：基于输入的生前习惯、说话语气、家庭记忆数据，构建包含人物性格、专属话术的个性化记忆库；

8、s5：通过透明镜片将生成的三维数字人模型直接叠加投射于现实场景中，实现虚实融合的真人实景效果，数字人可锚定于家中任何真实位置；

9、s6：利用波束形成技术控制声音传播方向，使交互声音仅向佩戴者耳部区域发射，外部人员无法听见；

10、s7：根据用户输入及实时识别的情绪状态，调用专属性格记忆库生成符合逝者语气、习惯的对话内容，并自动进行情绪安抚交流；

11、s8：支持手势识别和语音指令两种方式，切换互动模式。

12、优选地，所述步骤s1中开机后自动加载上一次使用的数字人模型，无需任何应用程序操作或菜单选择；

13、当启动ar投影显示时，所述数字人即已呈现在预设锚定位置；若检测到用户为首次使用，则自动进入引导流程，在30秒内完成基础设置并直接进入缅怀模式。

14、优选地，所述步骤s8中识别用户特定手势以及预设语音命令，实现站立、陪伴、对话、晚安四种模式的即时切换；

15、且所有控制操作均不依赖网络，手势识别在本地通过轻量化卷积神经网络实时处理，推理延迟不超过100ms。

16、优选地，所述步骤s2中本地轻量化快速建模具体包括：

17、利用普通手机拍摄的2至20张二维照片，通过最小化重建误差函；

18、

19、生成三维数字人模型，其中为重建误差函数，为照片数量，为第i张输入照片提取的d维面部特征向量，为生成的三维数字人在对应视角下投影渲染后的d维特征向量；

20、以及从1至5分钟的生前语音录音中提取音色特征向量，在本地离线建立从文本到声学特征的映射模型，实现原声音色克隆；

21、整个建模过程不超过2分钟且无需云端计算；所述轻量化ai模型通过知识蒸馏、权重量化及结构剪枝中的至少一种方式压缩得到，使模型体积压缩至原始体积的10%–25%，且推理精度损失控制在5%以内，在本地端侧计算环境下运行，功耗不超过2w，确保2分钟内完成建模且运行温升不超过10°c。

22、优选地，所述步骤s4中构建专属性格记忆库包括：建立家庭记忆知识图谱，其中n为人物节点集合，为人物之间的关系边集合，为边权重函数，表征关系亲密程度，并录入逝者独有的说话习惯、常用语气词及家庭专属话术。

23、优选地，所述步骤s7中情感化ai对话与主动安抚包括：建立情绪概率模型：

24、

25、其中为情绪分类器对第i类情绪的输出logit值，t为温度系数，c为情绪类别总数，为识别为第i类情绪的概率；当识别到用户低落情绪对应的概率超过预设阈值（例如t=0.6）时，自动从所述记忆库中选取符合逝者性格的安抚语句进行主动对话；

26、所述情绪识别采用多模态融合机制，综合语音情绪特征、面部微表情特征及可选的生理信号特征，通过加权融合得到最终情绪状态向量：

27、

28、其中权重系数满足且，当任一单模态特征置信度低于阈值时，自动降低对应权重并提升其他模态权重，以确保情绪识别鲁棒性。

29、优选地，所述步骤s5中ar实景全息透视投影包括：利用slam技术建立现实场景三维空间地图，，为第i个三维空间特征点；将数字人模型锚定至用户指定的家中真实位置；显示融合满足

30、

31、其中i(x,y)为最终显示像素值，d(x,y)为数字人模型在像素点(x,y)的渲染值，r(x,y)为现实场景在对应位置的像素值；所述融合系数根据环境亮度l自适应调整，满足

32、

33、其中>0为比例常数，为偏置项，函数表示将取值限制在[0,1]区间内，通过深度传感器获取现实场景深度图，与数字人模型深度进行逐像素比较，当时，令实现真实物体对虚拟数字人的正确遮挡；同时采集环境光源方向与色温，对数字人模型渲染施加相同方向与色温的光照补偿，使虚拟形象的光影与现实环境一致。

34、优选地，所述步骤s6中定向私密发声采用波束形成算法，针对由n个发声单元组成的均匀线阵，其波束方向图函数，为：

35、

36、其中，为相对于阵列法线的方位角，为第i个发声单元的复数权重，j为虚数单位，为声波波长，为第i个发声单到参考点的距离；通过配置所述权重使合成声波的主瓣宽度限制在佩戴者耳部，范围内，旁瓣衰减大于20db，且所述权重通过最小化旁瓣能量与主瓣能量之比pslr优化得到，从而实现外部人员无法听见的私密发声。

37、优选地，所述步骤s3中全数据本地加密存储具体包括：所有照片、语音、三维数字人模型、性格记忆库数据均采用aes-256动态密钥加密，密文c生成，表示为，其中d为待加密的明文数据，k为动态生成的256位密钥，所述密钥k由本地安全环境根据用户生物特征（指纹或虹膜）；

38、通过密钥派生函数kdf派生满足ksalt，其中salt为随机盐值；加密后的数据仅存储于本地内置安全存储区或配对手机的本地可信执行环境中，全程无联网传输，且生物特征不匹配则密钥无法重构；

39、建立访问控制白名单，仅允许经生物特征认证的用户访问数据；连续n次认证失败后触发数据自毁机制，安全存储区内的密钥及密文被不可逆擦除，且支持物理防拆检测，一旦检测到非法拆解，立即切断电源并锁定存储区。

40、优选地，所述低功耗管理步骤中监测用户佩戴状态，当检测到未佩戴超过预设时间时，自动关闭ar投影与定向发声，仅保留低功耗监听；当检测到再次佩戴或发出唤醒词时，在500ms内恢复全功能运行；所述低功耗管理使连续运行续航时间不低于8小时。

41、与现有技术相比，本发明具备以下优点：

42、1、本发明通过设置轻量化建模流程，基于端侧设备即可完成三维数字人重建与原声音色克隆，无需上传敏感数据至云端，规避了数据泄露风险，又摆脱了网络环境限制，满足用户即时缅怀的需求，同时保证了建模的精度与运行效率，适配眼镜端侧的有限算力，通过私密发声，既实现了虚拟数字人与真实场景的自然虚实融合，又保障了交互过程的私密性，让用户可以在日常家庭环境中获得沉浸私密的缅怀体验，适配多场景的使用需求。

43、2、本发明通过设置全数据端侧加密存储机制，敏感纪念数据均加密存储于本地可控空间，密钥由用户独有生物特征派生，全程无联网传输，既实现了用户对数据的完全自持控制，通过数据自毁与防拆机制进一步保障了隐私安全，避免了第三方平台存储带来的泄露风险，通过构建个性化专属记忆库与多模态情绪感知机制，生成符合逝者性格、语气与专属话术的个性化对话，还能在识别到用户情绪低落时主动发起符合逝者风格的安抚交流，提升了交互的自然度与情感共鸣，满足了亲属纪念场景下的情感慰藉需求。