一种俯拍成像照明装置、用餐图像采集控制方法及系统与流程
本发明涉及照明与图像采集,特别涉及一种安装于桌面上方、用于对桌面区域进行固定视角俯视图像采集的俯拍成像照明装置,以及用于该装置的用餐图像采集控制方法和系统。
背景技术:
1、记录家庭成员的日常饮食是营养管理和健康看护的基础。现有的饮食记录方式主要有两类:一类依赖用户手动拍照或录入,难以长期坚持,且拍摄距离、角度和光线各不相同,图像难以用于定量分析;另一类依靠佩戴式设备或专用餐具,覆盖范围有限,难以同时记录一个家庭多名成员的用餐情况。
2、现有技术中已有将摄像头与灯泡相结合的方案。美国专利us8562158b2和us9228731b2公开了在螺口led灯泡内设置摄像头的装置,其摄像头可伸缩、旋转或通过球形接头调节朝向;美国专利us9172917b1公开了通过灯口取电的网络摄像头,其镜头经软管接头调节朝向;pct申请wo2009129664a1公开了在射灯杯中央嵌入镜头、一圈led灯装于杯内壁的摄像装置;美国专利us9497421b2公开了一种摄像灯,多个led围绕镜头分布,镜头与其周围的光源表面基本齐平。
3、在需要以固定高度和固定角度对灯具正下方的桌面区域(例如餐桌上的餐具与食物)重复进行近距离图像采集、并据此识别物体轮廓和估算尺寸的应用场景中,申请人发现以下问题尚待解决:其一,朝向可调的摄像头在每次调节后视角与桌面的关系都会改变,需要重新标定,且视角不垂直时画面存在透视畸变,影响以桌面上已知尺寸的物体作为尺度参照的估算精度;其二,发光元件与镜头距离较近时,镜头与光源表面齐平或镜头偏置的布置使发光元件的光线能够直接射入镜头,形成眩光并降低画面对比度;其三,镜头经透光罩成像时,透光罩对光源的散射和罩上的污渍会叠加在画面上;其四,光源与镜头不同轴时,被摄物体的阴影偏向一侧,照度分布不均;其五,灯泡内光源的功率远大于成像和通信电子的功率,光源的热量在封闭壳体内向成像与通信电子传导,会缩短电子元件寿命并影响图像传感器的工作稳定性。
4、此外,用于安防的摄像装置或者持续录像并上传视频流,数据量大、功耗高,且对家庭隐私构成持续威胁;或者由设备自行进行移动侦测并在触发时录像。对于用餐记录而言,由设备自行判断并自行开始采集意味着一次误判就会产生一段无端的图像采集;而把画面持续传到服务器再判断,带宽和隐私都不可接受。现有技术尚未提供一种既不在设备上做复杂判断、又不向服务器持续传输画面、且误判不会开启图像序列采集的采集控制方式。
5、为此,我们提出一种俯拍成像照明装置、用餐图像采集控制方法及系统。
技术实现思路
1、本发明的主要目的是提出一种俯拍成像照明装置、用餐图像采集控制方法及系统,旨在解决背景技术中提到的问题。
2、为实现上述目的,本发明提出的俯拍成像照明装置,包括安装部、壳体、光源组件、摄像头模组、控制单元和无线通信模块;所述安装部设于所述壳体的一端,用于将所述装置固定于桌面上方的安装面并取电;所述光源组件设于所述壳体的背离所述安装部的一侧,包括灯板和设于所述灯板的背离所述安装部的一侧的多个发光元件;所述摄像头模组设于所述壳体的背离所述安装部的一端,所述摄像头模组的镜头位于所述多个发光元件所围绕的区域内,所述镜头的光轴朝向背离所述安装部的方向;所述镜头与所述发光元件之间设有遮光结构,所述遮光结构沿所述光轴方向凸出于所述发光元件的发光面并环绕所述镜头,使任一所述发光元件的发光面与所述镜头的入光面之间的直线均被所述遮光结构截断;所述控制单元和所述无线通信模块设于所述壳体内并与所述摄像头模组电连接,所述控制单元被配置为:基于所述摄像头模组输出的降采样画面在所述装置本地检测桌前是否有人,据此生成开始试探信号或结束试探信号并经所述无线通信模块上报服务器,且仅在收到所述服务器对相应试探信号的确认后开启或关闭所述摄像头模组所拍摄图像的上传通道。
3、可选地,所述安装部为灯座,所述灯座用于旋入或插入灯口以取电并将所述装置固定于灯口。
4、可选地,所述安装部为吸顶安装座、嵌入式筒灯安装结构或吊装结构,所述装置通过电源线或外接电源适配器取电。
5、可选地,所述镜头的光轴与所述装置的中心轴线重合,且所述镜头的光轴方向相对于所述壳体不可调。
6、可选地,还包括散热器和镜头壳,所述散热器设置于所述壳体的背离所述安装部的一侧,并与所述壳体连接,所述灯板贴设于所述散热器的背离所述安装部的一侧,所述灯板的中心设有中央通孔,所述镜头壳位于所述灯板的背离所述安装部的一侧并与所述中央通孔相对设置,所述镜头壳相对于所述灯板固定,所述摄像头模组固定于所述镜头壳内,所述遮光结构为所述镜头壳的凸出于所述发光面的遮光段。
7、可选地,还包括灯罩,所述灯罩罩设于所述发光元件的背离所述安装部的一侧,所述灯罩的底壁设有通孔,所述遮光段的末端伸入所述通孔,使所述镜头的成像光路不经过所述灯罩的透光壁。
8、可选地,所述控制单元和所述无线通信模块设于功能主板上,所述功能主板设于所述散热器的靠近所述安装部的一侧并与所述散热器之间留有间隙,所述间隙内设有隔热层;所述壳体的外周壁在所述隔热层的靠近所述安装部的一侧设有多个侧向开口,所述侧向开口与所述功能主板所在的空间连通;所述壳体的靠近所述安装部的一端设有多个散热槽,所述侧向开口与所述散热槽之间经由所述隔热层的靠近所述安装部一侧的内腔形成气流通道,所述隔热层将所述气流通道与所述散热器及所述灯板所在的空间隔开。
9、可选地,所述控制单元还被配置为:在对整幅所述降采样画面的检测未检出人时,将所述降采样画面划分为多个相互重叠的子区域,对各所述子区域分别检测,并将各子区域的检测结果与整幅画面的检测结果合并去重。
10、本发明还提出另一种俯拍成像照明装置,包括安装部、壳体、灯板、多个发光元件、镜头壳、摄像头模组和灯罩;所述安装部设于所述壳体的一端,用于将所述装置固定于桌面上方的安装面并取电;所述灯板设于所述壳体的背离所述安装部的一侧,所述多个发光元件设于所述灯板的背离所述安装部的一侧并围绕所述灯板的中心分布;所述灯板的中心设有中央通孔,所述镜头壳位于所述灯板的背离所述安装部的一侧并与所述中央通孔相对设置,所述镜头壳相对于所述灯板固定,所述摄像头模组固定于所述镜头壳内,所述摄像头模组的镜头位于所述多个发光元件所围绕的区域内,所述镜头的光轴朝向背离所述安装部的方向;所述镜头壳为不透光件并具有沿所述光轴方向凸出于所述发光元件的发光面的遮光段,所述遮光段环绕所述镜头,使任一所述发光元件的发光面与所述镜头的入光面之间的直线均被所述遮光段截断;所述灯罩罩设于所述发光元件的背离所述安装部的一侧,所述灯罩的底壁设有通孔,所述遮光段的末端伸入所述通孔,使所述镜头的成像光路不经过所述灯罩的透光壁。
11、可选地,所述镜头的光轴与所述装置的中心轴线重合且相对于所述壳体不可调;所述安装部为灯座、吸顶安装座、嵌入式筒灯安装结构或吊装结构。
12、本发明还提出一种由采集装置执行的用餐图像采集控制方法,所述方法包括:持续获取所述摄像头模组输出的降采样画面并在所述采集装置本地检测桌前是否有人,所述持续获取与所述本地检测不受图像上传闸门的状态影响;在检测到有人时生成开始试探事件,在连续判定无人的次数达到预设门限时生成结束试探事件;将试探事件对应的试探信号经所述无线通信模块上报服务器;仅在收到所述服务器对开始试探信号的确认时开启所述图像上传闸门,仅在收到所述服务器对结束试探信号的确认时关闭所述图像上传闸门,未获确认的试探信号不改变所述图像上传闸门的状态;仅在所述图像上传闸门开启期间,将用于餐次分析的整帧图像逐张上传至所述服务器为本餐次指定的存储路径,所述图像上传闸门关闭期间不上传用于餐次分析的整帧图像。
13、可选地,新生成的开始试探事件与结束试探事件严格交替;在所述图像上传闸门关闭后,须先经历一次连续判定无人的次数达到所述预设门限的过程,才允许再次生成开始试探事件;用于餐次分析的整帧图像的编码仅在所述图像上传闸门开启期间进行。
14、可选地,所述试探信号至多附带所述摄像头模组当时的一帧图像供所述服务器裁决;用于所述本地检测的所述降采样画面不被存储或上传。
15、可选地,当试探信号发生传输失败时,记录该试探事件的类型,并在下一次得到同向的检测结果时补发该试探信号,所述传输失败包括请求未送达所述服务器、请求已送达但未在预设时长内收到响应、以及收到的响应无法解析;若在补发之前检测结果反转,则清除待补发的试探事件而不补发;当所述服务器明确拒绝开始试探信号时,不重试,直至再次经历一次连续判定无人的次数达到所述预设门限的过程。
16、可选地,在收到所述服务器对开始试探信号的确认后,若开启所述图像上传闸门失败,则保存所述服务器返回的餐次编号,并在下一次试探事件时直接以该餐次编号重试开启所述图像上传闸门,而不上报新的开始试探信号。
17、可选地,所述逐张上传包括:为每张图像分配单调递增且不重复的序号,所述序号在发送前持久化,未成功上传的图像的序号不再使用且不补传;上传与校验完成后即时清除所述采集装置上的本地临时文件;所述本地检测还包括:在对整幅所述降采样画面的检测未检出人时,将所述降采样画面划分为多个相互重叠的子区域分别检测并合并去重。
18、本发明还提出一种由服务器执行的用餐图像采集控制方法,包括:接收安装于桌面上方的采集装置上报的开始试探信号或结束试探信号,所述试探信号由所述采集装置基于本地对桌前是否有人的检测生成;对所接收的试探信号进行裁决,所述裁决至少包括:对于开始试探信号,若该采集装置已存在进行中的餐次,则返回该餐次的编号而不新建餐次,若该采集装置已存在待确认的餐次记录,则复用该记录;对于结束试探信号,若其指向的餐次不存在则拒绝,若其指向的餐次已结束则仅返回确认而不重复结束;同一采集装置在同一时刻仅允许存在一条待确认的餐次记录;对判定成立的试探信号向所述采集装置返回确认,使所述采集装置据此开启或关闭图像上传闸门;在确认开始试探信号时,为本餐次签发专属的存储路径并提供给所述采集装置;接收所述采集装置上传至所述存储路径的图像;在对本餐次的图像启动识别分析之前,冻结所述存储路径下的图像清单,使一次分析对应一份确定的输入。
19、可选地,所述裁决还包括语义裁决:将所述试探信号附带的图像交由识别单元判断桌前是否处于用餐状态,并在预设等待时长内等待判断结果;若在所述预设等待时长内未得到判断结果或所述识别单元不可用,则按确认处理。
20、可选地,所述存储路径为对象存储中以餐次为单位的独立目录,所述图像由所述采集装置直传至所述对象存储,所述独立目录只追加不修改不删除;所述冻结包括:对所述独立目录生成包含对象键、内容标识和大小的快照,识别分析全程以所述快照为准,分析执行中所述快照发生变化时判定本次分析失败。
21、可选地,在所述采集装置持续上传图像的期间,按批次提交识别分析,每一批次的输入为显式列出的对象键列表,所述服务器维护指向最后一个分析成功的对象键的游标,下一批次从所述游标之后开始;同一时刻仅允许一个批次在途;某一批次失败时所述游标不前进,该批次的对象并入下一批次;每一批次返回到当前为止整个餐次的完整状态,所述服务器以之整份覆盖上一批次的状态;餐次结束时提交的整餐分析的输入包括最后成功批次的序号以及所述游标之后尚未被任何批次覆盖的对象键列表。
22、可选地,识别分析产生的身份特征图与过程图上传至与所述独立目录分离的路径;所述识别分析失败时,标记本餐次并记录失败原因,所述独立目录下的图像保持不变且不自动重试,再次分析由显式发起的新一次分析执行并生成独立的记录。
23、本发明还提出一种用餐图像采集系统,包括安装于桌面上方的采集装置和服务器;所述采集装置包括摄像头模组、控制单元和无线通信模块,所述控制单元被配置为执行上述的方法;所述服务器被配置为执行上述的方法。
24、采用本发明的技术方案,具有以下有益效果:第一,装置固定于桌面上方的安装面并从安装面取电,镜头位于发光元件所围区域内并朝向桌面,光源与镜头同轴,被摄物体的阴影分布均匀;遮光结构截断发光元件与镜头之间的直线光路,发光元件的光不能直接射入镜头。第二,采集装置在本地只回答"桌前有没有人"这一件事,不做身份识别、不做内容识别,端侧算力需求极低,且本地判据可随算力演进替换而不影响上层逻辑。第三,感知与决定分离:端侧只产生试探信号,是否成立由服务器结合上下文裁决,传输闸门只对被确认的信号开启或关闭,设备因此不具备自行开启长时间采集的能力,闸门关闭期间不对餐次图像进行编码与上传,不需要向服务器持续传输画面;服务器的结构层裁决防止同一装置重复开餐与重复收餐,在启用语义裁决且返回拒绝结果时,相应试探不会开启上传闸门;闸门关闭后须先经历一次完整的连续无人判定才允许再次发出开始试探信号,避免同一批人刚结束即被重新触发;传输失败与业务拒绝被区分处理,过期的试探不补发,业务拒绝不重试,设备与服务器之间不会因为反复重问而产生第二桌饭。第四,检测与上传是两条独立路径,端侧检测用降采样小图,上传的是整帧原图,端侧算力约束不会传导为分析质量的上限;整幅画面漏检时以重叠子区域重推补捞小目标,不需要更大的模型或更高的输入分辨率。第五,一餐一个只追加的独立存储目录、序号在发送前持久化且单调递增、识别前冻结包含对象键与内容标识的快照,使一次分析对应一份可追溯的确定输入;分批分析以显式对象键列表加游标接续,失败批次并入下一批而不丢失,每批返回整桌完整状态而非增量,收餐时复用累积状态只补算末段;分析失败不隐式重试,每次分析都是独立可追溯的事件;按餐次整体清理图像不需要逐张追踪。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com