1.本发明涉及移动通信领域，尤其涉及一种深度图像置信度计算方法、设备及计算机可读存储介质。
背景技术：
：：2.现有技术中，随着智能终端设备的不断发展，手机等移动端的景深拍摄功能越来越受用户的欢迎。3.但是，受成像原理所限，通过tof深度相机的传感器捕获的深度图像往往具有较为严重的噪声和较差的稳定性，甚至存在局部深度信息缺失(深度图像存在孔洞)等现象。4.上述特性严重限制了基于tof的深度图像的进一步应用。现有方案中，对tof捕获的深度图像进行降噪等处理往往需要先逐像素点估计其置信度。而传统的tof深度图像置信度估计方法，往往需要结合高精度深度图像传感器进行数据采集。高精度传感器价格昂贵，集成困难，且采集到的高精度深度图像需要与tof捕获的深度图像配准后才可用于tof深度图像置信度估计，无论是从硬件上还是软件上，研发流程均较为复杂，成本高昂，不利于终端设备的集成化应用。技术实现要素：5.为了解决现有技术中的上述技术缺陷，本发明提出了一种深度图像置信度计算方法，该方法包括：6.在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集。7.在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息。8.以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。9.将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。10.可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：11.在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像。12.在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。13.可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：14.在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列。15.获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。16.可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：17.获取所述深度图像在所述像素点位的所述深度值。18.根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。19.可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，还包括：20.获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息。21.根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。22.可选地，所述以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型，包括：23.使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件。24.将所述网络模型的结构和参数进行固化保存。25.可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，包括：26.恢复经固化保存的所述网络模型的结构和参数。27.获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。28.可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，还包括：29.将所述特征信息输入至经恢复后的所述网络模型。30.将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。31.本发明还提出了一种深度图像置信度计算设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的深度图像置信度计算方法的步骤。32.本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有深度图像置信度计算程序，深度图像置信度计算程序被处理器执行时实现如上述任一项所述的深度图像置信度计算方法的步骤。33.实施本发明的深度图像置信度计算方法、设备及计算机可读存储介质，通过在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。附图说明34.下面将结合附图及实施例对本发明作进一步说明，附图中：35.图1是本发明涉及的一种移动终端的硬件结构示意图；36.图2是本发明实施例提供的一种通信网络系统架构图；37.图3是本发明深度图像置信度计算方法第一实施例的流程图；38.图4是本发明深度图像置信度计算方法第二实施例的流程图；39.图5是本发明深度图像置信度计算方法第三实施例的流程图；40.图6是本发明深度图像置信度计算方法第四实施例的流程图；41.图7是本发明深度图像置信度计算方法第五实施例的流程图；42.图8是本发明深度图像置信度计算方法第六实施例的流程图；43.图9是本发明深度图像置信度计算方法第七实施例的流程图；44.图10是本发明深度图像置信度计算方法第八实施例的流程图。具体实施方式45.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。46.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。47.终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字tv、台式计算机等固定终端。48.后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。49.请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：rf(radiofrequency，射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。50.下面结合图1对移动终端的各个部件进行具体的介绍：51.射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000，码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess，时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution，频分双工长期演进)和tdd-lte(timedivisionduplexing-longtermevolution，分时双工长期演进)等。52.wifi属于短距离无线传输技术，移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。53.音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。54.a/v输入单元104用于接收音频或视频信号。a/v输入单元104可以包括图形处理器(graphicsprocessingunit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。55.移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。56.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。57.用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。58.进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。59.接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。60.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。61.处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。62.移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。63.尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。64.为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络系统进行描述。65.请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的lte系统，该lte系统包括依次通讯连接的ue(userequipment，用户设备)201，e-utran(evolvedumtsterrestrialradioaccessnetwork，演进式umts陆地无线接入网)202，epc(evolvedpacketcore，演进式分组核心网)203和运营商的ip业务204。66.具体地，ue201可以是上述终端100，此处不再赘述。67.e-utran202包括enodeb2021和其它enodeb2022等。其中，enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接，enodeb2021连接到epc203，enodeb2021可以提供ue201到epc203的接入。68.epc203可以包括mme(mobilitymanagemententity，移动性管理实体)2031，hss(homesubscriberserver，归属用户服务器)2032，其它mme2033，sgw(servinggateway，服务网关)2034，pgw(pdngateway，分组数据网络网关)2035和pcrf(policyandchargingrulesfunction，政策和资费功能实体)2036等。其中，mme2031是处理ue201和epc203之间信令的控制节点，提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送，pgw2035可以提供ue201的ip地址分配以及其它功能，pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。69.ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem，ip多媒体子系统)或其它ip业务等。70.虽然上述以lte系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于lte系统，也可以适用于其他无线通信系统，例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统等，此处不做限定。71.基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实施例。72.实施例一73.图3是本发明深度图像置信度计算方法第一实施例的流程图。一种深度图像置信度计算方法，该方法包括：74.s1、在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集。75.s2、在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息。76.s3、以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。77.s4、将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。78.在本实施例中，提出一种网络模型及训练方法，用于单帧深度图像逐像素点置信度，过程中不需要高精度深度图像传感器支持，可用于快速获取深度图像置信度信息。79.在本实施例中，具体的，首先，提出数据集建立流程，包括彩色图像及深度图像序列采集，以及计算深度图像置信度标签数据；然后，对单帧深度图像置信度进行计算，包括建立上述数据集，输入图像特提取，建立网络模型，网络模型、固化训练，以及，使用网络模型获取单帧深度图像置信度；最后，针对当前的图像帧，使用网络模型获取深度图像置信度，包括恢复网络模型结构与参数，获取输入图像，输入图像特提取，特征输入网络模型，以及，获取网络模型输出。80.在本实施例中，上述深度图像置信度计算方案可以实现基于单帧的网络模型置信度计算，基于tof分辨率低数据量小的特点，计算速度快，实时性更好。81.本实施例的有益效果在于，通过在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。82.实施例二83.图4是本发明深度图像置信度计算方法第二实施例的流程图，基于上述实施例，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：84.s11、在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像。85.s12、在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。86.在本实施例中，在不同场景、不同拍摄角度下，采集一系列图像集合，该图像集合包含rgb彩色图像及tof深度图像；87.其中，同一场景，同一角度下，采集一帧rgb彩色图像，及该彩色图像采集期间对应的连续的多帧tof深度图像；所捕获的图像集表述为：88.images＝{images1,images2,……,imagesn}。89.imagesi＝{rgb_imagei,tof_imagei,1,tof_imagei,2,……,tof_imagei,m}。90.所述图像集中供包含n个场景或视角下所采集的rgb彩色图像及tof深度图像，每个场景或视角下1帧彩色图像及m张深度图像；所述深度图像集中共包含n＝n*(m 1)张图像。91.其中，n、m、n应满足约束条件：92.n≥n_th。93.m≥m_th。94.n≥n_th。95.其中，n_th、m_th、n_th为既定阈值参数。96.本实施例的有益效果在于，通过在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像；在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。97.实施例三98.图5是本发明深度图像置信度计算方法第三实施例的流程图，基于上述实施例，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：99.s13、在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列。100.s14、获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。101.在本实施例中，基于多帧深度图像获取图像集对应的标签集；针对图像数据集中的每一个场景或角度下采集的深度图像序列，计算其标签数据tof_lablei。102.tof_lables＝{tof_lable1,tof_lable2,……,tof_lablen}。103.tof_lablei＝var(tof_imagei)。[0104][0105][0106]将所获取的图像集及通过预处理获取得对应的标签集组合形成数据集：[0107]data＝{images,tof_lables}。[0108]本实施例的有益效果在于，通过在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列；获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0109]实施例四[0110]图6是本发明深度图像置信度计算方法第四实施例的流程图，基于上述实施例，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：[0111]s21、获取所述深度图像在所述像素点位的所述深度值。[0112]s22、根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。[0113]在本实施例中，对所述数据集中的彩色图像及深度图像进行特征提取，包括建立逐像素点point(i,j)的特征集合featuresi,j：[0114]featuresi,j＝{featurei,j,1，featursi,j,2，……}。[0115]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的深度值：[0116]featurei,j,1＝tof_image(i,j)。[0117]所述特征集合包括但不仅限于所述彩色图像在像素点位point(i,j)处的彩色值：[0118][0119]其中，(hrgb,wrgb)、(htof,wtof)为rgb彩色图像及tof深度图像的分辨率。[0120]本实施例的有益效果在于，通过获取所述深度图像在所述像素点位的所述深度值；根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0121]实施例五[0122]图7是本发明深度图像置信度计算方法第五实施例的流程图，基于上述实施例，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，还包括：[0123]s23、获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息。[0124]s24、根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。[0125]在本实施例中，所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的径向距离：[0126][0127]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的导向信息：[0128]featurei,j,4＝tof_image(i,j)-tof_image(i 1,j)。[0129]featurei,j,5＝tof_image(i,j)-tof_image(i,j 1)。[0130]featurei,j,6＝tof_image(i,j)-tof_image(i-1,j)。[0131]featurei,j,5＝tof_image(i,j)-tof_image(i,j-1)。[0132]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的边缘信息：[0133]featurei,j,4＝canny(tof_image)(i,j)。[0134]本实施例的有益效果在于，通过获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息；根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0135]实施例六[0136]图8是本发明深度图像置信度计算方法第六实施例的流程图，基于上述实施例，所述以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型，包括：[0137]s31、使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件。[0138]s32、将所述网络模型的结构和参数进行固化保存。[0139]在本实施例中，建立网络模型，该网络模型包括但不仅限于贝叶斯网络模型，随机森林模型、神经网络模型等。例如：[0140]net_in＝featuresi,j。[0141]net_out＝confi,j。[0142]ground_truth＝tof_lable(i,j)。[0143][0144]其中，该模型输入net_in为像素点位为point(i,j)的特征信息，即，上述实施例中提取所提取的featuresi,j。[0145]输出net_out为像素点位point(i,j)的置信度信息confi,j。[0146]标签数据ground_truth为数据集中标签数据在该像素点位的置信度值tof_lable(i,j)。[0147]损失函数为网络输出confi,j与标签数据ground_truth的欧氏距离。[0148]在本实施例中，使用数据集data对网络模型进行训练，至网络模型的损失函数满足约束条件：[0149]loss《loss_th。[0150]其中，loss_th为既定阈值参数，例如，loss_th＝0.01。[0151]最后，将网络模型结构及参数进行固化保存。[0152]本实施例的有益效果在于，通过使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件；将所述网络模型的结构和参数进行固化保存。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0153]实施例七[0154]图9是本发明深度图像置信度计算方法第七实施例的流程图，基于上述实施例，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，包括：[0155]s41、恢复经固化保存的所述网络模型的结构和参数。[0156]s42、获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。[0157]在本实施例中，首先，将固化保存的网络模型结构及参数进行恢复；然后，获取当前单帧tof深度图像及其对应的rgb彩色图像；最后，对当前单帧tof深度图像及其对应的rgb彩色图像逐像素点的进行特征提取。[0158]本实施例的有益效果在于，通过恢复经固化保存的所述网络模型的结构和参数；获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0159]实施例八[0160]图10是本发明深度图像置信度计算方法第八实施例的流程图，基于上述实施例，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，还包括：[0161]s43、将所述特征信息输入至经恢复后的所述网络模型。[0162]s44、将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。[0163]在本实施例中，首先，将当前逐像素点特征输入至网络模型；然后，获取网络输出，即为当前深度图像逐像素点置信度参数；[0164]本实施例的有益效果在于，通过将所述特征信息输入至经恢复后的所述网络模型；将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0165]实施例九[0166]基于上述实施例，本发明还提出了一种深度图像置信度计算设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的深度图像置信度计算方法的步骤。[0167]需要说明的是，上述设备实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在设备实施例中均对应适用，这里不再赘述。[0168]实施例十[0169]基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有深度图像置信度计算程序，深度图像置信度计算程序被处理器执行时实现如上述任一项所述的深度图像置信度计算方法的步骤。[0170]需要说明的是，上述介质实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在介质实施例中均对应适用，这里不再赘述。[0171]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。[0172]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0173]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。[0174]上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。当前第1页12当前第1页12
背景技术：
：：2.现有技术中，随着智能终端设备的不断发展，手机等移动端的景深拍摄功能越来越受用户的欢迎。3.但是，受成像原理所限，通过tof深度相机的传感器捕获的深度图像往往具有较为严重的噪声和较差的稳定性，甚至存在局部深度信息缺失(深度图像存在孔洞)等现象。4.上述特性严重限制了基于tof的深度图像的进一步应用。现有方案中，对tof捕获的深度图像进行降噪等处理往往需要先逐像素点估计其置信度。而传统的tof深度图像置信度估计方法，往往需要结合高精度深度图像传感器进行数据采集。高精度传感器价格昂贵，集成困难，且采集到的高精度深度图像需要与tof捕获的深度图像配准后才可用于tof深度图像置信度估计，无论是从硬件上还是软件上，研发流程均较为复杂，成本高昂，不利于终端设备的集成化应用。技术实现要素：5.为了解决现有技术中的上述技术缺陷，本发明提出了一种深度图像置信度计算方法，该方法包括：6.在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集。7.在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息。8.以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。9.将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。10.可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：11.在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像。12.在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。13.可选地，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：14.在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列。15.获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。16.可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：17.获取所述深度图像在所述像素点位的所述深度值。18.根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。19.可选地，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，还包括：20.获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息。21.根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。22.可选地，所述以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型，包括：23.使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件。24.将所述网络模型的结构和参数进行固化保存。25.可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，包括：26.恢复经固化保存的所述网络模型的结构和参数。27.获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。28.可选地，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，还包括：29.将所述特征信息输入至经恢复后的所述网络模型。30.将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。31.本发明还提出了一种深度图像置信度计算设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的深度图像置信度计算方法的步骤。32.本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有深度图像置信度计算程序，深度图像置信度计算程序被处理器执行时实现如上述任一项所述的深度图像置信度计算方法的步骤。33.实施本发明的深度图像置信度计算方法、设备及计算机可读存储介质，通过在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。附图说明34.下面将结合附图及实施例对本发明作进一步说明，附图中：35.图1是本发明涉及的一种移动终端的硬件结构示意图；36.图2是本发明实施例提供的一种通信网络系统架构图；37.图3是本发明深度图像置信度计算方法第一实施例的流程图；38.图4是本发明深度图像置信度计算方法第二实施例的流程图；39.图5是本发明深度图像置信度计算方法第三实施例的流程图；40.图6是本发明深度图像置信度计算方法第四实施例的流程图；41.图7是本发明深度图像置信度计算方法第五实施例的流程图；42.图8是本发明深度图像置信度计算方法第六实施例的流程图；43.图9是本发明深度图像置信度计算方法第七实施例的流程图；44.图10是本发明深度图像置信度计算方法第八实施例的流程图。具体实施方式45.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。46.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。47.终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字tv、台式计算机等固定终端。48.后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。49.请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：rf(radiofrequency，射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。50.下面结合图1对移动终端的各个部件进行具体的介绍：51.射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000，码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess，时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution，频分双工长期演进)和tdd-lte(timedivisionduplexing-longtermevolution，分时双工长期演进)等。52.wifi属于短距离无线传输技术，移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。53.音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。54.a/v输入单元104用于接收音频或视频信号。a/v输入单元104可以包括图形处理器(graphicsprocessingunit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。55.移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。56.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。57.用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。58.进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。59.接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。60.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。61.处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。62.移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。63.尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。64.为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络系统进行描述。65.请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的lte系统，该lte系统包括依次通讯连接的ue(userequipment，用户设备)201，e-utran(evolvedumtsterrestrialradioaccessnetwork，演进式umts陆地无线接入网)202，epc(evolvedpacketcore，演进式分组核心网)203和运营商的ip业务204。66.具体地，ue201可以是上述终端100，此处不再赘述。67.e-utran202包括enodeb2021和其它enodeb2022等。其中，enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接，enodeb2021连接到epc203，enodeb2021可以提供ue201到epc203的接入。68.epc203可以包括mme(mobilitymanagemententity，移动性管理实体)2031，hss(homesubscriberserver，归属用户服务器)2032，其它mme2033，sgw(servinggateway，服务网关)2034，pgw(pdngateway，分组数据网络网关)2035和pcrf(policyandchargingrulesfunction，政策和资费功能实体)2036等。其中，mme2031是处理ue201和epc203之间信令的控制节点，提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送，pgw2035可以提供ue201的ip地址分配以及其它功能，pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。69.ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem，ip多媒体子系统)或其它ip业务等。70.虽然上述以lte系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于lte系统，也可以适用于其他无线通信系统，例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统等，此处不做限定。71.基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实施例。72.实施例一73.图3是本发明深度图像置信度计算方法第一实施例的流程图。一种深度图像置信度计算方法，该方法包括：74.s1、在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集。75.s2、在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息。76.s3、以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型。77.s4、将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。78.在本实施例中，提出一种网络模型及训练方法，用于单帧深度图像逐像素点置信度，过程中不需要高精度深度图像传感器支持，可用于快速获取深度图像置信度信息。79.在本实施例中，具体的，首先，提出数据集建立流程，包括彩色图像及深度图像序列采集，以及计算深度图像置信度标签数据；然后，对单帧深度图像置信度进行计算，包括建立上述数据集，输入图像特提取，建立网络模型，网络模型、固化训练，以及，使用网络模型获取单帧深度图像置信度；最后，针对当前的图像帧，使用网络模型获取深度图像置信度，包括恢复网络模型结构与参数，获取输入图像，输入图像特提取，特征输入网络模型，以及，获取网络模型输出。80.在本实施例中，上述深度图像置信度计算方案可以实现基于单帧的网络模型置信度计算，基于tof分辨率低数据量小的特点，计算速度快，实时性更好。81.本实施例的有益效果在于，通过在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集；在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息；以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型；将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。82.实施例二83.图4是本发明深度图像置信度计算方法第二实施例的流程图，基于上述实施例，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，包括：84.s11、在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像。85.s12、在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。86.在本实施例中，在不同场景、不同拍摄角度下，采集一系列图像集合，该图像集合包含rgb彩色图像及tof深度图像；87.其中，同一场景，同一角度下，采集一帧rgb彩色图像，及该彩色图像采集期间对应的连续的多帧tof深度图像；所捕获的图像集表述为：88.images＝{images1,images2,……,imagesn}。89.imagesi＝{rgb_imagei,tof_imagei,1,tof_imagei,2,……,tof_imagei,m}。90.所述图像集中供包含n个场景或视角下所采集的rgb彩色图像及tof深度图像，每个场景或视角下1帧彩色图像及m张深度图像；所述深度图像集中共包含n＝n*(m 1)张图像。91.其中，n、m、n应满足约束条件：92.n≥n_th。93.m≥m_th。94.n≥n_th。95.其中，n_th、m_th、n_th为既定阈值参数。96.本实施例的有益效果在于，通过在同一拍摄场景和同一拍摄角度下，采集一帧彩色图像，及所述一帧彩色图像采集期间对应的连续的多帧深度图像；在多个拍摄场景或多个拍摄角度下，采集多组所述一帧彩色图像和对应的所述多帧深度图像，组成深度图像集。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。97.实施例三98.图5是本发明深度图像置信度计算方法第三实施例的流程图，基于上述实施例，所述在不同拍摄场景和不同拍摄角度下，采集包含彩色图像和深度图像的图像集，以及获取所述图像集对应的标签集所组成的数据集，还包括：99.s13、在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列。100.s14、获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。101.在本实施例中，基于多帧深度图像获取图像集对应的标签集；针对图像数据集中的每一个场景或角度下采集的深度图像序列，计算其标签数据tof_lablei。102.tof_lables＝{tof_lable1,tof_lable2,……,tof_lablen}。103.tof_lablei＝var(tof_imagei)。[0104][0105][0106]将所获取的图像集及通过预处理获取得对应的标签集组合形成数据集：[0107]data＝{images,tof_lables}。[0108]本实施例的有益效果在于，通过在所述深度图像集中，确定每一个所述拍摄场景或每一个所述拍摄角度下采集的深度图像序列；获取所述深度图像序列对应的标签数据，将所述深度图像集和所述标签数据组成所述数据集。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0109]实施例四[0110]图6是本发明深度图像置信度计算方法第四实施例的流程图，基于上述实施例，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，包括：[0111]s21、获取所述深度图像在所述像素点位的所述深度值。[0112]s22、根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。[0113]在本实施例中，对所述数据集中的彩色图像及深度图像进行特征提取，包括建立逐像素点point(i,j)的特征集合featuresi,j：[0114]featuresi,j＝{featurei,j,1，featursi,j,2，……}。[0115]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的深度值：[0116]featurei,j,1＝tof_image(i,j)。[0117]所述特征集合包括但不仅限于所述彩色图像在像素点位point(i,j)处的彩色值：[0118][0119]其中，(hrgb,wrgb)、(htof,wtof)为rgb彩色图像及tof深度图像的分辨率。[0120]本实施例的有益效果在于，通过获取所述深度图像在所述像素点位的所述深度值；根据所述彩色图像和所述深度图像的分辨率获取所述彩色图像在所述像素点位的所述彩色值。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0121]实施例五[0122]图7是本发明深度图像置信度计算方法第五实施例的流程图，基于上述实施例，所述在所述数据集中建立像素点位的特征信息的特征集合，其中，所述特征集合包括深度值、彩色值、径向距离、导向信息以及边缘信息，还包括：[0123]s23、获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息。[0124]s24、根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。[0125]在本实施例中，所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的径向距离：[0126][0127]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的导向信息：[0128]featurei,j,4＝tof_image(i,j)-tof_image(i 1,j)。[0129]featurei,j,5＝tof_image(i,j)-tof_image(i,j 1)。[0130]featurei,j,6＝tof_image(i,j)-tof_image(i-1,j)。[0131]featurei,j,5＝tof_image(i,j)-tof_image(i,j-1)。[0132]所述特征集合包括但不仅限于所述深度图像在像素点位point(i,j)处的边缘信息：[0133]featurei,j,4＝canny(tof_image)(i,j)。[0134]本实施例的有益效果在于，通过获取所述深度图像在所述像素点位的所述导向信息和所述边缘信息；根据所述深度值、所述彩色值、所述径向距离、所述导向信息以及所述边缘信息建立逐像素点的所述特征集合。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0135]实施例六[0136]图8是本发明深度图像置信度计算方法第六实施例的流程图，基于上述实施例，所述以所述像素点位的所述特征信息为输入、所述像素点位的置信度信息为输出、所述置信度信息与所述像素点位的标签数据的欧式距离为损失函数，创建预设的网络模型，包括：[0137]s31、使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件。[0138]s32、将所述网络模型的结构和参数进行固化保存。[0139]在本实施例中，建立网络模型，该网络模型包括但不仅限于贝叶斯网络模型，随机森林模型、神经网络模型等。例如：[0140]net_in＝featuresi,j。[0141]net_out＝confi,j。[0142]ground_truth＝tof_lable(i,j)。[0143][0144]其中，该模型输入net_in为像素点位为point(i,j)的特征信息，即，上述实施例中提取所提取的featuresi,j。[0145]输出net_out为像素点位point(i,j)的置信度信息confi,j。[0146]标签数据ground_truth为数据集中标签数据在该像素点位的置信度值tof_lable(i,j)。[0147]损失函数为网络输出confi,j与标签数据ground_truth的欧氏距离。[0148]在本实施例中，使用数据集data对网络模型进行训练，至网络模型的损失函数满足约束条件：[0149]loss《loss_th。[0150]其中，loss_th为既定阈值参数，例如，loss_th＝0.01。[0151]最后，将网络模型结构及参数进行固化保存。[0152]本实施例的有益效果在于，通过使用所述数据集对所述网络模型进行训练，直至所述损失函数满足预设的约束条件；将所述网络模型的结构和参数进行固化保存。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0153]实施例七[0154]图9是本发明深度图像置信度计算方法第七实施例的流程图，基于上述实施例，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，包括：[0155]s41、恢复经固化保存的所述网络模型的结构和参数。[0156]s42、获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。[0157]在本实施例中，首先，将固化保存的网络模型结构及参数进行恢复；然后，获取当前单帧tof深度图像及其对应的rgb彩色图像；最后，对当前单帧tof深度图像及其对应的rgb彩色图像逐像素点的进行特征提取。[0158]本实施例的有益效果在于，通过恢复经固化保存的所述网络模型的结构和参数；获取所述单帧深度图像和所述单帧深度图像对应的多帧彩色图像的像素点位的特征信息。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0159]实施例八[0160]图10是本发明深度图像置信度计算方法第八实施例的流程图，基于上述实施例，所述将当前的单帧深度图像以及所述单帧深度图像对应的彩色图像的逐像素点特征输入至所述网络模型，得到当前的深度图像的逐像素点置信度参数，还包括：[0161]s43、将所述特征信息输入至经恢复后的所述网络模型。[0162]s44、将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。[0163]在本实施例中，首先，将当前逐像素点特征输入至网络模型；然后，获取网络输出，即为当前深度图像逐像素点置信度参数；[0164]本实施例的有益效果在于，通过将所述特征信息输入至经恢复后的所述网络模型；将所述网络模型的网络输出作为所述单帧深度图像的像素点位的置信度参数。实现了一种基于tof，计算速度快、实时性更好的深度图像置信度计算方案，极大地增强了用户的相机使用体验。[0165]实施例九[0166]基于上述实施例，本发明还提出了一种深度图像置信度计算设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的深度图像置信度计算方法的步骤。[0167]需要说明的是，上述设备实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在设备实施例中均对应适用，这里不再赘述。[0168]实施例十[0169]基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有深度图像置信度计算程序，深度图像置信度计算程序被处理器执行时实现如上述任一项所述的深度图像置信度计算方法的步骤。[0170]需要说明的是，上述介质实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在介质实施例中均对应适用，这里不再赘述。[0171]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。[0172]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0173]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。[0174]上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
