双焦距视频的拍摄、处理和显示方法与流程

：
1.本发明涉及一种改进的双焦距视频的拍摄、处理和显示方法。


背景技术：

2.视频节目常采用多机位摄录、切换、剪辑，观看节目内容的主动选择权不在观众手中，播放什么样的画面观众只能被动接受。另外，具有立体感、同时涵盖整体环境和主体细节的视频拍摄更是困难，往往在专业的制作中经过精心的准备才能实现。采用双机的3d视频拍摄需要有更好的稳定措施，一般采用云台支撑定点拍摄，轨道、摇臂移动拍摄，三轴稳定仪移动拍摄的方法，在专业的应用中这是没有问题的。这个人日常的3d拍摄中，受限于精力和成本，经常采用三脚架支撑云台定点拍摄解决稳定性问题，这样的视频往往缺少运动视差，不利于我们后面要应用的单目立体显示。另外，在2d视频移动拍摄中采用的稳定性措施中在双焦距视频或3d视频拍摄中往往是无效的，因为2d视频的防抖措施都是针对一个镜头优化的。对于双焦距视频来说，无论采用三轴稳定、光学防抖、电子防抖技术以及后期编辑软件pr处理，因两个记录设备焦距不同、果冻效应程度不同、算法不同，其防抖之间缺乏协同性，导致左右视图内容产生较大的位置偏离，组合成3d图像时产生眩晕症状。
3.本发明是专利申请202010044619.8的后续发明，在其基础上简化、改进，进一步提升立体感、沉浸感，改善显示效果，使智能手机作为双焦距视频的拍摄工具，更适合个人消费者应用。


技术实现要素：

4.本发明公开了一种双焦距视频的拍摄、处理和显示方法。两个不同等效焦距镜头拍摄的视频，通过时间戳将同一时刻记录的帧图像上下或左右拼接成新的帧图像，重新链接形成双焦距视频。其中较短焦距镜头a拍摄整体场景，较长焦距镜头b拍摄主体细节，a镜头和b镜头之间有大于50mm的水平视差，分别记录左眼视图和右眼视图，两者之间没有垂直视差。b镜头的视野范围包含在a镜头的视野之中，两者重叠的部分通过插值缩放可以组成3d图像对。在一段双焦距视频中，既可以a为左眼视图，b为右眼视图，也可以b为左眼视图，a为右眼视图，还可以a、b混合组成单眼视图，好处在于不同时刻3d视频的低分辨率图像在左右眼中均有分布，有利于缓解双目显示非对称清晰度3d视频时产生的视疲劳。a、b等效焦距并不特指某个值，一般a为广角镜头，b为中长焦镜头，或者b是包含中长焦段的变焦镜头，或者b是包含中长焦镜头在内的定焦镜头组，如超广镜头(4)、主摄标广镜头(5)、中长焦镜头(6)组成的手机多镜头模组(3)。
5.在合适的水平视差位置上，等效焦距a的广角镜头与等效焦距b的中长焦镜头同时拍摄两个视频，镜头a(1)拍摄整体场景(8)，镜头b(2)拍摄主体特写(9)，如图1所示。视频a和视频b具有共同的时间戳，组成双焦距视频，双焦距视频将同一时刻的2幅帧图像上下或左右拼合在一起，按时序组合成新的双焦距视频帧存储，如图2所示。同样，两个视频文件a和b作为一组双焦距视频独立存储也是可行的，它们之间由共同的时间戳链接在一起。视频
a、视频b都属于2d视频，只要视频内容中存在运动视差，就可以通过封闭性单目视觉显示形成立体感觉。通过视频a帧图像(14)截取视频a裁切图像(16)，将视频a裁切放大图像(17)与同时刻的视频b帧图像(15)组成非对称清晰度的双目3d视频，如图3所示。一般来说组成3d视频的左右视图分辨率是相同的，但是，当两者清晰度不同，甚至其中一个图像的分辨率不到另一个的1/2，仍能实现3d显示，清晰度由分辨率高的图像决定，这一特性被本发明称为3d视频的非对称清晰度，利用非对称清晰度3d技术将不同焦距的镜头组合在一起，使手机拍摄双焦距视频和3d视频成为可能。为了解释双焦距视频、非对称清晰度3d、运动视差、单目立体的由来，本段引用了专利申请202010044619.8的描述。
6.本发明中拍摄双焦距视频的便携式设备，是指两台定焦或变焦镜头相机的组合，也可以是能同时录制两个视频、具有不同焦距的多镜头智能手机。行进、平移、围绕等移动拍摄可以增加视频的运动视差，运动视差在双焦距视频中是十分重要的，可以显著增强单目立体显示的立体感和沉浸感。可自由移动拍摄、应用最广泛的摄录器材是多镜头智能手机，本发明的目的之二是公开一种可拍摄双焦距视频的智能手机大视差镜头组。
7.双焦距视频的防抖是难点，果冻效应、电子或光学防抖对长、短焦距视频的影响是不相同的，各自输出的稳定性视频在裁切组合成3d视频的时候，因防抖平滑方向不一致导致3d左右视图融合失调产生眩晕感，因此，对于无附件手持移动拍摄来说，首先需要解决双焦距视频的协同稳定性问题。本发明公开的双焦距视频稳定性方法为：先稳定处理较长焦距的视频b，再用较短焦距视频a帧图像通过放大、平移、旋转等处理后，去图像识别、匹配视频b对应帧，将视频a帧图像进行重定位及等大裁切，与视频b组合成非对称清晰度3d视频；经过了放大、平移及旋转、图像匹配处理后的视频a具备了稳定性，进行最小裁切并缩图处理，形成稳定视频a。
8.双焦距视频的协同防抖对于3d视频来说是必要的，但对于视频a、视频b单目立体显示来说不是必要条件。具体来说，对于拍摄时视频防抖功能均关闭的双焦距视频，按上述的稳定性方法来处理；对于拍摄时视频防抖功能均打开的双焦距视频，上述的稳定性方法可以简化，仅需要完成视频a和视频b帧图像匹配、等大裁切、组合成3d视频等步骤；对于拍摄时仅打开视频a防抖功能的双焦距视频，可以省略视频a最小裁切获得稳定性视频a的过程；对于拍摄时仅打开视频b防抖功能的双焦距视频，可以省略第一步视频b的稳定化过程。对于多镜头智能手机来说，因同时录制双焦距视频的两个摄像头在关闭所有防抖功能后，属于刚性链接，可以利用手机陀螺仪数据稳定视频a和视频b，再将视频a帧图像通过放大、平移、旋转等处理后，去匹配视频b对应帧图像，对视频a进行等大裁切，与视频b组合成非对称清晰度3d视频。
9.在双焦距视频组成的非对称清晰度3d视频中，低分辨率图像a放大倍率较大时，会出现3d显示劣质化问题。具体表现在2倍放大倍率之内，3d视频具有较好的视觉清晰度和舒适度；在更大倍率的3d视频中，视频a因插值放大添加大量错误的高反差细节和轮廓，与视频b在3d融合的视野争斗中处于有利地位，导致3d显示劣化严重，显示清晰度倾向于低分辨率图像。本发明公开了提高非对称清晰度3d视频显示质量的方法：模糊处理视频a裁切放大帧图像(17)，使其在双目视野争斗中处于弱势，仅起到强化立体感的作用，使3d显示清晰度倾向于高分辨率视频b，如图4所示。模糊处理可以采用多种算法，镜头散焦、高斯模糊是更佳的模糊算法。另外，结合视频b利用ai技术提高视频a的分辨率，避免视频a补充的细节出
现不匹配的情况，也是改善3d视频清晰度可行的方法。
10.本发明所述的双目视野争斗，对用户选择双焦距视频的显示模式有明显的影响。常规对称式双目3d两眼视觉均衡，双目2d两眼视觉均衡，单目立体睁开的一只眼获胜，非对称清晰度3d视频高分辨率图像占据优势。闭眼、黑暗、模糊属于弱势，明亮、清晰、高反差属于优势。视野争斗双眼均衡最舒适，一只眼睛压倒性胜利且左右眼依次休息较舒适，一只眼睛有优势弱势眼睛会显疲惫，双眼交替处于优势方会减轻疲惫感。单目双目可切换vr眼镜与双焦距视频有非常好的契合，是其最佳显示手段。
11.双焦距视频包含的图像信息是十分高效和简洁的，从节目源上同时提供：展现整体场景(8)的广角视频a、显示主体特写(9)的中长焦视频b、3d视频，并且移动拍摄的视频中含有显著的运动视差。单目双目可切换vr眼镜可提供双目2d、双目3d、单目立体三种显示方法，其中双目2d和双目3d属于常规显示方法。单目立体是指遮蔽一只眼睛，单目显示具有运动视差的2d视频时，能感觉到画面具有强烈的立体感。更进一步，经本发明探索发现，在大视野、近眼显示、封闭的vr环境下，没有明显运动视差的2d视频在单目立体显示下也具有较好的立体感。双焦距视频应用单目双目可切换vr显示可提供如下视觉体验：
12.1.双目显示非对称清晰度3d视频，立体感最强，优于单目立体，特别是运动视差较少的准静态视频，立体感的优势更加明显；主观上3d视频不能感受到“极近”的体验，往往是放大、推远的感觉，缺乏亲和感；不足在于，大多数长焦特写视频因拍摄时视差不足，其立体感是压缩的，焦距稍长还易出现近小远大的反常透视，立体感适中的少之又少。
13.2.单目立体显示2d视频，立体感更合理更有亲和感，特别是运动视差显著的动态视频，立体感非常强烈；对于视频特写镜头还可获得“触目可及”的极近感觉，让人失去距离感体验到无限“近”和真实，没有“被放大”和压缩感；单目立体的最大优势在于其显示的2d视频内容几乎是无限的，相比于3d视频，拍摄具有运动视差的2d视频极其简单；缺点在于，单目立体的观看舒适度不如常规对称性双目3d和双目2d显示，单目双目可切换vr眼镜提供左右眼切换休息，可以较大程度上提高观看舒适度。
14.3.双目显示2d视频，具有被推远的放大感觉，相比于电影院宽屏幕立体感更加缺失，因此双目2d的立体感和沉浸感不如单目立体和双目3d。
15.4.双焦距视频的显示模块可以实现双目2d视频a、双目2d视频b、双目3d视频、单目立体视频a、单目立体视频b之间自由切换，用户根据自己的需求可获得良好的沉浸式体验。
16.双焦距视频的视频a和视频b通过数字变焦技术融合可组成2d变焦视频，焦段范围包括广角到长焦，视频a和多焦距镜头组合拍摄的视频b可组成3d变焦视频，焦段范围包括广角到中长焦，通过单目立体和双目3d，可实现沉浸式视频显示，播放时用户在整体场景(8)与主体特写(9)、单目立体与双目3d之间主动实时切换。
17.由于手机的长度不够大，在手机上可达到的最大视差约140mm，这样的视差适合人像特写3d拍摄的距离范围很小，约1.2～2.5m，适合广角人像拍摄的距离范围稍大一点约1～5m。用中长焦镜头拍摄细节和特写的时候，主体稍远一些，其视差往往要超过20cm才具备充足的立体感，这在智能手机上是无法实现的，只能依靠分离的双机完成拍摄，因此，手机3d拍摄主体细节与特写属于近视眼。应用广角镜头3d拍摄周边整体场景是合适的，由此推断手机拍摄双焦距视频的合适焦段在超广角到中焦。本发明之所以选择中长焦而不是中焦镜头作为手机多镜头模组(3)的组成部分，是为了兼顾2d拍摄，通过中长焦镜头裁切可以获
得2d长焦视频。本发明公开了可拍摄双焦距视频的智能手机大视差镜头组，由标准广角镜头作为隐藏伸缩式镜头(7)安装在手机下端端面，与上端一字排开的多镜头模组(3)对齐构成，大视差镜头组工作状态时可以保持足够的水平视差，具备结构合理性。智能手机的多镜头模组(3)一般包括超广镜头(4)、主摄标广镜头(5)、中长焦镜头(6)，分布在手机背面的上端，握持手机时不会遮挡任何一个镜头。多镜头模组(3)利用数字变焦技术，可以实现超广到长焦的2d变焦功能；大视差镜头组利用非对称清晰度3d技术，使标广镜头(7)与超广镜头(4)、标广镜头(7)与主摄标广镜头(5)、标广镜头(7)与中长焦镜头(6)组成3d镜头对，可实现标广到中长焦的3d变焦功能，其中3d视频的中焦可由标广和主摄标广裁切获取。手机多镜头模组(3)与隐藏伸缩式标广镜头(7)位置关系如图5所示，横幅拍摄时两者之间只有水平视差没有垂直视差，可以同步摄录双焦距视频，不摄录双焦距视频时，手机下端的标广镜头(7)缩回手机机体内隐藏起来。
18.视差不变的3d视频在拉近放大的变焦过程中，立体感会逐渐变得扁平化。将手机多镜头模组(3)按中长焦镜头(6)、主摄标广镜头(5)、超广镜头(4)的顺序优化排列，如图6所示。中长焦镜头(6)与隐藏伸缩式标广镜头(7)距离最远视差最大，约140mm，超广镜头(4)与隐藏伸缩式标广镜头(7)距离最近，约100mm，之间可实现增视差3d变焦，可一定程度上改善固定视差拉近放大后立体扁平化的不足。极近距离的3d特写需要使用小视差拍摄，可以采用手机上端多镜头模组(3)内两个镜头组合，也可以利用大视差拉开距离拍摄，通过中长焦镜头(6)拉近获得3d特写。
19.为了节约手机制造成本，可以将多镜头模组(3)中的主摄标广镜头(5)去除，由隐藏伸缩式主摄标广镜头(7)来取代，如图7所示。简化大视差镜头组的不足在于，对于使用频率较高的主摄标广镜头来说，经常从下端伸出来拍摄不够方便。
20.手机双焦距视频可以满足中近景整体场景的3d视频显示，不适合远景及长焦特写，比如3d视频中4m距离人物的面部特写已经具有扁平感，不够圆润。因此，采用现有技术在手机体验长焦3d视频的立体感是不足和缺失的，本发明提供的封闭式单目立体显示长焦2d视频的方法，弥补了主体特写长焦视频立体感和沉浸感的缺失。大视差镜头组提供的另一个额外功能是手机同步曝光3d摄影，利用大视差，通过非对称清晰度裁切，图像模糊处理，可以实现从广角到长焦的大倍率变焦距3d摄影。
附图说明：
21.图1是双焦距视频拍摄视差示意图。
22.图2是双焦距视频帧图像拼合示意图。
23.图3是双焦距视频帧图像裁切组合成3d视频的示意图。
24.图4是3d视频低分辨率图像模糊处理示意图。
25.图5是智能手机大视差镜头组位置关系示意图。
26.图6是多镜头模组顺序优化排列示意图。
27.图7是多镜头模组简化结构示意图。
28.上述各附图中的图示标号为：
29.1 镜头a，2 镜头b，3 多镜头模组，4 超广镜头，5 主摄标准广角镜头，6 中长焦镜头，7 隐藏伸缩式镜头，8 整体场景，9 主体特写，14 视频a帧图像，15 视频b帧图像，16 视
频a裁切图像，17 视频a裁切放大图像。
30.本发明公开的双焦距视频拍摄、处理和显示方法，运用了单目运动视差、双镜头协同防抖、非对称清晰度3d以及图像模糊弱化技术，增加了2d视频立体感、沉浸感，改善了非对称清晰度3d视频质量劣化问题。本发明公开的智能手机大视差镜头组，解决了手机多镜头模组之间视差过小的问题，可以手持移动便捷拍摄双焦距视频、3d视频、3d照片，方便手机进行分享、传播。与现有的照片和视频媒介相比，双焦距视频具有沉浸显示、立体生动的优势；与vr全景、常规3d视频相比，除了具备交代环境和记录细节的双重刻画优点，更大的优势在于双焦距视频的拍摄更加简单，节目来源近乎无限，对于5g网络环境下的应用场景及生态天然具有完备性，实施推广难度小。
31.具体实施案例：
32.实施案例一，双焦距视频拍摄、处理和显示方法。如图1所示，sony rxom2的等效焦距为24mm，作为广角相机拍摄视频a，sony a6300微单及e50 1.8镜头的等效焦距为75mm，作为中长焦镜头拍摄视频b，视频a、b均为4k视频。先稳定处理中长焦视频，获得稳定视频b；再用较短焦距视频a帧图像通过放大、平移、旋转等处理后去匹配稳定视频b对应帧，在视频a帧图像(14)合适的位置裁切出图像(16)，插值放大成4k图像(17)，模糊处理后与视频b帧图像(15)组合成非对称清晰度3d4k视频；进行最小裁切并缩图处理，形成稳定视频a。采用单目双目可切换vr头显播放双焦距视频，用户可在单目或双目视频a、单目或双目视频b、双目3d视频之间实时切换，并且在任何显示模式下，视频画面还可以通过实时缩放实现拉近、推远的效果，用户既可以看到整体、也可以看到局部特写。
33.实施案例二，智能手机大视差镜头组实现双焦距视频拍摄。如图6所示，在手机背面上端的多镜头模组(3)与手机下端端面的隐藏伸缩式镜头(7)一起构成大视差镜头组。其中标广镜头(7)与超广镜头(4)、标广镜头(7)与主摄标广镜头(5)、标广镜头(7)与中长焦镜头(6)均可成对拍摄双焦距视频，拍摄时视频b已经开启了视频防抖功能。用较短焦距视频a帧图像通过放大、平移、旋转等处理后去匹配稳定视频b对应帧，在视频a帧图像(14)合适的位置裁切出图像(16)，插值放大成4k图像(17)，模糊处理后与视频b帧图像(15)组合成非对称清晰度3d视频；进行最小裁切并缩图处理，形成稳定视频a；多镜头组合可实现标广到中长焦的3d变焦功能。中长焦镜头(6)拍摄的超高清视频，经剪辑裁切可获得长焦主体特写，采用封闭式单目立体显示方法，可以获得触目可及的沉浸感和立体感。