用于从转码器恢复呈现时间戳的系统的制作方法

用于从转码器恢复呈现时间戳的系统
1.相关申请的交叉引用
2.本技术要求2020年4月28日提交的美国临时专利申请序列号63/016,496的权益，所述美国临时专利申请的完整内容以引用的方式并入本文中。


背景技术：

3.本技术的主题涉及一种用于从转码器恢复呈现时间戳的系统。
4.使用视频转码器的视频转码技术是将具有初始特性集的数字视频信号转换为具有修改特性集的另一数字视频信号的过程。例如，所得经转码数字视频信号的修改特性可以具有例如视频信号的不同的码率、不同的视频帧率、不同的视频帧大小、不同的颜色特性、不同的视频编码参数集、不同的有损失视频压缩技术和/或不同的无损编码。
5.在诸如电缆广播系统的许多应用中，全分辨率主视频文件存储为夹层文件，所述夹层文件是压缩视频文件，所述压缩视频文件在渲染时通常与全分辨率主视频文件的渲染在视觉上无法区分。夹层文件格式可以是任何合适的格式，例如，mxf文件格式或mov文件格式。以夹层文件格式存储的夹层文件在流式传输到另一装置时通常被修改为另一种文件格式，例如h.264视频流、h.265视频流、flv视频流、mpeg-1视频流、mpeg-2视频流、mpeg-4视频流、vc-1视频流、wmv视频流、tape视频流、pores视频流、dnxhd视频流或cineform视频流。
6.通常，经修改的文件格式由视频分发服务器提供，所述视频分发服务器将压缩视频流或原始编码的夹层文件转码成适合分发给特定用户或用户群组的格式。例如，用于广播分发系统的编程器可以将视频流转码为适合由卫星传输系统分发给具有卫星接收器的一个或多个用户或用户群组的格式和/或码率。例如，用于电缆分发系统的头端系统可以将视频流转码为适合由集成电缆管理终端系统分发到一个或多个用户或用户群组的格式和/或码率。例如，视频分发服务器可以将视频流转码为适合通过因特网分发到一个或多个用户或用户群组的格式和/或码率。
7.在一些实施例中，随着不同的视频压缩标准例如h.261、h.263、h.264、mpeg-1、mpeg-2、mpeg-4等激增，对视频流从一种数字视频压缩类型到另一种数字视频压缩类型和/或码率的可转换性的需求稳步增加。在向多个用户提供源视频流的实施例中，每个用户正在使用具有不同能力的不同通道，所述视频流被转码成适合于所述特定用户的数字视频格式和/或码率。举例来说，视频会议系统经常传输多个视频流，其中许多视频流以不同的相应码率在不同数据通道上传输。
8.一种示范性的转码器可以包括解码器、传输端口和编码器的输出。解码器可以与编码器的时间戳同步操作，如下所示。编码器包括充当系统时钟(stc)的主振荡器和计数器。stc属于预定程序，是视频和音频编码器程序的主时钟。
9.时间戳用于不同部件彼此的时间同步。当视频帧或音频块输入到编码器时，编码器从视频帧或音频帧中对stc进行采样。将指示编码器和解码器缓冲器之间的延迟的常数添加到采样的stc中，从而形成呈现时间戳(pts)。pts被插入视频帧或音频帧的标头中。
10.在对视频帧重新排序的情况下，分别将指示每个视频帧何时将由解码器解码的解
码时间戳(dts)插入到视频帧中。用于帧重新排序过程的dts的值可以与它们各自的pts的值相同，包括i、p和未参考的b图片，并且dts及其各自的pts对于i、p和参考的b图片可以是不同的。每当使用dts时，使用pts。
11.根据高级电视系统委员会(atsc)标准，pts或dts被插入每张图片的标头中。编码器缓冲器输出均具有称为程序时钟参考(pcr)的时间戳的传输分组或均具有称为系统时钟参考(scr)的时间戳的分组化基本流(pes)。对于mpeg，以100毫秒的间隔生成pcr，对于atsc，以40毫秒的间隔生成pcr，并且以高达700毫秒的间隔生成scr。pcr或scr用于将解码器的stc与编码器的stc同步。
12.程序流(ps)具有scr作为其时钟参考，并且传输流(ts)具有pcr作为其时钟参考。因此，每种类型的视频流或音频流具有对应于stc的时间戳，以便使解码器的stc与编码器的stc同步。
13.基于mpeg的流包括时间信息，例如用于使编码器与解码器同步的pcr或scr，用于使音频内容与视频内容同步的stc、pts和dts。使用解码器重建mpeg流，并且在用于使解码器与编码器同步以及使音频内容与视频内容同步之后丢弃时间信息。不幸的是，在某些情况下，时间戳是以非预定方式修改的。
14.因此，需要的是改进从转码器的进行有效时间戳管理的系统和方法。
附图说明
15.为了更好地理解本发明，并且为了展示如何实施本发明，现在将以举例的方式参考附图，在附图中：
16.图1示出了转码系统。
17.图2a示出了mpeg视频分组化基本流(pes)。
18.图2b示出了mpeg传输流。
19.图3示出了视频转码器和音频转码器。
20.图4示出了具有pts恢复的示范性转码系统。
21.图5示出了i、b和p图片的集合。
22.图6示出了i、b和p图片的集合的排序。
23.图7示出了具有pts恢复和去抖动的示范性转码系统。
24.图8示出了3:2下拉技术。
25.图9示出了两个视频片段的扩展呈现时间戳。
具体实施方式
26.参考图1，示出了示范性转码系统90。转码系统90包括转码器100。转码器100可以包括定时同步器110、解码器120和编码器130。转码系统90还可以包括解复用器140和复用器150。
27.解复用器140接收输入传输流(ts)或输入程序流(ps)，从输入ts或ps提取定时参数，并将提取的定时参数发送到定时同步器110。解复用器140从输入ts或ps提取先前以预定方式压缩的视频数据，并将提取的视频数据发送到解码器120。在许多视频编码技术中，定时参数包括呈现时间戳(pts)、解码时间戳(dts)和程序时钟参考(pcr)。
28.呈现时间戳是mpeg传输流和其它传输流中的时间戳元数据字段，当被呈现给观察者时，用于实现程序的单独基本流(例如，视频流、音频流、子标题流等)的同步。呈现时间戳通常以与程序的整体时钟参考相关的单位给出，整体时钟参考例如是程序时钟参考(pcr)或系统时钟参考(scr)，其也在传输流或程序流中发送。
29.呈现时间戳通常具有90khz的分辨率，适合呈现同步任务。pcr或scr通常具有27mhz的分辨率，其适合于解码器的总时钟与远程解码器的时钟同步。
30.传输流可以包含多个程序，并且每个程序可以具有其自身的时基。传输流内不同程序的时基可以不同。因为pts适用于各个基本流的解码，所以它们驻留在传输流和程序流的pes分组层中。当编码器在捕获时间保存时间戳时、时间戳与相关联的编码数据一起传播到解码器时，以及当解码器使用这些时间戳来调度呈现时，就会发生端到端同步。
31.通过使用程序流中的scr和其类似物，即传输流中的pcr,实现了解码系统与通道的同步。scr和pcr是编码比特流本身的时序的时间戳，并且源自用于来自相同程序的音频和视频pts值的相同时基。由于每个程序都有自己的时基，因此在包含多个程序的传输流中，每个程序都有单独的pcr字段。在一些情况下，程序可能共享pcr字段。
32.定时同步器110保持从解复用器140接收的定时参数完整，使得即使在视频数据经过了转码过程之后，它们仍可以与分段元数据同步，并将定时参数发送至编码器130和复用器150。解码器120使用预定解码方法将从解复用器140接收的压缩视频数据恢复成视频序列，并将视频序列提供给编码器130。编码器130根据由转码参数控制器160设定的预定条件压缩从解码器120接收的视频序列，在压缩视频序列中记录从定时同步器110接收的定时参数，并将所得压缩视频序列发送至复用器150。转码参数控制器160可以基于例如来自gui的、系统确定的用户输入和/或基于特定应用程序来配置。转码参数控制器160确定适合最终用户环境的转码条件，并将确定的转码条件提供至编码器130和定时同步器110。转码条件包括例如视频质量、视频分辨率、码率和视频帧率。复用器150对从编码器130接收的视频序列进行复用，从而产生输出ts或ps。复用器150在输出ts或ps的标头中记录从定时同步器110接收的定时参数。分段元数据可能已经由解复用器140从输入ts或ps中提取，或者可能已经由另一个元数据提供者提供。同样，根据需要，可以使用其它转码器。
33.仅为了方便起见，将使用ts而非ps作为示例来描述该论述。例如，在以下段落中，仅pcr将被描述为参考时间指示符，但是在输入到转码系统200或从其输出的流是ps的情况下，scr也可以用作参考时间指示符。即使将pcr作为参考时间指示符输入到转码系统200中，也可以从转码系统200输出scr作为参考时间指示符，反之亦然。
34.参考图2a和图2b，分别示出了mpeg-2分组化基本流(pes)分组和mpeg-2ts。参考图2a，使用编码器压缩的mpeg-2视频流被分组化到pes分组中。每个pes分组包括任选的pes标头和pes分组数据字段。任选的pes标头200包括任选字段210。任选字段210包括pts字段220和dts字段230。pts信息记录在pts字段220中，dts信息记录在dts字段230中。
35.参考图2b，通过复用过程形成的ts为188字节长，并且包括标头240和有效载荷250。pes分组或程序关联表(pat)或程序地图表(pmt)包含在有效载荷250中。以同步字节开始的标头240包括各种字段，例如适配字段260。适配字段260包括任选字段270，并且任选字段270包括pcr字段280。pcr信息作为参考时间信息记录在pcr字段280中。
36.参考图3，在一些情况下，期望使用特定视频转码器300来对数字视频流(例如，分
30。
40.呈现时间戳偏移确定过程450接收经转码的输出视频流442和输出音频流444，并且从输出视频流提取呈现时间戳，且从输出音频流444提取嵌入的呈现时间戳和正常呈现时间戳。通过这种方式，可以从由视频转码器400获得的数据中提取三个不同的呈现时间戳。来自录制的音频流404的呈现时间戳与嵌入输入音频流402内的呈现时间戳的比较提供了两个呈现时间戳之间的偏移452，所述偏移对应于经转码的输出视频流442与视频流412的时间戳之间的偏移。偏移452通过pts偏移调整过程454被添加到经转码的输出视频流442的呈现时间戳，以提供具有调整后的呈现时间戳460的经转码视频流。偏移452还可以用于调整经转码的输出视频流442的程序时钟参考。偏移452还可以用于调整经转码的输出视频流442的解码时间戳。如果需要，可以丢弃在提取时间戳之后的输出音频流444。
41.音频转码器470(如果包括的话)用于对数字视频流(例如，分组化基本流)410的音频流414进行转码。音频转码器470的输出可以与具有调整后的呈现时间戳460的经转码视频流组合472，例如组合成分组化基本流474。而且，音频流414可以传递471(可以包括缓冲器)到组合器472。
42.在另一个实施例中，录制的音频流430可以被音频流414替换，其中来自视频流412的呈现时间戳以不被视频转码器400的转码过程修改的方式嵌入其中。如果需要，可以在提取时间戳之后丢弃来自视频转码器400的转码过程的音频流。
43.在另一实施例中，转码视频过程可以包括3:2下拉技术，使得进入视频转码器中的视频帧与离开视频转码器的视频帧之间没有一对一的匹配。3:2下拉技术将每秒24帧转换为每秒29.97(或30)帧。通常，当将每秒24帧转换为29.97时，这导致每4帧转换为5帧，加上速度略微减慢。
44.优选地，输入视频流未被修改为在视频转码器的私有数据区段中包括呈现时间戳，以降低引入错误的可能性。而且，可能没有可用空间将呈现时间戳包括在输入视频流中。此外，在一些情况下，当其生成输出pes标头时，转码器可以丢弃私有数据字段。或者，输入视频流可以被修改为在不被视频转码器修改的私有数据区段中包括呈现时间戳。
45.优选地，输入音频流未被修改为在视频转码器的私有数据区段中包括呈现时间戳，以降低引入错误的可能性。此外，在一些情况下，当其生成输出pes标头时，转码器可以丢弃私有数据字段。而且，可能没有可用空间将呈现时间戳包括在数字视频流的音频流中。
46.参考图5，视频流的许多编码方案包括作为基于仅在帧内的信息压缩的图片的内部帧(即，i帧)。视频流还可以包括预测帧(即p帧)，即至少部分从先前i或p帧预测的图片。视频流还可以包括使用过去和将来的i和p帧进行运动补偿的双向预测帧(即,b帧)。根据所使用的编码方案的类型，可以使用其它类型的帧。
47.参考图6，为了使解码器从前面的i和后面的p帧重建b帧，i帧和后面的p帧两者都应在b帧之前到达。因此，帧传输的顺序不同于呈现时它们出现的顺序。使用通知解码器何时对帧解码的解码时间戳和通知解码器何时渲染帧的呈现时间戳适应了帧的解码和渲染定时。
48.mpeg-2的高级电视系统委员会(atsc)提供1920x1080的分辨率，逐行视频的帧率为每秒23.976、24、29.97或30帧。atsc为mpeg-2提供1920x1080的分辨率，交织视频的帧率为每秒29.97帧(59.94个场)，或30帧(60个场)。atsc为mpeg-2提供1280x720的分辨率，逐行
视频的帧率为每秒23.976、24、29.97、30、59.94或60帧。atsc为mpeg-2提供704/858x480的分辨率，逐行视频(smpte259m)的帧率为每秒23.976、24、29.97、30、59.94或60帧。atsc为mpeg-2提供704/858x480的分辨率，交织视频(smpte259m)的帧率为每秒29.97帧(59.94个场)，或30帧(60个场)。atsc为mpeg-2提供640x480的分辨率，逐行视频的帧率为每秒23.976、24、29.97、30、59.94或60帧。atsc为mpeg-2提供640x480的分辨率，交织视频的帧率为每秒29.97帧(59.94个场)，或30帧(60个场)。atsc还支持其他pal帧率和分辨率，并支持具有其他帧率和分辨率的h.264视频编解码器。
49.举例来说，对于帧率为每秒29.97帧，分辨率为1920
×
1080的mpeg-2逐行视频而言，当适当递增时，呈现时间戳在帧之间递增3003(具有90khz时钟分辨率)。以类似方式，对于帧率为每秒59.94场，具有场编码图片的分辨率1920x1080的h.264交织视频，当适当递增时，呈现时间戳按1501/1502/1501/1502/...(具有90khz时钟分辨率)的序列递增。应注意，1501 1502(对于两个连续字段)是3003，即帧率。因此，呈现时间戳应当以均匀且一致的方式在帧或场之间递增。
50.视频转码器在其输入与其输出之间修改与视频内容的特定视频帧相关联的呈现时间戳，倾向于创建偏移为1的修改的呈现时间戳。呈现时间偏离优选值的此变化过程往往会随时间继续。许多呈现装置和相关联的解码器将往往以合适的方式解码和渲染帧，即使呈现时间戳的值有抖动。不幸的是，当呈现时间戳的值中存在充分大抖动时，一些呈现装置和相关联的解码器可能往往以合适的方式不正确地解码和渲染帧。此外，由于解码时间戳通常与i和p帧的呈现时间戳相同，并且针对b帧经过适当的修改，因此如果呈现时间戳包括值中的抖动，解码时间戳将同样包括值的抖动。视频转码器可以将抖动引入呈现时间戳中，和/或偏移的确定(先前描述)可以将抖动引入呈现时间戳中。在任一情况下，都期望减少呈现时间戳(包括解码时间戳)中的抖动量，以降低视频内容的解码和/或呈现失败的可能性。
51.参考图7，确定由于视频转码器700往往会将与视频流一起编码的呈现时间戳以在其值中包括抖动的方式从在其输入处提供的呈现时间戳修改为从其输出提供的修改的呈现时间戳，因此期望去除或以其他方式减小所得呈现时间戳中的抖动量。通常，视频转码器700包括处理来自为音频pes pts标头使用最近期视频pts的录制音频流707的输入音频流702和使用复用器703在音频帧(或私有数据)和输入视频流704中放入最近期视频pts(例如，单独提供或以其它方式一起编码为分组化基本流)的能力，同时保持视频流704和对应的音频流702在其输出处同步。
52.数字视频流710包括视频流712和音频流714两者。数字视频流710的视频流712作为输入视频流704被提供给视频转码器700。数字视频流710的音频流714作为输入音频流702被提供给视频转码器700。
53.由于视频转码器修改呈现时间戳，期望从由视频pts和dts提取过程720提供给视频转码器700的视频流712读取呈现时间戳。由于视频转码器700修改了解码时间戳，也期望从由视频pts和dts提取过程720提供给视频转码器700的视频流712读取解码时间戳。表730中存储了一段时间的呈现时间戳和解码时间戳。表730优选地包括保留数据的定义的时间窗口，例如10秒。以此方式，当向表730添加新的呈现时间戳和解码时间戳时，从表730移除更旧的呈现时间戳和解码时间戳。
54.输入音频流702与视频流704同步(例如，单独提供或以其它方式一起编码为分组
化基本流)，并且提供给视频转码器700。视频转码器700提供输出传输流740,所述输出传输流包括经转码输出视频流742和输出音频流744两者。一般来说，抖动调整可以如下所述(下文更详细地描述)。对于输出音频流744，其包括pes标头，所述pes标头包括原始pts和来自视频转码器700的抖动pts两者，其差异为偏移。从视频pts/dts/pcr中减去(或根据差异计算方式添加)偏移。除抖动外，输出pts 偏移对应于表格中的输入pts。所述系统确定与输出pts 偏移匹配的最接近的输入pts。注意，系统还将偏移添加到pcr，使得pts/dts和pcr全部被调整为相同的偏移。
55.呈现时间戳抖动确定过程750接收经转码的输出视频流742和输出音频流744，并且从音频和视频的pes标头以及嵌入音频流中的原始视频pts提取抖动呈现时间戳。对于输出音频流744，其包括pes标头，所述pes标头包括原始pts和来自视频转码器700的抖动pts两者，其差异为偏移。除抖动外，输出视频pts 偏移对应于表格中的输入视频pts。呈现时间戳抖动确定过程750将视频pts 偏移呈现时间戳与pts和dts表730中包括的提取的呈现时间戳进行比较。基于使用从输出音频流744生成的偏移计算的视频时间戳与包括在pts和dts表730中的提取的呈现时间戳之间的匹配，呈现时间戳抖动确定过程750从表730确定最密切匹配的呈现时间戳。时间戳更新过程760将经转码的输出视频流742中的呈现时间戳修改为由呈现时间戳抖动确定过程750识别的表730中的匹配的呈现时间戳。
56.呈现时间戳抖动确定过程750还可以基于匹配的呈现时间戳从表730检索匹配的解码时间戳。时间戳更新过程760还可以将经转码的输出视频流742中的解码时间戳修改为由呈现时间戳抖动确定过程750识别的表730中的匹配的解码时间戳。
57.音频转码器770(如果包括的话)用于对数字视频流(例如，分组化基本流)710的音频流714进行转码。音频转码器770的输出可以与具有调整后的呈现时间戳和解码时间戳762的经转码视频流组合772，例如组合成分组化基本流474。而且，音频流714可以传递771(可以包括缓冲器)到组合器772。
58.如先前所述，来自视频转码器700的经转码视频流往往会包括一些抖动，特别是在来自输入和输出的视频帧不具有一对一相关性的情况下。缺乏一对一相关性主要发生在视频转码修改视频流的场率和/或帧率的情况下。
59.如前所述，帧率转换之一是3:2下拉技术，其将每秒24帧转换成每秒29.97(或30)帧。参考图8，示出了表示24帧/秒的胶片的一组帧800和表示30帧/秒(60场/秒)的视频的一组场810。通常，第一帧802被转移到该组场810中的三个场812。通常，第二帧804被转移到该组场810中的两个场814。通常，第三帧806被转移到该组场810中的三个场816。通常，第四帧808被转移到该组场810中的两个场814。以此方式，可以针对视频转码器700重复所述过程。还应注意，用于帧的场交替其场选择。例如，帧802包括场1/场2/场1，而帧806包括场2/场1/场2。例如，帧804包括场2/场1，而帧808包括场1/场2。
60.在视频内容处于23.98帧/秒的情况下，在适当递增时，呈现时间戳在帧之间的差值应为3754/3754/3754/3753(时钟分辨率为90khz)。作为3:2下拉过程的结果，场810应当具有基于每个帧800的呈现时间戳偏移的呈现时间戳。例如，帧802应当产生3个场812，因此3个场812的呈现时间戳应被偏移1502/1501/1502。例如，帧804应当产生2个场814，因此2个场814的呈现时间戳应被偏移1501/1502。除了场的呈现时间戳的来自视频转码器700的抖动可能以一对一方式匹配帧的那些抖动之外，还可能转换过程的剩余场中的呈现时间戳的
抖动不以一对一方式匹配帧的那些抖动。
61.为了适应场中的抖动不匹配帧的抖动的可能性，例如3：2下拉技术的结果，还可以将表700扩展以生成用于帧800的额外呈现时间戳。例如，对于帧802，可以在表700中为第二场2和第三场1提供对应的呈现时间戳，例如将用于帧802的呈现时间戳分别递增1501以及递增1501 1502。例如，对于帧806，可以在表700中为第二场1和第三场2提供对应的呈现时间戳，例如将用于帧806的呈现时间戳分别递增1502以及递增1502 1501。例如，对于帧804，可以在表700中为第二场1提供对应的呈现时间戳，例如将用于帧804的呈现时间戳递增1501。例如，对于帧808，可以在表700中为第二场2提供对应的呈现时间戳，例如将用于帧808的呈现时间戳递增1502。以类似的方式，为了适应场中的抖动不匹配帧的抖动的可能性，还可以将表700扩展以生成用于帧800的额外解码时间戳。
62.呈现时间戳抖动确定过程750可以从扩展表730检索匹配的呈现时间戳。时间戳更新过程760也可以将经转码的输出视频流742中的呈现时间戳修改为由呈现时间戳抖动确定过程750识别的扩展表730中的匹配的呈现时间戳。呈现时间戳抖动确定过程750还可以基于匹配的呈现或解码时间戳从扩展表730检索匹配的解码时间戳。时间戳更新过程760还可以将经转码的输出视频流742中的解码时间戳修改为由呈现时间戳抖动确定过程750识别的扩展表730中的匹配的解码时间戳。以此方式，即使源视频内容中不存在对应的帧，也可以相应地更新呈现时间戳和解码时间戳以减少抖动。
63.通常，视频流包括多个视频剪辑，其以串行方式彼此流式连接在一起。由于具有一起流式传输的多个视频剪辑，相应视频剪辑之间的呈现时间戳通常包括不连续性。当视频剪辑在串行呈现中绕回其末端时，也发现呈现时间戳的这种不连续性。
64.不幸的是，视频转码器700经常以一种方式处理输入视频流，其中，通常与不同视频段相关联的呈现时间戳中的任何不连续性导致被转码视频流中的呈现时间戳的不连续与输入视频流的呈现时间戳的不连续性不对齐。因此，第一视频段的经转码视频流的呈现时间戳可以顺序地延伸到在时间上在第一视频段之后的第二视频段的一部分中。因此，第二视频段的经转码视频流的呈现时间戳可以顺序地延伸到在时间上在第二视频段之前的第一视频段的一部分中。
65.不幸的是，当尝试修改所得视频流以考虑抖动并修改所得视频流以考虑呈现时间戳中的偏移时，可能难以基于输入视频流的呈现时间戳准确地确定不连续性的正确位置。此外，如果来自视频转码器的呈现时间戳看起来出错，则与呈现时间戳相关联的帧常常因为出错而被丢弃。此外，当尝试将广告插入经转码视频流中的过程时，将广告插入段之间的不连续处是有问题的，因为呈现时间戳中的不连续性不一定匹配视频帧中的不连续性。
66.为了适应呈现时间戳在不连续区域中不适当匹配的可能性，表700可以进一步扩展以在一系列呈现时间戳中针对接近那些不连续区域的帧800生成额外呈现时间戳。可以基于呈现时间戳的增量的预期序列与预期显著不同，例如大于5％的差异，确定呈现时间戳中的不连续性。
67.参考图9，扩展表700以包括一系列额外的呈现时间戳。第一视频段900可以包括相关联的一组视频帧和呈现时间戳910。第二视频段920可以包括相关联的一组视频帧和呈现时间戳930。第一视频段900与第二视频段920之间存在不连续性940，该不连续性也表示为第一视频段900和第二视频段920的呈现时间戳中的不连续性。当例如通过包括足够大不连
续性的呈现时间戳序列在呈现时间戳中识别出不连续性时，利用额外呈现时间戳扩展表700。确定第一扩展系列的呈现时间戳950事实上(以向前方式)延伸第一视频段900的呈现时间戳，而第一扩展系列的呈现时间戳950没有实际对应的视频帧。确定第二扩展系列的呈现时间戳960事实上(以向后方式)延伸第二视频段920的呈现时间戳，而第二扩展系列的呈现时间戳960没有实际对应的视频帧。结果是第一视频段900的一组呈现时间戳970和第二视频段920的一组呈现时间戳980。举例来说，第一扩展系列呈现时间戳950和第二扩展系列呈现时间戳960的持续时间可以为1秒。
68.通过扩展表700包括额外的呈现时间戳，这些呈现时间戳可以与抖动减少过程和/或增量呈现时间戳确定过程一起使用以进行准确调整。
69.根据需要，偏移过程、抖动过程和/或不连续性可以彼此组合。另外，表格可以是任何格式或方式，包括任何数据结构或以其它方式存储在存储器或存储装置中。
70.此外，前述实施例中的每一个中的每个功能块或各种特征可以由电路实施或执行，电路通常是集成电路或多个集成电路。被设计成执行本说明书中描述的功能的电路可以包括通用处理器、数字信号处理器(dsp)、专用或通用集成电路(asic)、现场可编程门阵列(fpga)、或其它可编程逻辑装置、离散门或晶体管逻辑、或离散硬件部件或其组合。通用处理器可以是微处理器，或者，处理器可以是常规处理器、控制器、微控制器或状态机。上述通用处理器或每个电路可以由数字电路配置，或可以由模拟电路配置。此外，当由于半导体技术进步出现了制造接替当前集成电路的集成电路的技术时，也能够使用这些技术制造的集成电路。
71.应当理解，本发明不限于已经描述的特定实施例，并且可以在不脱离所附权利要求中限定的本发明的范围的情况下在其中作出变化，本发明的范围如根据通行法律的原则，包括等同原则或将权利要求的可执行范围扩大到其字面范围之外的任何其他原则所解释的。除非上下文另外指示，否则权利要求中对元件的实例数目的引用(无论是对一个实例或多于一个实例的引用)都至少需要所述元件的指定实例数目，但并不意图从权利要求的范围中排除具有比所述元件的实例更多的实例的结构或方法。当用于权利要求中时，词语“包括”或其派生词以非排他性含义使用，所述非排他性含义不旨在排除所要求保护的结构或方法中其它元件或步骤的存在。