mpeg-1

mpeg-1[3] 是 iso 開發(fā)的第一個(gè)視頻壓縮算法。主要應(yīng)用是數(shù)字媒體上動(dòng)態(tài)圖像與音頻的存儲(chǔ)與檢索，如速率為 1.15mbps、采用 sif 分辨率（352(240 - 29.97fps 或者 352(288 - 25 fps）的vcd。mpeg-1 與 h.261 相似，不過編碼器一般需要更高的性能，以便支持電影內(nèi)容的較高運(yùn)動(dòng)性而不是典型的可視電話功能。

與 h.261 相比，mpeg1 允許采用 b 幀。另外它還采用自適應(yīng)感知量化，也就是說，對(duì)每個(gè)頻段采用單獨(dú)的量化比例因子（或等步長），以便優(yōu)化人們的視覺感受。mpeg-1 僅支持逐行視頻，因此新標(biāo)準(zhǔn)——mpeg2 已經(jīng)開始做出努力，同時(shí)支持分辨率及比特率更高的逐行與隔行視頻。

mpeg-2/h.262

mpeg-2[4] 專門針對(duì)數(shù)字電視而開發(fā)，很快成為了迄今最成功的視頻壓縮標(biāo)準(zhǔn)。mpeg-2 既能夠滿足標(biāo)準(zhǔn)逐行視頻的需求（其中視頻序列由一系列按一定時(shí)間間隔采集的幀構(gòu)成），又能夠滿足電視領(lǐng)域常用的隔行視頻的需求。隔行視頻交替采集及顯示圖像中兩組交替的像素（每組稱為一個(gè)場(chǎng)）。這種方式尤其適合電視顯示器的物理特性。mpeg2 支持標(biāo)準(zhǔn)的電視分辨率，其中包括：針對(duì)美國和日本采用的 ntsc 制式隔行 720(480 分辨率，每秒 60 場(chǎng)，以及歐洲和其他國家采用的pal 制式的 720(576 分辨率，每秒 50 場(chǎng)。

mpeg-2 建立在 mpeg-1 基礎(chǔ)之上，并具備擴(kuò)展功能，能支持隔行視頻及更寬的運(yùn)動(dòng)補(bǔ)償范圍。由于高分辨率視頻是非常重要的應(yīng)用，因此 mpeg-2 支持的搜索范圍遠(yuǎn)遠(yuǎn)大于 mpeg-1。與之前的標(biāo)準(zhǔn)相比，它顯著提高了運(yùn)動(dòng)估計(jì)的性能要求，并充分利用更寬搜索范圍與更高分辨率優(yōu)勢(shì)的編碼器需要比 h.261 和 mpeg-1 高得多的處理能力。mpeg2 中的隔行編碼工具包含優(yōu)化運(yùn)動(dòng)補(bǔ)償?shù)哪芰?，同時(shí)支持基于場(chǎng)和基于幀的預(yù)測(cè)，而且同時(shí)支持基于場(chǎng)和基于幀的 dct/idct。mpeg-2 在 30:1 左右的壓縮比時(shí)運(yùn)行良好。mpeg-2 在 4-8mbps 時(shí)達(dá)到的質(zhì)量適合消費(fèi)類視頻應(yīng)用，因此它很快在許多應(yīng)用中得到普及，如：數(shù)字衛(wèi)星電視、數(shù)字有線電視、dvd 以及后來的高清電視等。

另外，mpeg-2 增加了分級(jí)視頻編碼工具，以支持多層視頻編碼，即：時(shí)域分級(jí)、空域分級(jí)、snr 分級(jí)以及數(shù)據(jù)分割。盡管 mpeg-2 中針對(duì)分級(jí)視頻應(yīng)用定義了相關(guān)類別 (profile)，不過支持單層編碼的主類 (main profile) 是當(dāng)今大眾市場(chǎng)中得到廣泛應(yīng)用的唯一 mpeg-2 類。mpeg-2 通常稱為 mpeg-2 主類。

mpeg-2 解碼最初對(duì)于通用處理器及 dsp 具有很高的處理要求。優(yōu)化的固定功能 mpeg-2 解碼器開發(fā)已問世，由于使用量較高，成本已逐漸降低。mpeg2 證明低成本芯片解決方案的供應(yīng)是視頻編解碼標(biāo)準(zhǔn)成功和普及的關(guān)鍵。

h.263

h.263[5] 在 h.261 之后得到開發(fā)，主要是為了以更低的比特率實(shí)現(xiàn)更高的質(zhì)量。其主要目標(biāo)之一是基于普通 28.8kbps 電話調(diào)制解調(diào)器的視頻。目標(biāo)分辨率是 sqcif (128(96)～cif (352(288)。其基本原理與 h.261 大同小異。

h.263 的運(yùn)動(dòng)矢量在兩個(gè)方向上允許是 1/2 的倍數(shù)（“半像素”），參考圖像以數(shù)字方式內(nèi)插到更高的分辨率。這種方法可以提高 mc 精度及壓縮比。mv 可采用更大的范圍。為不同方案提供許多新的選項(xiàng)，包括：

＊ 4 個(gè)運(yùn)動(dòng)矢量——每個(gè)塊采用一個(gè)運(yùn)動(dòng)矢量，而非整個(gè) mb 采用單個(gè)運(yùn)動(dòng)矢量。

＊ 3d vlc：huffman 編碼——將塊結(jié)束 (eob) 指示符與每個(gè)運(yùn)行級(jí)別對(duì)結(jié)合在一起。這種功能主要用于低比特率，這時(shí)大多時(shí)候只有一、兩個(gè)編碼系數(shù)。

盡管存在這些功能，但是仍然很難在普通電話線上實(shí)現(xiàn)理想的視頻質(zhì)量，而且目前基于標(biāo)準(zhǔn)調(diào)制解調(diào)器的可視電話仍然是一個(gè)難題。不過，由于 h.263 一般情況下可提供優(yōu)于 h.261 的效率，它成為了電視會(huì)議******的算法，但是，為了兼容舊系統(tǒng)，仍然需要支持 h.261。h.263 逐漸發(fā)展成為了 h.263+，其增加了可選的附件，為提高壓縮并實(shí)現(xiàn)分組網(wǎng)的魯棒性提供支持。h.263 及其附件構(gòu)成了 mpeg-4 中許多編碼工具的核心。

mpeg-4

mpeg-4[6] 由 iso 提出，以延續(xù) mpeg-2 的成功。一些早期的目標(biāo)包括：提高容錯(cuò)能力以支持無線網(wǎng)、對(duì)低比特率應(yīng)用進(jìn)行更好的支持、實(shí)現(xiàn)各種新工具以支持圖形對(duì)象及視頻之間的融合。大部分圖形功能并未在產(chǎn)品中受到重視，相關(guān)實(shí)施主要集中在改善低比特率壓縮及提高容錯(cuò)性上。.

mpeg-4 簡(jiǎn)化類 (sp) 以h.263為基礎(chǔ)，為改善壓縮增加了新的工具，包括：

＊ 無限制的運(yùn)動(dòng)矢量：支持對(duì)象部分超出幀邊界時(shí)的預(yù)測(cè)。

＊ 可變塊大小運(yùn)動(dòng)補(bǔ)償：可以在 16(16 或 8(8 粒度下進(jìn)行運(yùn)動(dòng)補(bǔ)償。

＊ 上下文自適應(yīng)幀內(nèi) dct dc/ac 預(yù)測(cè)：可以通過當(dāng)前塊的左右相鄰塊預(yù)測(cè) dc/ac dct 系數(shù)。

＊ 擴(kuò)展量化 ac 系數(shù)的動(dòng)態(tài)范圍，支持高清視頻：從 h.263 的 [-127:127] 到 [-2047, 2047]。

增加了容錯(cuò)功能，以支持丟包情況下的恢復(fù)，包括：

＊ 片斷重同步 (slice resynchronization)：在圖像內(nèi)建立片斷 (slice)，以便在出現(xiàn)錯(cuò)誤后更快速的進(jìn)行重新同步。與 mpeg-2 數(shù)據(jù)包大小不同，mpeg4 數(shù)據(jù)包大小與用于描述 mb 的比特?cái)?shù)量脫離了聯(lián)系。因此，不管每個(gè) mb 的信息量多少，都可以在位流中按相同間隔進(jìn)行重新同步。

＊ 數(shù)據(jù)分割：這種模式允許利用唯一的運(yùn)動(dòng)邊界標(biāo)記將視頻數(shù)據(jù)包中的數(shù)據(jù)分割成運(yùn)動(dòng)部分和 dct 數(shù)據(jù)部分。這樣就可以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)矢量數(shù)據(jù)更嚴(yán)格的檢查。如果出現(xiàn)錯(cuò)誤，我們可以更清楚地了解錯(cuò)誤之處，從而避免在發(fā)現(xiàn)錯(cuò)誤情況下拋棄所有運(yùn)動(dòng)數(shù)據(jù)。

＊ 可逆 vlc：vlc 編碼表允許后向及前向解碼。在遇到錯(cuò)誤時(shí)，可以在下一個(gè)slice進(jìn)行同步，或者開始編碼并且返回到出現(xiàn)錯(cuò)誤之處。

＊ 新預(yù)測(cè) (newpred)：主要用于在實(shí)時(shí)應(yīng)用中實(shí)現(xiàn)快速錯(cuò)誤恢復(fù)，這些應(yīng)用中的解碼器在出現(xiàn)丟包情況下采用逆向通道向解碼器請(qǐng)求補(bǔ)充信息。

mpeg-4 高級(jí)簡(jiǎn)化類 (asp) 以簡(jiǎn)化類為基礎(chǔ)，增加了與 mpeg-2 類似的 b 幀及隔行工具（用于level 4 及以上級(jí)別）。另外它還增加了四分之一像素運(yùn)動(dòng)補(bǔ)償及用于全局運(yùn)動(dòng)補(bǔ)償?shù)倪x項(xiàng)。mpeg-4 高級(jí)簡(jiǎn)化類比簡(jiǎn)化類的處理性能要求更高，而且復(fù)雜性與編碼效率都高于 mpeg-2。

mpeg-4 最初用于因特網(wǎng)數(shù)據(jù)流，例如，已經(jīng)被 apple 的 quicktime 播放器采用。mpeg-4 簡(jiǎn)化類目前在移動(dòng)數(shù)據(jù)流中得到廣泛應(yīng)用。mpeg-4 asp 是已經(jīng)流行的專有 divx 編解碼器的基石。

工具與壓縮增益

當(dāng)我們查看 h.261、mpeg1、mpeg2 與 h.263 視頻編解碼技術(shù)中引入的功能時(shí)，明顯可以發(fā)現(xiàn)幾種基本技巧提供了大部分壓縮增益。圖 4 說明這些技巧及其相關(guān)效果。與 4 個(gè)運(yùn)動(dòng)矢量以及四分之一像素運(yùn)動(dòng)補(bǔ)償?shù)裙ぞ呦啾?，運(yùn)動(dòng)補(bǔ)償（整數(shù)像素與半像素）的效果顯然更為突出。

圖 4：基本技巧的效果：1) 無 mc；2) 增加 skip 模式構(gòu)成 cr 編碼器；3) 僅允許零 mv；4) 允許整數(shù)像素 mc；5) 允許半像素 mc；6) 允許 4-mv；7) 允許四分之一像素mc。如欲了解有關(guān)詳細(xì)說明，敬請(qǐng)參見 [7]。

7. h.264/ mpeg4-avc

視頻編碼技術(shù)在過去幾年最重要的發(fā)展之一是由 itu 和 iso/iec 的聯(lián)合視頻小組 (jvt) 開發(fā)了 h.264/mpeg-4 avc[8] 標(biāo)準(zhǔn)。在發(fā)展過程中，業(yè)界為這種新標(biāo)準(zhǔn)取了許多不同的名稱。itu 在 1997 年開始利用重要的新編碼工具處理 h.26l（長期），結(jié)果令人鼓舞，于是 iso 決定聯(lián)手 itu 組建 jvt 并采用一個(gè)通用的標(biāo)準(zhǔn)。因此，大家有時(shí)會(huì)聽到有人將這項(xiàng)標(biāo)準(zhǔn)稱為 jvt，盡管它并非正式名稱。itu 在 2003 年 5 月批準(zhǔn)了新的 h.264 標(biāo)準(zhǔn)。iso 在 2003 年 10 月以 mpeg-4 part 10、高級(jí)視頻編碼或 avc 的名稱批準(zhǔn)了該標(biāo)準(zhǔn)。

h.264/avc 在壓縮效率方面取得了巨大突破，一般情況下達(dá)到 mpeg-2 及 mpeg-4 簡(jiǎn)化類壓縮效率的大約 2 倍。在 jvt 進(jìn)行的正式測(cè)試中 [9]，h.264 在 85 個(gè)測(cè)試案例中有 78％ 的案例實(shí)現(xiàn) 1.5 倍以上的編碼效率提高，77％ 的案例中達(dá)到 2 倍以上，部分案例甚至高達(dá) 4 倍。h.264 實(shí)現(xiàn)的改進(jìn)創(chuàng)造了新的市場(chǎng)機(jī)遇，如：

＊ 600kbps 的 vhs 品質(zhì)視頻?？梢酝ㄟ^ adsl 線路實(shí)現(xiàn)視頻點(diǎn)播。

＊ 高清晰電影無需新的激光頭即可適應(yīng)普通 dvd。

h.264 標(biāo)準(zhǔn)化時(shí)支持三個(gè)類別：基本類、主類及擴(kuò)展類。后來一項(xiàng)稱為高保真范圍擴(kuò)展 (frext) 的修訂引入了稱為高級(jí)類的 4 個(gè)附加類。在初期主要是基本類和主類引起了大家的興趣?；绢惤档土擞?jì)算及系統(tǒng)內(nèi)存需求，而且針對(duì)低時(shí)延進(jìn)行了優(yōu)化。由于 b 幀的內(nèi)在時(shí)延以及 cabac 的計(jì)算復(fù)雜性，因此它不包括這兩者?；绢惙浅＿m合可視電話應(yīng)用以及其他需要低成本實(shí)時(shí)編碼的應(yīng)用。

主類提供的壓縮效率最高，但其要求的處理能力也比基本類高許多，因此使其難以用于低成本實(shí)時(shí)編碼和低時(shí)延應(yīng)用。廣播與內(nèi)容存儲(chǔ)應(yīng)用對(duì)主類最感興趣，它們是為了盡可能以最低的比特率獲得最高的視頻質(zhì)量。

盡管 h.264 采用與舊標(biāo)準(zhǔn)相同的主要編碼功能，不過它還具有許多與舊標(biāo)準(zhǔn)不同的新功能，它們一起實(shí)現(xiàn)了編碼效率的提高。圖 5 的編碼器框圖總結(jié)了其主要差別，概述如下：

幀內(nèi)預(yù)測(cè)與編碼：h.264 采用空域幀內(nèi)預(yù)測(cè)技術(shù)來預(yù)測(cè)相鄰塊鄰近像素的 intra-mb 中的像素。它對(duì)預(yù)測(cè)殘差信號(hào)和預(yù)測(cè)模式進(jìn)行編碼，而不是編碼塊中的實(shí)際像素。這樣可以顯著提高幀內(nèi)編碼效率。

幀間預(yù)測(cè)與編碼：h.264 中的幀間編碼采用了舊標(biāo)準(zhǔn)的主要功能，同時(shí)也增加了靈活性及可操作性，包括適用于多種功能的幾種塊大小選項(xiàng)，如：運(yùn)動(dòng)補(bǔ)償、四分之一像素運(yùn)動(dòng)補(bǔ)償、多參考幀、通用 (generalized) 雙向預(yù)測(cè)和自適應(yīng)環(huán)路去塊。

可變矢量塊大?。涸试S采用不同塊大小執(zhí)行運(yùn)動(dòng)補(bǔ)償?？梢詾樾≈?4(4 的塊傳輸單個(gè)運(yùn)動(dòng)矢量，因此在雙向預(yù)測(cè)情況下可以為單個(gè) mb 傳輸多達(dá) 32 個(gè)運(yùn)動(dòng)矢量。另外還支持 16(8、8(16、8(8、8(4 和 4(8 的塊大小。降低塊大小可以提高運(yùn)動(dòng)細(xì)節(jié)的處理能力，因而提高主觀質(zhì)量感受，包括消除較大的塊化失真。

四分之一像素運(yùn)動(dòng)估計(jì)：通過允許半像素和四分之一像素運(yùn)動(dòng)矢量分辨率可以改善運(yùn)動(dòng)補(bǔ)償。

多參考幀預(yù)測(cè)：16 個(gè)不同的參考幀可以用于幀間編碼，從而可以改善視頻質(zhì)量的主觀感受并提高編碼效率。提供多個(gè)參考幀還有助于提高 h.264 位流的容錯(cuò)能力。值得注意的是，這種特性會(huì)增加編碼器與解碼器的內(nèi)存需求，因?yàn)楸仨氃趦?nèi)存中保存多個(gè)參考幀。

自適應(yīng)環(huán)路去塊濾波器：h.264 采用一種自適應(yīng)解塊濾波器，它會(huì)在預(yù)測(cè)回路內(nèi)

對(duì)水平和垂直區(qū)塊邊緣進(jìn)行處理，用于消除塊預(yù)測(cè)誤差造成的失真。這種濾波通常是基于 4(4 塊邊界為運(yùn)算基礎(chǔ)，其中邊界各邊的 3 個(gè)像素可通過 4 級(jí)濾波器進(jìn)行更新。

整數(shù)變換：采用 dct 的早期標(biāo)準(zhǔn)必須為逆變換的固點(diǎn)實(shí)施來定義舍入誤差的容差范圍。編碼器與解碼器之間的 idct 精度失配造成的漂移是質(zhì)量損失的根源。h.264 利用整數(shù) 4(4 空域變換解決了這一問題——這種變換是 dct 的近似值。4(4 的小區(qū)塊還有助于減少阻塞與振鈴失真。

量化與變換系數(shù)掃描：變換系數(shù)通過標(biāo)量量化方式得到量化，不產(chǎn)生加大的死區(qū)。與之前的標(biāo)準(zhǔn)類似，每個(gè) mb 都可選擇不同的量化步長，不過步長