您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

行動端圖片格式全方位調研:從 JPEG 到 BPG 的選型與優化實踐

編輯:iOS 開發基礎

作者:ibireme

在行動裝置上,圖片往往是消耗流量最多的資源,同時也占據著畫面中最關鍵的視覺位置。選對圖片格式並做好優化,不僅能幫你省下可觀的頻寬,還能兼顧甚至提升顯示品質。本文將系統梳理當前主流與新興的幾種圖片格式,從它們的特性、效能表現、參數調校一路談到相關開源庫的取捨。

本文導讀

  1. 常見圖片格式概覽
  2. 行動平台對各類圖片格式的支援狀況
  3. 靜態圖片的編碼與解碼
  4. 動態圖片的編碼與解碼
  5. 動圖效能橫向比較

幾種常見圖片格式

先從幾個大家耳熟能詳的「老牌」格式說起。

JPEG 是目前最普及的圖片格式,誕生於 1992 年,歷史相當悠久。它僅支援有損壓縮,其壓縮演算法能精確控制壓縮率,用畫質換取儲存空間。正因為實在太普遍,許多行動裝置的 CPU 都內建了針對它的硬體編碼與硬體解碼能力。

PNG 問世於 1995 年,比 JPEG 略晚。它當初的設計目標是取代 GIF,因此與 GIF 有不少相似之處。PNG 只支援無損壓縮,壓縮率存在天花板;但相比 JPEG 與 GIF,它最大的優勢在於支援完整的 Alpha 透明通道。

GIF 誕生於 1987 年,伴隨第一代網際網路流行開來。它的缺點很明顯:通常只支援 256 色、透明通道僅 1 bit、壓縮率也不算高。它幾乎唯一的看家本領就是支援多影格動畫,憑著這一點,它從 Windows 1.0 時代一路流行至今,至今仍廣受歡迎。

在這些格式問世之後,不少公司與團隊都嘗試改進它們,或乾脆創造更優秀的新格式,例如 JPEG 小組的 JPEG 2000、微軟的 JPEG-XR、Google 的 WebP,以及個人開發者推出的 BPG、FLIF 等。它們相比老牌格式確實有很大進步,但由於種種原因,最終只有少數幾個真正流行開來。以下三種,是目前實力最被看好的新興格式:

APNG 是 Mozilla 於 2008 年推出的格式,目標是取代畫質不佳的 GIF 動畫。它本質上只是 PNG 的一種擴充,因此 Mozilla 一直希望把它併入 PNG 標準。然而 PNG 開發組並未接受這一擴充,而是持續推進自家的 MNG 動圖格式。MNG 過於複雜,幾乎沒有系統或瀏覽器支援;反倒是以簡潔、易於實作著稱的 APNG 逐漸流行開來。Mozilla 自家的 Firefox 率先支援 APNG,隨後蘋果 Safari 也跟上,Chrome 亦開始嘗試支援,前景頗被看好。

WebP 是 Google 於 2010 年推出的格式,希望以更小的體積取代 JPEG。它以 VP8 影片的影格內編碼作為演算法基礎,取得了相當不錯的壓縮效果,同時支援有損與無損壓縮、完整透明通道,還支援多影格動畫,且沒有版權疑慮,堪稱相當理想的格式。憑藉 Google 在網路世界的影響力,WebP 在短短幾年間就得到了廣泛應用。翻開你手機裡的 App——微博、微信、QQ、淘寶、網易新聞等等,幾乎處處可見 WebP 的身影。Facebook 更是進一步,用 WebP 來呈現聊天介面裡的貼圖動畫。

BPG 是知名程式設計師 Fabrice Bellard 於 2014 年發布的一款超高壓縮率格式。這位開發者有些人或許陌生,但提到他的作品 FFmpeg、QEMU,想必大家都聽過。BPG 以 HEVC(即 H.265)的影格內編碼作為基礎,就這一點而言,它無疑是當下最先進的圖片壓縮格式。相比 JP2、JPEG-XR、WebP,在相同體積下 BPG 能提供更高的畫質;此外,得益於其基於影片編碼演算法的特性,它能以極小的檔案保存多影格動畫。Fabrice Bellard 聰明的地方在於,他清楚自己一人難以獲得各大瀏覽器廠商的青睞,因此特地開發了 JavaScript 版解碼器,任何瀏覽器只要載入這個僅 76KB 的 JS 檔案,就能直接顯示 BPG 圖片。目前阻礙它普及的主因,是 HEVC 的版權問題,以及偏長的編解碼時間。儘管這個格式才問世一年多,已經有不少廠商開始試水,例如阿里與騰訊。

行動平台對圖片格式的支援狀況

那麼目前主流行動平台對圖片格式的支援情況究竟如何?我們分別來看 Android 與 iOS 的圖片編解碼架構。

Android 的圖片編解碼由 Skia 圖形庫負責,Skia 透過掛接第三方開源庫來實現常見格式的支援。目前 Android 原生支援的格式只有 JPEG、PNG、GIF、BMP 與 WebP(Android 4.0 起加入),而在上層能直接呼叫的編碼方式僅有 JPEG、PNG、WebP 三種,且目前尚不支援動圖的直接編解碼。

iOS 底層則以 ImageIO.framework 實現圖片編解碼。iOS 原生支援的格式包括 JPEG、JPEG2000、PNG、GIF、BMP、ICO、TIFF、PICT,自 iOS 8.0 起,ImageIO 又加入了 APNG、SVG、RAW 的支援。在上層,開發者可直接呼叫 ImageIO 對上述格式進行編解碼;對於動圖,開發者能解碼動畫 GIF 與 APNG,也能編碼動畫 GIF。

兩個平台在引入第三方編解碼庫時,都多少做了一些改動。例如 Android 對 libjpeg 等進行調整以更好地控制記憶體,iOS 則修改了 libpng 以支援 APNG,並加入了多執行緒編解碼的特性。此外,iOS 還專門針對 JPEG 開發了 AppleJPEG.framework,實現了效能更高的硬體編解碼,只有在硬體編解碼失敗時才會退回到 libjpeg。

靜態圖片的編碼與解碼

由於我目前主要從事 iOS 開發,下面的效能評測都基於 iPhone 進行,測試素材不多,只有兩張:第一張是 Dribbble 的 Logo,帶有 Alpha 通道,用來測試簡單的圖形類影像;第二張是經典的 Lena 圖,用來測試細節豐富的照片類影像。每張影像都有 64x64、128x128、256x256、512x512 四種解析度。素材偏少可能讓某些測試不夠精確,但作為參考大致沒有問題。

JPEG

目前較知名的 JPEG 庫有以下三個:

  • libjpeg:開發時間最早、使用最廣泛的 JPEG 庫。由於 JPEG 標準過於複雜與模糊,很少有人另行實作,因此這個庫堪稱 JPEG 的事實標準。
  • libjpeg-turbo:致力於提升編解碼速度的 JPEG 庫。它基於 libjpeg 改造,用 SIMD 指令集(MMX、SSE2、NEON)重寫了部分程式碼,官方稱相比 libjpeg 有 2 到 4 倍的效能提升。
  • MozJPEG:致力於提升壓縮率的 JPEG 庫,由 Mozilla 於 2014 年發布,基於 libjpeg-turbo 改造而來,相比 libjpeg 有 5%~15% 的壓縮率提升,但代價是編碼速度明顯變慢。

除了這三個庫,蘋果自己也開發了未開源的 AppleJPEG,它呼叫晶片提供的 DSP 硬體編解碼功能。雖然功能不如上述三個庫完善,但效能極高,在我的測試中,其編解碼速度通常是 libjpeg-turbo 的 1~2 倍。可惜目前開發者無法直接存取這個庫。

下面是 ImageIO(AppleJPEG/libpng)在 iPhone 6 上的編解碼效能:

可以看到,JPEG 編碼時 quality 越小,檔案越小、畫質越差,編碼時間也越短;解碼時間差異則不大,可能因為其大部分時間消耗在函式呼叫與硬體呼叫上。蘋果在自家相簿 Demo 中給出的 quality 預設值為 0.9,在這個值附近,畫質、體積與編解碼時間都能取得不錯的平衡。

PNG

相比 JPEG,PNG 標準更清晰簡單,因此不少公司或個人都有自己的實作,但目前使用最廣的仍是 PNG 官方發布的 libpng,iOS 與 Android 底層都是呼叫它來實現 PNG 編解碼。下面是 PNG 在 iPhone 6 上的編解碼效能:

可以看到,處理圖形類影像(顏色少、細節少)時,PNG 與 JPEG 差距不大;但對於照片類影像(顏色與細節豐富),PNG 在檔案體積與編解碼速度上都明顯遜於 JPEG。

與 JPEG 不同,PNG 是無損壓縮,無法提供壓縮率選項,壓縮率存在上限。目前網上有許多針對 PNG 的優化工具與服務,旨在提升其壓縮率。以下是幾個常見 PNG 壓縮工具的效能比較:

pngcrush 是 Xcode 自帶的 PNG 壓縮工具,相比設計師用 Photoshop 生成的圖,能取得不錯的壓縮效果。ImageOptim 更進一步,對每張圖用多種演算法比對,選出壓縮率更高的結果,進一步縮小體積。TinyPNG.com 相比其他工具壓縮率高得驚人,它啟用了類似 GIF 的顏色索引表來壓縮 PNG,因此會讓顏色豐富的影像丟失部分細節;若使用 TinyPNG,最好在壓縮後請設計師確認顏色效果是否可接受。

WebP

WebP 標準由 Google 制定,迄今也只有 Google 發布的 libwebp 實現了編解碼,因此它也是該格式的事實標準。WebP 編碼主要有幾個參數:

  • lossless:YES 為有損編碼,NO 為無損編碼。WebP 的主要優勢在有損編碼,其無損編碼的效能與壓縮率表現一般。
  • quality:[0~100] 影像品質,0 代表最差品質、檔案最小、細節損失嚴重,100 代表最高品質、檔案較大。該參數僅對有損壓縮效果明顯。Google 官方建議值為 75,騰訊在評測時給出的建議也是 75,在這個值附近,WebP 能在壓縮率與畫質間取得較好平衡。
  • method:[0~6] 壓縮率,0 代表快速壓縮、耗時短、品質一般,6 代表極限壓縮、耗時長、品質好。該參數同樣僅對有損壓縮效果明顯,最高能帶來 20%~40% 的更高壓縮率,但編碼時間會增加 5~20 倍。Google 推薦值為 4。

對於無損圖片的編碼,quality=0、method=0~3 相對合適,能節省編碼時間,同時保有還不錯的壓縮率;對於有損圖片,quality=75、method=2~4 較為合適,能在編碼時間、畫質與檔案體積之間取得不錯的平衡。

WebP 解碼有三個參數:

  • use_threads:是否啟用 pthread 多執行緒解碼,僅對寬度大於 512 的有損圖片有效。開啟後內部會以多執行緒解碼,CPU 佔用更高,解碼時間平均能縮短 10%~20%。
  • bypass_filtering:是否停用濾波,僅對有損圖片有效。開啟後約能縮短 5%~10% 的解碼時間,但會讓部分顏色過渡平滑的區域產生色帶(banding)。
  • no_fancy_upsampling:是否停用上採樣,僅對有損圖片有效。在我的測試中,開啟後解碼時間反而增加 5%~25%,還會造成部分細節丟失、線條邊緣出現雜色,顯得不自然。

通常情況下這三個參數都設為 NO 即可;若要追求更快的解碼速度,可嘗試開啟 use_threads 與 bypass_filtering,而 no_fancy_upsampling 則在任何情況下都沒必要開啟。

由於 WebP 測試數據較多,這裡只貼出 512x512 大小的一部分結果,感興趣的可參考文末的 Excel 附件。

對於簡單的圖形類影像(例如 App 內的各種 UI 素材),WebP 無損壓縮的檔案體積與解碼速度在某些情況下甚至比 PNG 更理想,若想優化 App 安裝包體積,不妨一試。對於複雜影像(例如照片),WebP 無損編碼表現平平,但有損編碼表現非常出色:在相近畫質下,其解碼速度與 JPEG 已相差不大,壓縮率卻能提升不少。

BPG

BPG 是目前已知最優秀的有損壓縮格式,能在相同畫質下比 JPEG 減少 50% 的體積。下面是經典 Lena 圖的對比,你也可以在網上看到大量 BPG、JPEG、JPEG2000、JPEG-XR、WebP 壓縮效果的線上比較,效果非常明顯。

BPG 目前只有作者發布的 libbpg 可用,但作者基於它編譯出了一個 JavaScript 解碼器,大幅擴展了可用範圍。BPG 可以無損與有損兩種方式編碼,有損壓縮時可用 quality 參數控制壓縮率,範圍為 0~51,數值越大壓縮率越高,通常 25 附近是個不錯的選擇,官方工具預設值為 28。

libbpg 目前尚未針對 ARM NEON 做優化,因此在行動端的效能表現一般。下面是 iPhone 6 上的效能測試:

由於 BPG 編碼時間太長,我並未將數據放進表格。可以看到相同畫質下,BPG 的解碼速度仍遠遜於 JPEG,大約慢了 3~5 倍。目前而言,BPG 適用於對流量非常敏感、但對解碼時間不敏感的场景。從網上消息來看,手機淘寶與手機 QQ 都已有嘗試,但不確定它們是否對 BPG 解碼做過優化。

動態圖片的編碼與解碼

動圖在網路上非常受歡迎,它近似影片,但通常實作簡單、檔案體積小,應用範圍極廣。動圖的始祖是 GIF,它自 Windows 1.0 時代就在網路上流行開來,直到今天仍難以被取代。儘管它十分古老,但其所用原理與今天幾種新興格式幾乎一致。

下面是一張 GIF 格式的 QQ 大表情:

這張表情由 6 幅靜態圖構成,每幅圖有一定的存活時間,連續播放便形成動畫:

這幾張圖中,大部分內容相近,為了壓縮體積,動圖格式通常支援以特殊方式對相似圖像做裁剪,只保留前後影格不同的部分:

解碼動圖時,解碼器通常采用所謂的「畫布模式」來渲染。可以這樣想像:播放區域是一張畫布,播放第一幀前先把畫布清空,然後完整繪製第一幀;播放第二幀時不再清空畫布,只把與第一幀不同的區域覆蓋上去,就像油畫創作那樣。

這樣的第一幀被稱為關鍵幀(即 I 幀、影格內編碼幀),而後續那些透過補償計算得到的幀則被稱為預測編碼幀(P 幀)。一個壓縮得好的動圖,通常只有少量關鍵幀,其餘都是預測編碼幀;而一個較差的壓縮工具做出的動圖,則幾乎全是關鍵幀。不同的壓縮工具往往能得到不同結果。

除此之外,動圖格式通常有更細緻的參數來控制每一幀的繪製過程。以下是 GIF/APNG/WebP 通用的幾個參數:

Disposal Method(清除方式)

  • Do Not Dispose:把當前幀增量繪製到畫布上,不清空畫布。
  • Restore to Background:繪製當前幀前,先把畫布清空為預設背景色。
  • Restore to Previous:繪製下一幀前,先把畫布恢復為當前幀的前一幀。

Blend Mode(混合模式)

  • Blend None:繪製時全部通道(含 Alpha 通道)都會覆蓋到畫布,相當於繪製前先清空畫布的指定區域。
  • Blend over:繪製時 Alpha 通道會被合成到畫布,即一般兩張圖片重疊的效果。

這些技術,就是常見動圖格式的基礎。下面分別介紹不同動圖格式的特點。

GIF

GIF 的缺陷非常明顯:它通常只支援 256 色索引顏色,只能透過抖動、差值等方式模擬較豐富的顏色;它的 Alpha 通道只有 1 bit,意味著一個像素只能完全透明或完全不透明。

上面這是騰訊部落格裡的一張示範圖,可以看到 GIF 由於 Alpha 通道的限制,產生了嚴重的「毛邊」現象。目前常見的解法是,在圖片邊緣加一圈白邊來減輕這種視覺效果:

仔細觀察 QQ、微信等 App 裡的動畫表情,幾乎每個表情都被一圈白邊環繞,不得不說是頗為無奈的解法。

GIF 的製作工具很多,但效果好、壓縮率高的卻很少。對於已做好的 GIF,用 ImageMagick 處理一下能把體積壓下不少;若要把影片轉成 GIF,Cinemagraph Pro 是個不錯的傻瓜化工具;網上也有文章介紹如何用 ffmpeg 壓縮 GIF,雖然參數調節有點麻煩,但效果非常理想。下圖是未經優化的 GIF 與經 ffmpeg 優化編碼的 GIF,差距非常明顯。

APNG

APNG 目前並未被 PNG 官方接受,因此 libpng 無法直接解碼 APNG。但由於 APNG 只是基於 PNG 的簡單擴充,在已支援 PNG 的平台上,可以用少量程式碼輕鬆實現 APNG 的編解碼。Chromium 為了支援 APNG 播放,只增加了不到 600 行程式碼;我自己也只用約 500 行 C 程式碼就實現了一個簡單的 APNG 編解碼工具。此外,在支援 canvas 的瀏覽器上,可以用 apng-canvas 直接顯示 APNG 動畫。目前 APNG 壓縮效果最好的工具是 apngasm,大部分圖形化工具(如騰訊的 iSparta)都是基於它開發的。

就目前而言,APNG 是 GIF 最好的替代方案:實作簡單、可用範圍廣、壓縮率不錯、顯示效果也好。

WebP

WebP 在 2010 年發布時並未支援動圖。直到 2012 年 libwebp v0.2 時,Google 才開始嘗試支援動畫,但當時實作問題很多、效能也很差,以致 Chrome 團隊遲遲不肯接受。直到 2013 年 libwebp v0.4 時,動畫格式才穩定下來並被 Chrome 接受。

WebP 動圖實際上是把多個單幀 WebP 數據簡單打包進同一個檔案,而非由單幀 WebP 擴充而來,因此動圖格式無法向上相容靜態圖。若要支援動圖,編譯 libwebp 時需加上 demux 模組,解碼時要先以 WebPDemuxer 嘗試拆包,再把拆出的單幀用 WebPDecode 解碼。Google 提供了兩個簡單的命令列工具用來製作動圖:gif2webp 能把 GIF 轉為 WebP,webpmux 能把多張 WebP 圖打包成動態圖,並有許多參數可調。這兩個工具對相近幀的壓縮並不理想,某些情況下壓縮率甚至不如 APNG,但除此之外也沒有更好的工具可用了。

BPG

BPG 本身基於 HEVC(H.265)影片編碼,最初設計時就已考慮到動圖的實現。由於它充分利用了 HEVC 的高壓縮率與影片編碼特性,其動圖壓縮率遠超其他格式。網上有幾張 BPG 動圖示例,可以看到相同畫質下,BPG 動圖只有 APNG/WebP/GIF 的幾十分之一大小。

動圖效能比較

我把下面這張 GIF 分別轉為 WebP、APNG、BPG 動圖,並在 iPhone 6 上對其所有影格進行解碼。

評測結果如下:

APNG 在檔案體積上比 GIF 略有優勢,解碼時間相差不多;WebP 在體積與解碼時間上都有較大優勢;BPG 在體積上優勢最大,但解碼時間也最長。如此看來,APNG 與 WebP 都是不錯的選擇,而 BPG 則仍有待效能優化。

最後做個小廣告:如果你是 iOS 平台開發者,可以試試我開發的 YYWebImage,它支援 APNG、WebP、GIF 動圖的非同步載入與播放、編碼與解碼,支援漸進式圖像載入,可以替代 SDWebImage、PINRemoteImage、FLAnimatedImage 等開源庫。

評測數據

上文提到的所有評測數據表格:image_benchmark.xlsx,建議用 Excel 開啟查看。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved