您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

用 AVFoundation 打造視頻倒序的實戰全記錄

編輯:iOS 開發基礎

作者:黃凱

需求背景

近期參與了一款視頻類 App 的開發,在編輯模塊裡拋出了一個頗具挑戰性的需求:把視頻倒序處理並導出一個全新的文件。要注意,這裡說的並不是「倒著播放」,而是真正生成一份幀序顛倒的新視頻,兩者的實現難度完全不在一個量級上。

摸索過程

起初我以為這需求手到擒來,動手後才發現處處是坑。最初天真地以為只要拿 AVMutableComposition 把 Track 反轉一下就能搞定(實在是 Too Naive 了),結果翻遍 API 才確認 AVFoundation 根本沒有現成的反轉接口。無奈之下只能四處 Google、翻 StackOverflow,最終從下面兩位前輩的開源實現裡找到了靈感,在此特別感謝:
https://github.com/mikaelhellqvist/ReverseClip
https://github.com/whydna/ReverseAVAsset

先說原理。一段視頻文件刨去那些零碎的元數據,本質上就是一幀接一幀的靜態圖片(幀的分類這裡暫不展開)。所以所謂倒序,無非就是把每一幀按相反的次序重新排列,讓畫面倒著走一遍即可。

整體思路可以概括為下面這張圖:

第一步,把視頻切分成多個 AVAssetTrack。之所以要這麼做,是因為用 AVAssetReader 讀取每一幀 SampleBuffer 時,數據必須先加載進內存;若一次性把整段視頻的 SampleBuffer 全塞進內存,極易導致閃退。

第二步,切好之後,用 AVAssetReader 從最後一個 AVAssetTrack 開始往前讀取 SampleBuffer,如此一來我們就能實現「從後往前」拿到幀數據。

第三步,拿到數據後,借助 AVAssetWriterInputPixelBufferAdaptor 的 - appendPixelBuffer:withPresentationTime: 方法,把這些 SampleBuffer 按倒序寫入一個新文件。

踩過的坑

  1. 折騰一番後,Demo 終於能跑起來,也確實輸出了倒序視頻,但結尾總會莫名少掉一截。原因在於加載 AVAsset 時沒有拿到精確的時長信息。解決辦法是調用 loadValuesAsynchronouslyForKeys 方法,異步獲取準確的視頻元數據。

  2. 然而這只滿足了最理想的場景——處理的是一段未經任何編輯的原始視頻。現實中我們往往需要對素材做合成、剪切、Transform、加水印、加動畫等一系列編輯,而這些操作通常只生成了一個新的 AVMutableComposition,並不會真正落盤成新文件。那麼,能不能直接拿「編輯後的結果」去生成倒序視頻?翻遍網絡也沒找到答案,最後是在官方文檔裡發現了 AVAssetReaderOutput 的一個子類——AVAssetReaderVideoCompositionOutput。它有一個 videoComposition 屬性,可以塞進一個 AVVideoComposition 指令容器,如此便能精準加載被編輯過的視頻指令。不過指令帶有一個 timeRange 屬性,直接生成的 AVAssetTrack 與原始的 AVVideoComposition 並不匹配,這裡我用了一個取巧的辦法來對齊。

解決方案

關鍵在切分 AVAsset 的那一步:生成新的 AVComposition 實例時,用 insertTimeRange 插入的時間並不是 kCMTimeZero,而是每一段 AVAssetTrack 在原始 AVAsset 中對應的起止位置。這樣再用 AVAssetReaderVideoCompositionOutput 配置 videoComposition,Reader 就能準確讀出帶著編輯指令的每一幀 SampleBuffer,之後照前面的方法倒序寫入即可。

經驗小結

  • appendPixelBuffer:withPresentationTime: 不能從後往前寫,否則會寫入失敗。

  • 兼顧編輯指令的方案會犧牲一部分性能:因為 AVAssetTrack 並非從 kCMTimeZero 起算,Reader 讀取時會先拿到大量黑幀。視頻切得越碎、時長越長,倒序生成的耗時也就越誇張。

  • 目前的切分策略是每段最長 1 秒,遇到又長又大的視頻,處理時間會相當可觀。

  • 切分時並沒有區分「編輯過」與「未編輯」兩種情況。如果只需對原始視頻做倒序,完全可以把每個 AVAssetTrack 的起始時間設為 kCMTimeZero,性能會有明顯提升。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved