您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

不用任何第三方庫,自己寫一個 RTMP 直播推流器

編輯:iOS 開發基礎

2016 年是移動直播爆發的一年,短短幾個月內無數直播 App 把「全民直播」吹成了熱潮。但客觀說,直播的技術門檻並不低:推流端、服務端、播放端每一層都需要專業支撐,僅推流端就牽涉大量知識。

目前主流直播方案採用 RTMP 協議。本文寫一個簡化版 Demo,把推流過程拆開講清楚:音視頻採集、編碼壓縮、數據打包、RTMP 交互。項目按模塊拆分並用協議隔離,方便逐塊研究。

推流整體流程

  • 建立 TCP 連接

  • 建立 RTMP 連接,完成握手並發送各類控制指令

  • 獲取原始音頻與視頻數據

  • 對原始數據做壓縮編碼

  • 把編碼後的數據按協議打包

  • 發送音視頻數據包

各模塊職責

SGSimpleSession——對外接口層,同時也是數據分發中心。採集到的原始數據、編碼後的數據都在這裡被分派給不同模塊。

視頻相關

1. SGVideoSource:原始視頻採集,底層基於 AVFoundation。輸出未編碼的視頻幀,同時負責畫面預覽。如果需要美顏、攝像頭切換、鏡像翻轉、手電筒等能力,也都應該在這一層處理。

幾個基礎概念:

  • 視頻幀:原始視頻就是一幀一幀的圖像數據,未經壓縮,每幀包含畫面信息和時間戳。

  • 幀率(fps):一秒內包含的幀數,常見範圍 15~30。幀率越高越流暢,帶寬消耗也越大。實際直播中 15~20 通常就夠用。

  • 分辨率:單幀圖像的邊長。iOS 常見的有 352×288、640×480、1280×720,直播多用 640×480 再裁成 640×360。

  • 碼率:單位時間傳輸的數據位數,決定單幀的精細程度。一定範圍內碼率越大越清晰,帶寬與文件體積也越大,超過閾值後清晰度不再提升。640×480 下 512kbps 基本能保證清晰度。

2. SGVideoConfig:視頻配置類,包含壓縮等級、分辨率、碼率等參數。

3. SGH264Encoder:編碼器,把原始視頻幀壓縮編碼,輸出 H.264,這裡採用硬編碼。

  • 編碼:把原始幀壓縮成更小的數據以便網絡傳輸。當前主流的視頻壓縮算法是 H.264,它分為 baseline、main、high 等不同壓縮等級,等級越高壓縮比越大。

  • 硬編碼:相對軟編碼而言。軟編碼靠 CPU 運算,耗時且吃性能,但兼容性好,代表實現是 FFmpeg 或 x264;硬編碼走 GPU,效率高得多。本文使用 iOS 系統自帶的硬編碼能力,要求 iOS 8 及以上。

  • 三種幀類型:I 幀(關鍵幀)解碼後可獨立呈現完整畫面;P 幀是前向預測幀,需參考前一幀;B 幀是雙向預測幀,需同時參考前後幀。因此 I 幀壓縮比最低(約 0.7,僅用幀內壓縮),P 幀約 0.5,B 幀可達 0.3~0.5,後兩者使用了幀間壓縮(運動估計,利用相鄰幀的空間冗餘)。壓縮等級不同,包含的幀類型也不同:baseline 只有 I 幀和 P 幀,main 與 high 三種都有,整體壓縮比更高。但 B 幀依賴後向參考,一旦後面的幀丟失,前面的幀也無法渲染,容易造成卡頓,所以直播場景通常選 baseline。

  • GOP:除 I 幀外,其他幀無法獨立渲染。理論上全片只留一個 I 幀壓縮比最高,但由於預測誤差會逐幀累積,時間一長畫面會失真。解法是以一小段為單元,每個單元的第一幀固定為 I 幀——這樣即使某一小段出問題,也不會影響後續。每一個這樣的單元就是一個 GOP。GOP 大小通常設為 1~3 秒,也就是關鍵幀間隔為 1×fps 到 3×fps 幀。這也是「秒開」優化的關鍵之一:GOP 越小,關鍵幀越密集,用戶隨機進入直播間時能更快拿到關鍵幀並渲染出畫面;代價是帶寬消耗上升。

4. SGH264Packager:把已編碼的 H.264 幀封裝成符合 RTMP 協議格式的數據,才能發送。

音頻相關

SGAudioSource:負責錄制音頻,輸出 PCM 格式的原始音頻幀。

SGAudioConfig:音頻配置類,包含聲道數、碼率、採樣率。

SGAACEncoder:把 PCM 數據編碼壓縮成 AAC,這裡同樣用硬編碼(軟編碼可用 faac)。

SGAACPackager:把編碼後的 AAC 數據封裝成符合 RTMP 協議的格式。

RTMP 相關

SGStreamSession:負責建立 TCP 連接、底層數據讀寫以及連接狀態回調。連接狀態貫穿整個項目,非常關鍵。

SGRtmpSession:負責與服務器的 RTMP 交互,包括握手、指令發送、把數據進一步封裝成消息後發送。指令種類很多,這裡說一個重要的:握手完成後需要重新協商 chunk size(默認 128 字節)。128 字節實在太小、影響效率,通常會調大一些,這裡設為 16KB;但也不是越大越好,過大反而浪費帶寬。這個類涉及 RTMP 細節較多、理解成本較高,也可以直接用開源的 librtmp 替代。

小結

整個流程很像一條工廠流水線,各模塊可以按需替換和深入研究。Demo 裡注釋寫得比較細,便於閱讀。

這個項目在 2016 年 7 月前後完成,後來經歷項目下線、轉戰新項目(依然是直播)。中間寫過幾篇入門文章,本來想做成系列,無奈太忙未能堅持。趁著年初不太忙,趕緊整理出來,純手寫,有問題歡迎留言。

完整代碼:https://github.com/iOSSinger/SGLivingPublisher

RTMP 中文文檔:https://raw.githubusercontent.com/iOSSinger/SGLivingPublisher/master/RTMP.docx

推薦學習資料:雷曉華博士的音視頻開發系列博客(https://blog.csdn.net/leixiaohua1020),以及一篇講解硬編碼的詳細文章。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved