您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS 直播類 App 開發全流程解析

編輯:iOS 開發綜合

一、音視頻處理的一般流程

整體可以概括為五個階段:

資料採集 → 資料編碼 → 資料傳輸(流媒體伺服器)→ 解碼資料 → 播放顯示

1. 資料採集

由攝影機與收音裝置取得原始訊號。常見元件包含 CCD/CMOS 感光元件,以及由咪頭與音頻放大電路組成的拾音系統。

2. 資料編碼

用硬體或軟體把原始資料數位化並加工(混流、打包封裝)。編碼率控制方式主要分 CBR(固定位元率)與 VBR(可變位元率)。

  • 視頻:H.265、H.264、MPEG-4 等;封裝容器常見 TS、MKV、AVI、MP4。
  • 音頻:G.711μ、AAC、Opus 等;封裝常見 MP3、OGG、AAC。

3. 資料傳輸

早期多走同軸電纜等有線專線,IP 網路普及後改以 IP 傳輸為主。常用協議包含 RTP/RTCP、RTSP、RTMP、HTTP、HLS;控制信令則有 SIP、SDP、SNMP 等。

4. 解碼資料

把編碼後的資料還原成可直接顯示的影像與聲音。一般編碼器都會附帶對應的解碼器,也有第三方解碼外掛可用。

5. 播放顯示

在螢幕、監視器或耳機、喇叭等裝置上呈現畫面與聲音。

二、推流與拉流的具體過程

推流端

(1)選擇流媒體協議。目前直播應用以 RTMP 居多,部分使用 HLS。選 RTMP 就要理解它與伺服器的互動過程(預設埠 1935、基於 TCP),並了解 FLV 封裝格式;選 HLS 則因涉及切片,延遲較大,需要了解 TS 流。

(2)採集音視頻資料。在 iOS 上使用 AVFoundation.framework,從 AVCaptureSession 的回呼中取得音視頻資料。

(3)硬編碼或軟編碼。軟編碼消耗 CPU 資源壓縮資料,硬編碼則交由專用晶片處理。軟編碼常見組合是 FFmpeg + x264 輸出 H.264、FFmpeg + fdk_aac 輸出 AAC。

(4)依協議封包。把音視頻打包成 packet。

(5)與伺服器互動並發送。依協議送出身分驗證與連線指令,連線成功後即可持續推送 packet。

拉流端

(1)解析協議。播放器依 URL 判斷使用 RTMP 或 HLS。

(2)解封裝(demux)。從 FLV、TS 等容器中分離出音視頻資料。

(3)解碼。把 H.264 還原成 YUV、AAC 還原成 PCM。軟解碼靠 CPU 跑 FFmpeg;硬解碼在 iOS 8.0 以上可用 VideoToolbox.framework,Android 則用 MediaCodec。

(4)渲染。以 OpenGL 渲染 YUV 畫面;PCM 則送入硬體播放。iOS 播放串流音頻通常使用 AudioQueue,也就是 AudioToolbox.framework。

三、常用第三方資源

SDK

  • VideoCore(新浪雲端有推流 SDK 使用文件)
  • 網易雲信直播 SDK(付費)
  • 暴風雲直播 SDK
  • 融雲直播
  • 騰訊雲直播 SDK

開源庫

  • BeautifyFaceDemo:基於 GPUImage 的影像處理,做美顏時值得參考。
  • PLPlayerKit:不依賴 FFmpeg 的播放器,支援 RTMP。
  • HLS-Demo:HLS 播放範例。
  • SmarterStreaming:支援私有協議與 RTMP 推流的跨平台直播 SDK。

另外,測試用的公開串流來源(HLS 的 m3u8、RTMP、RTSP 各一組)也很適合拿來驗證播放器是否正常工作。這類來源變動頻繁,使用前建議先確認可用性。

四、常見協議詳解

RTMP(Real Time Messaging Protocol)

由 Adobe 為 Flash 播放器與伺服器之間的音視頻傳輸而開發,有三種變體:基於 TCP 的明文協議(埠 1935)、封裝在 HTTP 請求中可穿越防火牆的 RTMPT,以及使用 HTTPS 的 RTMPS。RTMP 就像一個裝資料包的容器,內容可以是 AMF 格式資料或 FLV 中的視音頻資料;單一連線可透過不同通道傳輸多路串流。

RTSP(Real Time Streaming Protocol)

定義一對多應用如何透過 IP 網路傳送多媒體資料,提供可擴充框架,資料來源可以是即時串流或既有檔案。它的語法與運作方式類似 HTTP/1.1,但不強調時間同步,因此對網路延遲較寬容;同時具備重新導向能力,可依實際負載切換服務伺服器。

RTP(Real-time Transport Protocol)

針對多媒體資料流的傳輸層協議,規範了音視頻在網際網路上的標準封包格式,常與 RTCP 搭配使用。RTP 本身不保證送達、不處理丢包,也依賴底層服務提供品質保證;但它透過序列號讓接收端得以重組封包順序。

RTCP(Real-time Transport Control Protocol)

RTP 的配套協議,負責在會話參與者之間週期性傳輸控制資訊。主要功能是為 RTP 提供品質回饋:傳輸位元組數、封包數、遺失數、單雙向延遲等統計資料。應用程式可利用這些資訊調整流量或改用壓縮比不同的編解碼器。

總結

直播開發的技術棧相當長,但骨架其實就是「採集 → 編碼 → 傳輸 → 解碼 → 渲染」這五步。先把每一段的協議與 API 對應清楚,再選擇自建或採用第三方 SDK,決策就會清晰很多。若你是剛入門,建議從 HLS 播放開始,再逐步往推流與低延遲(RTMP/WebRTC)方向深入。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved