整體可以概括為五個階段:
資料採集 → 資料編碼 → 資料傳輸(流媒體伺服器)→ 解碼資料 → 播放顯示
由攝影機與收音裝置取得原始訊號。常見元件包含 CCD/CMOS 感光元件,以及由咪頭與音頻放大電路組成的拾音系統。
用硬體或軟體把原始資料數位化並加工(混流、打包封裝)。編碼率控制方式主要分 CBR(固定位元率)與 VBR(可變位元率)。
早期多走同軸電纜等有線專線,IP 網路普及後改以 IP 傳輸為主。常用協議包含 RTP/RTCP、RTSP、RTMP、HTTP、HLS;控制信令則有 SIP、SDP、SNMP 等。
把編碼後的資料還原成可直接顯示的影像與聲音。一般編碼器都會附帶對應的解碼器,也有第三方解碼外掛可用。
在螢幕、監視器或耳機、喇叭等裝置上呈現畫面與聲音。
(1)選擇流媒體協議。目前直播應用以 RTMP 居多,部分使用 HLS。選 RTMP 就要理解它與伺服器的互動過程(預設埠 1935、基於 TCP),並了解 FLV 封裝格式;選 HLS 則因涉及切片,延遲較大,需要了解 TS 流。
(2)採集音視頻資料。在 iOS 上使用 AVFoundation.framework,從 AVCaptureSession 的回呼中取得音視頻資料。
(3)硬編碼或軟編碼。軟編碼消耗 CPU 資源壓縮資料,硬編碼則交由專用晶片處理。軟編碼常見組合是 FFmpeg + x264 輸出 H.264、FFmpeg + fdk_aac 輸出 AAC。
(4)依協議封包。把音視頻打包成 packet。
(5)與伺服器互動並發送。依協議送出身分驗證與連線指令,連線成功後即可持續推送 packet。
(1)解析協議。播放器依 URL 判斷使用 RTMP 或 HLS。
(2)解封裝(demux)。從 FLV、TS 等容器中分離出音視頻資料。
(3)解碼。把 H.264 還原成 YUV、AAC 還原成 PCM。軟解碼靠 CPU 跑 FFmpeg;硬解碼在 iOS 8.0 以上可用 VideoToolbox.framework,Android 則用 MediaCodec。
(4)渲染。以 OpenGL 渲染 YUV 畫面;PCM 則送入硬體播放。iOS 播放串流音頻通常使用 AudioQueue,也就是 AudioToolbox.framework。
另外,測試用的公開串流來源(HLS 的 m3u8、RTMP、RTSP 各一組)也很適合拿來驗證播放器是否正常工作。這類來源變動頻繁,使用前建議先確認可用性。
由 Adobe 為 Flash 播放器與伺服器之間的音視頻傳輸而開發,有三種變體:基於 TCP 的明文協議(埠 1935)、封裝在 HTTP 請求中可穿越防火牆的 RTMPT,以及使用 HTTPS 的 RTMPS。RTMP 就像一個裝資料包的容器,內容可以是 AMF 格式資料或 FLV 中的視音頻資料;單一連線可透過不同通道傳輸多路串流。
定義一對多應用如何透過 IP 網路傳送多媒體資料,提供可擴充框架,資料來源可以是即時串流或既有檔案。它的語法與運作方式類似 HTTP/1.1,但不強調時間同步,因此對網路延遲較寬容;同時具備重新導向能力,可依實際負載切換服務伺服器。
針對多媒體資料流的傳輸層協議,規範了音視頻在網際網路上的標準封包格式,常與 RTCP 搭配使用。RTP 本身不保證送達、不處理丢包,也依賴底層服務提供品質保證;但它透過序列號讓接收端得以重組封包順序。
RTP 的配套協議,負責在會話參與者之間週期性傳輸控制資訊。主要功能是為 RTP 提供品質回饋:傳輸位元組數、封包數、遺失數、單雙向延遲等統計資料。應用程式可利用這些資訊調整流量或改用壓縮比不同的編解碼器。
直播開發的技術棧相當長,但骨架其實就是「採集 → 編碼 → 傳輸 → 解碼 → 渲染」這五步。先把每一段的協議與 API 對應清楚,再選擇自建或採用第三方 SDK,決策就會清晰很多。若你是剛入門,建議從 HLS 播放開始,再逐步往推流與低延遲(RTMP/WebRTC)方向深入。