您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

iOS 上打造 WebRTC 音視頻通話:從原理到多人聊天室

編輯:iOS 開發基礎

前言

WebRTC 是 Web Real-Time Communication 的縮寫,顧名思義,它是一套讓瀏覽器進行即時語音或視頻對話的技術。它涵蓋了視頻會議的核心環節——採集、編解碼、網路傳輸、顯示,並且跨平台支援 Windows、Linux、Mac、Android 與 iOS。2011 年 5 月開放原始碼後,迅速成為下一代視頻通話的事實標準。

本文示範如何以 WebRTC 為基礎,實現不同客戶端之間的音視頻通話,而且不只限於行動端到行動端,還包括行動端與瀏覽器之間。

目錄

一、WebRTC 的實現原理
二、iOS 下 WebRTC 環境的搭建
三、WebRTC 的 API 與點對點連接流程
四、iOS 客戶端實作與服務端信令通道

一、WebRTC 的原理

WebRTC 的音視頻通信基於 P2P,也就是點對點連接。

傳統模式 vs 點對點模式

傳統連線都以伺服器為中介:HTTP 是客戶端↔伺服器;即時通訊傳文字、圖片、錄音時是「客戶端 A ↔ 伺服器 ↔ 客戶端 B」。而點對點一旦通道建立,資料就不經過伺服器,直接在兩端之間流動:A↔B、A↔C……有無數種組合。

想想音視頻通話的場景,伺服器確實沒必要拿到雙方的通話內容,這樣做最大的好處就是大幅減輕伺服器壓力。

那 WebRTC 不需要伺服器嗎?

這是常見的誤解。嚴格來說,它只是不需要伺服器中轉資料。至少有兩件事非靠伺服器不可:

  • 瀏覽器之間交換建立連線所需的元資料(信令)必須經過伺服器。
  • 為了穿透 NAT 與防火牆。

第一點很好理解:A 與 B 要建連線,得有伺服器居中協調、控制何時開始;連線中斷時,也需要伺服器通知另一端。這些用來控制連線狀態的資料稱為信令,而與伺服器之間的那條通道就是信令通道。

圖中的 signalling 就是往伺服器送、收信令,底層調用 WebRTC,取得對方基本資訊後,才建立虛線部分的 Media 連線。

信令能承載的內容還包括:控制通信開關的連線訊息、錯誤告知、媒體流元資料(編解碼器與其設定、頻寬、媒體類型)、建立安全連線所需的金鑰資料,以及外界看得到的網路資訊如 IP 與埠號。這些 API 本身並沒有實作,得由開發者自行完成。

NAT 穿透是怎麼回事

NAT 的出現是為了緩解 IPv4 位址匱乏。我們通常處於路由器之下,被分配到 192.168.0.x 這種內網位址,一台路由器的公網位址對應了 n 台裝置的內網位址。

但這帶來一個問題:A 想傳資料給 B,封包到了 B 所在的路由器會被 NAT 攔下,B 收不到;反過來說,因為 A 的 NAT 已經記住了 B 這個位址,當 B 主動送資料給 A 時就不會被攔。這正是 NAT 穿透的核心思路。

於是我們有了做法:借一台公網伺服器,A、B 都往它送封包,伺服器因而得知雙方的公網 IP 與埠號;由於 A、B 是主動送出的,伺服器也能穿透兩側的 NAT。伺服器把 B 的位址給 A、A 的位址給 B,之後兩邊直接互通就不會被攔。

WebRTC 在 RTCPeerConnection 中使用 ICE 框架來保證 NAT 穿透,ICE 由 STUN、TURN、SDP 等技術與協議組成,共同完成防火牆與 NAT 的穿越工作。

二、iOS 下的環境建置

關鍵前提:WebRTC 已經內建在瀏覽器裡,網頁端直接用 JS 呼叫 API 即可。但在 iOS 平台,你得從官網下載指定版本的原始碼自行編譯——原始碼超過 10 GB,編譯過程關卡重重,最後產出的 webrtc 靜態庫約 300 多 MB。

編譯完成後你會得到一個 .a 檔與 include 目錄下的標頭檔:

把整个 WebRTC 資料夾加入工程,並補上所需的系統相依庫:

至此 iOS 下的 WebRTC 環境就完成了。

三、三個核心 API 與連接流程

WebRTC 主要提供三個 API:

  • MediaStream:透過攝影機與麥克風取得同步的音視頻流。
  • RTCPeerConnection:建構點對點穩定高效傳輸的核心組件。
  • RTCDataChannel:在兩端之間建立高吞吐、低延遲的通道,傳輸任意資料。

其中 RTCPeerConnection 是整套架構的核心。

建立點對點連線的流程

我們需要從 STUN Server 取得一個 ice candidate,它基本上就是你的公網位址。同時需要自建的伺服器維持信令通道,告知雙方彼此的 candidate 與 SDP 內容,以及何時建立、何時斷開。

補充 SDP(Session Description Protocol):它描述多媒體連線的內容,例如解析度、格式、編碼、加密演算法,讓兩端能理解彼此的資料。這些描述性元資料並不是媒體流本身。

把流程串起來:

1. A 與 B 連上伺服器,建立一條 TCP 長連線(WebSocket/MQTT/Socket/XMPP 皆可,這裡為了省事用 WebSocket)。

2. A 從 ICE Server 取得 ice candidate 傳給 Socket 伺服器,並產生含 SDP 的 offer 一併送出。

3. Socket 伺服器把 A 的 offer 與 candidate 轉發給 B,B 保存下來。

4. B 回傳含自己 SDP 的 answer 與 ice candidate。

5. Socket 伺服器把 B 的資料轉給 A。

至此 A 與 B 的 P2P 連線建立完成。

四、iOS 客戶端實作與信令服務端

多人聊天室的信令設計

上面是兩個人之間的流程,要做成多人聊天室就得擴展。使用者的操作大致是:連上伺服器 → 進入聊天室 → 與所有已在房間的人建立點對點連線並顯示 → 有人離開時收到通知並關閉該連線 → 有人加入時收到通知並建立新連線 → 離開頁面時關閉所有連線。

伺服器至少要負責三件事:新人加入時把新資訊告知房內其他人、把房內其他人資訊告知新人、有人離開時通知房內其他人。

以 WebSocket 為例,流程可整理為:建立連線 → 送出 join 信令(含房號)→ 伺服器回 peers 信令(含房內其他使用者資訊)→ 若有新成員,伺服器推 new_peer → 若有人離開,推 remove_peer → 離開時關閉 WebSocket。

對外介面設計

WebRTCHelper 對外只暴露單例、代理與連線方法:

@protocol WebRTCHelperDelegate;

@interface WebRTCHelper : NSObject <SRWebSocketDelegate>
+ (instancetype)sharedInstance;
@property (nonatomic, weak) id<WebRTCHelperDelegate> delegate;

/** 與伺服器建立連線 */
- (void)connectServer:(NSString *)server port:(NSString *)port room:(NSString *)room;

/** 退出房間 */
- (void)exitRoom;
@end

@protocol WebRTCHelperDelegate <NSObject>
@optional
- (void)webRTCHelper:(WebRTCHelper *)webRTChelper setLocalStream:(RTCMediaStream *)stream userId:(NSString *)userId;
- (void)webRTCHelper:(WebRTCHelper *)webRTChelper addRemoteStream:(RTCMediaStream *)stream userId:(NSString *)userId;
- (void)webRTCHelper:(WebRTCHelper *)webRTChelper closeWithUserId:(NSString *)userId;
@end

代理的三個方法分別對應:本地流的設定(顯示自己的畫面)、遠端流抵達(顯示對方畫面)、連線關閉(注意只關閉該 userId 的連線,不影響你與其他人的連線)。

使用端只要兩行:

[WebRTCHelper sharedInstance].delegate = self;
[[WebRTCHelper sharedInstance] connectServer:@"192.168.0.7" port:@"3000" room:@"100"];

顯示畫面的核心邏輯:

- (void)webRTCHelper:(WebRTCHelper *)webRTChelper setLocalStream:(RTCMediaStream *)stream userId:(NSString *)userId {
    RTCEAGLVideoView *localVideoView = [[RTCEAGLVideoView alloc] initWithFrame:CGRectMake(0, 0, KVideoWidth, KVideoHeight)];
    localVideoView.tag = 100;
    _localVideoTrack = [stream.videoTracks lastObject];
    [_localVideoTrack addRenderer:localVideoView];
    [self.view addSubview:localVideoView];
}

- (void)webRTCHelper:(WebRTCHelper *)webRTChelper addRemoteStream:(RTCMediaStream *)stream userId:(NSString *)userId {
    [_remoteVideoTracks setObject:[stream.videoTracks lastObject] forKey:userId];
    [self _refreshRemoteView];
}

只需要三步:建立 RTCEAGLVideoView 實例、從 stream 取出 RTCVideoTrack、用該 track 為 view 設定 renderer,再把 view 加畫面上。音頻會自動輸出(遠端音頻會播放,自己的不會)。

這裡有一個關鍵:RTCVideoTrack 必須被持有,否則畫面可能完全不顯示。所以本地 track 存成屬性,遠端 track 存進陣列。

上圖是手機截圖,因為模擬器無法調用 Mac 的攝影機,所以第一格是本地畫面,後面幾格是遠端使用者傳來的,人數越多就往下排。

WebRTCHelper 內部實作

+ (instancetype)sharedInstance {
    static dispatch_once_t onceToken;
    dispatch_once(&onceToken, ^{
        instance = [[[self class] alloc] init];
        [instance initData];
    });
    return instance;
}

- (void)initData {
    _connectionDic = [NSMutableDictionary dictionary];   // 裝 RTCPeerConnection
    _connectionIdArray = [NSMutableArray array];         // 裝已連接的使用者 id
}

- (void)connectServer:(NSString *)server port:(NSString *)port room:(NSString *)room {
    _server = server;
    _room = room;
    NSURLRequest *request = [NSURLRequest requestWithURL:[NSURL URLWithString:
        [NSString stringWithFormat:@"ws://%@:%@", server, port]]
        cachePolicy:NSURLRequestUseProtocolCachePolicy timeoutInterval:10];
    _socket = [[SRWebSocket alloc] initWithURLRequest:request];
    _socket.delegate = self;
    [_socket open];
}

- (void)webSocketDidOpen:(SRWebSocket *)webSocket {
    [self joinRoom:_room];
}

- (void)joinRoom:(NSString *)room {
    if (_socket.readyState == SR_OPEN) {
        NSDictionary *dic = @{@"eventName": @"__join", @"data": @{@"room": room}};
        NSData *data = [NSJSONSerialization dataWithJSONObject:dic options:NSJSONWritingPrettyPrinted error:nil];
        [_socket send:data];
    }
}

伺服器收到 join 後會回一則 _peers:

{
    data = { connections = (); you = "e297f0c0-..."; };
    eventName = "_peers";
}

connections 為空代表房間裡目前沒人;若已有人,這個陣列會裝著他們的 id。

六種信令事件的處理

- (void)webSocket:(SRWebSocket *)webSocket didReceiveMessage:(id)message {
    NSDictionary *dic = [NSJSONSerialization JSONObjectWithData:[message dataUsingEncoding:NSUTF8StringEncoding]
        options:NSJSONReadingMutableContainers error:nil];
    NSString *eventName = dic[@"eventName"];

    if ([eventName isEqualToString:@"_peers"]) {
        // 新加入房間:初始化工廠、本地流、為每個既有成員建立連線並送出 offer
    } else if ([eventName isEqualToString:@"_ice_candidate"]) {
        // 把對端的公網位址加進對應的 peerConnection
        RTCICECandidate *candidate = [[RTCICECandidate alloc] initWithMid:nil
            index:sdpMLineIndex sdp:sdp];
        [[_connectionDic objectForKey:socketId] addICECandidate:candidate];
    } else if ([eventName isEqualToString:@"_new_peer"]) {
        // 有人加入:為他建立新的 peerConnection 並加上本地流
    } else if ([eventName isEqualToString:@"_remove_peer"]) {
        // 有人離開:關閉該連線並清理
        [self closePeerConnection:socketId];
    } else if ([eventName isEqualToString:@"_offer"]) {
        // 對方發來 offer:設定遠端 SDP,角色轉為 RoleCallee
        RTCSessionDescription *remoteSdp = [[RTCSessionDescription alloc] initWithType:type sdp:sdp];
        [peerConnection setRemoteDescriptionWithDelegate:self sessionDescription:remoteSdp];
    } else if ([eventName isEqualToString:@"_answer"]) {
        // 收到對方的 answer:設定遠端 SDP
    }
}

1. _peers:初始化 RTCPeerConnectionFactory、建立本地流、為每個既有成員建立 RTCPeerConnection 並註冊 delegate、加上本地流,最後以 RoleCaller 身分對每個連線送出 offer。

- (void)createLocalStream {
    _localStream = [_factory mediaStreamWithLabel:@"ARDAMS"];
    RTCAudioTrack *audioTrack = [_factory audioTrackWithID:@"ARDAMSa0"];
    [_localStream addAudioTrack:audioTrack];

    NSArray *deviceArray = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    AVCaptureDevice *device = [deviceArray lastObject];
    AVAuthorizationStatus authStatus = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
    if (authStatus == AVAuthorizationStatusRestricted || authStatus == AVAuthorizationStatusDenied) {
        NSLog(@"相機訪問受限");
    } else if (device) {
        RTCVideoCapturer *capturer = [RTCVideoCapturer capturerWithDeviceName:device.localizedName];
        RTCVideoSource *videoSource = [_factory videoSourceWithCapturer:capturer constraints:[self localVideoConstraints]];
        RTCVideoTrack *videoTrack = [_factory videoTrackWithID:@"ARDAMSv0" source:videoSource];
        [_localStream addVideoTrack:videoTrack];
    }
}

2. _ice_candidate:這個事件裡的資料就是對方的公網位址,由 STUN 伺服器下發以完成 NAT 穿透。收到時建立 RTCICECandidate 並加入對應連線。而「送出」的時機在 RTCPeerConnectionDelegate:

- (void)peerConnection:(RTCPeerConnection *)peerConnection gotICECandidate:(RTCICECandidate *)candidate {
    NSDictionary *dic = @{@"eventName": @"__ice_candidate",
        @"data": @{@"label": [NSNumber numberWithInteger:candidate.sdpMLineIndex],
                   @"candidate": candidate.sdp, @"socketId": _currentId}};
    [_socket send:[NSJSONSerialization dataWithJSONObject:dic options:NSJSONWritingPrettyPrinted error:nil]];
}

STUN 伺服器這裡用的是 Google 的:

static NSString *const RTCSTUNServerURL = @"stun:stun.l.google.com:19302";

備用清單(部分可能被牆,也可自建):

stun.l.google.com:19302      stun1.l.google.com:19302     stun.ekiga.net
stun.ideasip.com             stun.iptel.org               stunserver.org
stun.voiparound.com          stun.voipstunt.com           stun.xten.com

3. _new_peer:為新成員建立 peerConnection、加上本地流,並更新兩個容器。

4. _remove_peer:關閉該 peerConnection,從陣列與字典移除,再對外拋出關閉回調。

5. _offer:從 offer 取出 SDP,設定為遠端描述,角色設為 RoleCallee。設定完成後會回到 SDP 的代理方法中生成 answer,形成閉環。

6. _answer:自己發出 offer 後收到的回覆,只需保存遠端 SDP。當 SDP 與 ICE Candidate 都交換完畢,點對點連線才算建立完成。

SDP 的兩個代理方法

// 建立本地 SDP 成功後
- (void)peerConnection:(RTCPeerConnection *)peerConnection
    didCreateSessionDescription:(RTCSessionDescription *)sdp error:(NSError *)error {
    [peerConnection setLocalDescriptionWithDelegate:self sessionDescription:sdp];
}

// 本地或遠端 SDP 設定完成後
- (void)peerConnection:(RTCPeerConnection *)peerConnection
    didSetSessionDescriptionWithError:(NSError *)error {
    if (peerConnection.signalingState == RTCSignalingHaveRemoteOffer) {
        // 收到對方 offer,產生 answer
        [peerConnection createAnswerWithDelegate:self constraints:[self offerOranswerConstraint]];
    } else if (peerConnection.signalingState == RTCSignalingHaveLocalOffer) {
        // 依角色送出 __offer 或 __answer
    }
}

遠端流抵達時的處理:

- (void)peerConnection:(RTCPeerConnection *)peerConnection addedStream:(RTCMediaStream *)stream {
    dispatch_async(dispatch_get_main_queue(), ^{
        [_delegate webRTCHelper:self addRemoteStream:stream userId:_currentId];
    });
}

Node.js 信令服務端

服務端我們用 skyrtc 框架,幾乎不用寫邏輯,所有訊息轉發都由框架內部處理:

var express = require('express');
var app = express();
var server = require('http').createServer(app);
var SkyRTC = require('skyrtc').listen(server);
var path = require("path");
var port = process.env.PORT || 3000;

server.listen(port);
app.use(express.static(path.join(__dirname, 'public')));
app.get('/', function(req, res) {
    res.sendfile(__dirname + '/index.html');
});

SkyRTC.rtc.on('new_connect',   function(socket) { console.log('創建新連接'); });
SkyRTC.rtc.on('remove_peer',   function(socketId) { console.log(socketId + " 用戶離開"); });
SkyRTC.rtc.on('new_peer',      function(socket, room) { console.log("新用戶 " + socket.id + " 加入房間 " + room); });
SkyRTC.rtc.on('ice_candidate', function(socket, ice_candidate) { console.log("收到 " + socket.id + " 的 ICE Candidate"); });
SkyRTC.rtc.on('offer',         function(socket, offer) { console.log("收到 " + socket.id + " 的 Offer"); });
SkyRTC.rtc.on('answer',        function(socket, answer) { console.log("收到 " + socket.id + " 的 Answer"); });
SkyRTC.rtc.on('error',         function(error) { console.log("發生錯誤:" + error.message); });

因為手上沒那麼多台手機,這裡用瀏覽器充當部分客戶端:監聽本機 3000 埠,拜訪網頁時渲染 index.html,搭配 SkyRTC-client.js 完成瀏覽器端的 WebRTC 通信。如此一來,行動端到行動端、行動端到瀏覽器、瀏覽器到瀏覽器都能在同一個聊天室通話。

跑 Demo 的注意事項

1. 啟動 WebSocket 伺服器前,先在 server.js 所在目錄執行 npm install 安裝相依套件(NPM 類似 CocoaPods),完成後執行 node server.js,再開瀏覽器前往 localhost:3000#100(3000 是埠號,100 是房號)。

2. 接著執行 iOS 客戶端。先下載 WebRTC 的標頭檔與 .a 靜態庫,解壓後依第二節的方式加入工程,然後替換 VideoChatViewController 中的伺服器位址:

[[WebRTCHelper sharedInstance] connectServer:@"192.168.0.7" port:@"3000" room:@"100"];

用模擬器時位址填 localhost;用實機時,手機必須與電腦在同一個 Wi-Fi 網段且位址相符。

寫在最後

WebRTC 開源之前,即時音視頻通話聽起來門檻極高:回聲消除、噪聲抑制……看到傅里葉變換就頭痛的工程師很難自己搞定。Google 收購 GIPS 並開源 WebRTC 之後,開發者下載、編譯、整合,第一次聽到網路那端傳來的「喂喂喂」時,確實非常振奮。

但電信業要求可用性四個 9,而那個剛剛還讓人興奮的「喂喂喂」,連一個 9 都達不到。從 demo 到真正可用的產品,中間隔著的是外行與內行之間的距離。IM 這條路還很長。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved