要在 iOS 上做即時語音,AudioQueue 負責擷取,Speex 負責壓縮,兩者如何銜接是個常見問題。以下整理自 Apple 範例專案 SpeakHere 的改寫思路。
建立輸入佇列時,把自訂的回呼函式掛上去:
AudioQueueNewInput(&mRecordFormat,
MyInputBufferHandler,
this, /* userData */
NULL, /* run loop */
NULL, /* run loop mode */
0, /* flags */
&mQueue);
在回呼裡把 buffer 直接交給編碼器:
[self encoder:(short *)buffer->mAudioData
count:buffer->mAudioDataByteSize / sizeof(short)];
核心觀念是「按 Frame 切」:Speex 每次吃固定數量的取樣,所以要用 while 迴圈把一筆大 buffer 切成多個 frame 逐次編碼。
while (count >= samplesPerFrame) {
speex_bits_reset(&bits);
speex_encode_int(enc_state, samples, &bits);
static const unsigned maxSize = 256;
char data[maxSize];
unsigned size = (unsigned)speex_bits_write(&bits, data, maxSize);
/* 在這裡處理編碼結果,例如送往 server */
samples += samplesPerFrame;
count -= samplesPerFrame;
}
整體概念就是這樣。細節當然更繁瑣,建議參考一些 VoIP 的開源實作,會省下不少摸索時間。
以下針對較好的語音品質採用 wide-band 設定。若要進一步降低對主執行緒的影響,可把編碼放到獨立執行緒;sample size 請依實際擷取格式調整。
音訊格式設定
mSampleRate = 16000; mFormatID = kAudioFormatLinearPCM; mFramesPerPacket = 1; mChannelsPerFrame = 1; mBytesPerFrame = 2; mBytesPerPacket = 2; mBitsPerChannel = 16; mReserved = 0; mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;
擷取回呼
void CAudioCapturer::AudioInputCallback(void *inUserData,
AudioQueueRef inAQ,
AudioQueueBufferRef inBuffer,
const AudioTimeStamp *inStartTime,
UInt32 inNumberPacketDescriptions,
const AudioStreamPacketDescription *inPacketDescs) {
CAudioCapturer *This = (CAudioCapturer *)inUserData;
int len = 640;
char data[640];
char *pSrc = (char *)inBuffer->mAudioData;
while (len <= inBuffer->mAudioDataByteSize) {
memcpy(data, pSrc, 640);
int enclen = encode(buffer, encBuffer);
len += 640;
pSrc += 640;
// wide-band 在 Speex 中的 frame size 為 640 bytes(320 個 short)
}
AudioQueueEnqueueBuffer(This->m_audioQueue, inBuffer, 0, NULL);
}
編碼函式
int encode(char *buffer, char *pDest) {
int nbBytes = 0;
speex_bits_reset(&encbits);
speex_encode_int(encstate, (short *)buffer, &encbits);
nbBytes = speex_bits_write(&encbits, pDest, 640 / sizeof(short));
return nbBytes;
}
實作時最容易踩的坑是 frame size 與格式不一致:16kHz、單聲道、16bit 對應的 wide-band frame 是 640 bytes,若擷取格式換成 8kHz 的 narrow-band,切分單位必須同步改成相應值,否則會出現雜音或編碼失敗。