您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

在 iOS AudioQueue 中串接 Speex 進行語音編解碼

編輯:iOS 開發綜合

要在 iOS 上做即時語音,AudioQueue 負責擷取,Speex 負責壓縮,兩者如何銜接是個常見問題。以下整理自 Apple 範例專案 SpeakHere 的改寫思路。

從擷取回呼下手

建立輸入佇列時,把自訂的回呼函式掛上去:

AudioQueueNewInput(&mRecordFormat,
                   MyInputBufferHandler,
                   this,   /* userData */
                   NULL,   /* run loop */
                   NULL,   /* run loop mode */
                   0,      /* flags */
                   &mQueue);

在回呼裡把 buffer 直接交給編碼器:

[self encoder:(short *)buffer->mAudioData
        count:buffer->mAudioDataByteSize / sizeof(short)];

編碼迴圈

核心觀念是「按 Frame 切」:Speex 每次吃固定數量的取樣,所以要用 while 迴圈把一筆大 buffer 切成多個 frame 逐次編碼。

while (count >= samplesPerFrame) {
    speex_bits_reset(&bits);
    speex_encode_int(enc_state, samples, &bits);

    static const unsigned maxSize = 256;
    char data[maxSize];
    unsigned size = (unsigned)speex_bits_write(&bits, data, maxSize);

    /* 在這裡處理編碼結果,例如送往 server */

    samples += samplesPerFrame;
    count   -= samplesPerFrame;
}

整體概念就是這樣。細節當然更繁瑣,建議參考一些 VoIP 的開源實作,會省下不少摸索時間。

完整擷取與寬頻編碼示例

以下針對較好的語音品質採用 wide-band 設定。若要進一步降低對主執行緒的影響,可把編碼放到獨立執行緒;sample size 請依實際擷取格式調整。

音訊格式設定

mSampleRate      = 16000;
mFormatID        = kAudioFormatLinearPCM;
mFramesPerPacket = 1;
mChannelsPerFrame = 1;
mBytesPerFrame   = 2;
mBytesPerPacket  = 2;
mBitsPerChannel  = 16;
mReserved        = 0;
mFormatFlags     = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;

擷取回呼

void CAudioCapturer::AudioInputCallback(void *inUserData,
                                        AudioQueueRef inAQ,
                                        AudioQueueBufferRef inBuffer,
                                        const AudioTimeStamp *inStartTime,
                                        UInt32 inNumberPacketDescriptions,
                                        const AudioStreamPacketDescription *inPacketDescs) {
    CAudioCapturer *This = (CAudioCapturer *)inUserData;
    int len = 640;
    char data[640];
    char *pSrc = (char *)inBuffer->mAudioData;

    while (len <= inBuffer->mAudioDataByteSize) {
        memcpy(data, pSrc, 640);
        int enclen = encode(buffer, encBuffer);
        len  += 640;
        pSrc += 640;
        // wide-band 在 Speex 中的 frame size 為 640 bytes(320 個 short)
    }

    AudioQueueEnqueueBuffer(This->m_audioQueue, inBuffer, 0, NULL);
}

編碼函式

int encode(char *buffer, char *pDest) {
    int nbBytes = 0;
    speex_bits_reset(&encbits);
    speex_encode_int(encstate, (short *)buffer, &encbits);
    nbBytes = speex_bits_write(&encbits, pDest, 640 / sizeof(short));
    return nbBytes;
}

實作時最容易踩的坑是 frame size 與格式不一致:16kHz、單聲道、16bit 對應的 wide-band frame 是 640 bytes,若擷取格式換成 8kHz 的 narrow-band,切分單位必須同步改成相應值,否則會出現雜音或編碼失敗。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved