您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發綜合

iOS 音頻播放(五):AudioQueue 深入解析

編輯:iOS 開發綜合

前言

前幾篇介紹了如何用 AudioStreamFile 與 AudioFile 解析音頻格式、分離音頻幀,這一篇終於要談用 AudioQueue 把這些幀真正播放出來。

AudioQueue 是什麼

AudioQueue 是 AudioToolBox.framework 的一員。Apple 在官方文檔中是這樣描述它的:

Audio Queue Services provides a straightforward, low overhead way to record and play audio in iOS and Mac OS X. It is the recommended technology to use for adding basic recording or playback features to your iOS or Mac OS X application.

也就是說,Apple 建議開發者用 AudioQueue 來實現 App 中的錄音與播放功能。支援的格式方面:

Audio Queue Services lets you record and play audio in any of the following formats:
* Linear PCM.
* Any compressed format supported natively on the Apple platform you are developing for.
* Any other format for which a user has an installed codec.

換言之,PCM 資料、平台原生支援的壓縮格式(MP3、AAC 等),以及使用者自行提供解碼器的格式都可以。對於第三類,我的理解是:先把音頻自行解碼成 PCM,再交給 AudioQueue 播放。

工作模式:緩衝隊列

AudioQueue 之所以這樣命名,是因為它內部有一套緩衝隊列(Buffer Queue)機制。

啟動後,需要透過 AudioQueueAllocateBuffer 產生若干個 AudioQueueBufferRef,用來存放即將播放的音頻資料。這些 Buffer 由產生它們的 AudioQueue 實例管理,記憶體在配置時就已經分配好;當 AudioQueue 被 Dispose 時,這些 Buffer 也會一併銷毀。

有資料要播放時,先 memcpy 到 AudioQueueBufferRef 的 mAudioData(這塊記憶體已由 Allocate 配置好),並為 mAudioDataByteSize 賦上資料大小,然後呼叫 AudioQueueEnqueueBuffer 把這個 Buffer 插入 AudioQueue 內建的隊列。隊列中存在 Buffer 的情況下呼叫 AudioQueueStart,AudioQueue 就會依 enqueue 順序逐個播放;每用完一個 Buffer,就把它移出隊列,並在指定的 RunLoop 上觸發回調,通知你可以重用這個物件來裝後續資料。如此循環,直到播放結束。

Apple 用一張圖描述了這個過程:

AudioQueue playback

圖中的 callback 可以理解為一個「音頻資料裝填方法」,它由資料被使用完的回調觸發。

整理成流程:

  1. 建立 AudioQueue,並建立自己的 Buffer 陣列 BufferArray;
  2. 用 AudioQueueAllocateBuffer 建立若干個 AudioQueueBufferRef(一般 2~3 個即可),放入 BufferArray;
  3. 有資料時從 BufferArray 取出一個 buffer,memcpy 後用 AudioQueueEnqueueBuffer 插入 AudioQueue;
  4. AudioQueue 中已有 Buffer 後,呼叫 AudioQueueStart 開始播放(要累積到幾個 buffer 才播可以自己控制,重點是保證播放不中斷);
  5. 播放消耗掉某個 buffer 後,會在另一個執行緒回調並歸還,把它放回 BufferArray 供下次使用;
  6. 回到步驟 3 繼續循環,直到播放結束。

不難看出,這其實就是典型的生產者消費者問題。生產者是 AudioFileStream 或 AudioFile,負責產生音頻幀並放進 AudioQueue 的 buffer 隊列,填滿後需等待消費者消費;AudioQueue 作為消費者消費資料,並在另一個執行緒回調通知生產者可以繼續。因此實作過程必然會遇到多執行緒同步、信號量使用、避免死鎖等問題。

建立 AudioQueue

OSStatus AudioQueueNewOutput(
    const AudioStreamBasicDescription *inFormat,
    AudioQueueOutputCallback inCallbackProc,
    void *inUserData,
    CFRunLoopRef inCallbackRunLoop,
    CFStringRef inCallbackRunLoopMode,
    UInt32 inFlags,
    AudioQueueRef *outAQ);

OSStatus AudioQueueNewOutputWithDispatchQueue(
    AudioQueueRef *outAQ,
    const AudioStreamBasicDescription *inFormat,
    UInt32 inFlags,
    dispatch_queue_t inCallbackDispatchQueue,
    AudioQueueOutputCallbackBlock inCallbackBlock);

第一個方法的參數依序是:

1、要播放的音頻格式,AudioStreamBasicDescription 物件,由 AudioFileStream 或 AudioFile 解析而來;
2、AudioQueueOutputCallback,某塊 Buffer 被使用完之後的回調;
3、上下文物件;
4、inCallbackRunLoop,回調要掛在哪個 RunLoop 上,傳 NULL 則在 AudioQueue 內部 RunLoop 回調,一般傳 NULL 即可;
5、inCallbackRunLoopMode,傳 NULL 等同 kCFRunLoopCommonModes;
6、inFlags 為保留欄位,目前無作用,傳 0;
7、回傳建立好的 AudioQueue 實例。

回傳值用來判斷是否建立成功(OSStatus == noErr)。第二個方法只是把 RunLoop 換成 dispatch queue,其餘相同。

Buffer 相關方法

建立 Buffer

OSStatus AudioQueueAllocateBuffer(AudioQueueRef inAQ, UInt32 inBufferByteSize, AudioQueueBufferRef *outBuffer);

OSStatus AudioQueueAllocateBufferWithPacketDescriptions(AudioQueueRef inAQ, UInt32 inBufferByteSize, UInt32 inNumberPacketDescriptions, AudioQueueBufferRef *outBuffer);

第一個傳入 AudioQueue 與 Buffer 大小,輸出 Buffer 實例;第二個可以指定該 Buffer 中 PacketDescriptions 的數量。

銷毀 Buffer

OSStatus AudioQueueFreeBuffer(AudioQueueRef inAQ, AudioQueueBufferRef inBuffer);

這個方法一般只在需要銷毀特定某個 buffer 時才用(Dispose 會自動清掉全部),而且只能在 AudioQueue 不在處理資料時呼叫,所以實務上很少用到。

插入 Buffer

OSStatus AudioQueueEnqueueBuffer(AudioQueueRef inAQ, AudioQueueBufferRef inBuffer, UInt32 inNumPacketDescs, const AudioStreamPacketDescription *inPacketDescs);

另有 AudioQueueEnqueueBufferWithParameters 可做更細的控制,一般用不到。關於 inNumPacketDescs 與 inPacketDescs:文檔說這兩個參數主要用於播放 VBR 資料,但實測即使是 CBR,AudioFileStream 或 AudioFile 也會給出 PacketDescription,所以不必糾結格式,有就傳,沒有就給 NULL。

播放控制

開始播放

OSStatus AudioQueueStart(AudioQueueRef inAQ, const AudioTimeStamp *inStartTime);

第二個參數可控制起始時間,一般直接播放傳 NULL。

解碼資料

OSStatus AudioQueuePrime(AudioQueueRef inAQ, UInt32 inNumberOfFramesToPrepare, UInt32 *outNumberOfFramesPrepared);

不太常用,因為 AudioQueueStart 會自動解碼(若需要)。兩個參數分別指定要準備的幀數與實際完成的幀數。

暫停

OSStatus AudioQueuePause(AudioQueueRef inAQ);

呼叫後播放立即暫停,這意味著 AudioQueueOutputCallback 也會停止觸發。此時要特別注意執行緒調度,否則等待回調的執行緒可能陷入無限等待。

停止

OSStatus AudioQueueStop(AudioQueueRef inAQ, Boolean inImmediate);

第二個參數傳 true 會立即停止(同步),傳 false 則會把已 enqueue 的 buffer 全部播完再停(非同步)。

Flush

OSStatus AudioQueueFlush(AudioQueueRef inAQ);

會先把 enqueue 的 buffer 播完,然後重置解碼器狀態,避免上一段的解碼狀態影響下一段(例如切歌時)。若與 AudioQueueStop(AQ, false) 一起使用則不會生效,因為 Stop 傳 false 本身就做了同樣的事。

重置

OSStatus AudioQueueReset(AudioQueueRef inAQ);

會清除所有已 enqueue 的 buffer 並觸發 AudioQueueOutputCallback(呼叫 Stop 時也會觸發)。一般在 seek 時使用,用來清掉殘留 buffer;另一種作法是先 Stop,seek 完成後再 Start。

取得播放時間

OSStatus AudioQueueGetCurrentTime(AudioQueueRef inAQ, AudioQueueTimelineRef inTimeline, AudioTimeStamp *outTimeStamp, Boolean *outTimelineDiscontinuity);

第一、第四個參數與 AudioQueueTimeline 相關,此處沒用到,傳 NULL。回傳的 AudioTimeStamp 可換算出播放時間:

AudioTimeStamp time = ...; // 由 AudioQueueGetCurrentTime 取得
NSTimeInterval playedTime = time.mSampleTime / _format.mSampleRate;

使用時有兩個必須注意的地方:

一、這是「實際播放時間」,不是播放進度。舉例來說,播放 8 秒後使用者把進度條拖到第 20 秒,再播 3 秒,一般理解的播放時間是 23 秒,但 GetCurrentTime 回傳的是 11 秒。因此每次 seek 都必須記錄 timingOffset:

AudioTimeStamp time = ...;              // AudioQueueGetCurrentTime 取得
NSTimeInterval playedTime = time.mSampleTime / _format.mSampleRate;
NSTimeInterval seekTime = ...;          // 要 seek 到哪裡
NSTimeInterval timingOffset = seekTime - playedTime;

// seek 之後的實際進度
NSTimeInterval progress = timingOffset + playedTime;

二、GetCurrentTime 有時會失敗。所以最好把上次取得的時間存起來,呼叫失敗時沿用舊值,避免進度條突然跳回起點。

銷毀 AudioQueue

AudioQueueDispose(AudioQueueRef inAQ, Boolean inImmediate);

銷毀時會清除其中所有 buffer,第二個參數的意義與 AudioQueueStop 相同。

這裡有個坑要注意:AudioQueueStart 呼叫之後,AudioQueue 其實還沒有真正開始運作,中間存在一個短暫的間隙。若在這段時間內呼叫 AudioQueueDispose,會導致程式卡死。

這個問題是我在使用 AudioStreamer 時發現的,iOS 6 上必現。原因是 AudioStreamer 會在音頻 EOF 時進入 Cleanup,Cleanup 會 flush 全部資料後呼叫 Dispose;當音頻檔資料極少時,就可能出現 Start 還沒真正跑起來就 EOF 進入 Cleanup 的情況。

兩種規避方式:一是做好執行緒調度,確保 Dispose 一定在至少一個 buffer 成功播放之後才被呼叫;二是監聽 kAudioQueueProperty_IsRunning 屬性,它在 AudioQueue 真正運作後變為 1、停止後變為 0,只要保證 Start 之後必須等到 IsRunning 為 1 才允許 Dispose,就能避開。

屬性與參數

// 參數相關
AudioQueueGetParameter
AudioQueueSetParameter

// 屬性相關
AudioQueueGetPropertySize
AudioQueueGetProperty
AudioQueueSetProperty

// 監聽屬性變化
AudioQueueAddPropertyListener
AudioQueueRemovePropertyListener

屬性清單:

enum {
    kAudioQueueProperty_IsRunning             = 'aqrn', // UInt32
    kAudioQueueDeviceProperty_SampleRate      = 'aqsr', // Float64
    kAudioQueueDeviceProperty_NumberChannels  = 'aqdc', // UInt32
    kAudioQueueProperty_CurrentDevice         = 'aqcd', // CFStringRef
    kAudioQueueProperty_MagicCookie           = 'aqmc', // void*
    kAudioQueueProperty_MaximumOutputPacketSize = 'xops', // UInt32
    kAudioQueueProperty_StreamDescription     = 'aqft', // AudioStreamBasicDescription
    kAudioQueueProperty_ChannelLayout         = 'aqcl', // AudioChannelLayout
    kAudioQueueProperty_EnableLevelMetering   = 'aqme', // UInt32
    kAudioQueueProperty_CurrentLevelMeter     = 'aqmv', // 每 channel 一個
    kAudioQueueProperty_CurrentLevelMeterDB   = 'aqmd', // 每 channel 一個
    kAudioQueueProperty_DecodeBufferSizeFrames = 'dcbf', // UInt32
    kAudioQueueProperty_ConverterError        = 'qcve', // UInt32
    kAudioQueueProperty_EnableTimePitch       = 'q_tp', // UInt32, 0/1
    kAudioQueueProperty_TimePitchAlgorithm    = 'qtpa', // UInt32
    kAudioQueueProperty_TimePitchBypass       = 'qtpb'  // UInt32, 1=bypassed
};

// 參數清單
enum {
    kAudioQueueParam_Volume        = 1,
    kAudioQueueParam_PlayRate      = 2,
    kAudioQueueParam_Pitch         = 3,
    kAudioQueueParam_VolumeRampTime = 4,
    kAudioQueueParam_Pan           = 13
};

其中比較有價值的是:

  • kAudioQueueProperty_IsRunning:監聽它就能知道 AudioQueue 是否在運行,前面談 Dispose 時提過它的用途。
  • kAudioQueueProperty_MagicCookie:部分音頻格式需要設定 magicCookie,這個 cookie 可以從 AudioFileStream 與 AudioFile 中取得,漏設可能導致播放異常。
  • kAudioQueueParam_Volume:調整播放音量。注意這是 AudioQueue 內部的音量,與系統音量各自獨立設定,最終效果是兩者疊加。
  • kAudioQueueParam_VolumeRampTime:與 Volume 搭配使用,可以做出淡入淡出的效果。
  • kAudioQueueParam_PlayRate:調整播放速率。

後記

關於 AudioQueue 的話題到這裡告一段落。用上面這些方法已經能滿足大部分播放需求,但它的能力遠不止於此 —— AudioQueueTimeline、Offline Rendering、AudioQueueProcessingTap 等功能我目前也還沒深入。

由於 AudioQueue 的內容無法單獨做 Demo 展示,所以我把下一篇的範例(一個簡單的本機音頻播放器)提前放在這裡,方便對照理解。哪一段不好懂歡迎留言或透過微博交流,另外官方文檔始終是最好的學習途徑。

示例與下篇預告

AudioStreamer 與 FreeStreamer 這兩個開源庫都用到了 AudioQueue,可以對照閱讀。

下一篇將說明如何結合前面提過的 AudioSession、AudioFileStream 與 AudioQueue,實作一個簡單的本機檔案播放器。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved