您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

用 iOS 10 Speech Framework 動手做一個語音轉文字 App

編輯:iOS 開發基礎

  • 原文:Building a Speech-to-Text App Using Speech Framework in iOS 10

  • 作者:Sahand Edrisian

  • 譯者:YueWang


2016 年的 WWDC 上,Apple 帶來了一個令人振奮的語音識別 API——Speech Framework。它並不是新造之物:Siri 的語音識別正是建立在這套 Speech Kit 之上。市面上的第三方語音識別方案要麼價格高昂,要麼效果平平,而現在每個 iOS 開發者都能免費用上與 Siri 同源的引擎。

本文將一步步動手實作一個類 Siri 的語音轉文字 App。

搭建界面

前提條件:Xcode 8 beta 及以上,以及一台運行 iOS 10 beta 的真機。

先新建一個名為 SpeechToTextDemo 的單視圖工程,然後往 Main.storyboard 裡放一個 UILabel、一個 UITextView 和一個 UIButton。佈局完成後大致如下:

接著在 ViewController.swift 中為 UITextView 和 UIButton 建立 outlet,本文分別命名為 textView 與 microphoneButton,並預留一個點擊マイク按鈕時觸發的動作方法:

@IBAction func microphoneTapped(_ sender: AnyObject) {
    
}

如果你不想從零開始,也可以直接下載初始工程再繼續後面的步驟。

引入 Speech Framework

使用前需要先導入框架,並遵循 SFSpeechRecognizerDelegate 協議。此時 ViewController.swift 的骨架如下:

import UIKit
import Speech

class ViewController: UIViewController, SFSpeechRecognizerDelegate {

    @IBOutlet weak var textView: UITextView!
    @IBOutlet weak var microphoneButton: UIButton!

    override func viewDidLoad() {
        super.viewDidLoad()
    }

    @IBAction func microphoneTapped(_ sender: AnyObject) {
    }
}

請求用戶授權

這一步不能跳過。語音識別並非全部在本機完成,音頻數據會被送到 Apple 的服務器處理,因此必須先取得用戶明確同意。

先聲明識別器實例,通過 locale 告訴系統要識別哪種語言:

private let speechRecognizer = SFSpeechRecognizer(locale: Locale.init(identifier: "en-US"))  //1

然後改寫 viewDidLoad:

override func viewDidLoad() {
    super.viewDidLoad()

    microphoneButton.isEnabled = false  //2

    speechRecognizer.delegate = self  //3

    SFSpeechRecognizer.requestAuthorization { (authStatus) in  //4

        var isButtonEnabled = false

        switch authStatus {  //5
        case .authorized:
            isButtonEnabled = true

        case .denied:
            isButtonEnabled = false
            print("User denied access to speech recognition")

        case .restricted:
            isButtonEnabled = false
            print("Speech recognition restricted on this device")

        case .notDetermined:
            isButtonEnabled = false
            print("Speech recognition not yet authorized")
        }

        OperationQueue.main.addOperation() {
            self.microphoneButton.isEnabled = isButtonEnabled
        }
    }
}

逐段說明:

  1. 創建帶 en-US 標識的 SFSpeechRecognizer 實例,它是後續處理識別工作的核心對象。

  2. 默認禁用麥克風按鈕,直到授權流程走完。

  3. 把識別器的代理設為 self。

  4. 調用 SFSpeechRecognizer.requestAuthorization 發起授權請求。

  5. 根據返回的授權狀態決定按鈕是否可用;未獲授權則打印提示信息並保持禁用。

如果你以為運行後會看到授權彈窗,那就想錯了——App 會直接崩潰。原因很簡單:Info.plist 裡還缺少說明文案。

補上授權文案

Apple 要求所有權限請求都必須提供自定義的用途說明。語音識別涉及兩項授權:麥克風訪問與語音識別。

打開 info.plist 的源代碼(右鍵文件 → Open As → Source Code),在 標記的位置之前插入相應鍵值:

新增的兩個鍵分別是:

  • NSMicrophoneUsageDescription:請求麥克風輸入時展示的說明,僅在用戶點擊麥克風按鈕時觸發。

  • NSSpeechRecognitionUsageDescription:請求語音識別時展示的說明。

文案內容可自行調整。此時點擊 Run,應該能順利編譯運行,不再報錯。

注意:如果在模擬器上運行後始終等不到授權彈窗,這是正常的——模擬器無法訪問你 Mac 的麥克風,請改用真機測試。

實現語音識別

授權就緒後,在 ViewController 中定義三個關鍵對象:

private var recognitionRequest: SFSpeechAudioBufferRecognitionRequest?
private var recognitionTask: SFSpeechRecognitionTask?
private let audioEngine = AVAudioEngine()
  1. recognitionRequest 承載識別請求,負責把語音數據喂給識別引擎。

  2. recognitionTask 回傳識別結果,持有它便於隨時取消或中斷任務。

  3. audioEngine 是音頻引擎,負責採集麥克風輸入。

接著新增 startRecording() 方法:

func startRecording() {

    if recognitionTask != nil {
        recognitionTask?.cancel()
        recognitionTask = nil
    }

    let audioSession = AVAudioSession.sharedInstance()
    do {
        try audioSession.setCategory(AVAudioSessionCategoryRecord)
        try audioSession.setMode(AVAudioSessionModeMeasurement)
        try audioSession.setActive(true, with: .notifyOthersOnDeactivation)
    } catch {
        print("audioSession properties weren't set because of an error.")
    }

    recognitionRequest = SFSpeechAudioBufferRecognitionRequest()

    guard let inputNode = audioEngine.inputNode else {
        fatalError("Audio engine has no input node")
    }

    guard let recognitionRequest = recognitionRequest else {
        fatalError("Unable to create an SFSpeechAudioBufferRecognitionRequest object")
    }

    recognitionRequest.shouldReportPartialResults = true

    recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest, resultHandler: { (result, error) in

        var isFinal = false

        if result != nil {
            self.textView.text = result?.bestTranscription.formattedString
            isFinal = (result?.isFinal)!
        }

        if error != nil || isFinal {
            self.audioEngine.stop()
            inputNode.removeTap(onBus: 0)

            self.recognitionRequest = nil
            self.recognitionTask = nil

            self.microphoneButton.isEnabled = true
        }
    })

    let recordingFormat = inputNode.outputFormat(forBus: 0)
    inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, when) in
        self.recognitionRequest?.append(buffer)
    }

    audioEngine.prepare()

    do {
        try audioEngine.start()
    } catch {
        print("audioEngine couldn't start because of an error.")
    }

    textView.text = "Say something, I'm listening!"
}

這個方法在點擊開始錄音時調用,職責是啟動識別並開始聆聽麥克風。逐段解讀:

  1. 第 3–6 行:若已有任務在跑,先取消並清空。

  2. 第 8–15 行:配置 AVAudioSession,類別設為 recording、模式設為 measurement 後激活。這些設置可能拋出異常,因此必須包在 do-catch 中。

  3. 第 17 行:實例化 SFSpeechAudioBufferRecognitionRequest,後續用它把音頻數據送往 Apple 後端。

  4. 第 19–21 行:確認設備具備錄音輸入能力,否則報錯退出。

  5. 第 23–25 行:確認 request 已成功創建且非 nil。

  6. 第 27 行:開啟部分結果回報,讓用戶邊說邊看到識別文字。

  7. 第 29 行:調用 recognitionTask 啟動識別,其 completion handler 會在每次收到新音頻、識別結果完善、或被取消/停止時觸發,最終返回定稿文本。

  8. 第 31 行:用一個布爾標志記錄識別是否已結束。

  9. 第 35 行:結果非 nil 時,把最佳轉寫文本寫入 textView;若為最終結果則置 isFinal 為 true。

  10. 第 39–47 行:出現錯誤或拿到最終結果時,停止 audioEngine、移除 tap、清空 request 與 task,並重新啟用按鈕。

  11. 第 50–53 行:把音頻 buffer 追加到 request。注意在 task 啟動之後再追加是安全的,Speech Framework 會邊接收邊解析。

  12. 第 55 行:準備並啟動 audioEngine。

處理可用性變化

創建識別任務前必須確認服務可用。實現 SFSpeechRecognizerDelegate 的 availabilityDidChange 方法,讓按鈕狀態隨可用性聯動:

func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
    if available {
        microphoneButton.isEnabled = true
    } else {
        microphoneButton.isEnabled = false
    }
}

串起按鈕邏輯

@IBAction func microphoneTapped(_ sender: AnyObject) {
    if audioEngine.isRunning {
        audioEngine.stop()
        recognitionRequest?.endAudio()
        microphoneButton.isEnabled = false
        microphoneButton.setTitle("Start Recording", for: .normal)
    } else {
        startRecording()
        microphoneButton.setTitle("Stop Recording", for: .normal)
    }
}

這裡先判斷 audioEngine 是否正在工作:若在錄音,則停止引擎、結束音頻輸入、禁用按鈕並把標題改回「Start Recording」;否則調用 startRecording() 開始錄音,標題改為「Stop Recording」。

把 App 部署到 iOS 10 設備,點擊按鈕,說點什麼試試吧。

幾點使用注意

  1. Apple 對單台設備的識別次數有限制,具體額度未公開,可聯繫 Apple 了解。

  2. 每個 App 同樣有識別配額限制。

  3. 若經常觸發限制,直接聯繫 Apple,他們通常能協助解決。

  4. 語音識別相當耗電,也會消耗可觀的流量。

  5. 單次識別時長大約一分鐘。

小結

Speech Framework 把與 Siri 同源的識別能力開放給了所有開發者。它的 API 面積不大,卻足够強大,能支撐起語音轉文字、音頻文件轉寫這類應用。想深入了解可參考 WWDC 2016 Session 509。完整工程已上傳 GitHub,歡迎對照閱讀。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved