您现在的位置: IOS教程網 >> IOS系統 >  >> iOS 程式開發 >> iOS 開發基礎

在 iOS 10 中用 Speech 框架打造語音轉文字 App

編輯:iOS 開發基礎

  • 原文:Building a Speech-to-Text App Using Speech Framework in iOS 10

  • 作者:Sahand Edrisian

  • 譯者:王躍

在 2016 WWDC 大會上,Apple 介紹了一個很棒的語音識別 API——Speech framework。事實上,這個 Speech Kit 正是 Siri 用來做語音識別的框架。如今市面上已有一些語音識別框架,但它們要麼太貴、要麼不好用。在今天的教程裡,我會教你如何打造一個使用 Speech Kit 進行語音轉文字、類似 Siri 的 App。

設計 App UI

前提:你需要 Xcode 8 beta 版本,以及一台運行 iOS 10 beta 系統的 iOS 裝置。
先建立一個名為 SpeechToTextDemo 的單視圖工程。接著,到 Main.storyboard 中添加一個 UILabel、一個 UITextView 和一個 UIButton,你的 storyboard 應該如下圖:

接著在 ViewController.swift 中為 UITextView 和 UIButton 定義 outlet 變量。本 Demo 中,我把 UITextView 命名為 "textView",UIButton 命名為 "microphoneButton",然後建立一個當麥克風按鈕被點擊時觸發的空按鈕方法。

@IBAction func microphoneTapped(_ sender: AnyObject) { }

如果你不想從頭建立工程,可以在原文處下載初始工程後繼續下面的教學。

使用 Speech Framework

要使用 Speech framework,你必須先導入它,並遵循 SFSpeechRecognizerDelegate 協議。所以我們先導入這個框架,再在 ViewController 中加上它的協議。此時你的 ViewController.swift 應該如下:

import UIKit import Speech   class ViewController: UIViewController, SFSpeechRecognizerDelegate {               @IBOutlet weak var textView: UITextView!     @IBOutlet weak var microphoneButton: UIButton!          override func viewDidLoad() {         super.viewDidLoad()              }       @IBAction func microphoneTapped(_ sender: AnyObject) {       }   }

使用者授權

在進行語音識別之前,你必須先取得使用者允許,因為不僅是本機 iOS 裝置會進行識別,蘋果的伺服器也會參與識別,所有語音資料都會被傳到蘋果後台處理。因此,取得授權是強制必備的一步。

我們在 viewDidLoad 方法中請求語音識別授權。使用者必須允許 App 使用麥克風和語音識別。首先,宣告一個 speechRecognizer 變量:

private let speechRecognizer = SFSpeechRecognizer(locale: Locale.init(identifier: "en-US"))  //1

然後如下更新 viewDidLoad 方法:

override func viewDidLoad() {     super.viewDidLoad()         microphoneButton.isEnabled = false  //2         speechRecognizer.delegate = self  //3     SFSpeechRecognizer.requestAuthorization { (authStatus) in  //4                  var isButtonEnabled = false                  switch authStatus {  //5         case .authorized:             isButtonEnabled = true                      case .denied:             isButtonEnabled = false             print("User denied access to speech recognition")                      case .restricted:             isButtonEnabled = false             print("Speech recognition restricted on this device")                      case .notDetermined:             isButtonEnabled = false             print("Speech recognition not yet authorized")         }                  OperationQueue.main.addOperation() {             self.microphoneButton.isEnabled = isButtonEnabled         }     } }
  1. 首先,我們建立一個標識符為 en-US 的 SFSpeechRecognizer 實例,讓語音識別 API 知道使用者說的是哪一種語言,這個實例就是負責處理語音識別的物件。

  2. 我們預設讓麥克風按鈕失效,直到語音識別功能被啟用。

  3. 接著,把語音識別的代理設為 self,也就是我們的 ViewController。

  4. 之後,我們必須透過調用 SFSpeechRecognizer.requestAuthorization 方法來請求語音識別授權。

  5. 最後,檢查授權狀態:若已授權,就啟用麥克風按鈕;若沒有,則打印錯誤訊息並讓麥克風按鈕失效。

如果你以為跑起來後會看到授權彈窗,那就錯了。運行時 App 會崩潰。既然知道結果,為什麼還要問呢?(別打我),下面看看解決辦法。

提供授權訊息

蘋果要求 App 裡的所有授權都要有自訂訊息。以語音授權為例,我們必須請求兩項授權:麥克風使用權,以及語音識別權。為了自訂訊息,你必須在 info.plist 設定檔裡提供這些自訂內容。

我們打開 info.plist 的源程式碼:右鍵點擊 info.plist,選擇 Open As → Source Code,最後把下面的 XML 程式碼複製到圖中標記處之前插入即可。

現在你已在 info.plist 中新增了兩個鍵值:

  • NSMicrophoneUsageDescription——用於取得麥克風語音輸入授權的自訂訊息。注意這個語音輸入授權僅在使用者點擊麥克風按鈕時才會發生。

  • NSSpeechRecognitionUsageDescription——語音識別授權的自訂訊息。

這些訊息內容可自行更改。現在點擊 Run,你應該就能成功編譯並運行 App,不會報錯。

注意:如果稍後在工程運行完成時仍未看到語音輸入授權框,那是因為你在模擬器上運行。iOS 模擬器無權使用你 Mac 電腦的麥克風。

處理語音識別

我們已實現使用者授權,現在去實現語音識別功能。先在 ViewController 中定義下面的物件:

private var recognitionRequest: SFSpeechAudioBufferRecognitionRequest? private var recognitionTask: SFSpeechRecognitionTask? private let audioEngine = AVAudioEngine()
  1. recognitionRequest 物件處理語音識別請求,為語音識別提供語音輸入。

  2. recognition task 物件告訴你語音識別物件的結果,擁有它很方便,因為你可以用它刪除或中斷任務。

  3. audioEngine 是你的語音引擎,負責提供語音輸入。

接著,建立一個名為 startRecording() 的新方法。

func startRecording() {          if recognitionTask != nil {         recognitionTask?.cancel()         recognitionTask = nil     }          let audioSession = AVAudioSession.sharedInstance()     do {         try audioSession.setCategory(AVAudioSessionCategoryRecord)         try audioSession.setMode(AVAudioSessionModeMeasurement)         try audioSession.setActive(true, with: .notifyOthersOnDeactivation)     } catch {         print("audioSession properties weren't set because of an error.")     }          recognitionRequest = SFSpeechAudioBufferRecognitionRequest()          guard let inputNode = audioEngine.inputNode else {         fatalError("Audio engine has no input node")     }          guard let recognitionRequest = recognitionRequest else {         fatalError("Unable to create an SFSpeechAudioBufferRecognitionRequest object")     }          recognitionRequest.shouldReportPartialResults = true          recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest, resultHandler: { (result, error) in                  var isFinal = false                  if result != nil {                          self.textView.text = result?.bestTranscription.formattedString             isFinal = (result?.isFinal)!         }                  if error != nil || isFinal {             self.audioEngine.stop()             inputNode.removeTap(onBus: 0)                          self.recognitionRequest = nil             self.recognitionTask = nil                          self.microphoneButton.isEnabled = true         }     })          let recordingFormat = inputNode.outputFormat(forBus: 0)     inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer, when) in         self.recognitionRequest?.append(buffer)     }          audioEngine.prepare()          do {         try audioEngine.start()     } catch {         print("audioEngine couldn't start because of an error.")     }          textView.text = "Say something, I'm listening!"      }

這個方法會在 Start Recording 按鈕被點擊時調用,主要功能是開啟語音識別並聆聽你的麥克風。我們逐段分析:

  • 3-6 行——檢查 recognitionTask 是否在運行,若在則取消任務與識別。

  • 8-15 行——建立一個 AVAudioSession 為錄音做準備,設定 session 類別為 recording、模式為 measurement 並激活它。注意設定這些屬性可能拋出異常,因此必須放進 try catch。

  • 17 行——實例化 recognitionRequest,建立 SFSpeechAudioBufferRecognitionRequest 物件,稍後用它把語音資料傳到蘋果後台。

  • 19-21 行——檢查 audioEngine 是否有錄音輸入功能,若無則報錯。

  • 23-25 行——檢查 recognitionRequest 是否已實例化且不為 nil。

  • 27 行——讓 recognitionRequest 在使用者說話時報告部分識別結果。

  • 29 行——調用 speechRecognizer 的 recognitionTask 方法開啟語音識別,這個方法有 completion handler 回調,會在識別引擎收到輸入、完善當前識別資訊或被刪除/停止時被調用,最後返回最終文字。

  • 31 行——定義一個布林值決定識別是否結束。

  • 35 行——若 result 不為 nil,把 textView.text 設為最優文字;若為最終結果,則把 isFinal 設為 true。

  • 39-47 行——若無錯誤或結果為最終結果,停止 audioEngine 並釋放 recognitionRequest 與 recognitionTask,同時啟用 Start Recording 按鈕。

  • 50-53 行——向 recognitionRequest 增加語音輸入。注意在啟動 recognitionTask 之後再增加語音輸入是可以的,Speech Framework 會在語音輸入加入的同時開始解析識別。

  • 55 行——準備並啟動 audioEngine。

觸發語音識別

我們需要保證在建立語音識別任務時語音識別功能是可用的,因此必須給 ViewController 添加一個代理方法。如果語音輸入不可用或狀態改變,就要設定 microphoneButton.enable 屬性。針對這種情況,我們實現 SFSpeechRecognizerDelegate 協議的 availabilityDidChange 方法:

func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {     if available {         microphoneButton.isEnabled = true     } else {         microphoneButton.isEnabled = false     } }

這個方法會在可用性狀態改變時被調用,若語音識別可用,則錄音按鈕會被設為可用狀態。

最後一件事,就是更新響應方法 microphoneTapped(sender:):

@IBAction func microphoneTapped(_ sender: AnyObject) {     if audioEngine.isRunning {         audioEngine.stop()         recognitionRequest?.endAudio()         microphoneButton.isEnabled = false         microphoneButton.setTitle("Start Recording", for: .normal)     } else {         startRecording()         microphoneButton.setTitle("Stop Recording", for: .normal)     } }

在這個方法中,我們要檢查 audioEngine 是否正在工作。若是,App 應停止 audioEngine、中止向 recognitionRequest 輸入音頻、讓麥克風按鈕不可用,並把按鈕標題設為 "Start Recording";若否,App 應調用 startRecording() 並把按鈕標題設為 "Stop Recording"。

非常好!現在可以準備測試 App 了。把 App 部署到一台 iOS 10 裝置,點擊 "Start Recording" 按鈕,去說些什麼吧!

注意:

  1. 蘋果對每台裝置的識別功能都有限制,具體限制未知,可聯繫蘋果了解更多。

  2. 蘋果對每個 App 也有識別功能限制。

  3. 如果你經常遇到限制,請務必聯繫蘋果,他們應該能解決問題。

  4. 語音識別會很耗電,也會使用大量數據。

  5. 語音識別一次大約只持續一分鐘。

總結

在這個教程中,你學到了如何善用蘋果開放給開發者的優秀新語言 API 來做語音識別並轉換為文字。Speech framework 使用了與 Siri 相同的語音識別框架,這是一個相對小巧卻非常強大的 API,能讓開發者打造諸如語音轉文字之類的非凡應用。

我推薦你看 WWDC 2016 session 509 以獲取更多資訊。希望你喜歡這篇文章,並在探索這個全新 API 的過程中收穫樂趣。作為參考,你可以查看 Github 上的完整工程。

  1. 上一篇文章:
  2. 下一篇文章:
蘋果刷機越獄教程| IOS教程問題解答| IOS技巧綜合| IOS7技巧| IOS8教程
Copyright © IOS教程網 All Rights Reserved