媒體層(Media Layer)包含圖像、音訊與影片技術,負責在應用中打造多媒體體驗,讓 App 不僅好看,也好聽、好播放。
圖形技術(Graphics Technologies)
高品質的圖形是所有應用的重要環節。iOS 提供了完整的圖形技術,能無縫運行於 UIKit 介面,並輕鬆呈現。你可以快速展示標準介面,也能打造個人化的豐富視覺體驗。
iOS 的圖形技術
- UIKit 圖形:支援高階繪圖、Bézier 路徑與動畫效果,並提供瀏覽圖片與文字內容的方式。
- Core Graphics:核心圖形庫(Quartz 2D)。
- Core Animation:核心動畫。
- Core Image:核心圖像處理。
- OpenGL ES / GLKit / Metal:圖形渲染與 GPU 運算。
- TextKit / Core Text:文字排版。
- Image I/O 與 Photos Library:圖像匯入匯出與相簿存取。
無論是 Retina 或標準解析度螢幕,系統都會自動以向量方式清晰呈現;使用圖像時,UIKit 亦支援自動載入高解析度資源。
音訊技術(Audio Technologies)
iOS 為使用者提供豐富的音訊體驗,包含播放與錄製高品質音訊、控制 MIDI 內容,以及播放內建音效。可用技術包括:
iOS 的音訊技術
- Media Player framework
- AV Foundation
- OpenAL
- Core Audio
iOS 支援多種業界標準與 Apple 指定的音訊格式,如 AAC、Apple Lossless(ALAC)、A-law、IMA/ADPCM、Linear PCM、µ-law、Microsoft GSM 6.10、AES3-2003 等。
影片技術(Video Technologies)
iOS 影片技術支援管理靜態影片內容、播放網路串流,配備錄影硬體的裝置還能錄製並整合影片到應用中。
iOS 的影片技術
- UIImagePickerController
- AVKit
- AV Foundation
- Core Media
支援的影片格式與壓縮標準包括 H.264(Baseline Profile)與 MPEG-4 Simple Profile,搭配 AAC-LC 音訊,常見於 .m4v、.mp4 與 .mov 檔。
媒體層框架一覽
- AssetsLibrary.framework(4.0):存取相簿中的照片與影片,可儲存新媒體到系統相簿。
- AVFoundation.framework(2.2):以 Objective-C 播放、錄製與管理影音,支援多聲音同時播放、媒體編輯、擷取、AirPlay 串流等。
- AVKit.framework(8.0):管理影片呈現,可取代 Media Player 播放影片。
- CoreAudio.framework(2.0):定義音訊資料型別。
- CoreAudioKit.framework(8.0):提供管理應用間音訊的標準介面。
- CoreGraphics.framework(2.0):Quartz 2D 繪圖 API,提供路徑、漸層、圖片、PDF 建立等,以 C 語言為基礎。
- CoreImage.framework(5.0):提供強大的圖像濾鏡,皆為非破壞性處理且高效。
- CoreText.framework(3.2):以 C 語言提供文字排版與字型處理。
- CoreVideo.framework(4.0):包含底層影音型別,通常不建議直接使用。
- GameController.framework(7.0):發現並設定可用於 iOS 裝置的遊戲手把等硬體。
- GLKit.framework(5.0):以 Objective-C 封裝 OpenGL ES,包含 GLKView、GLKTextureLoader、GLKBaseEffect 等。
- ImageIO.framework(4.0):匯入匯出圖像與詮釋資料,支援 Exif 與 IPTC。
- MediaAccessibility.framework(7.0):管理媒體中的字幕顯示。
- MediaPlayer.framework(2.0):播放高品質影音、存取 iTunes 音樂庫、鎖屏資訊顯示與 AirPlay 串流。
- Metal.framework(8.0):以極低開銷繪製複雜圖形與執行運算,支援着色器預編譯與明確指令,並與 Xcode 深度整合。
- OpenAL.framework(2.0):跨平台音訊標準,適合遊戲中製作高品質音效。
- OpenGLES.framework(2.0):以 C 語言提供 2D/3D 繪圖,與硬體緊密結合,可搭配 EAGL 使用,支援 OpenGL ES 1.1、2.0、3.0。
- Photos.framework(8.0):全新的照片與影片 API,可取代 Assets Library,支援 iCloud 相簿與變更通知。
- PhotosUI.framework(8.0):在相簿應用中編輯圖片與影片。
- QuartzCore.framework(2.0):包含核心動畫介面,能建立以 View 為基礎的流暢動畫,並可暫停。
- SceneKit.framework(8.0):Objective-C 3D 引擎,以描述性 API 呈現幾何、物件、光源與物理模擬。
- SpriteKit.framework(7.0):為 2D/2.5D 遊戲提供硬體加速的動畫系統,內含動畫、圖像渲染、音效與物理引擎。
重點框架補充
Core Image 的濾鏡以硬體最佳化,兼顧效果與速度,適合對拍照後的影像或二維碼方向做處理。
Metal 將繪圖、運算與位元運算整合設計,並支援多重處理與共享記憶體,讓開發者不必學習過多庫與工具即可提升 GPU 效能。
SceneKit 的 3D 物理引擎能模擬重力、碰撞與關節連結,並可透過 GLSL 進行後處理;SpriteKit 則把遊戲內容組織成場景,搭配 Xcode 工具製作粒子效果與紋理地圖,讓開發者更專注於遊戲設計本身。