字符、字符集、編碼格式,這三個詞在文件裡幾乎總是一起出現,卻很少有人把它們的界線講清楚。我自己也是在翻譯 API 文件、被編碼問題絆住之後,翻了一堆資料才終於理順,於是整理成這篇筆記,既方便日後複習,也希望能幫到同樣卡住的人。
字符不是某個特定的數字或文字,而是所有文字與符號的統稱,涵蓋各國文字、標點符號、圖形符號、數字等等。
舉例來說:一個漢字「中」是字符,一個逗號「,」是字符,一個英文字母「A」是字符,數字「1」和「0」各自也是字符。甚至表情符號 😀 也是字符。
字符集顧名思義就是多個字符組成的集合。字符集的種類非常多,每個字符集包含的字符數量也不盡相同。常見的有 ASCII 字符集、Unicode 字符集、GB2312 字符集、ISO 8859 系列等等。
ASCII 收錄了 128 個字符,基本只夠涵蓋英文;GB2312 收錄六千多個漢字,能應付日常中文;Unicode 則試圖把全世界所有字符都收進來,是當今最通用的方案。
計算機只認得二進制的 0 和 1。我們日常使用的字符集,比如漢字,機器無法直接理解,必須先轉換成二進位才能儲存與傳輸。這個轉換過程就是編碼。
換個角度說,編碼規定了兩件事:每個字符用一個位元組還是多個位元組來存儲,以及具體用哪些位元組來存儲。
值得注意的是,同一個字符集可以有多種編碼方式。例如 Unicode 字符集對應 UTF-8、UTF-16、UTF-32 三種主流編碼。同一個「中」字,在 UTF-8 下是三個位元組,在 UTF-16 下是兩個位元組,字元集相同,但二進位表示完全不同。這也是為什麼「打開文件變亂碼」往往不是字符集錯了,而是編碼猜錯了。
各國家和地區在制定編碼標準時,字符集合與編碼規則通常是同時制訂的。因此我們平常所說的「字符集」,比如 GB2312、GBK、JIS,除了「字符的集合」這層含義之外,其實也一併包含了編碼的含義。這正是混淆的根源。
有的字符集對應多種編碼方式,有的只有一種:
Unicode 有多種編碼(UTF-8、UTF-16、UTF-32 等);ASCII 只有一種;大多數 MBCS(多字節字符集,包含 GB2312)也只有一種。
字符是抽象的書寫單位;字符集是字符的清單,回答「有哪些字可用」;編碼是映射規則,回答「每個字在電腦裡長什麼樣」。三者層層遞進,缺一不可。
關於字符集與編碼的知識當然遠不止這些,還有所謂的 BOM、正規化形式、字元與字素簇的差異等更深的議題。不過我當前的目標很明確:先把 iOS 開發做好,這三個概念的界線能分清楚,遇到亂碼時知道該往哪裡查,對當下就已經足夠了。以後若有機會,再回來細究編碼的更多細節。