Charset.ppt

1、字符集和字符編碼,Joey.zhu,2012/04/30,Contents,4,預(yù)備知識(shí),1,2,3,5,字符集,GB2312字符集,UNICODE字符集,UTF-8,預(yù)備知識(shí),字符 字符是抽象的最小文本單位。它沒有固定的形狀（可能是一個(gè)字形），而且沒有值。“A”是一個(gè)字符，“”（德國、法國和許多其他歐洲國家通用貨幣的標(biāo)志）也是一個(gè)字符?！爸小薄皣边@是兩個(gè)漢字字符。字符僅僅代表一個(gè)符號(hào)，沒有任何實(shí)際值的意義。 字符集 字符集是字符的集合。例如，漢字字符是中國人最先發(fā)明的字符，在中文、日文、韓文和越南文的書寫中使用。這也說明了字符和字符集之間的關(guān)系，字符組成字符集（iso8859-1，GB23

2、12/GBK，unicode）。 代碼點(diǎn) 字符集中的每個(gè)字符都被分配到一個(gè)“代碼點(diǎn)”。每個(gè)代碼點(diǎn)都有一個(gè)特定的唯一數(shù)值，稱為標(biāo)值。該標(biāo)量值通常用十六進(jìn)制表示。,字符集,ASCII及其擴(kuò)展字符集 作用：表語英語及西歐語言。 位數(shù)：ASCII是用7位表示的，能表示128個(gè)字符；其擴(kuò)展使用8位表示，表示256個(gè)字符。 范圍：ASCII從00到7F，擴(kuò)展從00到FF。 ISO-8859-1字符集 作用：擴(kuò)展ASCII，表示西歐、希臘語等。 位數(shù)：8位， 范圍：從00到FF，兼容ASCII字符集。 GB2312字符集 作用：國家簡體中文字符集，兼容ASCII。 位數(shù)：使用2個(gè)字節(jié)表示，能表示7445個(gè)符

3、號(hào)，包括6763個(gè)漢字，幾乎覆蓋所有高頻率漢字。 范圍：高字節(jié)從A1到F7, 低字節(jié)從A1到FE。將高字節(jié)和低字節(jié)分別加上0XA0即可得到編碼。 BIG5字符集 作用：統(tǒng)一繁體字編碼。 位數(shù)：使用2個(gè)字節(jié)表示，表示13053個(gè)漢字。 范圍：高字節(jié)從A1到F9，低字節(jié)從40到7E，A1到FE。,字符集,GBK字符集 作用：它是GB2312的擴(kuò)展，加入對繁體字的支持，兼容GB2312。 位數(shù)：使用2個(gè)字節(jié)表示，可表示21886個(gè)字符。 范圍：高字節(jié)從81到FE，低字節(jié)從40到FE。 GB18030字符集 作用：它解決了中文、日文、朝鮮語等的編碼，兼容GBK。 位數(shù)：它采用變字節(jié)表示(1 ASCII

4、，2，4字節(jié))?？杀硎?7484個(gè)文字。 范圍：1字節(jié)從00到7F; 2字節(jié)高字節(jié)從81到FE，低字節(jié)從40到7E和80到FE；4字節(jié)第一三字節(jié)從81到FE，第二四字節(jié)從30到39。 UCS字符集 作用：國際標(biāo)準(zhǔn) ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織，UCS-2和UNICODE兼容。 位數(shù)：它有UCS-2和UCS-4兩種格式，分別是2字節(jié)和4字節(jié)。 范圍：目前，UCS-4只是在UCS-2前面加了00000。 UNICODE字符集 作用：為世界650種語言進(jìn)行統(tǒng)一編碼，兼容ISO-8859-1。 位數(shù)：UNICO

5、DE字符集有多個(gè)編碼方式，分別是UTF-8，UTF-16和UTF-32。,GB2312字符集,GB2312編碼通行于中國大陸；新加坡等地也采用此編碼。中國大陸幾乎所有的中文系統(tǒng)和國際化的軟件都支持GB 2312。 GB 2312標(biāo)準(zhǔn)共收錄6763個(gè)漢字，其中一級漢字3755個(gè)，二級漢字3008個(gè)；同時(shí)，GB 2312收錄了包括拉丁字母、希臘字母、日文平假名及片假名字母、俄語西里爾字母在內(nèi)的682個(gè)全角字符。 GB 2312的出現(xiàn)，基本滿足了漢字的計(jì)算機(jī)處理需要，它所收錄的漢字已經(jīng)覆蓋中國大陸99.75%的使用頻率。 對于人名、古漢語等方面出現(xiàn)的罕用字，GB 2312不能處理，這導(dǎo)致了后來GBK

6、及GB 18030漢字字符集的出現(xiàn)。,GB2312字符集,GB 2312中對所收漢字進(jìn)行了“分區(qū)”處理，每區(qū)含有94個(gè)漢字符號(hào)。這種表示方式也稱為區(qū)位碼。 01-09區(qū)為特殊符號(hào)。 16-55區(qū)為一級漢字，按拼音排序。 56-87區(qū)為二級漢字，按部首筆畫排序。 10-15區(qū)及88-94區(qū)則未有編碼。 舉例來說，“啊”字是GB2312之中的第一個(gè)漢字，它的區(qū)位碼就是1601。,GB2312字符集,在使用GB2312的程序中，通常采用EUC儲(chǔ)存方法，以便兼容于ASCII。瀏覽器編碼表上的“GB2312”，通常都是指“EUC-CN”表示法。 每個(gè)漢字及符號(hào)以兩個(gè)字節(jié)來表示。第一個(gè)字節(jié)稱為“高位字節(jié)”

7、，第二個(gè)字節(jié)稱為“低位字節(jié)”。 “高位字節(jié)”使用了0 xA1-0 xF7（把01-87區(qū)的區(qū)號(hào)加上0 xA0） “低位字節(jié)”使用了0 xA1-0 xFE（把01-94加上0 xA0）。 由于一級漢字從16區(qū)起始，漢字區(qū)的“高位字節(jié)”的范圍是0 xB0-0 xF7，“低位字節(jié)”的范圍是0 xA1-0 xFE，占用的碼位是72*94=6768。 其中有5個(gè)空位是D7FA-D7FE。 例如“啊”字在大多數(shù)程序中，會(huì)以兩個(gè)字節(jié)，0 xB0（第一個(gè)字節(jié)）0 xA1（第二個(gè)字節(jié)）儲(chǔ)存。（與區(qū)位碼對比：0 xB0=0 xA0+16,0 xA1=0 xA0+1）。,EUC全名為Extended Unix Co

8、de，是一個(gè)使用8位編碼來表示字符的方法。 它使用了一些兼容于ISO/IEC 2022區(qū)位碼的94x94編碼表，把每個(gè)區(qū)位加上0 xA0來表示，以便兼容于ASCII。 它主要用于表示及儲(chǔ)存漢語文字、日語文字及朝鮮文字。 EUC-CN , EUC-JP , EUC-KR , EUC-TW,通用字符集,通用字符集（Universal Character Set，UCS）是由ISO制定的ISO 10646（或稱ISO/IEC 10646）標(biāo)準(zhǔn)所定義的標(biāo)準(zhǔn)字符集。 通用字符集又稱Universal Multiple-Octet Coded Character Set，中國大陸譯為通用多八位編碼字符集，

9、臺(tái)灣譯為廣用多八位元編碼字元集。 通用字符集是所有包括了其他字符集。它保證了與其他字符集的雙向兼容，即，如果你將任何文本字符串翻譯到UCS格式，然后再翻譯回原編碼，你不會(huì)丟失任何信息。 UCS包含了已知語言的所有字符。除了拉丁語、希臘語、斯拉夫語、希伯來語、阿拉伯語、亞美尼亞語、格魯吉亞語，還包括中文、日文、韓文這樣的方塊文字，UCS還包括大量的圖形、印刷、數(shù)學(xué)、科學(xué)符號(hào)。 UCS有兩種格式：UCS-2和UCS-4。顧名思義，UCS-2就是用兩個(gè)字節(jié)編碼，UCS-4就是用4個(gè)字節(jié)（實(shí)際上只用了31位，最高位必須為0）編碼。 UCS不僅給每個(gè)字符分配一個(gè)代碼，而且賦予了一個(gè)正式的名字。表示一個(gè)U

10、CS或Unicode值的十六進(jìn)制數(shù)通常在前面加上“U+”，例如“U+0041”代表字符“A”。,UNICODE字符集,Unicode 的編碼方式與 ISO 10646 的通用字符集（Universal Character Set，UCS）概念相對應(yīng)，目前實(shí)際應(yīng)用的 Unicode 版本對應(yīng)于 UCS-2，使用16位的編碼空間。也就是每個(gè)字符占用2個(gè)字節(jié)。這樣理論上一共最多可以表示 216 即 65536 個(gè)字符?；緷M足各種語言的使用。實(shí)際上目前版本的 Unicode 尚未填充滿這16位編碼，保留了大量空間作為特殊使用或?qū)頂U(kuò)展。 上述16位 Unicode 字符構(gòu)成基本多文種平面（Basic

11、 Multilingual Plane，簡稱 BMP）。最新（但未實(shí)際廣泛使用）的 Unicode 版本定義了16個(gè)輔助平面，兩者合起來至少需要占據(jù)21位的編碼空間，比3字節(jié)略少。但事實(shí)上輔助平面字符仍然占用4字節(jié)編碼空間，與 UCS-4 保持一致。未來版本會(huì)擴(kuò)充到 ISO 10646-1 實(shí)現(xiàn)級別3，即涵蓋 UCS-4 的所有字符。UCS-4 是一個(gè)更大的尚未填充完全的31位字符集，加上恒為0的首位，共需占據(jù)32位，即4字節(jié)。理論上最多能表示 231 個(gè)字符，完全可以涵蓋一切語言所用的符號(hào)。,實(shí)現(xiàn)級別 并不是所有的系統(tǒng)都需要支持像組合字符這樣的的先進(jìn)機(jī)制。因此ISO 10646指定了如下三種

12、實(shí)現(xiàn)級別: 級別1：不支持組合字符和諺文字母字符。 級別2：類似于級別1，但在某些文字中，允許一列固定的組合字符，因?yàn)槿绻麤]有最起碼的幾個(gè)組合字符，UCS就不能完整地表達(dá)這些語言。 級別3：支持所有的通用字符集字符，如，可以在任意一個(gè)字符上加上一個(gè)箭頭或一個(gè)鼻音化符號(hào).,UCS-4根據(jù)最高位為0的最高字節(jié)分成27=128個(gè)group。每個(gè)group再根據(jù)次高字節(jié)分為256個(gè)plane。每個(gè)plane根據(jù) 第3個(gè)字節(jié)分為256行 (rows)，每行包含256個(gè)cells。當(dāng)然同一行的cells只是最后一個(gè)字節(jié)不同，其余都相同。 group 0的plane 0被稱作Basic Multilingu

13、al Plane, 即BMP?；蛘哒fUCS-4中，高兩個(gè)字節(jié)為0的碼位被稱作BMP。 將UCS-4的BMP去掉前面的兩個(gè)零字節(jié)就得到了UCS-2。在UCS-2的兩個(gè)字節(jié)前加上兩個(gè)零字節(jié)，就得到了UCS-4的BMP。而目前的UCS-4規(guī)范中還沒有任何字符被分配在BMP之外。,UCS里有些編碼點(diǎn)分配給了 組合字符.它們類似于打字機(jī)上的無間隔重音鍵. 單個(gè)的組合字符不是一個(gè)完整的字符. 它是一個(gè)類似于重音符或其他指示標(biāo)記, 加在前一個(gè)字符后面. 因而, 重音符可以加在任何字符后面. 那些最重要的被加重的字符, 就象普通語言的正字法(orthographies of common languages)

14、里用到的那種, 在 UCS 里都有自己的位置, 以確保同老的字符集的向后兼容性. 既有自己的編碼位置, 又可以表示為一個(gè)普通字符跟隨一個(gè)組合字符的被加重字符, 被稱為 預(yù)作字符(precomposed characters). UCS 里的預(yù)作字符是為了同沒有預(yù)作字符的舊編碼, 比如 ISO 8859, 保持向后兼容性而設(shè)的. 組合字符機(jī)制允許在任何字符后加上重音符或其他指示標(biāo)記, 這在科學(xué)符號(hào)中特別有用, 比如數(shù)學(xué)方程式和國際音標(biāo)字母, 可能會(huì)需要在一個(gè)基本字符后組合上一個(gè)或多個(gè)指示標(biāo)記. 組合字符跟隨著被修飾的字符. 比如, 德語中的元音變音字符 (拉丁大寫字母A 加上分音符), 既可以表

15、示為 UCS 碼 U+00C4 的預(yù)作字符, 也可以表示成一個(gè)普通 拉丁大寫字母A 跟著一個(gè)組合分音符:U+0041 U+0308 這樣的組合. 當(dāng)需要堆疊多個(gè)重音符, 或在一個(gè)基本字符的上面和下面都要加上組合標(biāo)記時(shí), 可以使用多個(gè)組合字符. 比如在泰國文中, 一個(gè)基本字符最多可加上兩個(gè)組合字符.,Unicode和ISO 10646的關(guān)系,歷史上存在兩個(gè)獨(dú)立的嘗試創(chuàng)立單一字符集的組織，即國際標(biāo)準(zhǔn)化組織（ISO）和多語言軟件制造商組成的統(tǒng)一碼聯(lián)盟。前者開發(fā)的 ISO/IEC 10646 項(xiàng)目，后者開發(fā)的統(tǒng)一碼項(xiàng)目。因此最初制定了不同的標(biāo)準(zhǔn)。 1991年前后，兩個(gè)項(xiàng)目的參與者都認(rèn)識(shí)到，世界不需要兩

16、個(gè)不兼容的字符集。于是，它們開始合并雙方的工作成果，并為創(chuàng)立一個(gè)單一編碼表而協(xié)同工作。從Unicode 2.0開始，Unicode采用了與ISO 10646-1相同的字庫和字碼；ISO也承諾，ISO 10646將不會(huì)替超出U+10FFFF的UCS-4編碼賦值，以使得兩者保持一致。兩個(gè)項(xiàng)目仍都存在，并獨(dú)立地公布各自的標(biāo)準(zhǔn)。但統(tǒng)一碼聯(lián)盟和ISO/IEC JTC1/SC2都同意保持兩者標(biāo)準(zhǔn)的碼表兼容，并緊密地共同調(diào)整任何未來的擴(kuò)展。在發(fā)布的時(shí)候，Unicode一般都會(huì)采用有關(guān)字碼最常見的字型，但I(xiàn)SO 10646一般都盡可能采用Century字型。,Unicode和ISO 10646的異同,統(tǒng)一碼聯(lián)

17、盟公布的Unicode標(biāo)準(zhǔn)包含了ISO/IEC 10646-1實(shí)現(xiàn)級別3的基本多文種平面。在兩個(gè)標(biāo)準(zhǔn)里，所有的字符都在相同的位置并且有相同的名字。 ISO/IEC 10646標(biāo)準(zhǔn)，就像ISO/IEC 8859標(biāo)準(zhǔn)一樣，只不過是一個(gè)簡單的字符集表。它定義了一些編碼的別名，指定了一些與標(biāo)準(zhǔn)有關(guān)的術(shù)語，并包括了規(guī)范說明，指定了怎樣使用UCS連接其他ISO標(biāo)準(zhǔn)的實(shí)現(xiàn)，比如ISO/IEC 6429和ISO/IEC 2022。還有一些與ISO緊密相關(guān)的，比如ISO/IEC 14651是關(guān)于UCS字符串排序的。 Unicode標(biāo)準(zhǔn)，額外定義了許多與字符有關(guān)的語義符號(hào)學(xué)。Unicode詳細(xì)說明了繪制某些語言（

18、如阿拉伯語）表達(dá)形式的算法，處理雙向文字（比如拉丁文和希伯來文的混合文字）的算法，排序與字符串比較所需的算法，等等。 由于Unicode這一名字比較好記，因而它使用更為廣泛。不過一般認(rèn)為，用于打印ISO/IEC 10646-1標(biāo)準(zhǔn)的字體在某些方面的質(zhì)量，要高于Unicode 2.0。 兩者部分樣例字形有顯著的區(qū)別。ISO/IEC 10646-1標(biāo)準(zhǔn)同樣使用四種不同的風(fēng)格變體來顯示表意文字如中文、日文、韓文（即CJK），但Unicode 2.0的表里只有中文的變體。甚至存在“Unicode對日本用戶來說不可接受”的不實(shí)傳說。,UTF,Unicode 的實(shí)現(xiàn)方式不同于編碼方式。一個(gè)字符的 Unic

19、ode 編碼是確定的。但是在實(shí)際傳輸過程中，由于不同系統(tǒng)平臺(tái)的設(shè)計(jì)不一定一致，以及出于節(jié)省空間的目的，對 Unicode 編碼的實(shí)現(xiàn)方式有所不同。Unicode 的實(shí)現(xiàn)方式稱為Unicode轉(zhuǎn)換格式（Unicode Translation Format，簡稱為 UTF）。 UTF分成UTF-8,UTF-16,UTF-32.,UTF-8,UTF-8：采用變長字節(jié)表示，網(wǎng)絡(luò)傳輸, 即使錯(cuò)了一個(gè)字節(jié)，不影響其他字節(jié)，而雙字節(jié)只要一個(gè)錯(cuò)了，其他也錯(cuò)了， 具體如下： 如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0；如果是多字節(jié)，其第一個(gè)字節(jié)從最高位開始，連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的字節(jié)數(shù)，其余各字節(jié)均

20、以10開頭。UTF-8最多可用到6個(gè)字節(jié)。 優(yōu)缺點(diǎn) UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內(nèi)的所有Unicode字符。 使用UTF-8編碼時(shí)ASCII字符只占1個(gè)字節(jié)，存儲(chǔ)效率比較高，適用于拉丁字符較多的場合以節(jié)省空間。,UTF-16,UTF-16：采用2字節(jié)，Unicode中不同部分的字符都同樣基于現(xiàn)有的標(biāo)準(zhǔn)。這是為了便于轉(zhuǎn)換。 從00000到0007F是ASCII字符 從00080到000FF是ISO-8859-1對ASCII的擴(kuò)展 從00370到003FF是希臘字母表使用的代碼 從00400到004FF是斯拉夫語使用的代碼

21、從00530到0058F是美國使用的代碼 從00590到005FF是希伯來語使用的代碼 從03000到09FFF是中國、日本和韓國的象形文字(總稱為CJK)占用了的代碼 優(yōu)缺點(diǎn) 由于000在c語言及操作系統(tǒng)文件名等中有特殊意義，故很多情況下需要UTF-8編碼保存文本，去掉這個(gè)000。 對于大多數(shù)非拉丁字符（如中文和日文）來說，UTF-16所需存儲(chǔ)空間最小，每個(gè)字符只占2個(gè)字節(jié)。 Windows NT內(nèi)核是Unicode（UTF-16），采用UTF-16編碼在調(diào)用系統(tǒng)API時(shí)無需轉(zhuǎn)換，處理速度也比較快。,UTF-32,UTF-32：采用4字節(jié)。 優(yōu)缺點(diǎn) UTF-32采用4字節(jié)編碼，一方面處理速度

22、比較快，但另一方面也浪費(fèi)了大量空間，影響傳輸速度，因而很少使用。 采用UTF-16和UTF-32會(huì)有Big Endian和Little Endian之分，而UTF-8則沒有字節(jié)順序問題，所以UTF-8適合傳輸和通信。,“endian”這個(gè)詞出自格列佛游記。小人國的內(nèi)戰(zhàn)就源于吃雞蛋時(shí)是究竟從大頭(Big-Endian)敲開還是從小頭(Little-Endian)敲開，由此曾發(fā)生過六次叛亂，其中一個(gè)皇帝送了命，另一個(gè)丟了王位。,UTF-8的特點(diǎn),單字節(jié)字符的最高有效位永遠(yuǎn)為0。 多字節(jié)序列中的首個(gè)字符組的幾個(gè)最高有效位元決定了序列的長度。最高有效位為110的是2字節(jié)序列，而1110的是三字節(jié)序列，

23、如此類推。 多字節(jié)序列中其余的字節(jié)中的首兩個(gè)最高有效位元為10。 UTF-8的這些特質(zhì)，保證了一個(gè)字符的字節(jié)序列不會(huì)包含在另一個(gè)字符的字節(jié)序列中。這確保了以字節(jié)為基礎(chǔ)的部份字串比對（sub-string match）方法可以適用于在文字中搜尋字或詞。有些比較舊的可變長度8位元編碼（如Shift JIS）沒有這個(gè)特質(zhì)，故字串比對的算法變得相當(dāng)復(fù)雜。雖然這增加了UTF-8編碼的字串的信息冗余，但是利多于弊。另外，資料壓縮并非Unicode 的目的，所以不可混為一談。即使在傳送過程中有部份字節(jié)因錯(cuò)誤或干擾而完全遺失，還是有可能在下一個(gè)字符的起點(diǎn)重新同步，令受損范圍受到限制。 另一方面，由于其字節(jié)序列

24、設(shè)計(jì)，如果一個(gè)疑似為字符串的序列被驗(yàn)證為UTF-8編碼，那么我們可以有把握地說它是UTF-8字符串。一段兩字節(jié)隨機(jī)序列碰巧為合法的UTF-8而非ASCII 的機(jī)率為32分1。對于三字節(jié)序列的機(jī)率為256分3，對更長的序列的機(jī)率就更低了。,UTF-8的特點(diǎn),在ASCII碼的范圍，用一個(gè)字節(jié)表示，超出ASCII碼的范圍就用字節(jié)表示，這就形成了我們上面看到的UTF-8的表示方法，這樣的好處是當(dāng)UNICODE文件中只有ASCII碼時(shí)，儲(chǔ)存的文件都為一個(gè)字節(jié)，所以就是普通的ASCII文件無異，讀取的時(shí)候也是如此，所以能與以前的ASCII文件相容。 大于ASCII碼的，就會(huì)由上面的第一字節(jié)的前幾位表示該U

25、NICODE字符的長度，比如110 xxxxxx前三位的二進(jìn)制表示告訴我們這是個(gè) 2BYTE的UNICODE字符；1110 xxxx是個(gè)三位的UNICODE字符，依此類推；xxx 的位置由字符編碼數(shù)的二進(jìn)制表示的位填入。越靠右的 x 具有越少的特殊意義。只用最短的那個(gè)足夠表達(dá)一個(gè)字符編碼數(shù)的多字節(jié)串。注意在多字節(jié)串中，第一個(gè)字節(jié)的開頭“1”的數(shù)目就是整個(gè)串中字節(jié)的數(shù)目。 UTF-8 編碼字符理論上可以最多到 6 個(gè)字節(jié)長，然而 16 位 BMP 字符最多只用到 3 字節(jié)長。,編碼識(shí)別,UNICODE，根據(jù)前幾個(gè)字節(jié)可以判斷UNICODE字符集的各種編碼，叫做Byte Order Mask方法BOM。 UTF-8: EFBBBF (符合UTF-8格式，請看上面。但沒有含義在UCS即UNICODE中) UTF-16 Big Endian：FEFF (沒有含義在UCS-2中) UTF-16 Little Endian：