字符編碼基礎(chǔ)知識-2023年個人用心

ASCII、Unicode和UTF-8之間的關(guān)系

字符編碼是計(jì)算機(jī)技術(shù)的基石，想要熟練使用計(jì)算機(jī)，就必須懂得一點(diǎn)字符編碼的知識。

一、ASCII碼

我們知道，計(jì)算機(jī)內(nèi)部，所有信息最終都是一個二進(jìn)制值。每一個二進(jìn)制位（bit）有。和1兩種狀態(tài)，因此八個二進(jìn)制位就可以組合出256種狀態(tài)，這被稱為

一個字節(jié)（byte）。也就是說，一個字節(jié)一共可以用來表示256種不同的狀態(tài)，每一個狀態(tài)對應(yīng)一個符號，就是256個符號，從00000000到11111111。

上個世紀(jì)60年代，美國制定了一套字符編碼，對英語字符與二進(jìn)制位之間的關(guān)系，做了統(tǒng)一規(guī)定。這被稱為ASCII碼，一直沿用至今。

ASCII碼一共規(guī)定了128個字符的編碼，比如空格SPACE是32（二進(jìn)制00100000）,大寫的字母A是65（二進(jìn)制01000001）。這128個符號（包括

32個不能打印出來的控制符號），只占用了一個字節(jié)的后面7位，最前面的一位統(tǒng)一規(guī)定為0。

二、非ASCII編碼

英語用128個符號編碼就夠了，但是用來表示其他語言，128個符號是不夠的。比如，在法語中，字母上方有注音符號，它就無法用ASCII碼表示。于是，一些

歐洲國家就決定，利用字節(jié)中閑置的最高位編入新的符號。比如，法語中的e的編碼為130（二進(jìn)制10000010）。這樣一來，這些歐洲國家使用的編碼體

系，可以表示最多256個符號。

但是，這里又出現(xiàn)了新的問題。不同的國家有不同的字母，因此，哪怕它們都使用256個符號的編碼方式，代表的字母卻不一樣。比如，130在法語編碼中代表

了e,在希伯來語編碼中卻代表了字母Gimel（Ji）,在俄語編碼中又會代表另一個符號。但是不管怎樣，所有這些編碼方式中，0—127表示的符號是一樣的，

不一樣的只是128-255的這一段。

至于亞洲國家的文字，使用的符號就更多了，漢字就多達(dá)10萬左右。一個字節(jié)只能表示256種符號，肯定是不夠的，就必須使用多個字節(jié)表達(dá)一個符號。比如，

簡體中文常見的編碼方式是GB2312,使用兩個字節(jié)表示一個漢字，所以理論上最多可以表示256x256=65536個符號。

中文編碼的問題需要專文討論，這篇筆記不涉及。這里只指出，雖然都是用多個字節(jié)表示一個符號，但是GB類的漢字編碼與后文的Unicode和UTF-8是毫無

關(guān)系的。

三.Unicode

正如上一節(jié)所說，世界上存在著多種編碼方式，同一個二進(jìn)制數(shù)字可以被解釋成不同的符號。因此，要想打開一個文本文件，就必須知道它的編碼方式，否則用

錯誤的編碼方式解讀，就會出現(xiàn)亂碼。為什么電子郵件常常出現(xiàn)亂碼？就是因?yàn)榘l(fā)信人和收信人使用的編碼方式不一樣。

可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨(dú)一無二的編碼，那么亂碼問題就會消失。這就是Unicode,就像它的名

字都表示的，這是一種所有符號的編碼。

Unicode當(dāng)然是一個很大的集合，現(xiàn)在的規(guī)模可以容納100多萬個符號。每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain,U+0041表示英

語的大寫字母A,U+4E25表示漢字嚴(yán)。具體的符號對應(yīng)表，可以查詢Unicode,org,或者專門的漢字對應(yīng)表。

四、Unicode的問題

需要注意的是，Unicode只是一個符號集，它只規(guī)定了符號的二進(jìn)制代碼，卻沒有規(guī)定這個二進(jìn)制代碼應(yīng)該如何存儲。

比如，漢字嚴(yán)的Unicode是十六進(jìn)制數(shù)4E25,轉(zhuǎn)換成二進(jìn)制數(shù)足足有15位(100111000100101),也就是說，這個符號的表示至少需要2個字節(jié)。

表示其他更大的符號，可能需要3個字節(jié)或者4個字節(jié)，甚至更多。

這里就有兩個嚴(yán)重的問題，第一個問題是，如何才能區(qū)別Unicode和ASCH?計(jì)算機(jī)怎么知道三個字節(jié)表示一個符號，而不是分別表示三個符號呢？第二個問

題是，我們已經(jīng)知道，英文字母只用一個字節(jié)表示就夠了，如果Unicode統(tǒng)一規(guī)定，每個符號用三個或四個字節(jié)表示，那么每個英文字母前都必然有二到三個

字節(jié)是0,這對于存儲來說是極大的浪費(fèi)，文本文件的大小會因此大出二三倍，這是無法接受的。

它們造成的結(jié)果是：1)出現(xiàn)了Unicode的多種存儲方式，也就是說有許多種不同的二進(jìn)制格式，可以用來表示Unicode。2)Unicode在很長一段時間內(nèi)無法

推廣，直到互聯(lián)網(wǎng)的出現(xiàn)。

五、UTF-8

互聯(lián)網(wǎng)的普及，強(qiáng)烈要求出現(xiàn)一種統(tǒng)一的編碼方式。UTF-8就是在互聯(lián)網(wǎng)上使用最廣的一種Unicode的實(shí)現(xiàn)方式。其他實(shí)現(xiàn)方式還包括UTF-16（字符用兩個字

節(jié)或四個字節(jié)表示）和UTF-32（字符用四個字節(jié)表示），不過在互聯(lián)網(wǎng)上基本不用。重復(fù)一遍，這里的關(guān)系是，UTF-8是Unicode的實(shí)現(xiàn)方式之一。

UTF-8最大的一個特點(diǎn)，就是它是一種變長的編碼方式。它可以使用廣4個字節(jié)表示一個符號，根據(jù)不同的符號而變化字節(jié)長度。

UTF-8的編碼規(guī)則很簡單，只有二條：

1）對于單字節(jié)的符號，字節(jié)的第一位設(shè)為0,后面7位為這個符號的Unicode碼。因此對于英語字母，UTF-8編碼和ASCII碼是相同的。

2）對于n字節(jié)的符號（n>1）,第一個字節(jié)的前n位都設(shè)為1,第n+1位設(shè)為0,后面字節(jié)的前兩位一律設(shè)為10。剩下的沒有提及的二進(jìn)制位，全部為這個

符號的Unicode碼。

下表總結(jié)了編碼規(guī)則，字母X表示可用編碼的位：

Unicode符號范圍（十六進(jìn)制）UTF-8編碼方式（二進(jìn)制）

00000000-0000007FOxxxxxxx

00000080-000007FF1lOxxxxxlOxxxxxx

00000800-0000FFFFlllOxxxxlOxxxxxxlOxxxxxx

00010000-0010FFFF111lOxxxlOxxxxxxlOxxxxxxlOxxxxxx

跟據(jù)上表，解讀UTF-8編碼非常簡單。如果一個字節(jié)的第一位是0,則這個字節(jié)單獨(dú)就是一個字符；如果第一位是L則連續(xù)有多少個1,就表示當(dāng)前字符占用

多少個字節(jié)。

下面，還是以漢字嚴(yán)為例，演示如何實(shí)現(xiàn)UTF-8編碼：

嚴(yán)的Unicode是4E25(100111000100101),根據(jù)上表，可以發(fā)現(xiàn)4E25處在第三行的范圍內(nèi)(00000800-0000FFFF),因此嚴(yán)的UTF-8

編碼需要三個字節(jié)，即格式是lllOxxxxlOxxxxxx10xxxxxxo然后，從嚴(yán)的最后一個二進(jìn)制位開始，依次從后向前填入格式中的x,多出的位補(bǔ)0。

這樣就得到了，嚴(yán)的UTF-8編碼是111001001011100010100101,轉(zhuǎn)換成十六進(jìn)制就是E4B8A5。

六、Unicode與UTF-8之間的轉(zhuǎn)換

通過上一節(jié)的例子，可以看到嚴(yán)的Unicode碼是4E25,UTF-8編碼是E4B8A5,兩者是不一樣的。它們之間的轉(zhuǎn)換可以通過程序?qū)崿F(xiàn)。

Windows平臺，有一個最簡單的轉(zhuǎn)化方法，就是使用內(nèi)置的記事本小程序notepad.exe。打開文件后，點(diǎn)擊文件菜單中的另存為命令，會跳出一個對話

框，在最底部有一個編碼的下拉條：

J另存為X

e▼個口>此%32>Per(E:)>SVN>502_>03_Software>vO制塞"03Software*P

組織▼新建文件夾已▼?

，下載八名稱人修改日期英曳大小

小日樂9Web2018/6/2615:13文件夾

■桌面

JWindows10(C

?App(D:)

一Per(E:)

?Co(F:)

_Backup(G:)

.CD驅(qū)動SS(H：)

.ShareC\\192.1(

【nfs(\\192.168.-

Nnfs(\\172.16.1；

“網(wǎng)ig

文件名皎

A^@,NSI.||喃

____________________________________________________________________________________________ANSI—1___________________________

Unicode

Unicodebigendian

|uTF-8

里面有四個選項(xiàng)：ANSI,Unicode,Unicodebigendian和UTF-8。

DANSI是默認(rèn)的編碼方式。對于英文文件是ASCH編碼，對于簡體中文文件是GB2312編碼(只針對Windows簡體中文版，如果是繁體中文版會采用Big5碼)。

2)Unicode編碼這里指的是notepad,exe使用的UCS-2編碼方式，即直接用兩個字節(jié)存入字符的Unicode碼，這個選項(xiàng)用的littleendian格式。

3)Unicodebigendian編碼與上一個選項(xiàng)相對應(yīng)。我在下一節(jié)會解釋littleendian和bigendian的涵義。

4)UTF-8編碼，也就是上一節(jié)談到的編碼方法。

選擇完"編碼方式"后，點(diǎn)擊"保存"按鈕，文件的編碼方式就立刻轉(zhuǎn)換好了。

七、Littleendian和Bigendian

上一節(jié)已經(jīng)提到，UCS-2格式可以存儲Unicode碼(碼點(diǎn)不超過OxFFFF)。以漢字嚴(yán)為例，Unicode碼是4E25,需要用兩個字節(jié)存儲，一個字節(jié)是4E,

另一個字節(jié)是25。存儲的時候，4E在前，25在后，這就是Bigendian方式；25在前，4E在后，這是Littleendian方式。

這兩個古怪的名稱來自英國作家斯威夫特的《格列佛游記》。在該書中，小人國里爆發(fā)了內(nèi)戰(zhàn)，戰(zhàn)爭起因是人們爭論，吃雞蛋時究竟是從大頭(Big-endian)敲開

還是從小頭(Little-endian)敲開。為了這件事情，前后爆發(fā)了六次戰(zhàn)爭，一個皇帝送了命，另一個皇帝丟了王位。

第一個字節(jié)在前，就是"大頭方式"(Bigendian),第二個字節(jié)在前就是"小頭方式"(Littleendian)o

那么很自然的，就會出現(xiàn)一個問題：計(jì)算機(jī)怎么知道某一個文件到底采用哪一種方式編碼？

Unicode規(guī)范定義，每一個文件的最前面分別加入一個表示編碼順序的字符，這個字符的名字叫做"零寬度非換行空格"(zerowidthno-breakspace),用FEFF

表示。這正好是兩個字節(jié)，而且FF比FE大L

如果一個文本文件的頭兩個字節(jié)是FEFF,就表示該文件采用大頭方式；如果頭兩個字節(jié)是FFFE,就表示該文件采用小頭方式。

八、實(shí)例

下面，舉一個實(shí)例。

打開"記事本"程序notepad,exe,新建一個文本文件，內(nèi)容就是一個嚴(yán)字，依次采用ANSI,Unicode,Unicodebigendian和UTF—8編

碼方式保存。

然后，用文本編輯軟件UltraEdit中的"十六進(jìn)制功能"，觀察該文件的內(nèi)部編碼方式。

1)ANSI：文件的編碼就是兩個字節(jié)DICF,這正是嚴(yán)的GB2312編碼，這也暗示GB2312是采用大頭方式存儲的。

2)Unicode：編碼是四個字節(jié)FFFE254E,其中FFFE表明是小頭方式存儲，真正的編碼是4E25。

3)Unicodebigendian：編碼是四個字節(jié)FEFF4E25,其中FEFF表明是大頭方式存儲。

4)UTF-8：編碼是六個字節(jié)EFBBBFE4B8A5,前三個字節(jié)EFBBBF表示這是UTF-8編碼，后三個E4B8A5就是嚴(yán)的具體編碼，它的存儲順序與編碼順序是

一致的。

1、ASCII（AmericanStandardCodeforInformationInterchange,美國信息互換標(biāo)準(zhǔn)代碼，ASCII）是基于拉丁字母的一套

電腦編碼系統(tǒng)，它主要用于顯示現(xiàn)代英語和其他西歐語言.它是現(xiàn)今最通用的單字節(jié)編碼系統(tǒng)，并等同于國際標(biāo)準(zhǔn)ISO/IEC646.

2、ASCII碼是一個7位的編碼，且該編碼是唯一的一個字符.在這個頁面，你可以找到8位的256個字符,ASCH碼表和

Windows-1252（codepage1252,它是國際標(biāo)準(zhǔn)ISO8859T的一個擴(kuò)展字符集）標(biāo)準(zhǔn)保持一致；

3、ASCII碼是AmericanStandardCodeforInformationInterchange的縮寫，而不是ASCII（羅馬數(shù)字2）,有很多人在

這個地方產(chǎn)生誤解；

4、ASCH碼規(guī)范于1967年第一次發(fā)布，最后一次更新是在1986年，它包含了33個控制字符(具有某些特殊功能但是無法顯

示的字符)和95個可顯示字符；

5、通過下面的ASCII碼對照表，可以查詢出十進(jìn)制(DEC)、八進(jìn)制(OCT)、十六進(jìn)制(HEX)、二進(jìn)制(BIN)和符號之間的關(guān)

系；

6、Ctrl+D(收藏本網(wǎng)頁)，Ctrl+S(保存本網(wǎng)頁到電腦)；

ASCII控制字符(字符編碼：。-31)

在ASCII碼表中，前32個字符是不能用于打印控制的編碼，而是用于控制像打印機(jī)一樣的外圍設(shè)備。

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

00000000000000NUL�；空字符

10010100000001SOH
；標(biāo)題開始

20020200000010STX；正文開始

30030300000011ETX；正文結(jié)束

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

40040400000100EOT；傳輸結(jié)束

50050500000101ENQ；詢問

60060600000110ACK；收到通知

70070700000111BEL；鈴

80100800001000BS；退格

9Oil0900001001HT ；.水平制表符

10012OA00001010LF ；換行鍵

11013OB00001011VT垂直制表符

12014OC00001100FF；換頁鍵

13015OD00001101CR ；回車鍵

14016OE00001110SO；移出

15017OF00001111SI；移入

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

160201000010000DLE；數(shù)據(jù)鏈路轉(zhuǎn)義

170211100010001DC1；設(shè)備控制1

180221200010010DC2；設(shè)備控制2

190231300010011DC3；設(shè)備控制3

200241400010100DC4；設(shè)備控制4

210251500010101NAK；拒絕接收

220261600010110SYN；同步空閑

230271700010111ETB；傳輸塊結(jié)束

240301800011000CAN；取消

250311900011001EM；介質(zhì)中斷

260321A00011010SUB；替換

27033IB00011011ESC；換碼符

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

280341C00011100FS；文件分隔符

29035ID00011101GS；組分隔符

30036IE00011110RS；記錄分離符

31037IF00011111US；單元、分隔符

ASCII打印字符（字符編碼：32-127）

32?126（共95個）是字符：32是空格，其中48?57為0到9十個阿拉伯?dāng)?shù)字，65?90為26個大寫英文字母，97?122號為

26個小寫英文字母，其余為一些標(biāo)點(diǎn)符號、運(yùn)算符號等。第127個字符表示的是鍵盤上的刪除命令。

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

320402000100000 ；空格

330412100100001!!；感嚷號

340422200100010"；

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

350432300100011##；井號

360442400100100$$；美元符

370452500100101%%；百分號

380462600100110&&；與

390472700100111'；單引號

400502800101000((；左括號

410512900101001))；右括號

420522A00101010**；星號

430532B00101011++；加號

440542C00101100,；逗號

450552D00101101—-；連字號或減號

460562E00101110?.；句點(diǎn)或小數(shù)點(diǎn)

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

470572F00101111//；斜杠

48060300011000000；0

49061310011000111；1

50062320011001022；2

51063330011001133；3

52064340011010044；4

53065350011010155；5

54066360011011066；6

55067370011011177；7

56070380011100088；8

57071390011100199；9

580723A00111010?:；冒號

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

590733B001110119;；分號

600743C00111100<<；小于

610753D00111101—=；等號

620763E00111110>>；大于

630773F00111111??；問號

641004001000000@@；電子郵件符號

651014101000001AA；大寫字母A

661024201000010BB；大寫字母B

671034301000011CC；大寫字母C

681044401000100DD；大寫字母D

691054501000101EE；大寫字母E

701064601000110FF；大哥f年F

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

711074701000111GG；大寫字等G

721104801001000HH；大寫字母H

731114901001001II；大寫字母I

741124A01001010JJ；大寫字母J

751134B01001011KK；大寫字母K

761144C01001100LL；大寫字母L

771154D01001101MM；大寫字母M

781164E01001110NN；大寫字母N

791174F010011110O；大寫字母0

801205001010000PP；大寫字母P

811215101010001QQ；大寫字母Q

821225201010010RR；大哥f年R

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

831235301010011SS；大寫字等

841245401010100TT；大寫字母T

851255501010101UU；大寫字母U

861265601010110VV；大寫字母V

871275701010111wW大寫字母W

881305801011000XX；大寫字母X

891315901011001YY；大寫字母Y

901325A01011010ZZ；大寫字母z

911335B01011011[[；左中括號

921345C01011100\\；反斜杠

931355D01011101]]；右甲插號

941365E01011110^；音調(diào)符號

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

下則線

951375F01011111—_；

961406001100000、`；重音符

971416101100001aa；小寫字母a

981426201100010bb；小寫字母b

991436301100011cc；小寫字母c

1001446401100100dd；小寫字母d

1011456501100101ee；小寫字母e

1021466601100110ff；小寫字母f

1031476701100111gg；小寫字母g

1041506801101000hh；小寫字母h

1051516901101001ii；小號靠譚i

1061526A01101010jj；小寫字母j

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

1071536B01101011kk；小寫字等鱉

1081546C011011001l；小寫字母1

1091556D01101101mm；小寫字母m

1101566E01101110n小寫字母n

1111576F011011110小寫字母。

1121607001110000pp；小寫字母p

1131617101110001qq；小寫字母q

1141627201110010r小寫字母r

1151637301110011ss；小寫字母s

1161647401110100tt；小寫字母t

1171657501110101u小寫字譚u

1181667601110110Vv；小*■V

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

1191677701110111Ww；小寫字等r

1201707801111000Xx；小寫字母x

1211717901111001yy；小寫字母y

1221727A01111010zz；小寫字母z

1231737B01111011{{；左大括號

1241747C011111001|；垂直線

1251757D01111101}}；右大括號

1261767E01111110z~；波浪號

1271777F01111111；刪除

ASCII擴(kuò)展碼（字符編碼：128-255）

后128個稱為擴(kuò)展ASCH碼。許多基于x86的系統(tǒng)都支持使用擴(kuò)展（或“高”）ASCH。擴(kuò)展ASCII碼允許將每個字符的第8位

用于確定附加的128個特殊符號字符、外來語字母和圖形符號。

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

1282008010000000€€；歐盟符號

1292018110000001

13020282100000109‚；單低9引號

1312038310000011ƒ；帶鉤的

拉丁小寫字母f

1322048410000100„；雙低9引號

1332058510000101???…；水平省略號

1342068610000110t†；劍號

1352078710000111i‡；雙劍號

A

1362108810001000ˆ；修正字符

抑揚(yáng)音符號

1372118910001001%0‰；千分號

十進(jìn)制八進(jìn)制十六進(jìn)制二進(jìn)制符號HTML中文解釋

DECOCTHEXBINSymbol實(shí)體編碼Description

1382128A10001010SŠ；帶彎普'賽第

拉丁大寫字母S

1392138B10001011<‹；左單書名號

1402148C10001100(EŒ；拉丁大寫組合0E

1412158D10001101

1422168E10001110Z