香港中文大學(xué)圖書館系統(tǒng)UniversityLibrarySystem

香港中文大學(xué)圖書館系統(tǒng)UniversityLibrarySystemTheChineseUniversityofHongKong香港Innovative用戶協(xié)會重訂《單一碼與CCCII/EACC對應(yīng)表》–第五屆中國INNOPAC用戶協(xié)會年會,2004年11月9-10日

––上海華東師范大學(xué)–何以業(yè)2004年11月9日1香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)鳴謝重訂工作由香港Innovative用戶協(xié)會(HongKongInnovativeUsersGroup)下的單一碼計劃工作小組(HKIUGWorkingGrouponUnicodeProject)負(fù)責(zé)。 小組成員館的代表為：林紀(jì)達(dá)先生(香港科技大學(xué))黃秉杰先生(香港城市大學(xué))陳偉明先生(香港大學(xué))何以業(yè)(香港中文大學(xué))以下的報告內(nèi)容取材自黃秉杰先生與我在2003年12月第4屆HongKongInnovativeUsersGroupMeeting中的報告http://hkiug.ln.edu.hk/meetings/am2003/presentations/philip_ho_yee_ip.ppt2香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)報告梗概背景難題目標(biāo)與方法工序?qū)nnovatives的要求尚未解決的問題用戶注意事項將來3香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)1.背景漢字編碼字符集多種字符集支援中日韓字(CJK)資料來源:林紀(jì)達(dá),“OverviewofChineseCharacterEncoding”,http://www.lib.cuhk.edu.hk/seminar/unicode/kt_lam_files/frame.htm字符集名稱(charactersets)流行范圍GB(國標(biāo))中國BIG5(大五碼)香港，臺灣等地CCCII(ChineseCharacterCodeforInformationInterchange中文信息交換碼)圖書館EACC(EastAsianCharacterCode東亞字碼)美國國會圖書館字碼標(biāo)準(zhǔn)(MARC21standard)http://www.loc.gov/marc/specifications/specchareacc.htmlUnicode(單一碼)電腦操作系統(tǒng)廣泛采用，e.g.：Windows2000,XP4香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)1.背景字符集支援范圍字符數(shù)碼點版本發(fā)布支援繁簡連結(jié)特質(zhì)BIG513,05314,7581984繁體無GB1803027,0001.6百萬2000繁簡無CCCII75,684830,5841980繁簡有EACC15,728830,5841983繁簡有Unicode82,2701.1百萬2000(v.3)繁簡無5香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)1.背景(代)碼點(codepoint)同一個字形，在不同字符集會使用不同的碼點字符集[余]的碼點備考BIG5A745GB180305164CCCII213131276076[餘]216076

後4碼連結(jié):余杭<->餘杭EACC276076[餘]216076

後4碼連結(jié):余杭<->餘杭Unicode4F596香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)1.背景內(nèi)存代碼(internalcode)Innopac以EACC/CCCII形式存儲CJK字符Innopac內(nèi)存代碼不是Unicode1001余秋雨1001{276076}{214f29}{215f51}7香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)1.背景對應(yīng)表(mappingtable)Innopac用對應(yīng)表把內(nèi)存代碼在客戶端與系統(tǒng)之間往來轉(zhuǎn)換接口(界面)客戶端編碼Innopac內(nèi)存代碼TelnetBIG5WebPACBIG5BIG5(大五碼)EACC/CCCIIMilleniumWebPACUTF-8UTF-8(單一碼)EACC/CCCII8香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)2.難題(一)復(fù)數(shù)對應(yīng)難題1UTF-8對應(yīng)表(diac.utf8)中,有多個內(nèi)存代碼對應(yīng)同一個客戶端編碼查詢用的代碼不一定是所期望的代碼對應(yīng)次序各館不同，Z39.50查找結(jié)果不定UTF-8表中[臺]的復(fù)數(shù)變換EACC-內(nèi)存代碼Unicode--客戶端編碼字義283b7d53F0[檯]的簡體27605d53F0[颱]的簡體21353853F0[臺]本身是正字27542b53F0[臺]的簡體9香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)2.難題(二)EACC與CCCII重疊難題2EACC與CCCII用碼不同，各館內(nèi)存不一，資料交換帶來麻煩。EACC/CCCIIBIG5UTF-8備考余213131(CCCII)A7454F59獨立代碼，不與[餘]216076連結(jié)276076(EACC)A7454F59與[餘]216076連結(jié)10香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)2.難題(三)錯誤與缺漏難題3UTF8(Release2002Phrase3)中有小毛病錯誤27615F<>U+53CB [友]該對應(yīng)U+53D1 [發(fā)]缺漏缺213F30<>U+3007 [〇]11香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)2.難題

(四)選取不一致難題4BIG5和UTF-8產(chǎn)生的復(fù)數(shù)對應(yīng)不一致，香港Innovative用戶協(xié)會決定進(jìn)行此單一碼計劃：BIG5客戶端

對應(yīng)表選前一個對應(yīng)碼UTF8客戶端

對應(yīng)表選后頭一個對應(yīng)碼12香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)2.難題(四)選取不一致(續(xù))[才]的對應(yīng)BIG5(WebPAC

或Telnet)對應(yīng)表選前一個對應(yīng)碼

內(nèi)存

BIG5

213f7b A47E

BIG5選前一個 28736d A47EUTF-8(WebPAC或Millennium)對應(yīng)表選后一個對應(yīng)碼

內(nèi)存

UTF-8 213f7b 624D

28736d 624D UTF-8選后一個13香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)3.目標(biāo)與方法.香港中文大學(xué)于2003年7月舉行了討論會:http://www.lib.cuhk.edu.hk/seminar/unicode/單一碼計劃工作小組(HKIUGWorkingGrouponUnicodeProject)亦于同年7月成立目標(biāo)解決BIG5和UTF-8選取不一致的難題決定對應(yīng)表中的那些應(yīng)是‘一對一’或是‘多對一’決定對應(yīng)表應(yīng)否只用‘純粹EACC’或是‘EACC+CCCII’清除錯誤與缺漏為將來‘以單一碼為內(nèi)存的資料庫’做好準(zhǔn)備14香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)3.目標(biāo)與方法(續(xù))

單一碼計劃工作小組研究后提出如下方案：不再修訂BIG5對應(yīng)表(因為:字符集字量少;只支援繁體字;復(fù)數(shù)對應(yīng)太多….等等)

建議重訂一張新的UTF-8對應(yīng)表(diac.utf8)EACC<>Unicode以美國國會圖書館MARC21為標(biāo)準(zhǔn)尾4碼相同者，容許復(fù)數(shù)對應(yīng)；尾4碼不同者，需決定優(yōu)先選取者；例：[臺](見2.難題1)EACC與CCCII重疊時，刪除CCCII將館內(nèi)以該CCCII為內(nèi)碼的資料轉(zhuǎn)換為對應(yīng)的EACC對應(yīng)表需包括‘純粹CCCII’以照顧不常用字15香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)4.工序建成diac.utf8.hkiug以下部分直接摘用黃秉杰先生在2003年12月第4屆HongKongInnovativeUsersGroupMeeting報告內(nèi)的Procedures部分

參見：http://hkiug.ln.edu.hk/meetings/am2003/presentations/philip_ho_yee_ip.ppt16香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)Proceduresdiac.utf8.hkiugcreateddiac.utf8.hkiugdiac.utf8LCEACC22717EACC/CCCIISubtracted66SubstitutesforMissing(U+3013)15673EACC7044pureCCCII+Remapped287PUASelectedpreferencesinmulti-mappinglinkedandunlinkedcasesCorrectedLCmappingspreparedlistforCCCIItoEACCdataconversionSubtracted955withEACCequivalent15739EACCmerged7999CCCIIextracted17香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduressourcefromLCMergedtablesfromLC'sEACCtoUCS/UnicodeMappingshttp://www.loc.gov/marc/specifications/specchareacc.html

18香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresIncludedpureCCCIIfromUTF-8table(Rel2002Phase3)CCCIIwithnoEACCequivalents(pureCCCII)e.g.217455坓22483E洣7,044AddedtonewtableCCCIIwithEACCequivalentse.g.213131(CCCII)余276076(EACC)余955Excludedfromnewtable.SenttoIIIfordataconversionsourcefromdiac.utf819香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)Proceduresre-mappedPUARe-mapped297PrivateUserArea(PUA)tosuggestedalternates20香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresSelectedpreferenceinmultiplemappingEACCMultiplemappingExample#ofcasesEnhancedindexing?LabeledasPreferenceLinkedsamelowerorderbytes4B3178

倩213178倩160(320char)Yes"multi-mappinglinked"notmatterUnlinkeddifferentlowerorderbytes283B7D

臺27605D

臺213538臺27542B

臺49(108char)No"multi-mappingunlinked"selectedcasebycase(basedonHKUSTstudyonwordfrequency&meaning)selectedpreference21香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresLinkedcases:HKIUGpreferenceindicatedselectedpreference(cont)SelectedpreferenceinEACCmultiplemappinglinked22香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresUnlinkedcases:HKIUGpreferenceindicatedselectedpreference(cont)SelectedpreferenceinEACCmultiplemappingunlinked23香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresUpdatedLCmappingsReferencedfromothersourcesUnihanOCLCUSMARCCharacterSetforChinese,Japanese,Korean(printed)Examples:273C67LCmappedtoU+E9D8RemappedtoU+5E72(干)4B3C2bLCmappedtoU+E9C7RemappedtoU+67C3(柃)updatedLCmapping24香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)ProceduresCCCIIwithEACCEquivalents-fordataconversionCCCIIEACClistforconversionPreparedlistfordataconversion25香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)5.

對Innovatives的要求.交給Innovatives的付項diac.utf8.hkiug–是HKIUG設(shè)定的EACC/CCCII<>UTF-8對應(yīng)表EACC 15,673純粹CCCII 7,044合共 22,717 hasEACC.txt–CCCII重疊EACC表(955)單一碼計劃工作小組的報告Innovatives可做的工作(IUGCN可參照實行)為各館的Innopac安裝diac.utf8.hkiug依照hasEACC.txt所示,把圖書館資料庫內(nèi)的CCCII轉(zhuǎn)換成對應(yīng)的EACC(各館可自行轉(zhuǎn)換)26香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)6.

尚未解決的問題

LC的錯誤美國國會圖書館(LC)MARC21標(biāo)準(zhǔn)中有一個錯誤：23355C

LCMARC21標(biāo)準(zhǔn)23355C<>U+86C3[蛃]USMARCcharactersetforChinese,Japanese,Korean.Washington,D.C.:LibraryofCongress,1986.23355C[豣]U+8C6327香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項

復(fù)數(shù)對應(yīng)選字復(fù)數(shù)對應(yīng)：[歷]U+5386請參考香港科技大學(xué)的復(fù)數(shù)對應(yīng)選擇表:lc-multi-eacc.xls歷21462A歷27462A設(shè)定為優(yōu)先對應(yīng)歷的簡體274349設(shè)定為非優(yōu)先對應(yīng)曆的簡體曆21434928香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項復(fù)數(shù)對應(yīng)選字(續(xù)1)數(shù)據(jù)正確性

書名:歷法…內(nèi)存代碼備考數(shù)據(jù)正確?以字符輸入:歷27462A與[歷]21462A連結(jié)索引錯誤若以代碼輸入:274349274349與[曆]214349連結(jié)索引正確*可用附加追尋項，以字符輸入：歷27462A與[歷]21462A連結(jié)索引29香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項

復(fù)數(shù)對應(yīng)選字(續(xù)2)Milleniumeditor暫依UTF-8對應(yīng)表在儲存目錄時修改內(nèi)碼。這會使數(shù)據(jù)不正確。此為Millennium的軟件缺點，由于目錄從server交到client，在client重存時，內(nèi)存代碼會依對應(yīng)表的優(yōu)先對應(yīng)的規(guī)定來改碼。如果只是修改item,checkin,order,globalupdate等，由于不會在client重存bib目錄，內(nèi)存代碼不會改變。

內(nèi)存代碼數(shù)據(jù)正確?Telnet以代碼輸入:274349{274349}正確Millennium中,不做任何修改，儲存后,在Telnet中檢看:{27462A}錯誤30香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項復(fù)數(shù)對應(yīng)選字(續(xù)3)Innovatives打算在Sliverversion中修正軟件缺點。非優(yōu)先對應(yīng)的內(nèi)存代碼，會在Milleniumeditor以字符顯示，而且不會在重存目錄時修改內(nèi)碼。

內(nèi)存代碼數(shù)據(jù)正確?Telnet以代碼輸入:274349{274349}Millennium中,不作任何修改，儲存后還保留並顯示為:{274349}正確31香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項復(fù)數(shù)對應(yīng)選字(續(xù)4)暫時可用Anzio-Win作Telnetclient設(shè)定可參考香港中文大學(xué)圖書館網(wǎng)頁:http://www.lib.cuhk.edu.hk/cataw/Internet/System_DIY.pdf上述網(wǎng)頁提到的CCCII.UNI,香港中文大學(xué)愿意提供。但ANZIO-Win有缺點：CCCII.UNI為1EACC<>1Unicode.

非優(yōu)先對應(yīng)者，一概不用

32香港Innopac用戶協(xié)會重訂<單一碼與CCCII/EACC對應(yīng)表>.2004年11月9日,何以業(yè)7.用戶注意事項復(fù)數(shù)對應(yīng)選字(續(xù)5)

EACCdiac.utf8.