灰度名片圖像快速傾斜檢測和校正方法.pdf

1、中文信息學(xué)報(bào)第 18 卷第 1 期 JOURNAL OF CHINESE INFORMATION PROCESSING V0III8N0II文章編號：1003 - 0077 (2004)01 - 0062 - 08灰度名片圖像快速傾斜檢測和校正方法卜飛宇，劉長松，丁曉青(清華大學(xué)電子工程系 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，北京100084)摘要:本文針對名片OCR系統(tǒng)的要求，提岀了一種新的根據(jù)圖像掃描時(shí)產(chǎn)生的黑色邊緣來檢測灰度名片 圖像傾斜角度的方法。該方法先檢測岀名片的四條邊緣擬合直線，由四條邊緣擬合直線的傾斜角度來確定名片圖像傾斜角度，然后采用逐段整塊搬移的方法來對圖像進(jìn)行傾斜校正，再根據(jù)邊

2、緣擬合直線位置去除黑邊。實(shí)驗(yàn)表明，該方法具有很快的速度和很高的正確率，是一種實(shí)用價(jià)值較高的方法。而且，該方法能推廣應(yīng)用于其它灰度和彩色掃描圖像的傾斜檢測和校正。關(guān)鍵詞：人工智能；模式識別；灰度圖像；傾斜檢測；傾斜校正；邊緣擬合直線中圖分類號:TP391 14文獻(xiàn)標(biāo)識碼:AA Fast Algorithm of Skew Detection and Correctionon Gray Bus in essCard ImageE密;咗葦飛 tH _ 'I II. j|_*=衣BU Fe2yu ,L IU Chang2song ,DIN G Xiao2qing(Electronic Engi

3、neering Department , Tsinghua UniversityState Key Laboratory of In tellige nt Tech no logy a nd Systems ,Beiji ng 100084 ,Chi na)Abstract :According to the need of business card OCR system, this paper presents a new skew detection and correc2 tion method based on black border of gray business card i

4、mage 1 First , this method decide the skew angle of a busi2 ness card image according to four border fitting lines of the business card , then a method based on block move ispro 2 vided to correct image and black border is erased based on position of border near2ine 1 Experiments show that this appr

5、oach is fast , accurate and effective 1 This algorithm can be extended and applied to other gray and color scan im2 ages1Key words : artificial intelligence ; pattern recognition ; gray image ; skew detection ; skew correction ; border fitting line1引言目前，名片的使用相當(dāng)普遍。但個(gè)人擁有的名片多了 ，名片的保存、管理和對名片上信息的查找會(huì)越困難。隨

6、著電腦和PDA的普及，人們希望用電子方法管理名片，產(chǎn)生了對名片自動(dòng)識別系統(tǒng)的需求。在名片OCR系統(tǒng)的預(yù)處理階段，需對掃描得到的圖像進(jìn)行傾斜檢測和校正，以避免對字符切分和識別產(chǎn)生不良影響(傾斜角度在3度左右以上就可能導(dǎo)致切分和識別錯(cuò)誤)。已有的收稿日期:2003 - 07 - 16基金項(xiàng)目：國家863高技術(shù)研究發(fā)展計(jì)劃(2001AA114081 );國家自然科學(xué)基金(60241005 ) 作者簡介：卜飛宇(1965 ，男，碩士研究生，研究方向?yàn)閳D像處理、莫式識別等.62一些針對文檔圖像的傾斜檢測和校正的方法，基本上是基于二值圖像的，主要可分為5類：基于投影的方法，基于HOU GH變換的方法，基于

7、交叉相關(guān)性的方法，基于Fourier變換的方法和K2最近鄰簇方法。基于投影的方法：先沿若干指定方向投影得到若干投影圖，再根據(jù)這些投影圖的的某些特征如均方差1、第一特征矢量2以及梯度3等的統(tǒng)計(jì)特性來求得文本傾斜角。但是，由于需要對整個(gè)圖像統(tǒng)計(jì)特征值，因此計(jì)算量和復(fù)雜度都較高?；贖OU GH變換的方法：先提取文本行中的一些點(diǎn)，利用HOUGH變換將這些點(diǎn)擬合成若干直線，同時(shí)得到這些直線所對應(yīng)的角度，再根據(jù)這些角度的分布情況估計(jì)出文本傾斜角。由于基本HOU GH算法計(jì)算量非常大，因此產(chǎn)生了一些專門用于傾斜角檢測的HOUGH變換改進(jìn)算法4,5。交叉相關(guān)性算法是基于等距離的豎直（水平）平行線上像素點(diǎn)的相

8、關(guān)性的方法6。Fourier變換的方法7是利用頁面傾角對應(yīng)于使 Fourier空間密度最大的方向角的特性，將文檔圖像的所有像素點(diǎn)進(jìn)行Fourier變換，計(jì)算量非常大，目前很少采用。K2最近鄰簇（KNN）方法8先找出所有連通區(qū)中 心點(diǎn)的K個(gè)最近鄰，計(jì)算每對近鄰點(diǎn)的矢量方向并統(tǒng)計(jì)生成直方圖，直方圖的峰值對應(yīng)于整個(gè)頁面的傾角。以上這些方法對一般文檔圖像的傾斜角檢測比較有效。但是由于名片版面復(fù)雜多變，名片中的文字行以及每行字符較少，以及名片上有公司圖案標(biāo)志等，使得現(xiàn)有的這些傾斜校正算法在處理名片圖像時(shí)效果不好，不能正確地檢測出名片圖像的傾斜角度。結(jié)合清華大學(xué)電子系 OCR實(shí)驗(yàn)室正在研發(fā)的名片自動(dòng)識別系

9、統(tǒng)，我們提出了一種新的直接針對灰度名片圖像的傾斜角度快速檢測方法：先檢測出名片的四條邊緣擬合直線，再根據(jù)四條邊緣擬合直線的傾斜角度來確定圖像的傾斜角度。據(jù)此開發(fā)的對灰度名片圖像進(jìn)行傾斜校正并去除掃描所產(chǎn)生的黑色邊緣區(qū)域的程序模塊，已成功用于灰度名片自動(dòng)識別系統(tǒng)中。2灰度名片圖像的特點(diǎn)經(jīng)過對大量灰度名片圖像的觀察和分析，我們得出其如下幾個(gè)特點(diǎn)：11名片的印刷質(zhì)量一般較好，極少有因印刷而導(dǎo)致的文本在名片上的傾斜，因而可以忽略因印刷而導(dǎo)致的傾斜。名片圖像的傾斜都是因掃描時(shí)名片放置不正引起的。21在絕大多數(shù)名片圖像的四周，至少有一邊以上有因掃描而產(chǎn)生的黑色邊緣區(qū)域（以下簡稱黑邊）。31黑邊的灰度值明顯

10、小于名片本身背景的灰度值，在圖像中黑邊與名片本身之間有較明顯的分界線，這就是名片的邊緣線 。對于每條邊緣線（上、下、左、右），其上的點(diǎn)基本上位于一 條直線上，我們稱之為名片的邊緣擬合直線（圖1） O41由掃描導(dǎo)致的名片圖像的傾斜角度一般都較小，一般不超過5度。51在有些名片的底部或頂部，也有個(gè)別名片在左部或右部，存在反白區(qū)域。這些反白區(qū)域與黑邊連在一起，有時(shí)沒有明顯的分界線 。根據(jù)前三個(gè)特點(diǎn)，我們自然想到，可以利用某種方法找出名片圖像中名片的邊緣擬合直 線，然后利用這些邊緣擬合直線確定圖像的傾斜角。得到傾斜角后，根據(jù)第四個(gè)特點(diǎn)，我們可以采用一種已有的逐段整塊搬移的方法來校正圖像，以加快運(yùn)算速度

11、。對于反白區(qū)域與黑邊相鄰的情況，我們結(jié)合檢測邊緣擬合直線得到的有關(guān)數(shù)據(jù)對其加以判別，以免在去除黑邊時(shí)誤將反白區(qū)域當(dāng)成黑邊去除。63Techrtoloy' Inc.址僅覺克噸麻統(tǒng)技術(shù)育聞金同圖1名片的四條邊緣擬合直線3傾斜角檢測算法設(shè)灰度名片圖像的寬度為w ,高度為h ,像素點(diǎn)(x,y)的灰度值記為 p(x,y),則灰度圖像可表示為:I = p(x,y)|O < p ( x , y) <255,0 < x < w ,0 <y < h。311檢測名片的邊緣擬合直線這里以檢測名片的上邊緣擬合直線為例。不失一般性，我們在區(qū)域A = (x , y) |工<

12、; x < w X 9 ,0 < y < 上來尋找構(gòu)成名10103片上邊緣的邊緣點(diǎn)，通過這些邊緣點(diǎn)來確定名片的上邊緣擬合直線。雖然在區(qū)域A的左右兩端會(huì)有少量上邊緣點(diǎn)被忽略，但這不會(huì)影響到找到的上邊緣擬合直線的準(zhǔn)確性。因?yàn)樵谶@里不需確定上邊緣線的左右端點(diǎn)。檢測到四條邊緣擬合直線后，通過求其交點(diǎn)即可得到各邊緣 線的端點(diǎn)。31111尋找名片上邊緣點(diǎn)對于名片的每條邊緣來說，在每列(行)上只有一個(gè)邊緣點(diǎn)。下面來尋找名片的上邊緣第j列(珀< j < w X爲(wèi))的邊緣點(diǎn)。對于0 <y < ；，從圖像邊緣y = 0開始到y(tǒng) =號-1尋找滿足下列兩個(gè)條件之一的第一個(gè) 點(diǎn)

13、(j , i) °這樣找到的像素點(diǎn)即為上邊緣點(diǎn)，區(qū)域A內(nèi)所有上邊緣點(diǎn)構(gòu)成名片的上邊緣線。條件 1: p(j , i) > T1;條件 2: p(j , i) > T2并且 | p( j , i)2AverGray| > T3;其中 T1(120 < T1 < 180)、T2(100 < T2 < 150)、T3(20 < T3 < 40 )為經(jīng)驗(yàn)閾值，AverGray 為第j列上的前i個(gè)像素灰度平均值。找到區(qū)域A內(nèi)的所有上邊緣點(diǎn)后，可以取其中的一些樣本點(diǎn)，利用最小二乘法求得其擬合直線，即為上邊緣擬合直線。但這樣做運(yùn)算量較大。下面給

14、出一種更快速的方法。31112將上邊緣線分成若干連續(xù)的段上邊緣點(diǎn)并不總是位于一條直線上，由于掃描質(zhì)量太差，或是名片邊緣的反白區(qū)域與名片周圍的黑邊連在一起，有些找到的邊緣點(diǎn)并不是真正的名片邊緣點(diǎn)，一些相鄰的兩個(gè)上邊緣點(diǎn)64在y方向上會(huì)有較大的階躍。據(jù)此,我們將上邊緣線分成相對連續(xù)的若干連續(xù)邊緣線段。分段的方法如下：從左到右(10< W 吒)，檢查當(dāng)前邊緣點(diǎn)與上一個(gè)邊緣點(diǎn)在y方向上的距離，若距離小于某個(gè)值(在這里取5,即5個(gè)像素的距離),則將當(dāng)前邊緣點(diǎn)歸入與上一個(gè)邊緣點(diǎn)所在的同 一連續(xù)邊緣段，否則將當(dāng)前邊緣點(diǎn)作為一個(gè)新的連續(xù)邊緣段的起點(diǎn)，繼續(xù)檢查下一個(gè)邊緣點(diǎn)，直至右邊最后一個(gè)邊緣點(diǎn)。分段后，

15、對那些長度小于3個(gè)像素的連續(xù)邊緣段，認(rèn)為是由雜點(diǎn)引起，加以排除。然后記 錄下段數(shù)Ni及最長的連續(xù)邊緣線段長Li( Li定義為該段的邊緣點(diǎn)個(gè)數(shù)),并將該段上的邊緣點(diǎn)按從左到右的順序記錄于一個(gè)數(shù)組E(Li)中，E( k) 1x , E ( k) 1 y分別代表該段第k個(gè)點(diǎn)的x,y坐標(biāo)。段數(shù)一般與掃描質(zhì)量及名片邊緣的反白區(qū)域有關(guān)。如果名片的該邊無反白區(qū)域，則段數(shù)一般較少 檢測到的邊緣線為名片的實(shí)際邊緣線。當(dāng)掃描質(zhì)量很好，即名片邊緣線相當(dāng)清晰時(shí)，段數(shù)將趨于1。反之,如果在該邊反白區(qū)域與掃描所形成的黑邊連成一體，則檢測到的邊緣線不是名片的實(shí)際邊緣線，那些較短的段一般是反白字符產(chǎn)生的，由此得到的分段數(shù)將較

16、多。因此，分段數(shù)可作為在后面去黑邊時(shí)區(qū)分黑邊與反白區(qū)域的依據(jù)。31113確定上邊緣的擬合直線及其傾斜角由上面的步驟知，當(dāng)連續(xù)邊緣線段數(shù) N1較小時(shí)，檢測到的邊緣線為名片的實(shí)際邊緣線。因此，當(dāng)N1較小(如N1 < 15 )，并且L1足夠長(如L1 > W)時(shí)，我們利用上邊緣的最長連續(xù)5邊緣線段來求上邊緣的擬合直線及其傾斜角。方法如下：設(shè)(X1，y1)，( X2，y2)分別為靠近最長連續(xù)邊緣線段兩端的點(diǎn)，令：X1 = ( E(5) 1 X +E(6) 1 X +E(7) 1 x + E(8)1 x +E(9) 1 x) / 5;y1 = ( E(5) 1y +E(6) 1y +E(7)

17、 1y+ E(8) 1 y +E(9) 1 y) / 5;X2 = ( E( L1 - 5)1 x + E(L 1- 6) 1 x + E (L 1 - 7)1 x + E( L 1 -8)1x +E (L1 -9)1x) / 5;y2 = ( E(L1 - 5) 1y + E( L1 -6) 1y + E( L1 - 7)1 y+ E(L1- 8)1y+E(L1-9) 1y)/5;這樣求得的兩端點(diǎn)，能有效的避免可能存在的異常邊緣點(diǎn)的影響。設(shè)鮎為上邊緣擬合直線與水平線的夾角，則其正切值為：tan(&1) =(y22y1)/(x22x1)。并求得上邊緣擬合直線方程為：(y2y“ / (

18、x2x1) = ( y2 2y1) / ( X22X1) °當(dāng)N1 >15或L1 <-W時(shí),令01 =0,并置L1 =0,即認(rèn)為沒有找到有效的上邊緣最長連續(xù)5邊緣線段，沒有有效的檢測出上邊緣線。邊緣線不能被檢測出來，一般是由名片上與黑邊相連的反白區(qū)域?qū)е碌?。因?yàn)槲覀兪歉鶕?jù)4條邊緣線來確定名片圖像的傾斜角，所以有1條或2條邊緣線沒有被檢測出來，不會(huì)影響到求圖像的傾斜角。312 求灰度名片圖像的傾斜角9采用步驟311中類似的方法，可求得底、左、右各邊名片邊緣線的最長連續(xù)邊緣線段長度 L2、L 3、L4 ,求得名片底邊緣擬合直線與水平線的夾角92及左、右邊緣擬合直線與垂直線的夾

19、角03、4，同時(shí)得到底、左、右各邊名片邊緣線的擬合直線方程。這樣,我們以加權(quán)平均的方式求得圖像的傾斜角：9 = ( L1 X 01 + L 2 X02 + L 3 X03+ L 4 x 04) / ( L 1 + L2 + L 3 + L 4)注意：對于沒有黑邊的名片圖像 ，檢測到的四條名片邊緣擬合直線為圖像的四條邊緣線，此時(shí),9 = 0。654傾斜校正與去除黑邊411圖像傾斜校正 檢測到灰度名片圖像的傾斜角度9后,就可對圖像進(jìn)行傾斜校正。傾斜校正的精確方法是先確定一個(gè)旋轉(zhuǎn)中心(Xc, yj (般就取圖像中心),然后對圖像中的每一個(gè)像素點(diǎn)(xco9-sin9-sin9 cos9Xcyc-正后的

20、位置(x' ,y')。但是，由于逆旋轉(zhuǎn)計(jì)算需要在每一個(gè)點(diǎn)上進(jìn)行Xcy進(jìn)行逆旋轉(zhuǎn)運(yùn)算，得到校，而且涉及cos,sin等浮點(diǎn)1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. 函數(shù)及矩陣運(yùn)算，對尺寸較大的灰度圖像，計(jì)算開銷很大實(shí)際上，一般情況下掃描過程引入的傾斜角度9都比較小(| 9| <5°，加之?dāng)?shù)字圖像中的像素坐標(biāo)都是離散整數(shù)，完全可以在傾斜校正中使用整數(shù)操作。因此，我們在這里采用了一種 稱為塊搬移的快速圖像傾斜校正方法9。該方法采用整數(shù)運(yùn)算和大塊圖

21、像的直接拷貝，其速度要比逆旋轉(zhuǎn)算法快很多。用這種方法得到的校正圖像與原圖像相比，在搬移的相鄰圖像子塊交接處會(huì)出現(xiàn)一個(gè)像素的錯(cuò)位。但這種微小畸變完全不會(huì)影響字符識別412 去除黑邊我們以去除圖像上邊緣黑邊為例，假定傾斜角9 <0。當(dāng)Ni<15且Li >時(shí)，我們已檢測到名片上邊緣擬合直線方程為：5 (y - yi) / (x - xi) = ( y2 - yi) / ( X2 - xi);其中(xi，yi)，(x2, y2)為已知(見3iii3)。在這里我們做一個(gè)近似 9i9，即認(rèn)為灰度名 片圖像在傾斜校正后，名片上邊緣擬合直線為一條水平線，這對去除黑邊影響不大。根據(jù)逐段整塊搬移

22、校正方法，校正后的名片上邊緣擬合直線經(jīng)過C點(diǎn)(圖2)。在圖中La為圖像校正前的名片上邊緣擬合直線，Lb為圖像校正后的名片上邊緣擬合直線。這樣，可求得校正后的名片上邊緣擬合直線 Lb的方程為：y=(X2 X yi - xi X y2)/(x2 - xi) °66圖2求圖像校正后的名片上邊緣擬合直線示意圖對于傾斜角0 >0的情況，可用類似方法求得校正后的名片上邊緣擬合直線。求得校正后的名片上邊緣擬合直線后，要去除圖像上邊緣黑邊，只須將名片上邊緣擬合直線上方的黑色像素點(diǎn)置成白色即可。同樣，可認(rèn)為傾斜校正后名片的底或左、右邊緣擬合直線為水平線或垂直線，采用類似的方法求得其擬合直線方程。

23、5實(shí)驗(yàn)結(jié)果分析本文本文算法用VC實(shí)現(xiàn)，對一千多張灰度名片圖像進(jìn)行了測試，其中包括橫排名片和豎排名片。橫排名片圖像尺寸一般為1080 X640像素，豎排名片圖像尺寸一般為1080 X640像素。測試環(huán)境：PHI500，256M ,WIND0WS2000。對文字識別來說，當(dāng)圖像傾斜角| 0| >3°時(shí)，將導(dǎo)致字符切分困難及字符變形而使識別率 下降。當(dāng)| 0| <1°時(shí)，這種影響已相當(dāng)小，當(dāng)傾斜角| 0| <015°時(shí)，圖像的傾斜對文字識別的影 響可以忽略不計(jì)。因此，我們可以認(rèn)為，若校正后的名片圖像傾斜角| 0|<015°則對該名片圖

24、像的傾斜檢測與校正是成功的。表1實(shí)驗(yàn)結(jié)果：檢測校正時(shí)間與成功率測試張數(shù)傾斜角檢測平均時(shí)間整個(gè)傾斜檢測與校正過程的平均時(shí)間成功率1100< 011 秒<013 秒9919%由于尚未見到公開發(fā)表的其它直接針對灰度名片圖像傾斜檢測與校正的算法，在表1中僅列出了通過本文的方法得到的實(shí)驗(yàn)結(jié)果。在1100張校正圖像中，只有一張沒有校正成功。這是因?yàn)樵跈z測名片下邊緣擬合直線時(shí)，誤將原圖（圖3）中名片下部黑色區(qū)域的斜線當(dāng)成了下邊緣擬合直線，從而導(dǎo)致求得的圖像傾斜角0不正確，出現(xiàn)錯(cuò)誤的校正結(jié)果。事實(shí)上，我們在檢測到名片的四條邊緣擬合直線后 可以排除傾斜角特別大（> 8°）的擬合直線，

25、因?yàn)檫@樣的擬合直線肯定不是名片的真正邊緣擬 合直線。排除虛假擬合直線后，就能得到正確結(jié)果。圖3原圖圖4圖6給出幾個(gè)傾斜校正的名片圖像實(shí)例67 S'| fem Tf:ln<、.勺tnc, Jt卓址丸霜矮蜒益零忖誠圖4(a) 一般的名片圖像PlbJLl W!；»眾 »+圖4(b)校正并去除黑邊后的圖像中梯三江師天工ikm腳e司f CM' C »i - J «i HAN kNQ C I-T il t O n-Qt/D C O'血稱三江林黃工業(yè)集型公司瓷 f 心*岬耳鳥 tIM*MRNQ GC1匚* IF-dl J?n T F? i

26、° 0)ljfQ4 J£1 £ 口1if M *1 ft «# H 崖 qm- i弓"慮乓-t"為工科聊M? IU?？丝耍╩4«300.di 4Q71T>MWIB« 臨W iMy-rt* j<.l nvf .*5f煒財(cái)插曹* M瓷 El* |片廉出帕曲" 于廉瓦宙* I. W f* 仙 fflJLil豈磚聞 * *«2» 電情：CQT17k31«W | 和rtl* 崢尹 5.圖5(a)邊緣有反白區(qū)域的名片圖像圖6(a)版面特殊的名片圖像圖6 (b)校正并去除黑邊后

27、的圖像ArJa從圖6可以看出，不論名片的版面如何復(fù)雜，利用本方法都能正確檢測出圖像的傾斜角。因?yàn)楸痉椒ㄊ峭ㄟ^檢測名片的四條邊緣擬合直線來求傾斜角，不會(huì)受到名片版面的影響，這也是本方法的一個(gè)優(yōu)點(diǎn)。6結(jié)論本文介紹了一種灰度名片圖像傾斜檢測與校正的算法。該算法通過檢測名片的四條邊緣擬合直線來確定圖像傾斜角，并結(jié)合名片邊緣線的檢測，判定名片邊緣是否有反白區(qū)域。為減少計(jì)算量，采用了塊搬移的方法對圖像進(jìn)行傾斜校正，并在校正后根據(jù)計(jì)算出的邊緣擬合直線位置來去除黑邊。實(shí)驗(yàn)證明，該算法不僅速度快，而且準(zhǔn)確度高。另外，本方法很容易推廣應(yīng) 用于其它灰度和彩色掃描圖像的傾斜檢測和校正。參考文獻(xiàn)：1 G Ciardie

28、llo ，G Scafur，M T Degrandi ，etal 1 An experimental system for office document handling and text recognition A 1 In : Proceedings of the 9th International Conference on Pattern Recognition C ,68Rome ,ltaly ,1998 1739 - 743 12 T Steiherz , N Intrator , E Rivlin 1 Skew detection via principal component

29、 analysisA 1 In : Proceedings of International Conference of Document Analysis and Recognition C , Bangalore , India ,1999 1153 - 15613 C Sun , D Si1 Skew and slantcorrection for documentimage using gradient directionA 1 In : Proceedings of the 4th International Conference on Document Analysis and R

30、ecognition C , Ulm , Germany , 19971170 - 17414 S C Hinds ,JL Fisher ,D P D:Amato 1 A document skew detection method using run2length encoding and the Hough transformA 1 In : Proceedings of the 10th International Conference on Pattern Recognition C 1 Atlantic City ,New York ,19901464 - 46815 D S Le

31、, G R Thoma , H Wechsler1 Automated page orientation and skew angle detection for binary doc2 ument imagesJ 1 Pattern Recognition ,1997 ,27(10) :1325 - 1344 16 H Yan1 Skew correction of document images using inerline cross2orrelation J 1 Computer Vision Graphics Image Process Graphical Models and Image Process,1993 ,55(6) :538 - 54317 W Pstl1 Detection of li