基于最大穩(wěn)定極值區(qū)域的自然場景文本檢測

基于最大穩(wěn)定極值區(qū)域的自然場景文本檢測摘要：近些年來，科技發(fā)展迅速，相機(jī)、手機(jī)等拍攝設(shè)備應(yīng)用變得十分廣泛。人們可以從相片中獲取很多信息，相片中的文本信息包含很大的商業(yè)價值及應(yīng)用價值，比如馬路上的紅綠燈會拍攝到很多違反交通規(guī)則的車輛，可以利用文本檢測技術(shù)識別出車輛的車牌號，從而避免了耗費(fèi)人力去觀察這些車輛，所以，近年來國內(nèi)外文本檢測技術(shù)越來越多。本文提出用最大穩(wěn)定極值區(qū)域的方法對自然場景中文字部分進(jìn)行檢測，以便于后續(xù)工作的開展，實(shí)驗(yàn)證明，該方法有效可行。關(guān)鍵詞：自然場景，MSER，文本檢測ABSTRACT：Inrecentyears,scienceandtechnologyhavedevelopedrapidly,andcameras,mobilephonesandothershootingequipmenthavebecomewidelyused.Peoplecangetalotofinformationfromphotos.Textinformationinphotoscontainsgreatcommercialvalueandapplicationvalue.Forexample,trafficlightsontheroadcancapturemanyvehiclesthatviolatetrafficrules.Textdetectiontechnologycanbeusedtoidentifythelicenseplatenumberofvehicles,thusavoidingwastingmanpowertoobservethesevehicles.Therefore,textdetectiontechnologyhasbecomemoreandmorepopularathomeandabroadinrecentyears.Inthispaper,themethodofmaximumstableextremumregionisproposedtodetectthetextpartofnaturalscene,soastofacilitatethefollow-upwork.Theexperimentprovesthatthemethodiseffectiveandfeasible.Keywords:naturalscene,MSER,textdetection目錄TOC\o"1-3"\h\u17530第一章緒論 4188451.1自然場景文本檢測的意義 447481.2國內(nèi)外研究現(xiàn)狀 4171291.3常用文本檢測方法 550611.4MSER的優(yōu)點(diǎn) 5125561.5本文章節(jié)安排 518581第二章最大穩(wěn)定極值區(qū)域理論 659012.1最大穩(wěn)定極值區(qū)域 67332.2最大穩(wěn)定極值區(qū)域定義及性質(zhì) 613942第三章最大穩(wěn)定極值區(qū)域的文本檢測 71273.1檢測流程圖 7213903.2MSER檢測過程詳述 9215143.3檢測結(jié)果 1119721第四章檢測結(jié)果分析 129984.1結(jié)果分析 1215904.2存在問題 169536第五章總結(jié)與展望 1717952參考文獻(xiàn) 18緒論1.1自然場景文本檢測的意義在如今的時代，科技飛速發(fā)展，有各式各樣的電子通訊設(shè)備供人們使用，手機(jī)、電腦、平板等，微信、微博等眾多的自媒體正在深入到我們的生活中，人們可以任意利用這些自媒體來記錄生活中的點(diǎn)滴，保存身邊的有用信息，因此產(chǎn)生了大量數(shù)據(jù)要去處理。而人工處理的工作強(qiáng)度很大，自然場景的文本檢測將有用的信息提取了出來，對于人們而言有很大的商業(yè)價值。自然場景中的文本信息包含著豐富的邏輯性的言語信息。1.2國內(nèi)外研究現(xiàn)狀對于自然場景中的文本檢測，國內(nèi)外都對此進(jìn)行了非常廣泛的研究。Hasan[1]和Park[2]采用了形態(tài)學(xué)處理方法。Ephtein[3]已開發(fā)出一種基于內(nèi)容的圖像分離方法，即筆寬轉(zhuǎn)換。它提取寬度穩(wěn)定的字符。顏色規(guī)范也被認(rèn)為是字符提取的標(biāo)準(zhǔn)。移動視覺搜索越來越吸引人們關(guān)注高性能和低成本電話的可用性。近年來，已經(jīng)為諸如產(chǎn)品識別和地標(biāo)識別的應(yīng)用開發(fā)了視覺搜索系統(tǒng)。在這些系統(tǒng)中，圖像的局部特征是從相機(jī)上捕獲的圖像中提取的，并且與大型數(shù)據(jù)庫一致：使用視覺單字索引。盡管事實(shí)上視覺搜索的現(xiàn)代技術(shù)已經(jīng)達(dá)到一定的成熟度，但它們很大程度上忽略了經(jīng)常在圖像中觀察到的信息特征類型：文本。實(shí)際上，文本特別有趣，因?yàn)樗霈F(xiàn)在圖像上。考慮到大量基于文本的搜索引擎，使用上載的圖像提供了有效的附加視覺搜索引擎。在自然場景中對文本的研究始于我國，但研究速度較快。胡小平，周勇，葉慶泰[4]提出一種將紋理和連接區(qū)域結(jié)合起來的文本分離方法，該方法包括簡單的邊緣特征，為了避免復(fù)雜的運(yùn)算，將文本區(qū)域進(jìn)行了分離。最后，用兩種顏色多邊形的算法，利用通信字段的特征生成綁定字段以檢查文本段，以提高文本段的準(zhǔn)確性和區(qū)域框的準(zhǔn)確性。鄭慶慶、桑農(nóng)[5]等人提出了一種分離文本圖像的方法，主要原理是區(qū)域合并，從圖像中提取文本特征。1.3常用文本檢測方法常用的文本檢測方法有以下幾種：一、基于紋理：一般的紋理特征有：局部強(qiáng)度、文本較強(qiáng)邊界、離散余弦變換。二、基于成分：先通過某些方法提取候選成分，再通過濾波或某種算法去掉非文字部分。MSER；SFT(basedonSWT):解決SWT邊界點(diǎn)錯誤匹配問題，用顏色連貫性和局部邊緣點(diǎn)的約束關(guān)系得到更好的檢測結(jié)果；MSCRs(maximallystablecolorregions)等方法。三、目標(biāo)檢測常用網(wǎng)絡(luò)結(jié)構(gòu)：MSER+CNN、PVANe、FasterRCNN、SSD。1.4MSER的優(yōu)點(diǎn)通常自然場景里的文本與拍攝背景的對比很強(qiáng)烈，且整體字體內(nèi)部顏色基本不變。例如車牌，背景是藍(lán)色，而字體為白色。MSER是一種仿射特征區(qū)提取算法，這種算法主要針對文本和背景對比強(qiáng)烈的圖像。自然場景下拍攝的圖片由于拍攝位置不同、拍攝角度不同導(dǎo)致同一場景下的文字識別可能有所不同。而MSER具有以下特點(diǎn)：仿射不變性、穩(wěn)定性、多尺度檢測。所以MSER用于提取自然場景中的文本是十分契合的。1.5本文章節(jié)安排本文對最大穩(wěn)定極值區(qū)域檢測自然場景下的文本做了簡單介紹并設(shè)計(jì)了算法，具體安排如下：第一章緒論。闡述了自然場景文本檢測的意義，簡述了國內(nèi)外的研究現(xiàn)狀，并簡單介紹了幾種文本檢測的方法。第二章最大穩(wěn)定極值區(qū)域理論。具體闡述了MSER的定義、實(shí)現(xiàn)原理，并介紹了其性質(zhì)。第三章最大穩(wěn)定極值區(qū)域的文本檢測。首先簡單介紹了本文檢測文本區(qū)域的流程圖，然后具體分析了本文所使用的算法，最后介紹了檢測的過程并展示了檢測結(jié)果。第四章檢測結(jié)果分析。分析了檢測的結(jié)果，并用不同視角的檢測結(jié)果進(jìn)行了對比，然后分析了本文使用算法所存在的一些問題。第五章總結(jié)與展望。最大穩(wěn)定極值區(qū)域理論2.1最大穩(wěn)定極值區(qū)域最大穩(wěn)定極值區(qū)域（MaximallyStableExtremalRegions）[6][7]是由Matas等人[8]在2002年提出，這個方法可以用來在圖像中進(jìn)行斑點(diǎn)檢測，可以尋找不同視角圖像的對應(yīng)關(guān)系。這種方法有助于寬基線匹配、物體識別算法，從圖像中提取全面的元素對應(yīng)關(guān)系。2.2最大穩(wěn)定極值區(qū)域定義及性質(zhì)MSER數(shù)學(xué)定義[9]：假設(shè)圖像I為灰度到區(qū)域S的映射,,其中S為滿序列，即0→255。像素間鄰接關(guān)系，使用4鄰域，，則p，q相鄰，記為pAq。區(qū)域：是的連通子集，即對于q,pQ，都有為連通路徑，其中。區(qū)域邊界:。與至少有一個相鄰但并不屬于。極值區(qū)域:對于所有的，滿足，稱為極大值區(qū)域，對于，稱為極小值區(qū)域最大穩(wěn)定極值區(qū)域MSER:設(shè)是一組相互嵌套的極值區(qū)域，則滿足在處取得局部最小值，表示第i個連通區(qū)域的面積[10]，閾值的變化量用Δ指出，當(dāng)小于給定閾值時認(rèn)為該區(qū)域?yàn)镸SER。MSER處理圖像的大致原理是將彩色圖像先轉(zhuǎn)化為灰度圖像，然后用閾值0-255依次遍歷所有區(qū)域，其灰度值小于閾值的區(qū)域顯示為黑色，其余顯示為白色。遍歷過程中會出現(xiàn)黑點(diǎn)，然后逐漸擴(kuò)大為一個連通區(qū)域。在遍歷過程中，連續(xù)變化數(shù)個閾值而連通區(qū)域不變，或者變化不大，肉眼幾乎看不出來，這些區(qū)域就是MSER。在整個過程中，剛開始出現(xiàn)的會是一幅全白的圖像，然后出現(xiàn)黑點(diǎn)，出現(xiàn)一片連通的區(qū)域，最后變?yōu)槿?。這有些類似于分水嶺算法[11]。就像從天空俯瞰大地，地球會分為陸地和海洋兩種區(qū)域，如果將海洋里的水全部抽干，就會全是陸地，就像MSER處理圖像剛開始閾值為0的時候，然后逐漸向這些陸地添加水，會慢慢出現(xiàn)湖泊，這就如同處理過程中出現(xiàn)的黑點(diǎn)，剩余陸地就像白色區(qū)域，其中黑白相接的位置就是分水嶺，即圖像的邊緣。隨著水位升高，海洋會出現(xiàn)，即在閾值變大過程中會出現(xiàn)我們所需要的連通區(qū)域。最后如果海平面沒過了最后一片陸地，地球上充滿了水，沒有一塊陸地，就像閾值增大到255，圖像變?yōu)槿?。在這個過程中，某一時間水平面的升高是不會導(dǎo)致陸地面積變小的或者變小的面積微乎其微，這個閾值下出現(xiàn)的連通區(qū)域就是MSER。但是MSER與分水嶺算法還是有所區(qū)別的，分水嶺算法是在一個穩(wěn)定閾值下對圖像進(jìn)行分割，且分割圖像的邊緣并不是很穩(wěn)定，閾值過小時圖像邊緣不明顯，閾值過大則可能會消去微弱的邊緣。但MSER可以在多個穩(wěn)定閾值下選定相互嵌套的連通區(qū)域，不存在邊緣微弱，不穩(wěn)定的問題。MSER具有以下性質(zhì)[12]：1.仿射不變性：圖像在進(jìn)行仿射變換的時候，不同視角下的MSER不會變化。這也是MSER用來進(jìn)行自然場景文本檢測的最大優(yōu)勢。2.穩(wěn)定性：MSER在進(jìn)行閾值變換時候，在某一閾值范圍內(nèi)變化，所提取的區(qū)域是不變或者變化微乎其微，幾乎可以忽略的，因此該極值區(qū)域是穩(wěn)定的。3.多尺度檢測：處理圖象時，圖像尺度變化，不需要進(jìn)行任何平滑處理而可以得到相同的MSER?；谝陨先c(diǎn)可以看出，MSER用來檢測自然場景中的文本有許多優(yōu)點(diǎn)。首先，生活中記錄同一時刻，同一地點(diǎn)的不同視角的圖像，由于MSER的放射不變性得到了很好的解決；其次，根據(jù)其穩(wěn)定性，不用擔(dān)心檢測不清楚的問題；最后由于拍攝設(shè)備的不同，圖像的尺寸，即同一幅圖像中的像素點(diǎn)會有所不同，由于MSER的多尺度檢測性質(zhì)，這個問題也相應(yīng)得到了解決。最大穩(wěn)定極值區(qū)域的文本檢測3.1檢測流程圖本文使用的是Windows操作系統(tǒng)的MATLAB實(shí)驗(yàn)平臺，版本號為2019a。首先更新圖片庫，因?yàn)橐M(jìn)行帶有文字的自然場景圖片的處理，而MATLAB自帶的圖片庫里幾乎沒有符合要求的，所以需要我們自己將要處理的圖片放入圖片庫。MATLAB圖片庫位置為：C:\ProgramFiles\matlab\R2019a\toolbox\images\imdata。首先將圖片拖入該位置，但這樣系統(tǒng)還是識別不到，然后要在MATLAB命令窗口輸入rehashtoolboxcache來刷新圖片庫，接下來就可以正常進(jìn)行實(shí)驗(yàn)了。實(shí)驗(yàn)大致流程如下：輸入圖像輸入圖像圖像預(yù)處理圖像預(yù)處理MSER提取MSER提取粗濾除粗濾除細(xì)濾除細(xì)濾除文本檢測區(qū)域文本檢測區(qū)域圖3.SEQ圖3.\*ARABIC1MSER文本檢測流程圖首先是輸入一幅圖像，先進(jìn)行灰度化預(yù)處理，然后提取MSER區(qū)域。經(jīng)過灰度化以后，結(jié)果或許會產(chǎn)生細(xì)微的變化，但是灰度變化并不能使極值區(qū)域的位置產(chǎn)生改變，所以可以接受。然后將灰度圖像轉(zhuǎn)化為二值圖像，再做MSER區(qū)域提取，就會得到以下結(jié)果（這里圖片直接用了MATLAB工具箱中自帶的），可以看到提取后的圖像中有綠色的方框，而且這些方框有的相互獨(dú)立，有的會糾纏在一起，但是所有的文字都被框了起來。（a）（b）（c）(d)圖3.2MSER檢測前后圖像。(a).(c)為原圖像，（b）(d)為檢測后圖像首先對MSER檢測后的圖像進(jìn)行連通域分析，粗濾除明顯的非文本區(qū)域，然后對濾除后的圖像閉運(yùn)算[13]，再對圖像進(jìn)行細(xì)濾除，得到最后結(jié)果。3.2MSER檢測過程詳述首先讀入輸入圖像，利用imread或者uigetfile創(chuàng)建對話框來打開文件都可以，但是由于要分析的圖像為彩色圖像，而最大極值穩(wěn)定區(qū)域要求輸入圖象是灰度圖像，這里可以利用rgb2gray函數(shù)，輸入彩色圖像，輸出灰度圖像，具體效果如下：圖3.3為原圖像與轉(zhuǎn)化為灰度圖像后的對比這時候就可以進(jìn)行MSER的提取了。提取出MSER后將該區(qū)域內(nèi)像素值分塊排列，這里利用cell2mat函數(shù)，然后將這些寬度一致的分塊后的矩陣依次排列起來，利用vertcat函數(shù)，就會得到一個排列在一起的大的矩陣，這個矩陣包含了MSER的所有像素點(diǎn)的信息，接下來要做的就是對這個矩陣進(jìn)行處理，濾除掉非文本區(qū)域，將文本區(qū)域留下來。先將這些像素點(diǎn)標(biāo)記出來，然后將相應(yīng)系數(shù)的地方賦值為真，其余地方賦值為假，將MSER區(qū)域取出來，這里利用了size函數(shù)。接下來就是對這些區(qū)域進(jìn)行篩選了，這里我們定義了一個新的函數(shù)conComp_analysis，這個函數(shù)用來過濾那些明顯的非文本區(qū)域。在粗濾除函數(shù)中首先用size返回圖像的長寬信息[x,y],然后計(jì)算整幅圖像的面積，即像素點(diǎn)的多少，用來在以后的算法中計(jì)算連通區(qū)域的占比。接下來用bwconncomp尋找并定位連通區(qū)域，再用regionprops函數(shù)提取出這些區(qū)域的相關(guān)信息，這里我們只需要面積，包圍連通區(qū)域的最小矩形以及質(zhì)心坐標(biāo)，其中最小矩形會以一個一行四列的矩陣形式給出（四個量分別是矩形左上角的橫坐標(biāo)、縱坐標(biāo)、矩形寬度、長度），方便以后的計(jì)算。得到所需的全部信息后，就要排除明顯的非文本區(qū)域，利用for循環(huán)依次將各個像素點(diǎn)過一遍，將面積小于50、面積大于整幅圖像百分之30、長寬之比小于0.1或大于2的全部排除，即將相關(guān)區(qū)域的索引下標(biāo)賦值為0，最后利用rectangle函數(shù)將剩余區(qū)域框起來，返回一個二值圖像。在這里area是包含像素的區(qū)域的面積，由于在自然場景里，文本一般與背景對比起來面積是很小的，所以選擇將大于整個圖像面積百分之30的連通區(qū)域去掉，賦值為0；而有的連通區(qū)域面積過小，在這里我們認(rèn)為它是噪聲，也一起賦值為0。還有寬度與高度的比值小于0.1的我們也認(rèn)為是噪聲,而寬度與高度的比值大于2的則不認(rèn)為是文本，將他們一起濾除。這樣就基本濾除了非文本區(qū)域。粗濾除之后不能得到理想的區(qū)域，所以又定義了一個細(xì)濾除函數(shù)f_conComp_analysis。這個函數(shù)與粗濾除函數(shù)類似，只是處理對象變成了粗濾除之后的連通區(qū)域，并且在濾除區(qū)域的參數(shù)上有一些細(xì)小的調(diào)整，在這個函數(shù)里我們保留了原本圖像的色彩，灰度的文本詞圖像。3.3檢測結(jié)果檢測過程中我們發(fā)現(xiàn)由于目前手機(jī)拍攝設(shè)備的發(fā)展，拍攝出來的圖片比預(yù)想中的大太多，拍攝一張的大小是40323024，占空間2.3MB，像素點(diǎn)太多也導(dǎo)致計(jì)算機(jī)處理起來十分緩慢，所以將圖片壓縮了10倍，變成了403302，這樣處理起來也會方便許多。（a）(b)圖3.4粗濾除圖像(a)為原圖，（b）為粗濾除圖像可以看出，圖3.4框出了MSER，其中就包含了文本區(qū)域與非文本區(qū)域。在圖3.4中可以看出已經(jīng)濾除掉了明顯的非文本區(qū)域（左上角空白處）。圖3.5為細(xì)濾除之后的圖像可以看出，經(jīng)過細(xì)濾除之后圖3.5所框出的MSER只剩下了文本區(qū)域，而且圖像原本的色彩也顯示了出來，不再是粗濾除之后的二值圖像。檢測結(jié)果分析4.1結(jié)果分析由圖3.4和圖3.5這三張實(shí)驗(yàn)過程及結(jié)果圖可以看出確實(shí)檢測到了我們所需要的文字區(qū)域（由于縮小的圖片的尺寸導(dǎo)致綠色線條看起來不明顯）。但這只是其中一個角度的結(jié)果，如果換個角度是否能再次正確檢測到相同的區(qū)域，于是我們從另一個角度再檢測了一次，結(jié)果如下：(a)(b)（c）圖4.1另一角度MSER檢測處理圖（a）原圖像，(b)粗濾除后的圖像，(c)細(xì)濾除后的圖像可以看出，換個角度依然可以檢測到相同的文本區(qū)域，這也是MSER的優(yōu)點(diǎn)：多角度檢測。為了驗(yàn)證算法的實(shí)用性，本文還檢測了以下幾幅標(biāo)牌圖像：(a)(b)(c)圖4.2外文標(biāo)牌檢測結(jié)果圖（a）原圖像，(b)粗濾除后的圖像，(c)細(xì)濾除后的圖像（a）(b)(c)圖4.3中文標(biāo)牌檢測結(jié)果圖（a）原圖像，(b)粗濾除后的圖像，(c)細(xì)濾除后的圖像可以看出，對于一些自然場景的中、外文標(biāo)牌所包含的文本信息都可以檢測出來。4.2存在問題圖4.4細(xì)濾除后三處存在疑似文本的地方這里可以看到還有三處疑似文本的地方并沒有被檢測出來，原因可能有以下幾點(diǎn)：這里的圖片是10倍壓縮以后的，導(dǎo)致圖片質(zhì)量下降。我們將圖片放大后可以看見。由于圖片壓縮導(dǎo)致這幾處像素點(diǎn)變得很少，以致于圖片模糊，甚至字跡已經(jīng)看不清楚了，所以被算法當(dāng)作噪聲率除掉了。在第三幅圖中，由于文本與地面（即背景）顏色一樣，導(dǎo)致處理時連通域與背景在一起，構(gòu)成了一個不規(guī)則的連通域，在粗濾除時被當(dāng)作噪聲處理掉了。本文算法在濾除階段是采用連通域的寬度與高度之比、連通域大小來進(jìn)行濾除的，導(dǎo)致一些不規(guī)則字體檢測不出來，還有在像素點(diǎn)比較多的圖像中，一些字體較大的文字可能會被當(dāng)作背景而濾除。在一些文本與背景對比度很小的自然場景里，可能造成連通域劃分時文本與背景連在一起而導(dǎo)致文本檢測失敗?？偨Y(jié)與展望本文在Windows操作系統(tǒng)的MATLAB平臺進(jìn)行，完成了最大穩(wěn)定極值區(qū)域的自然場景文本檢測，可以對同一位置不同角度的圖像進(jìn)行文本檢測。首先是提取MSER這些區(qū)域里有我們所需要的文本區(qū)域，也有背景和噪聲，接下來是將這些不需要的背景和噪聲濾除，這里本文采用的主要是像素點(diǎn)的多少與連通域?qū)挾扰c高度之比，然后保留了圖像原本的色彩。剛開始進(jìn)行實(shí)驗(yàn)時在濾除階段總是不太理想，通過不斷修改參數(shù)使得效果理想。相較于傳統(tǒng)的文本檢測技術(shù)，MSER算法檢測出來的區(qū)域一定是完整的文字，因?yàn)镸SER是用文字內(nèi)部的灰度來進(jìn)行提取的，只要是同一幅圖像中的文字，就一定會在粗濾除之前被檢測出來。最大穩(wěn)定極值區(qū)域也有缺點(diǎn)，比如檢測出來的連通域，由于和文本非常接近而無法濾除；在遇到一些不規(guī)則字體時在粗濾除階段就會被濾除。文本檢測技術(shù)在當(dāng)今世界發(fā)展潮流里必不可少，可以為人們節(jié)省很多時間?；贛SER區(qū)域檢測方法在近年來已經(jīng)成為文字檢測的主流方式，但本文在這方面還有一些不足，在以后的學(xué)習(xí)研究中將會逐步解決這些問題。

參考文獻(xiàn)Y.M.YHasanandL.J.Karam."MorphologicalTextExtractionfromImages''InIEEETransactiononImageProcessing,Vol,9,No.11,November2000.C.J.Park,K.A.Moon,andW,G.Oh,andH.M.Choi."AnEfficientExtractionofCharacterStringPositionsUsingMorphologicalOperator''InIEEEInternationalConferenceonSystems,Man,andCybernetics,2000.B.Epshtein,E.Ofek,andY.Wexkr,'TJetcctingTextinNatureSceneswithStrokeWidthTransfbrm/'InProc