采用基于內(nèi)容的圖像檢索技術(shù)用于外觀設(shè)計專利的檢索

1、采用基于內(nèi)容的圖像檢索技術(shù)用于外觀設(shè)計專利的檢索北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司冀春林冀春林20082008年年1010月月1313日日北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.一、概況一、概況 北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司是由北京華旗資訊公司和中國海外留學(xué)人員合資成立的，是一家由北京市科委認定的高新技術(shù)企業(yè)。公司擁有自主知識產(chǎn)權(quán)的高新技術(shù)基于內(nèi)容的圖像檢索技術(shù)。 在國家知識產(chǎn)權(quán)局信息化辦公室和外觀審查部的大力支持和指導(dǎo)下，進行了近三年的技術(shù)準(zhǔn)

2、備工作，并利用一年多的時間，先后開發(fā)完成了面向?qū)彶閱T的中國外觀設(shè)計專利檢索系統(tǒng)和面向公眾的中國外觀設(shè)計專利智能檢索系統(tǒng)。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 目前大家比較熟悉的計算機檢索技術(shù)，大多是基于文字的檢索。不論是文章的查詢、圖片的搜索、音樂的查找甚至視頻的檢索，都是通過文字的描述或者標(biāo)引實現(xiàn)的。 文字檢索的薄弱環(huán)節(jié)在于對多媒體信息描述上，用文字描述難以避免主觀性。這樣，就產(chǎn)生了基于內(nèi)容的檢索需求，不論是圖片、聲音、視頻還是動畫。于是各種基于內(nèi)容的檢索技術(shù)就應(yīng)運而生了

3、?；趦?nèi)容的圖像檢索技術(shù)是其中的一項重要技術(shù)。二、什么是基于內(nèi)容的圖像檢索技術(shù)二、什么是基于內(nèi)容的圖像檢索技術(shù)北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 從20世紀(jì)70年代開始，有關(guān)圖像檢索的研究就已開始，當(dāng)時主要是基于文本的圖像檢索技術(shù)（Text-based Image Retrieval，簡稱TBIR），利用文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。目前還在廣泛使用，一張照片，配以文字說明照片拍攝的時間、地點、事件的主要內(nèi)容等等。2.12.1、圖像檢

4、索、圖像檢索 2.1.1基于文本的圖像檢索技術(shù) TBIR北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖2-1 新華社4月7日發(fā)稿北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在基于文本的圖像檢索系統(tǒng)中，需要先對所有的圖像進行關(guān)鍵字標(biāo)注，然后才能使用全文檢索技術(shù)對圖像進行搜索。這種方法存在兩個方面的問題：存在的問題：存在的問題： 一是這種方法需要較多的人工參與，而且隨著圖

5、像數(shù)目的增加，這種方法很難實現(xiàn)； 二是由于圖像所包含的信息量龐大，不同的人對于同一張圖像的理解也不相同，這就導(dǎo)致對圖像的標(biāo)注沒有一個統(tǒng)一的標(biāo)準(zhǔn)，因而檢索的結(jié)果不能很好地符合用戶的需求。 北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖2-2 不同的人關(guān)心不同的內(nèi)容北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 到90年代以后，出現(xiàn)了對圖像的內(nèi)容語義，如圖像的顏色、紋理、布局

6、等進行分析和檢索的圖像檢索技術(shù)，即基于內(nèi)容的圖像檢索（Content-based Image Retrieval，簡稱CBIR）技術(shù)。屬于圖像分析的一個研究領(lǐng)域。2.2.2基于內(nèi)容的圖像檢索 CBIR CBIR屬于基于內(nèi)容檢索（Content-based Retrieval ，簡稱CBR）的一種，CBR中還包括對動態(tài)視頻、音頻等其它形式多媒體信息的檢索技術(shù)。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在檢索原理上，無論是基于文本的圖像檢索還是基于內(nèi)容的圖像檢索，主要包括三方面：2

7、.22.2、圖像檢索原理、圖像檢索原理 1、對用戶需求的分析和轉(zhuǎn)化，形成可以檢索索引數(shù)據(jù)庫的提問； 3、根據(jù)相似度算法，計算用戶提問與索引數(shù)據(jù)庫中記錄的相似度大小，提取出滿足閾值的記錄作為結(jié)果，按照相似度降序的方式輸出。 2、收集和加工圖像資源，提取特征，分析并進行標(biāo)引，建立圖像的索引數(shù)據(jù)庫；北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 指的是查詢條件本身就是一個圖像，或者是對于圖像內(nèi)容的描述，它建立索引的方式是通過提取底層特征，然后通過計算比較這些特征和查詢條件之間的距離，來決定

8、兩個圖片的相似程度。 2.32.3、基于內(nèi)容的圖像檢索基于內(nèi)容的圖像檢索 1、提取特征值：利用一些數(shù)學(xué)的規(guī)則（公式），把圖像進行一個量化的描述，按照色彩、形狀、圖案、紋理等不同要求，把一張圖片轉(zhuǎn)化為一組數(shù)字，我們稱其為特征值。由于是采用的同樣的規(guī)則，所以每一張圖片都能提取出一組特征值。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 2、特征值的比對：由于采用的規(guī)則是相同的，如果兩張圖片是一樣的，提取的特征值也會相同，這樣就可以把兩張圖片的內(nèi)容比較轉(zhuǎn)化為兩組特征值的數(shù)字比較，也就是用數(shù)

9、字量的比較代替了模擬量的比較； 3、結(jié)合語義分析：相同特征值的圖片不一定就是相同的內(nèi)容，結(jié)合圖片的語義進行分析判斷。 如果兩張圖片是相似的，提取的特征值也是相近的；反過來講，如果兩張圖片相差很大，其特征值也會有很大的差距；北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 對于圖像的低層特征，主要采用的是圖像的顏色、紋理及其形狀等特征。2.42.4圖像的低層特征值提取圖像的低層特征值提取 2.4.1顏色特征 顏色特征和圖像的大小、方向無關(guān)，而且對圖像的背景顏色不敏感，因此顏色特征被廣泛應(yīng)

10、用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關(guān)圖、顏色矩等。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 圖2-3顏色特征顏色布局示例北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.4.22.4.2紋理特征紋理特征 紋理特征代表了物體的視覺模式，它包含了物體表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。常用的方法有相關(guān)矩陣法，粗糙度、對比度等紋理表示方法，以及小波變換等。圖

11、2-4紋理特征北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.4.3形狀特征形狀特征 形狀特征則包括兩種，一種是基于邊界的形狀特征，另外一種則是基于區(qū)域的形狀特征。最常用的表示方法有傅利葉變換和不變矩等。 這些低層的特征將通過各種方法抽取出來，并形成一組特征向量，建立相關(guān)索引并存儲到數(shù)據(jù)庫中。 91301417(燈管) 200530117452x（杯子）基于邊緣的形狀表示 基于區(qū)域的形狀表示北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelli

12、gent Technology (Beijing)Co.,Ltd. 單純使用圖像的底層特征值，容易產(chǎn)生混淆，因為不同的圖像也會有近似的特征組合，例如：一個冰箱和一個洗衣機（圖2-6），從正面看二者有較大的區(qū)別，但從后面看其后視圖時，二者的差距很小，相似度較高，無法有效區(qū)分； 2.52.5單獨使用低層特征值的弊端單獨使用低層特征值的弊端 03304350.7 冰箱圖2-6 冰箱與洗衣機的后視圖對比200330124434.5 洗衣機北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.6.

13、1必要性2.62.6建立語義特征建立語義特征 由于低層的特征并不直接代表圖像的語義信息，還需要抽取圖像的語義特征。2.6.2可行性 我們采用了外觀設(shè)計專利中的相關(guān)文字信息來表征圖像的語義特征，其中使用到的相關(guān)信息有：分類號、產(chǎn)品名稱、設(shè)計人、通訊地址等。 北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.6.3效果 通過使用專利的文字信息，使不同類別、不同名稱之間的外觀設(shè)計專利圖像有了明顯的區(qū)分，避免了混淆，提高了檢索精度。 2.6.4舉例 還是上面的圖（圖2-6），兩個方框，加上產(chǎn)

14、品名稱后，冰箱和洗衣機就不會混淆了。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.3.1屬于模糊查詢，檢索結(jié)果不是唯一的三、基于內(nèi)容的圖像檢索技術(shù)的特點三、基于內(nèi)容的圖像檢索技術(shù)的特點 基于內(nèi)容的圖像檢索與文字檢索的一個主要區(qū)別是，基于內(nèi)容的檢索都是屬于模糊查詢，一般不會給出單一的檢索結(jié)果，輸出的是一個結(jié)果排序集合，按照圖像的相似程度，從最像到最不像。 最后需要由人來判斷最終的結(jié)果是否滿足檢索需要，是人機結(jié)合的典范；由計算機來做大量簡單煩瑣的工作，由人做分析工作。北京華旗圖像數(shù)據(jù)智能

15、技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖3-1檢索結(jié)果顯示圖（4*6）北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 通過設(shè)置檢索輸出門限值，也可以控制檢索結(jié)果的輸出數(shù)量。檢索結(jié)果的顯示需要考慮顯示效率和顯示效果的矛盾。圖3-2 不同數(shù)量的顯示（6*9）北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beij

16、ing)Co.,Ltd. 3.2檢索結(jié)果是逐漸逼近 在檢索過程中不斷修訂檢索條件，可以逐步達到最終的檢索結(jié)果；通過調(diào)整特征參數(shù)組合，可以得到不同的檢索結(jié)果。3.3計算工作量大 每次查詢都需要根據(jù)臨時提交的特征標(biāo)準(zhǔn)，對全部特征值進行匹配運算；數(shù)據(jù)計算時對計算機的要求高，查詢時間相對長一些。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 采用基于內(nèi)容的圖像檢索技術(shù)進行外觀設(shè)計專利圖像檢索之前，我們進行過商標(biāo)數(shù)據(jù)、人像數(shù)據(jù)的應(yīng)用，有一定的應(yīng)用經(jīng)驗。把技術(shù)在應(yīng)用到外觀設(shè)計專利數(shù)據(jù)上，又碰到了

17、新的問題。主要表現(xiàn)在以下幾點：四、外觀設(shè)計專利的特點四、外觀設(shè)計專利的特點4.1數(shù)據(jù)量大、特征值提取時間長 從1985年開始，中國外觀設(shè)計專利已經(jīng)審查公告了近80萬件，有420多萬幅圖像。而且近幾年還在以每年30%左右的速度遞增著。 整套數(shù)據(jù)提取圖像特征值的工作花費了2000多個小時。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.24.2數(shù)據(jù)類型復(fù)雜、沒有統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)類型復(fù)雜、沒有統(tǒng)一標(biāo)準(zhǔn) 85300029 93310220.8 03351732.0 中國外觀設(shè)計專利是從1985

18、年開始的，早期的數(shù)據(jù)，由于計算機發(fā)展問題，圖像處理的水平不高，主要以黑白圖像為主；近幾年隨著數(shù)碼產(chǎn)品的迅速發(fā)展，圖像又以彩色的圖片為主；從數(shù)據(jù)的內(nèi)容上分，既有設(shè)計的線條圖，也有實物照片圖；在圖像格式上，既有TIF格式的，也有JPG格式的；從圖像的外型尺寸看，圖像的長邊大到近萬像素，小到幾百像素都有。圖4-1幾種不同年代、不同格式的專利圖北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 外觀設(shè)計專利數(shù)據(jù)從色彩、內(nèi)容到外型尺寸都有很外觀設(shè)計專利數(shù)據(jù)從色彩、內(nèi)容到外型尺寸都有很大不同。而外觀

19、設(shè)計專利的檢索要求卻是對這些不同類大不同。而外觀設(shè)計專利的檢索要求卻是對這些不同類型的圖像要求具有可比性。型的圖像要求具有可比性。 與人像數(shù)據(jù)相比，人像數(shù)據(jù)的特點很明顯，每個人都有眼睛、鼻子、嘴，這些數(shù)據(jù)就可以確定圖像數(shù)據(jù)的標(biāo)準(zhǔn)格式，人的正面圖像更簡單；人像數(shù)據(jù)的難點在于人的面部會有不同的遮擋物，例如眼睛、口罩、胡子、圍巾、帽子等。 由于形狀、色彩、圖案是外觀設(shè)計專利的三個要素，所以外觀設(shè)計專利的數(shù)據(jù)比人像數(shù)據(jù)要復(fù)雜，它沒有統(tǒng)一的格式，表達的內(nèi)容可能是圓的、也可能是方的、還有可能是三角的。有些有顏色要求，有些只是簡單的線條。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computin

20、g & Intelligent Technology (Beijing)Co.,Ltd.4.34.3每個專利的圖像數(shù)量不固定、圖像的視圖定義不一致每個專利的圖像數(shù)量不固定、圖像的視圖定義不一致 每個外觀設(shè)計專利都要求有圖像數(shù)據(jù)配合，分別有1到8個不同種類的視圖，包括有主視圖、俯視圖、左視圖、右視圖、仰視圖、后視圖、立體圖、其他圖等八種；每種類型視圖的個數(shù)并不確定，大部分標(biāo)帖類的專利只有一張主視圖，而一些玩具類的專利最多有數(shù)百個主視圖。圖4-2多主視圖專利（03335570.3） 北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technol

21、ogy (Beijing)Co.,Ltd. 對于同類型的產(chǎn)品，主視圖的選取并不一樣，以摩托車為例，有些以車頭在右側(cè)為主視圖，有些以車頭在左側(cè)為主視圖，甚至還有以車頭朝前為主視圖的。為了解決這些問題，需要在主視圖與左視圖、右視圖甚至俯視圖之間進行比較，才能解決圖像的視圖定義不一致帶來的矛盾。 02352294.1 200430059684.X 200530007496.7圖4-3 三種不同主視圖的摩托車專利北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.4圖像與文字的結(jié)合圖像與文字的

22、結(jié)合 外觀設(shè)計專利數(shù)據(jù)的一個特點是，有文字標(biāo)注信息，例如專利申請?zhí)?、產(chǎn)品名稱、申請人、申請時間、公告時間、代理機構(gòu)、優(yōu)先權(quán)等文字內(nèi)容；又有數(shù)量不等的視圖。 與發(fā)明專利和實用新型專利相比，外觀設(shè)計專利沒有更多的文字來說明設(shè)計意圖和權(quán)利要求，權(quán)利要求主要都是通過圖像的內(nèi)容表達。外觀設(shè)計專利是利用文字與圖像兩類數(shù)據(jù)的結(jié)合來說明外觀設(shè)計專利的權(quán)利要求。 所以外觀設(shè)計專利的檢索要求同時具備文字和圖像兩種檢索功能。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.54.5產(chǎn)品按標(biāo)準(zhǔn)分類產(chǎn)品按標(biāo)準(zhǔn)

23、分類 外觀設(shè)計專利一般是在同類產(chǎn)品中進行相同、相近似的比較，由此判定是否侵權(quán)。不同類型的產(chǎn)品之間不進行比較。 外觀設(shè)計專利的產(chǎn)品分類是按照洛迦諾協(xié)定執(zhí)行的，目前的版本是第八版，其中分31個大類，220個小類，6000多個細類。 在每一分類里的外觀設(shè)計專利數(shù)量是不同的，圖像數(shù)量也不等，目前最多的小類已有5萬余件外觀設(shè)計專利，而最少的分類專利數(shù)量為0。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 雖然外觀設(shè)計專利的數(shù)據(jù)按產(chǎn)品進行了分類，減少了雖然外觀設(shè)計專利的數(shù)據(jù)按產(chǎn)品進行了分類，減少

24、了每一類產(chǎn)品的數(shù)量，可以提高檢索效率和檢索精度。但由每一類產(chǎn)品的數(shù)量，可以提高檢索效率和檢索精度。但由于相同、相近似的比較是在小類中進行，而不是在細類中，于相同、相近似的比較是在小類中進行，而不是在細類中，小類的分類還比較粗，數(shù)據(jù)相互干擾多。例如小類的分類還比較粗，數(shù)據(jù)相互干擾多。例如06類中類中01小小類是家具類，其中既有桌子，也有椅子，還有床、柜子等，類是家具類，其中既有桌子，也有椅子，還有床、柜子等，這一類的數(shù)據(jù)量有一萬多條，互相干擾就很厲害。這一類的數(shù)據(jù)量有一萬多條，互相干擾就很厲害。 外觀設(shè)計專利一般檢索是在同類產(chǎn)品中進行，特殊情況下也有跨產(chǎn)品類型檢索的需求。 以上這些特點是外觀設(shè)計

25、專利數(shù)據(jù)特有的，落實到基于內(nèi)容的圖像檢索技術(shù)上，主要難點表現(xiàn)為：同樣的數(shù)據(jù)會有不同的檢索要求；不同的數(shù)據(jù)會有同樣的檢索要求。北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.5.1圖像質(zhì)量五、影響檢索效果的幾個因素五、影響檢索效果的幾個因素 經(jīng)過實踐發(fā)現(xiàn)圖像質(zhì)量對檢索結(jié)果有一定的影響，主要表現(xiàn)在三個方面： 圖5-1 背景的影響（93301089.3） 圖像背景、圖像的方向性、標(biāo)注線5.1.1圖像背景問題北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Inte

26、lligent Technology (Beijing)Co.,Ltd.5.1.3圖像的方向性5.1.2標(biāo)注線圖5-3 不同專利的不同擺放方式 圖5-2標(biāo)注線的影響（200530118830.6）北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 由于不同分類下的外觀設(shè)計專利的數(shù)量不同，從幾件到幾萬件都有，檢索速度與檢索樣本的數(shù)量有較大的關(guān)聯(lián)，每次檢索的速度是不一樣的； 5.2分類的數(shù)量影響檢索速度5.3同樣的相似度，檢索結(jié)果數(shù)量不同 設(shè)置同樣的相似度門限數(shù)值，對每一類的檢索結(jié)果數(shù)量不一

27、致，一方面是由于樣本數(shù)量的不同，另一方面要看每個分類中相似圖像數(shù)據(jù)數(shù)量的多少；5.4網(wǎng)絡(luò)速度 網(wǎng)絡(luò)速度對傳輸檢索結(jié)果有一定的影響。 北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在滿足一般圖像檢索要求的基礎(chǔ)上，經(jīng)過對外觀設(shè)計專利數(shù)據(jù)的分析，對軟件進行了必要的調(diào)整，使其具備以下特點：六、軟件的特點六、軟件的特點6.1底層特征與語義特征結(jié)合 合理利用圖像數(shù)據(jù)的產(chǎn)品分類屬性、產(chǎn)品名稱和申請年代等語義特征，能夠提高檢索效率、提高檢索精度；北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image

28、 Computing & Intelligent Technology (Beijing)Co.,Ltd.圖6-1底層特征與語義特征結(jié)合北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 通過參數(shù)設(shè)置來滿足不同的檢索需求，例如黑白彩色互查等。6.2提供參數(shù)設(shè)置圖6-2 黑白彩色互查北京華旗圖像數(shù)據(jù)智能技術(shù)有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.6.3提供圖像處理工具圖6-3 圖像處理工具軟件 對檢索輸入的圖像進行有效的處理，例如去除背景、旋轉(zhuǎn)