采用基于內容的圖像檢索技術用于外觀設計專利的檢索

1、采用基于內容的圖像檢索技術用于外觀設計專利的檢索北京華旗圖像數據智能技術有限公司北京華旗圖像數據智能技術有限公司冀春林冀春林20082008年年1010月月1313日日北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.一、概況一、概況 北京華旗圖像數據智能技術有限公司是由北京華旗資訊公司和中國海外留學人員合資成立的，是一家由北京市科委認定的高新技術企業(yè)。公司擁有自主知識產權的高新技術基于內容的圖像檢索技術。 在國家知識產權局信息化辦公室和外觀審查部的大力支持和指導下，進行了近三年的技術準

2、備工作，并利用一年多的時間，先后開發(fā)完成了面向審查員的中國外觀設計專利檢索系統(tǒng)和面向公眾的中國外觀設計專利智能檢索系統(tǒng)。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 目前大家比較熟悉的計算機檢索技術，大多是基于文字的檢索。不論是文章的查詢、圖片的搜索、音樂的查找甚至視頻的檢索，都是通過文字的描述或者標引實現的。 文字檢索的薄弱環(huán)節(jié)在于對多媒體信息描述上，用文字描述難以避免主觀性。這樣，就產生了基于內容的檢索需求，不論是圖片、聲音、視頻還是動畫。于是各種基于內容的檢索技術就應運而生了

3、?；趦热莸膱D像檢索技術是其中的一項重要技術。二、什么是基于內容的圖像檢索技術二、什么是基于內容的圖像檢索技術北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 從20世紀70年代開始，有關圖像檢索的研究就已開始，當時主要是基于文本的圖像檢索技術（Text-based Image Retrieval，簡稱TBIR），利用文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。目前還在廣泛使用，一張照片，配以文字說明照片拍攝的時間、地點、事件的主要內容等等。2.12.1、圖像檢

4、索、圖像檢索 2.1.1基于文本的圖像檢索技術 TBIR北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖2-1 新華社4月7日發(fā)稿北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在基于文本的圖像檢索系統(tǒng)中，需要先對所有的圖像進行關鍵字標注，然后才能使用全文檢索技術對圖像進行搜索。這種方法存在兩個方面的問題：存在的問題：存在的問題： 一是這種方法需要較多的人工參與，而且隨著圖

5、像數目的增加，這種方法很難實現； 二是由于圖像所包含的信息量龐大，不同的人對于同一張圖像的理解也不相同，這就導致對圖像的標注沒有一個統(tǒng)一的標準，因而檢索的結果不能很好地符合用戶的需求。 北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖2-2 不同的人關心不同的內容北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 到90年代以后，出現了對圖像的內容語義，如圖像的顏色、紋理、布局

6、等進行分析和檢索的圖像檢索技術，即基于內容的圖像檢索（Content-based Image Retrieval，簡稱CBIR）技術。屬于圖像分析的一個研究領域。2.2.2基于內容的圖像檢索 CBIR CBIR屬于基于內容檢索（Content-based Retrieval ，簡稱CBR）的一種，CBR中還包括對動態(tài)視頻、音頻等其它形式多媒體信息的檢索技術。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在檢索原理上，無論是基于文本的圖像檢索還是基于內容的圖像檢索，主要包括三方面：2

7、.22.2、圖像檢索原理、圖像檢索原理 1、對用戶需求的分析和轉化，形成可以檢索索引數據庫的提問； 3、根據相似度算法，計算用戶提問與索引數據庫中記錄的相似度大小，提取出滿足閾值的記錄作為結果，按照相似度降序的方式輸出。 2、收集和加工圖像資源，提取特征，分析并進行標引，建立圖像的索引數據庫；北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 指的是查詢條件本身就是一個圖像，或者是對于圖像內容的描述，它建立索引的方式是通過提取底層特征，然后通過計算比較這些特征和查詢條件之間的距離，來決定

8、兩個圖片的相似程度。 2.32.3、基于內容的圖像檢索基于內容的圖像檢索 1、提取特征值：利用一些數學的規(guī)則（公式），把圖像進行一個量化的描述，按照色彩、形狀、圖案、紋理等不同要求，把一張圖片轉化為一組數字，我們稱其為特征值。由于是采用的同樣的規(guī)則，所以每一張圖片都能提取出一組特征值。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 2、特征值的比對：由于采用的規(guī)則是相同的，如果兩張圖片是一樣的，提取的特征值也會相同，這樣就可以把兩張圖片的內容比較轉化為兩組特征值的數字比較，也就是用數

9、字量的比較代替了模擬量的比較； 3、結合語義分析：相同特征值的圖片不一定就是相同的內容，結合圖片的語義進行分析判斷。 如果兩張圖片是相似的，提取的特征值也是相近的；反過來講，如果兩張圖片相差很大，其特征值也會有很大的差距；北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 對于圖像的低層特征，主要采用的是圖像的顏色、紋理及其形狀等特征。2.42.4圖像的低層特征值提取圖像的低層特征值提取 2.4.1顏色特征 顏色特征和圖像的大小、方向無關，而且對圖像的背景顏色不敏感，因此顏色特征被廣泛應

10、用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關圖、顏色矩等。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 圖2-3顏色特征顏色布局示例北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.4.22.4.2紋理特征紋理特征 紋理特征代表了物體的視覺模式，它包含了物體表面的組織結構以及與周圍環(huán)境之間的關系。常用的方法有相關矩陣法，粗糙度、對比度等紋理表示方法，以及小波變換等。圖

11、2-4紋理特征北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.4.3形狀特征形狀特征 形狀特征則包括兩種，一種是基于邊界的形狀特征，另外一種則是基于區(qū)域的形狀特征。最常用的表示方法有傅利葉變換和不變矩等。 這些低層的特征將通過各種方法抽取出來，并形成一組特征向量，建立相關索引并存儲到數據庫中。 91301417(燈管) 200530117452x（杯子）基于邊緣的形狀表示 基于區(qū)域的形狀表示北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelli

12、gent Technology (Beijing)Co.,Ltd. 單純使用圖像的底層特征值，容易產生混淆，因為不同的圖像也會有近似的特征組合，例如：一個冰箱和一個洗衣機（圖2-6），從正面看二者有較大的區(qū)別，但從后面看其后視圖時，二者的差距很小，相似度較高，無法有效區(qū)分； 2.52.5單獨使用低層特征值的弊端單獨使用低層特征值的弊端 03304350.7 冰箱圖2-6 冰箱與洗衣機的后視圖對比200330124434.5 洗衣機北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.6.

13、1必要性2.62.6建立語義特征建立語義特征 由于低層的特征并不直接代表圖像的語義信息，還需要抽取圖像的語義特征。2.6.2可行性 我們采用了外觀設計專利中的相關文字信息來表征圖像的語義特征，其中使用到的相關信息有：分類號、產品名稱、設計人、通訊地址等。 北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.2.6.3效果 通過使用專利的文字信息，使不同類別、不同名稱之間的外觀設計專利圖像有了明顯的區(qū)分，避免了混淆，提高了檢索精度。 2.6.4舉例 還是上面的圖（圖2-6），兩個方框，加上產

14、品名稱后，冰箱和洗衣機就不會混淆了。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.3.1屬于模糊查詢，檢索結果不是唯一的三、基于內容的圖像檢索技術的特點三、基于內容的圖像檢索技術的特點 基于內容的圖像檢索與文字檢索的一個主要區(qū)別是，基于內容的檢索都是屬于模糊查詢，一般不會給出單一的檢索結果，輸出的是一個結果排序集合，按照圖像的相似程度，從最像到最不像。 最后需要由人來判斷最終的結果是否滿足檢索需要，是人機結合的典范；由計算機來做大量簡單煩瑣的工作，由人做分析工作。北京華旗圖像數據智能

15、技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.圖3-1檢索結果顯示圖（4*6）北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 通過設置檢索輸出門限值，也可以控制檢索結果的輸出數量。檢索結果的顯示需要考慮顯示效率和顯示效果的矛盾。圖3-2 不同數量的顯示（6*9）北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beij

16、ing)Co.,Ltd. 3.2檢索結果是逐漸逼近 在檢索過程中不斷修訂檢索條件，可以逐步達到最終的檢索結果；通過調整特征參數組合，可以得到不同的檢索結果。3.3計算工作量大 每次查詢都需要根據臨時提交的特征標準，對全部特征值進行匹配運算；數據計算時對計算機的要求高，查詢時間相對長一些。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 采用基于內容的圖像檢索技術進行外觀設計專利圖像檢索之前，我們進行過商標數據、人像數據的應用，有一定的應用經驗。把技術在應用到外觀設計專利數據上，又碰到了

17、新的問題。主要表現在以下幾點：四、外觀設計專利的特點四、外觀設計專利的特點4.1數據量大、特征值提取時間長 從1985年開始，中國外觀設計專利已經審查公告了近80萬件，有420多萬幅圖像。而且近幾年還在以每年30%左右的速度遞增著。 整套數據提取圖像特征值的工作花費了2000多個小時。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.24.2數據類型復雜、沒有統(tǒng)一標準數據類型復雜、沒有統(tǒng)一標準 85300029 93310220.8 03351732.0 中國外觀設計專利是從1985

18、年開始的，早期的數據，由于計算機發(fā)展問題，圖像處理的水平不高，主要以黑白圖像為主；近幾年隨著數碼產品的迅速發(fā)展，圖像又以彩色的圖片為主；從數據的內容上分，既有設計的線條圖，也有實物照片圖；在圖像格式上，既有TIF格式的，也有JPG格式的；從圖像的外型尺寸看，圖像的長邊大到近萬像素，小到幾百像素都有。圖4-1幾種不同年代、不同格式的專利圖北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 外觀設計專利數據從色彩、內容到外型尺寸都有很外觀設計專利數據從色彩、內容到外型尺寸都有很大不同。而外觀

19、設計專利的檢索要求卻是對這些不同類大不同。而外觀設計專利的檢索要求卻是對這些不同類型的圖像要求具有可比性。型的圖像要求具有可比性。 與人像數據相比，人像數據的特點很明顯，每個人都有眼睛、鼻子、嘴，這些數據就可以確定圖像數據的標準格式，人的正面圖像更簡單；人像數據的難點在于人的面部會有不同的遮擋物，例如眼睛、口罩、胡子、圍巾、帽子等。 由于形狀、色彩、圖案是外觀設計專利的三個要素，所以外觀設計專利的數據比人像數據要復雜，它沒有統(tǒng)一的格式，表達的內容可能是圓的、也可能是方的、還有可能是三角的。有些有顏色要求，有些只是簡單的線條。北京華旗圖像數據智能技術有限公司aigo Image Computin

20、g & Intelligent Technology (Beijing)Co.,Ltd.4.34.3每個專利的圖像數量不固定、圖像的視圖定義不一致每個專利的圖像數量不固定、圖像的視圖定義不一致 每個外觀設計專利都要求有圖像數據配合，分別有1到8個不同種類的視圖，包括有主視圖、俯視圖、左視圖、右視圖、仰視圖、后視圖、立體圖、其他圖等八種；每種類型視圖的個數并不確定，大部分標帖類的專利只有一張主視圖，而一些玩具類的專利最多有數百個主視圖。圖4-2多主視圖專利（03335570.3） 北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technol

21、ogy (Beijing)Co.,Ltd. 對于同類型的產品，主視圖的選取并不一樣，以摩托車為例，有些以車頭在右側為主視圖，有些以車頭在左側為主視圖，甚至還有以車頭朝前為主視圖的。為了解決這些問題，需要在主視圖與左視圖、右視圖甚至俯視圖之間進行比較，才能解決圖像的視圖定義不一致帶來的矛盾。 02352294.1 200430059684.X 200530007496.7圖4-3 三種不同主視圖的摩托車專利北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.4圖像與文字的結合圖像與文字的

22、結合 外觀設計專利數據的一個特點是，有文字標注信息，例如專利申請?zhí)?、產品名稱、申請人、申請時間、公告時間、代理機構、優(yōu)先權等文字內容；又有數量不等的視圖。 與發(fā)明專利和實用新型專利相比，外觀設計專利沒有更多的文字來說明設計意圖和權利要求，權利要求主要都是通過圖像的內容表達。外觀設計專利是利用文字與圖像兩類數據的結合來說明外觀設計專利的權利要求。 所以外觀設計專利的檢索要求同時具備文字和圖像兩種檢索功能。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.4.54.5產品按標準分類產品按標準

23、分類 外觀設計專利一般是在同類產品中進行相同、相近似的比較，由此判定是否侵權。不同類型的產品之間不進行比較。 外觀設計專利的產品分類是按照洛迦諾協(xié)定執(zhí)行的，目前的版本是第八版，其中分31個大類，220個小類，6000多個細類。 在每一分類里的外觀設計專利數量是不同的，圖像數量也不等，目前最多的小類已有5萬余件外觀設計專利，而最少的分類專利數量為0。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 雖然外觀設計專利的數據按產品進行了分類，減少了雖然外觀設計專利的數據按產品進行了分類，減少

24、了每一類產品的數量，可以提高檢索效率和檢索精度。但由每一類產品的數量，可以提高檢索效率和檢索精度。但由于相同、相近似的比較是在小類中進行，而不是在細類中，于相同、相近似的比較是在小類中進行，而不是在細類中，小類的分類還比較粗，數據相互干擾多。例如小類的分類還比較粗，數據相互干擾多。例如06類中類中01小小類是家具類，其中既有桌子，也有椅子，還有床、柜子等，類是家具類，其中既有桌子，也有椅子，還有床、柜子等，這一類的數據量有一萬多條，互相干擾就很厲害。這一類的數據量有一萬多條，互相干擾就很厲害。 外觀設計專利一般檢索是在同類產品中進行，特殊情況下也有跨產品類型檢索的需求。 以上這些特點是外觀設計

25、專利數據特有的，落實到基于內容的圖像檢索技術上，主要難點表現為：同樣的數據會有不同的檢索要求；不同的數據會有同樣的檢索要求。北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.5.1圖像質量五、影響檢索效果的幾個因素五、影響檢索效果的幾個因素 經過實踐發(fā)現圖像質量對檢索結果有一定的影響，主要表現在三個方面： 圖5-1 背景的影響（93301089.3） 圖像背景、圖像的方向性、標注線5.1.1圖像背景問題北京華旗圖像數據智能技術有限公司aigo Image Computing & Inte

26、lligent Technology (Beijing)Co.,Ltd.5.1.3圖像的方向性5.1.2標注線圖5-3 不同專利的不同擺放方式 圖5-2標注線的影響（200530118830.6）北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 由于不同分類下的外觀設計專利的數量不同，從幾件到幾萬件都有，檢索速度與檢索樣本的數量有較大的關聯(lián)，每次檢索的速度是不一樣的； 5.2分類的數量影響檢索速度5.3同樣的相似度，檢索結果數量不同 設置同樣的相似度門限數值，對每一類的檢索結果數量不一

27、致，一方面是由于樣本數量的不同，另一方面要看每個分類中相似圖像數據數量的多少；5.4網絡速度 網絡速度對傳輸檢索結果有一定的影響。 北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 在滿足一般圖像檢索要求的基礎上，經過對外觀設計專利數據的分析，對軟件進行了必要的調整，使其具備以下特點：六、軟件的特點六、軟件的特點6.1底層特征與語義特征結合 合理利用圖像數據的產品分類屬性、產品名稱和申請年代等語義特征，能夠提高檢索效率、提高檢索精度；北京華旗圖像數據智能技術有限公司aigo Image

28、 Computing & Intelligent Technology (Beijing)Co.,Ltd.圖6-1底層特征與語義特征結合北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd. 通過參數設置來滿足不同的檢索需求，例如黑白彩色互查等。6.2提供參數設置圖6-2 黑白彩色互查北京華旗圖像數據智能技術有限公司aigo Image Computing & Intelligent Technology (Beijing)Co.,Ltd.6.3提供圖像處理工具圖6-3 圖像處理工具軟件 對檢索輸入的圖像進行有效的處理，例如去除背景、旋轉