基于內容的視頻信息檢索模型及方法綜述.pptx

1、基于內容的視頻信息檢索模型和方法概述，宜顏郭玉輝，引言視頻檢索模型分析和視頻信息檢索方法概述，引言隨著信息時代的到來，特別是計算機技術和網(wǎng)絡技術的發(fā)展，海量信息被收集、傳輸、流通和應用到世界各地。隨著越來越多的視覺信息數(shù)據(jù)庫的建立和人們對視覺信息需求的增加，視覺信息的描述和檢索成為當今研究的熱點。如何有效地描述視覺信息，如何實現(xiàn)基于內容的信息檢索，已經成為多媒體信息相關部門研究的重點?；趦热莸囊曈X信息檢索可以分為兩類：基于內容的圖像信息檢索和基于內容的視頻信息檢索。本文主要討論基于內容的視頻信息檢索技術。視頻檢索簡介傳統(tǒng)的視頻檢索是基于內容的視頻檢索，而傳統(tǒng)的視頻檢索是從大量的視頻數(shù)據(jù)中找到

2、所需的視頻片段。傳統(tǒng)的視頻信息管理系統(tǒng)通過訪問字符串屬性來查詢視頻信息。在系統(tǒng)的描述方面，使用了相關模型、框架模型和面向對象模型等表達方案，用字符串來表達與內容無關的原始數(shù)據(jù)。在系統(tǒng)的查詢端使用相同的文本標識符，并通過標簽匹配視頻編號，視頻的檢索就變成了標簽的檢索。傳統(tǒng)視頻檢索系統(tǒng)的優(yōu)點是簡單快捷。缺點是：僅基于文本很難實現(xiàn)有效的管理和檢索精度；(1)模糊視頻信息內容的豐富性決定了難以用語言標簽準確完整地描述視頻信息的所有內容，這使得視頻信息的描述非常模糊；(2)不確定文本描述是視頻信息的一種特定抽象，它要求描述方法滿足一定的標準。如果標準改變，描述方法也會改變。(3)準確率低隨著人們對信息依

3、賴性的增強，人們對視頻資料中包含的特定信息的需求越來越多。傳統(tǒng)的視頻描述是通過人工標注完成的，因此準確性大大降低。(4)主觀因素由于文本標簽是由觀察者選擇后添加到視頻標簽中的，因此視頻描述在很大程度上受到主觀因素的影響。不同的觀察者或者同一個觀察者會在不同的條件下對同一幅圖像給出不同的描述，有時這種差異會很大?；趦热莸囊曨l信息描述方案沒有拋棄傳統(tǒng)的文本描述，而是將高度主觀的文本標簽項最小化，使描述系統(tǒng)能夠客觀、準確、全面地描述視頻信息?；趦热莸囊曨l檢索是指根據(jù)視頻的內容和上下文在大規(guī)模視頻數(shù)據(jù)庫中檢索視頻數(shù)據(jù)。主要特點：(1)視頻信息的描述更加具體、客觀和全面。(2)低層語義描述符。低層描

4、述符的一個特點是可以由計算機自動提取，這就節(jié)省了從大量數(shù)據(jù)中識別對象的重復工作，同時大大降低了文本描述信息的主觀性，大大提高了檢索結果的準確性。(3)更多的視頻內在信息(4)各種靈活的檢索方法，基于內容的概念，什么是基于內容的？基于內容的檢索是指基于媒體和媒體對象的內容語義和上下文的檢索?；趦热?？基于內容檢索的特點：從媒體內容中提取信息線索。直接分析圖像、視頻和音頻，提取特征，使檢索更多的媒體對象。提取特征的方法有很多。人機交互。大致匹配。在檢索過程中，采用逐步細化的方法。直到找到目標?；趦热莸臋z索可以利用圖像處理、模式識別、語音信號、計算機視覺、人工智能等學科的一些方法作為基本技術來提高

5、其檢索精度?；趦热莸囊曨l檢索模型、基于內容的視頻信息檢索模型以及視頻數(shù)據(jù)處理模型中的關鍵技術?；趦热莸囊曨l檢索系統(tǒng)主要由三部分組成：客戶端、可視化界面和管理。視頻數(shù)據(jù)處理中，鏡頭邊界檢測鏡頭是視頻數(shù)據(jù)的基本單位。大多數(shù)視頻都是通過編輯用鏡頭連接起來的。因此，在基于內容檢索的視頻處理中，應該將視頻自動劃分為鏡頭作為基本的索引單元。這個過程稱為鏡頭邊界檢測，也稱為場景轉換檢索(SCD)，是實現(xiàn)基于內容的視頻檢索的第一步。所選關鍵幀是用于描述鏡頭的關鍵圖像幀，它反映了鏡頭的主要內容。一方面，關鍵幀的選擇必須反映鏡頭中的主要事件，因此描述應該盡可能準確和完整；另一方面，為了便于管理，數(shù)據(jù)量應該盡可能小，計算也不應該太復雜。特征提取視頻數(shù)據(jù)的特征分為靜態(tài)特征和動態(tài)特征。靜態(tài)特征提取和運動特征提取視頻聚類是研究鏡頭之間的關系，即如何將內容相似的鏡頭組合在一起。根據(jù)不同的聚類目的，視頻聚類可以分為兩類：一類是對屬于同一場景的鏡頭進行聚類，形成分層的視頻結構場景和電影。另一種聚類是視頻分類。它只考慮特征相似性，而不考慮時間連續(xù)性。根據(jù)鏡頭的重復程度，視頻一般可以分為對話型、動作型和其他類型?；趦热莸囊曨l信息檢索系統(tǒng)主要通過三種方式實現(xiàn)，即：(1)基于圖像的模式(2)基于視頻的唯一信息