體育視頻的內(nèi)容標(biāo)注和解析技術(shù)研究

體育視頻的內(nèi)容標(biāo)注和解析技術(shù)研究sky)把文法分成4種類(lèi)型,即0型文法,1型文法,2型文法和3型文法.型號(hào)越高所受約束越多,對(duì)語(yǔ)言的描述能力也就越弱.

我們使用上下文無(wú)關(guān)文法對(duì)體育比賽的結(jié)構(gòu)進(jìn)行描述,主要是基于以下考慮:上下文無(wú)關(guān)文法完全可以勝任對(duì)體育比賽樹(shù)狀結(jié)構(gòu)的描述;上下文無(wú)關(guān)文法在自然語(yǔ)言理解,句法模式識(shí)別,編譯技術(shù)等領(lǐng)域有廣泛的應(yīng)用,技術(shù)比較成熟;基于上下文無(wú)關(guān)文法的解析器不僅可以為視頻有效生成層次瀏覽樹(shù),而且具有較強(qiáng)的錯(cuò)誤處理能力.

其中終結(jié)符r,b,e,u分別表示一輪比賽的結(jié)束,選手比賽開(kāi)始,選手比賽結(jié)束和一般鏡頭,非終結(jié)符和為結(jié)構(gòu)單元,分別代表每輪比賽和每個(gè)選手的比賽.對(duì)于語(yǔ)義標(biāo)注序列buuuuuuuebuuuuuuuueeur,使用文法分析器進(jìn)行解析得到它的層次結(jié)構(gòu)eur].其中序列最后r前面的eu為錯(cuò)誤標(biāo)示,可以用錯(cuò)誤恢復(fù)策略進(jìn)行處理.由于視頻序列在進(jìn)行基于統(tǒng)計(jì)的語(yǔ)義標(biāo)注時(shí),存在某種程度的不確定性.所以錯(cuò)誤處理應(yīng)當(dāng)結(jié)合語(yǔ)義標(biāo)注的確定度來(lái)進(jìn)行.如果出錯(cuò)標(biāo)注本身的確定度比較低,則可以認(rèn)為該標(biāo)注有錯(cuò);如果出錯(cuò)標(biāo)注的確定度比較高,則可以認(rèn)為錯(cuò)誤發(fā)生在它的前面.

以上,我們通過(guò)基于壓縮域的鏡頭分割,語(yǔ)義事件的檢測(cè)和語(yǔ)法制導(dǎo)的結(jié)構(gòu)解析實(shí)現(xiàn)了體育視頻的內(nèi)容標(biāo)注和解析.雖然我們主要以跳水視頻為例進(jìn)行分析,但是其中的技術(shù)完全可以應(yīng)用到其他類(lèi)似體育視頻的分析中,甚至一般視頻的處理中.我們的研究表明,盡管限于當(dāng)前的技術(shù)水平,完全自動(dòng)的,通用的視頻內(nèi)容理解是不太可能的,但是通過(guò)有效的人機(jī)交互和建立應(yīng)用相關(guān)的模型,新的技術(shù)將可以面對(duì)視頻信息大量涌現(xiàn)的挑戰(zhàn),給人們帶來(lái)更加豐富和方便的體驗(yàn).

五,預(yù)期研究成果及創(chuàng)新之處

一個(gè)壓縮域鏡頭邊界檢測(cè)的有效算法

體育視頻中慢鏡重放的檢測(cè)方法

基于壓縮域的視頻文本檢測(cè)和分割

體育視頻中狀態(tài)事件的識(shí)別

視音頻融合的事件檢測(cè)

基于文法的體育視頻結(jié)構(gòu)解析

一個(gè)通用的體育視頻內(nèi)容分析框架及其系統(tǒng)實(shí)現(xiàn)

六,已有工作基礎(chǔ)

1,已有資源:

4.96G的跳水比賽視頻數(shù)據(jù),總長(zhǎng)度約8小時(shí)20分鐘;

5.33G的足球比賽視頻數(shù)據(jù),總長(zhǎng)度約9個(gè)小時(shí);

2.58G的其他體育視頻數(shù)據(jù),包括籃球,排球和網(wǎng)球等;

2,已進(jìn)行工作

一個(gè)基于內(nèi)容的智能視頻檢索系統(tǒng):iVideo

一種通過(guò)關(guān)鍵幀提取和組織來(lái)瀏覽視頻的方式:XPlayer

可視化的視頻分析工具:MediaLab

綜合顏色特征和攝像機(jī)運(yùn)動(dòng)分析的鏡頭邊界檢測(cè)算法

基于標(biāo)志模板的重放鏡頭檢測(cè)算法

跳水比賽視頻中精彩片斷的自動(dòng)提取:iVideoAnalyzer

基于壓縮域文本檢測(cè)的體育視頻結(jié)構(gòu)分析:SportsPlayer

3,專(zhuān)利和age

and

Graphics,

Dec

2021.

N.

Dimitrova,

H.J.

Zhang,

B.

Shahraray,

I.

Sezan,

T.

Huang,

and

A.

Zakhor,

Applications

of

Video-Content

Analysis

and

Retrieval,

IEEE

Multimedia,

Vol.

9,

No.

4,

2021.

莊越挺,潘云鶴,吳飛編著,網(wǎng)上多媒體信息分析與檢索,清華大學(xué)出版社,2021年.

M.

Flickner

et

al,

Query

by

Image

and

Video

Content:

The

QBIC

System,

IEEE

Computer,

28,

1995.

D.

Ponceleon,

S.

Srinivasan,

A.

Amir,

D.

Petkovic,

and

D.

Diklic,

Key

to

Effective

Video

Retrieval:

Effective

Cataloging

and

Browsing,

in

Proc.

ACM

Multimedia,

1998.

A.

Hampapur,

A.

Gupta,

B.

Horowitz,

C-F.

Shu,

C.

Fuller,

J.

Bach,

M.

Gorkani,

and

R.

Jain,

Virage

Video

Engine,

SPIE

Storage

and

Retrieval

for

Images

and

Video

Databases

V,

1997.

H.

D.

Wactlar,

T.

Kanade,

M.

A.

Smith,

and

S.

M.

Stevens,

Intelligent

Access

to

Digital

Video:

Informedia

Project,

IEEE

Computer,

Vol.29,

No.3,

pp.46-52,

May

1996.

S.-F.

Chang,

W.

Chen,

H.

Meng,

H.

Sundaram,

and

D.

Zhong,

VideoQ:

an

automated

conte