視頻方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備

(19)國家知識(shí)產(chǎn)權(quán)局

(12)發(fā)明專利申請(qǐng)

(10)申請(qǐng)公布號(hào)CN114449342A

(43)申請(qǐng)公布日2022.05.06

(21)申請(qǐng)?zhí)?02210072921.3

(22)申請(qǐng)日2022.01.21

(71)申請(qǐng)人騰訊科技(深圳)有限公司

地址518057廣東省深圳市南山區(qū)高新區(qū)

科技中一路騰訊大廈35層

(72)發(fā)明人王妮廖東亮黎功福徐進(jìn)

(74)專利代理機(jī)構(gòu)深圳翼盛智成知識(shí)產(chǎn)權(quán)事務(wù)

所(普通合伙)44300

專利代理師李玉婷

(51)Int.CI.

H04N27/44(2011.01)

H04N21/466(2011.01)

權(quán)利要求書3頁說明書25頁附圖6頁

(54)發(fā)明名稱

視頻推薦方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

和計(jì)算機(jī)設(shè)備

(57)摘要

本申請(qǐng)實(shí)施例公開了一種視頻推薦方法、裝

置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備:通過獲

取檢索內(nèi)容以及至少一個(gè)待推薦視頻;在待推薦

視頻中提取待推薦視頻中每一圖像幀對(duì)應(yīng)的視

覺特征；將視覺特征進(jìn)行多尺度切分，得到每一

尺度對(duì)應(yīng)的多個(gè)幀特征集合;對(duì)幀特征集合中的

幀特征進(jìn)行差分處理,得到幀特征集合對(duì)應(yīng)的差

分特征;基于幀特征集合和對(duì)應(yīng)的差分特征，確

定待推薦視頻對(duì)應(yīng)的局部視頻特征;根據(jù)局部視

頻特征、視覺特征以及檢索內(nèi)容,對(duì)待推薦視頻

進(jìn)行排序，并對(duì)排序后待推薦視頻進(jìn)行推薦。以

v此，通過獲取表征待推薦視頻的時(shí)序信息以及局

部信息的局部視頻特征來對(duì)待推薦視頻進(jìn)行推

國薦，提高了視頻推薦的準(zhǔn)確性，進(jìn)而提升了視頻

三推薦效率。

r-H

g

CN114449342A權(quán)利要求書1/3頁

1.一種視頻推薦方法，其特征在于，包括：

獲取檢索內(nèi)容以及所述檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)待推薦視頻；

在所述待推薦視頻中提取所述待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征；

將所述視覺特征進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合；

對(duì)所述幀特征集合中的幀特征進(jìn)行差分處理，得到所述幀特征集合對(duì)應(yīng)的差分特征；

基于所述幀特征集合和所述幀特征集合對(duì)應(yīng)的差分特征，確定所述待推薦視頻對(duì)應(yīng)的

局部視頻特征；

根據(jù)所述局部視頻特征、所述視覺特征以及所述檢索內(nèi)容，對(duì)所述待推薦視頻進(jìn)行排

序，得到排序后待推薦視頻,并對(duì)排序后待推薦視頻進(jìn)行推薦。

2.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述根據(jù)所述局部視頻特征、所述

視覺特征以及所述檢索內(nèi)容，對(duì)所述待推薦視頻進(jìn)行排序，得到排序后待推薦視頻,包括：

對(duì)所述視覺特征進(jìn)行特征提取，得到所述待推薦視頻對(duì)應(yīng)的全局視頻特征；

將所述全局視頻特征和所述局部視頻特征進(jìn)行融合，得到視頻特征；

根據(jù)所述視頻特征以及所述檢索內(nèi)容,對(duì)所述待推薦視頻進(jìn)行排序，得到排序后待推

薦視頻。

3.如權(quán)利要求2所述的視頻推薦方法，其特征在于，所述根據(jù)所述視頻特征以及所述檢

索內(nèi)容,對(duì)所述待推薦視頻進(jìn)行排序，得到排序后待推薦視頻，包括：

對(duì)所述檢索內(nèi)容進(jìn)行特征提取,得到所述檢索內(nèi)容對(duì)應(yīng)的內(nèi)容特征；

計(jì)算所述視頻特征和所述內(nèi)容特征之間的相似度，得到特征相似度；

基于所述特征相似度對(duì)每一待推薦視頻進(jìn)行排序，得到排序后待推薦視頻。

4.如權(quán)利要求3所述的視頻推薦方法，其特征在于，所述計(jì)算所述視頻特征和所述內(nèi)容

特征之間的相似度，得到特征相似度，包括：

分別對(duì)所述視頻特征和所述內(nèi)容特征進(jìn)行同一維度的特征映射，得到所述視頻特征對(duì)

應(yīng)的映射后視頻特征，以及所述內(nèi)容特征對(duì)應(yīng)的映射后內(nèi)容特征；

計(jì)算所述映射后視頻特征和所述映射后內(nèi)容特征之間的相似度，得到所述視頻特征和

所述內(nèi)容特征之間的特征相似度。

5.如權(quán)利要求2所述的視頻推薦方法，其特征在于，所述對(duì)所述視覺特征進(jìn)行特征提

取,得到所述待推薦視頻對(duì)應(yīng)的全局視頻特征，包括：

對(duì)所述待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行特征映射，得到所述視覺特征對(duì)應(yīng)的全局映射

特征；

將所述全局映射特征和對(duì)應(yīng)的視覺特征進(jìn)行特征融合，得到融合后視覺特征；

對(duì)融合后視覺特征進(jìn)行均值處理，得到所述待推薦視頻對(duì)應(yīng)的全局視頻特征。

6.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述基于所述幀特征集合和所述幀

特征集合對(duì)應(yīng)的差分特征，確定所述待推薦視頻對(duì)應(yīng)的局部視頻特征,包括：

在所述幀特征集合中確定目標(biāo)幀特征；

對(duì)所述目標(biāo)幀特征以及所述幀特征集合對(duì)應(yīng)的差分特征進(jìn)行拼接，得到所述待推薦視

頻對(duì)應(yīng)的局部視頻特征。

7.如權(quán)利要求6所述的視頻推薦方法，其特征在于，所述在所述幀特征集合中確定目標(biāo)

幀特征，包括：

2

CN114449342A權(quán)利要求書2/3頁

對(duì)所述幀特征集合中每一幀特征進(jìn)行特征提取，得到每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)特征；

基于所述幀關(guān)聯(lián)特征，確定每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重；

根據(jù)所述幀關(guān)聯(lián)權(quán)重，在所述幀特征集合中篩選出目標(biāo)幀特征。

8.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述對(duì)所述幀特征集合中的幀特征

進(jìn)行差分處理,得到所述幀特征集合對(duì)應(yīng)的差分特征,包括：

在所述幀特征集合中確定每一幀特征對(duì)應(yīng)的匹配幀特征，并將所述幀特征集合中每一

幀特征和對(duì)應(yīng)的匹配幀特征作為一個(gè)匹配特征對(duì)；

計(jì)算所述幀特征集合中每一匹配特征對(duì)之間的特征差值，得到每一匹配特征對(duì)對(duì)應(yīng)的

差分特征；

將所述幀特征集合中每一匹配特征對(duì)對(duì)應(yīng)的差分特征作為所述幀特征集合對(duì)應(yīng)的差

分特征。

9.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述將所述視覺特征進(jìn)行多尺度切

分,得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合，包括：

獲取所述視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)；

根據(jù)所述尺度切分參數(shù)，分別對(duì)所述待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行標(biāo)記，得到所述

視覺特征對(duì)應(yīng)的標(biāo)記信息；

基于所述標(biāo)記信息對(duì)所述視覺特征進(jìn)行切分，并基于切分后視覺特征得到每一尺度對(duì)

應(yīng)的多個(gè)幀特征集合。

10.如權(quán)利要求9所述的視頻推薦方法，其特征在于，所述獲取所述視覺特征對(duì)應(yīng)的至

少一個(gè)尺度切分參數(shù)，包括：

對(duì)所述視覺特征進(jìn)行特征提取,得到每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)特征；

基于所述視覺關(guān)聯(lián)特征,確定每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重；

獲取多個(gè)預(yù)設(shè)切分參數(shù)，并根據(jù)所述視覺關(guān)聯(lián)權(quán)重和預(yù)設(shè)切分參數(shù)，確定所述視覺特

征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

11.如權(quán)利要求10所述的視頻推薦方法，其特征在于，所述根據(jù)所述視覺關(guān)聯(lián)權(quán)重和預(yù)

設(shè)切分參數(shù)，確定所述視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù),包括：

根據(jù)所述視覺關(guān)聯(lián)權(quán)重計(jì)算所述視覺特征的關(guān)聯(lián)權(quán)重分布；

基于所述關(guān)聯(lián)權(quán)重分布確定所述視覺特征之間的關(guān)聯(lián)特征分布，并根據(jù)所述關(guān)聯(lián)特征

分布對(duì)所述視覺特征進(jìn)行標(biāo)記；

基于標(biāo)記后視覺特征以及所述預(yù)設(shè)切分參數(shù)，確定所述視覺特征對(duì)應(yīng)的至少一個(gè)尺度

切分參數(shù)。

12.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述在所述待推薦視頻中提取所

述待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征,包括：

將所述待推薦視頻中每一圖像幀進(jìn)行分割處理，得到每一圖像幀對(duì)應(yīng)的多個(gè)區(qū)域子圖

像；

對(duì)所述區(qū)域子圖像進(jìn)行特征提取,得到每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征；

對(duì)所述每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征進(jìn)行特征提取，得到所述待推薦視頻中每一

圖像幀對(duì)應(yīng)的視覺特征。

13.一種視頻推薦裝置，其特征在于，包括：

3

CN114449342A權(quán)利要求書3/3頁

獲取單元，用于獲取檢索內(nèi)容以及所述檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)待推薦視頻；

提取單元，用于在所述待推薦視頻中提取所述待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特

征；

切分單元，用于將所述視覺特征進(jìn)行多尺度切分,得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集

合；

差分單元，用于對(duì)所述幀特征集合中的幀特征進(jìn)行差分處理，得到所述幀特征集合對(duì)

應(yīng)的差分特征；

確定單元，用于基于所述幀特征集合和所述幀特征集合對(duì)應(yīng)的差分特征，確定所述待

推薦視頻對(duì)應(yīng)的局部視頻特征；

推薦單元，用于根據(jù)所述局部視頻特征、所述視覺特征以及所述檢索內(nèi)容，對(duì)所述待推

薦視頻進(jìn)行排序，得到排序后待推薦視頻,并對(duì)排序后待推薦視頻進(jìn)行推薦。

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條指

令，所述指令適于處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至12任一項(xiàng)所述的視頻推薦方法中的

步驟。

15.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可

以在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1

至12中任一項(xiàng)所述的視頻推薦方法。

16.一種計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序包括計(jì)算機(jī)指令,所述計(jì)算機(jī)指令

存儲(chǔ)在存儲(chǔ)介質(zhì)中，計(jì)算機(jī)設(shè)備的處理器從所述存儲(chǔ)介質(zhì)讀取所述計(jì)算機(jī)指令，所述處理

器執(zhí)行所述計(jì)算機(jī)指令,使得所述計(jì)算機(jī)設(shè)備執(zhí)行權(quán)利要求1至12任一項(xiàng)所述的視頻推薦

方法。

4

CN114449342A說明書1/25頁

視頻推薦方法'裝置'計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備

技術(shù)領(lǐng)域

[0001]本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種視頻推薦方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)

介質(zhì)和計(jì)算機(jī)設(shè)備。

背景技術(shù)

[0002]隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，多媒體的應(yīng)用越來越廣泛，視頻數(shù)量也急劇增長。為

了可以在海量視頻中篩選出需要的視頻，用戶可以通過視頻推薦系統(tǒng)來獲取需要的視頻，

其中，視頻推薦系統(tǒng)一般是從海量視頻中召回與用戶輸入的查詢信息相匹配的視頻，并基

于召回的視頻進(jìn)行排序得到對(duì)應(yīng)的視頻列表。

[0003]在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn),現(xiàn)有的視頻推薦方法

通常是根據(jù)用戶輸入的檢索信息和視頻主題的相似度來進(jìn)行推薦，當(dāng)召回的待推薦視頻中

存在主題與視頻內(nèi)容不相關(guān)的視頻時(shí)，這種方法極易導(dǎo)致推薦的視頻內(nèi)容與檢索信息不符

合的情況,使得視頻推薦的準(zhǔn)確性較差，進(jìn)而導(dǎo)致視頻推薦的效率較低。

發(fā)明內(nèi)容

[0004]本申請(qǐng)實(shí)施例提供一種視頻推薦方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備,

可以提高視頻推薦的準(zhǔn)確性，進(jìn)而提升視頻推薦效率。

[0005]本申請(qǐng)實(shí)施例提供一種視頻推薦方法，包括：

[0006]獲取檢索內(nèi)容以及所述檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)待推薦視頻；

[0007]在所述待推薦視頻中提取所述待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征；

[0008]將所述視覺特征進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合；

[0009]對(duì)所述幀特征集合中的幀特征進(jìn)行差分處理,得到所述幀特征集合對(duì)應(yīng)的差分特

征；

[0010]基于所述幀特征集合和所述幀特征集合對(duì)應(yīng)的差分特征，確定所述待推薦視頻對(duì)

應(yīng)的局部視頻特征；

[0011]根據(jù)所述局部視頻特征、所述視覺特征以及所述檢索內(nèi)容，對(duì)所述待推薦視頻進(jìn)

行排序,得到排序后待推薦視頻，并對(duì)排序后待推薦視頻進(jìn)行推薦。

[0012]相應(yīng)的，本申請(qǐng)實(shí)施例提供一種視頻推薦裝置,包括：

[0013]獲取單元，用于獲取檢索內(nèi)容以及至少一個(gè)待推薦視頻；

[0014]提取單元,用于在所述待推薦視頻中提取所述待推薦視頻中每一圖像幀對(duì)應(yīng)的視

覺特征；

[0015]切分單元，用于將所述視覺特征進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特

征集合；

[0016]差分單元，用于對(duì)所述幀特征集合中的幀特征進(jìn)行差分處理，得到所述幀特征集

合對(duì)應(yīng)的差分特征；

[0017]確定單元，用于基于所述幀特征集合和對(duì)應(yīng)的差分特征，確定所述待推薦視頻對(duì)

5

CN114449342A說明書2/25頁

應(yīng)的局部視頻特征；

[0018]推薦單元,用于根據(jù)所述局部視頻特征、所述視覺特征以及所述檢索內(nèi)容，對(duì)所述

待推薦視頻進(jìn)行排序，得到排序后待推薦視頻,并對(duì)排序后待推薦視頻進(jìn)行推薦。

[0019]在一實(shí)施例中，所述推薦單元,包括：

[0020]全局視頻特征提取子單元，用于對(duì)所述視覺特征進(jìn)行特征提取,得到所述待推薦

視頻對(duì)應(yīng)的全局視頻特征；

[0021]融合子單元，用于將所述全局視頻特征和所述局部視頻特征進(jìn)行融合，得到視頻

特征；

[0022]排序子單元，用于根據(jù)所述視頻特征以及所述檢索內(nèi)容，對(duì)所述待推薦視頻進(jìn)行

排序，得到排序后待推薦視頻。

[0023]在一實(shí)施例中，所述排序子單元，包括：

[0024]內(nèi)容特征提取模塊，用于對(duì)所述檢索內(nèi)容進(jìn)行特征提取，得到所述檢索內(nèi)容對(duì)應(yīng)

的內(nèi)容特征；

[0025]相似度計(jì)算模塊，用于計(jì)算所述視頻特征和所述內(nèi)容特征之間的相似度，得到特

征相似度；

[0026]排序模塊，用于基于所述特征相似度對(duì)每一待推薦視頻進(jìn)行排序,得到排序后待

推薦視頻。

[0027]在一實(shí)施例中，所述相似度計(jì)算模塊,包括：

[0028]特征映射子模塊,用于分別對(duì)所述視頻特征和所述內(nèi)容特征進(jìn)行同一維度的特征

映射,得到所述視頻特征對(duì)應(yīng)的映射后視頻特征，以及所述內(nèi)容特征對(duì)應(yīng)的映射后內(nèi)容特

征；

[0029]相似度計(jì)算子模塊，用于計(jì)算所述映射后視頻特征和所述映射后內(nèi)容特征之間的

相似度，得到所述視頻特征和所述內(nèi)容特征之間的特征相似度。

[0030]在一實(shí)施例中，所述全局視頻特征提取子單元，包括：

[0031]全局映射模塊，用于對(duì)所述待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行特征映射，得到所述

視覺特征對(duì)應(yīng)的全局映射特征；

[0032]特征融合模塊，用于將所述全局映射特征和對(duì)應(yīng)的視覺特征進(jìn)行特征融合，得到

融合后視覺特征；

[0033]均值處理模塊，用于對(duì)融合后視覺特征進(jìn)行均值處理，得到所述待推薦視頻對(duì)應(yīng)

的全局視頻特征。

[0034]在一實(shí)施例中，所述確定單元,包括：

[0035]目標(biāo)幀特征確定子單元，用于在所述幀特征集合中確定目標(biāo)幀特征；

[0036]拼接子單元，用于對(duì)所述目標(biāo)幀特征以及所述幀特征集合對(duì)應(yīng)的差分特征進(jìn)行拼

接,得到所述待推薦視頻對(duì)應(yīng)的局部視頻特征。

[0037]在一實(shí)施例中，所述目標(biāo)幀特征確定子單元，包括：

[0038]幀關(guān)聯(lián)特征提取模塊，用于對(duì)所述幀特征集合中每一幀特征進(jìn)行特征提取，得到

每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)特征；

[0039]幀關(guān)聯(lián)權(quán)重確定模塊，用于基于所述幀關(guān)聯(lián)特征，確定每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)

權(quán)重；

6

CN114449342A說明書3/25頁

[0040]篩選模塊，用于根據(jù)所述幀關(guān)聯(lián)權(quán)重，在所述幀特征集合中篩選出目標(biāo)幀特征。

[0041]在一實(shí)施例中，所述差分單元,包括：

[0042]匹配幀特征確定子單元，用于在所述幀特征集合中確定每一幀特征對(duì)應(yīng)的匹配幀

特征，并將所述幀特征集合中每一幀特征和對(duì)應(yīng)的匹配幀特征作為一個(gè)匹配特征對(duì)；

[0043]特征差值計(jì)算子單元，用于計(jì)算所述幀特征集合中每一匹配特征對(duì)之間的特征差

值，得到每一匹配特征對(duì)對(duì)應(yīng)的差分特征；

[0044]賦值子單元，用于將所述幀特征集合中每一匹配特征對(duì)對(duì)應(yīng)的差分特征作為所述

幀特征集合對(duì)應(yīng)的差分特征。

[0045]在一實(shí)施例中，所述切分單元,包括：

[0046]尺度切分參數(shù)獲取子單元，用于獲取所述視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參

數(shù)；

[0047]標(biāo)記子單元，用于根據(jù)所述尺度切分參數(shù)，分別對(duì)所述待推薦視頻對(duì)應(yīng)的視覺特

征進(jìn)行標(biāo)記，得到所述視覺特征對(duì)應(yīng)的標(biāo)記信息；

[0048]切分子單元，用于基于所述標(biāo)記信息對(duì)所述視覺特征進(jìn)行切分，并基于切分后視

覺特征得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合。

[0049]在一實(shí)施例中，所述尺度切分參數(shù)獲取子單元，包括：

[0050]視覺關(guān)聯(lián)特征提取模塊，用于對(duì)所述視覺特征進(jìn)行特征提取，得到每一視覺特征

對(duì)應(yīng)的視覺關(guān)聯(lián)特征；

[0051]視覺關(guān)聯(lián)權(quán)重確定模塊，用于基于所述視覺關(guān)聯(lián)特征，確定每一視覺特征對(duì)應(yīng)的

視覺關(guān)聯(lián)權(quán)重；

[0052]尺度切分參數(shù)確定模塊，用于獲取多個(gè)預(yù)設(shè)切分參數(shù)，并根據(jù)所述視覺關(guān)聯(lián)權(quán)重

和預(yù)設(shè)切分參數(shù)，確定所述視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

[0053]在一實(shí)施例中，所述尺度切分參數(shù)確定模塊,包括：

[0054]關(guān)聯(lián)權(quán)重分布計(jì)算子模塊，用于根據(jù)所述視覺關(guān)聯(lián)權(quán)重計(jì)算所述視覺特征的關(guān)聯(lián)

權(quán)重分布；

[0055]關(guān)聯(lián)特征分布確定子模塊，用于基于所述關(guān)聯(lián)權(quán)重分布確定所述視覺特征之間的

關(guān)聯(lián)特征分布，并根據(jù)所述關(guān)聯(lián)特征分布對(duì)所述視覺特征進(jìn)行標(biāo)記；

[0056]參數(shù)確定子模塊，用于基于標(biāo)記后視覺特征以及所述預(yù)設(shè)切分參數(shù)，確定所述視

覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

[0057]在一實(shí)施例中，所述提取單元，包括：

[0058]分割子單元，用于將所述待推薦視頻中每一圖像幀進(jìn)行分割處理,得到每一圖像

幀對(duì)應(yīng)的多個(gè)區(qū)域子圖像；

[0059]區(qū)域子圖像特征提取子單元，用于對(duì)所述區(qū)域子圖像進(jìn)行特征提取，得到每一圖

像幀對(duì)應(yīng)的區(qū)域子圖像特征；

[0060]視覺特征提取子單元，用于對(duì)所述每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征進(jìn)行特征提

取，得到所述待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征。

[0061]此外，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

存儲(chǔ)有多條指令，所述指令適于處理器進(jìn)行加載，以執(zhí)行本申請(qǐng)實(shí)施例所提供的任一種視

頻推薦方法中的步驟。

7

CN114449342A說明書4/25頁

[0062]此外，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存

儲(chǔ)有應(yīng)用程序，所述處理器用于運(yùn)行所述存儲(chǔ)器內(nèi)的應(yīng)用程序?qū)崿F(xiàn)本申請(qǐng)實(shí)施例提供的視

頻推薦方法。

[0063]本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，所述計(jì)算機(jī)程序產(chǎn)品或

計(jì)算機(jī)程序包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備

的處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取所述計(jì)算機(jī)指令,處理器執(zhí)行所述計(jì)算機(jī)指令，使得

所述計(jì)算機(jī)設(shè)備執(zhí)行本申請(qǐng)實(shí)施例提供的視頻推薦方法中的步驟。

[0064]本申請(qǐng)實(shí)施例通過獲取檢索內(nèi)容以及檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)待推薦視頻;在待

推薦視頻中提取待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征;將視覺特征進(jìn)行多尺度切分,

得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合;對(duì)幀特征集合中的幀特征進(jìn)行差分處理，得到幀特

征集合對(duì)應(yīng)的差分特征;基于幀特征集合和幀特征集合對(duì)應(yīng)的差分特征，確定待推薦視頻

對(duì)應(yīng)的局部視頻特征；根據(jù)局部視頻特征、視覺特征以及檢索內(nèi)容,對(duì)待推薦視頻進(jìn)行排

序，得到排序后待推薦視頻，并對(duì)排序后待推薦視頻進(jìn)行推薦。以此，通過將待推薦視頻對(duì)

應(yīng)的視覺特征進(jìn)行多尺度切分，來捕抓待推薦視頻中的局部信息，進(jìn)而對(duì)每一尺度對(duì)應(yīng)的

幀特征集合中的幀特征進(jìn)行差分處理，來考慮待推薦視頻中的時(shí)序信息，進(jìn)而根據(jù)多尺度

切分得到的幀特征集合和差分處理得到的差分特征，來確定待推薦視頻對(duì)應(yīng)的局部視頻特

征，以基于局部視頻特征來表征待推薦視頻中的時(shí)序信息以及局部信息，從而基于局部視

頻特征、視覺特征以及檢索內(nèi)容，來對(duì)待推薦視頻進(jìn)行排序并推薦，提升了檢索內(nèi)容與待推

薦視頻的視覺相關(guān)性，提高了視頻推薦的準(zhǔn)確性，進(jìn)而提升了視頻推薦效率。

附圖說明

[0065]為了更清楚地說明本申請(qǐng)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使

用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于

本領(lǐng)域技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附

圖。

[0066]圖1是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法實(shí)施場(chǎng)景示意圖；

[0067]圖2是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的流程示意圖；

[0068]圖3a是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的現(xiàn)有視頻推薦示意圖；

[0069]圖3b是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的圖像幀分割示意圖；

[0070]圖4是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的多尺度時(shí)序差分轉(zhuǎn)換器結(jié)構(gòu)示意

圖；

[0071]圖5是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的視頻推薦模型結(jié)構(gòu)示意圖；

[0072]圖6是本申請(qǐng)實(shí)施例提供的一種視頻推薦方法的另一流程示意圖；

[0073]圖7是本申請(qǐng)實(shí)施例提供的視頻推薦裝置的結(jié)構(gòu)示意圖；

[0074]圖8是本申請(qǐng)實(shí)施例提供的計(jì)算機(jī)設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

[0075]下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完

整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；?/p>

8

CN114449342A說明書5/25頁

本申請(qǐng)中的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施

例,都屬于本申請(qǐng)保護(hù)的范圍。

[0076]本申請(qǐng)實(shí)施例提供一種視頻推薦方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備。

其中，該視頻推薦裝置可以集成在計(jì)算機(jī)設(shè)備中，該計(jì)算機(jī)設(shè)備可以是服務(wù)器，也可以是終

端等設(shè)備。

[0077]請(qǐng)參閱圖1,以視頻推薦裝置集成在計(jì)算機(jī)設(shè)備中為例，圖1為本申請(qǐng)實(shí)施例所提

供的視頻推薦方法的實(shí)施場(chǎng)景示意圖，包括服務(wù)器A以及終端B,其中，服務(wù)器A可以是獨(dú)立

的物理服務(wù)器，也可以是多個(gè)物理服務(wù)器構(gòu)成的服務(wù)器集群或者分布式系統(tǒng)，還可以是提

供云服務(wù)、云數(shù)據(jù)庫、云計(jì)算、云函數(shù)、云存儲(chǔ)、網(wǎng)絡(luò)服務(wù)、云通信、中間件服務(wù)、域名服務(wù)、安

全服務(wù)、網(wǎng)絡(luò)加速服務(wù)(ContentDeliveryNetwork,CDN)、以及大數(shù)據(jù)和人工智能平臺(tái)等

基礎(chǔ)云計(jì)算服務(wù)的云服務(wù)器。服務(wù)器A可以獲取檢索內(nèi)容以及該檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)

待推薦視頻;在待推薦視頻中提取待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征;將視覺特征

進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合;對(duì)幀特征集合中的幀特征進(jìn)行差

分處理,得到幀特征集合對(duì)應(yīng)的差分特征;基于幀特征集合和幀特征集合對(duì)應(yīng)的差分特征,

確定待推薦視頻對(duì)應(yīng)的局部視頻特征;根據(jù)局部視頻特征、視覺特征以及檢索內(nèi)容,對(duì)待推

薦視頻進(jìn)行排序，得到排序后待推薦視頻,并對(duì)排序后待推薦視頻進(jìn)行推薦。

[0078]終端B可以是手機(jī)、電腦、智能語音交互設(shè)備、智能家電、車載終端等各種計(jì)算機(jī)設(shè)

備，但并不局限于此。

[0079]終端B以及服務(wù)器A可以通過有線或無線通信方式進(jìn)行直接或間接地連接,服務(wù)器

A可以獲取終端B上傳的數(shù)據(jù)以執(zhí)行相應(yīng)的視頻推薦操作，本申請(qǐng)?jiān)诖瞬蛔鱿拗啤?/p>

[0080]需要說明的是，圖1所示的視頻推薦方法的實(shí)施環(huán)境場(chǎng)景示意圖僅僅是一個(gè)示例,

本申請(qǐng)實(shí)施例描述的視頻推薦方法的實(shí)施環(huán)境場(chǎng)景是為了更加清楚的說明本申請(qǐng)實(shí)施例

的技術(shù)方案，并不構(gòu)成對(duì)于本申請(qǐng)實(shí)施例提供的技術(shù)方案的限定。本領(lǐng)域普通技術(shù)人員可

知，隨著視頻推薦的演變和新業(yè)務(wù)場(chǎng)景的出現(xiàn),本申請(qǐng)?zhí)峁┑募夹g(shù)方案對(duì)于類似的技術(shù)問

題，同樣適用。

[0081]以下分別進(jìn)行詳細(xì)說明。需要說明的是，以下實(shí)施例的描述順序不作為對(duì)實(shí)施例

優(yōu)選順序的限定。

[0082]本實(shí)施例將從視頻推薦裝置的角度進(jìn)行描述,該視頻推薦裝置具體可以集成在計(jì)

算機(jī)設(shè)備中，該計(jì)算機(jī)設(shè)備可以是服務(wù)器，本申請(qǐng)?jiān)诖瞬蛔飨拗啤?/p>

[0083]請(qǐng)參閱圖2,圖2是本申請(qǐng)實(shí)施例提供的視頻推薦方法的流程示意圖。該視頻推薦

方法包括：

[0084]101、獲取檢索內(nèi)容以及檢索內(nèi)容對(duì)應(yīng)的至少一個(gè)待推薦視頻。

[0085]其中，該檢索內(nèi)容可以為具有特定含義的內(nèi)容，可以基于該檢索內(nèi)容，查找與該檢

索內(nèi)容相關(guān)的信息并進(jìn)行反饋。該檢索內(nèi)容可以為文本內(nèi)容，也可以為音頻、圖像等其他形

式的內(nèi)容?？蛇x的，獲取檢索內(nèi)容的方式可以有多種該檢索內(nèi)容可以由用戶直接輸入來獲

取,也可以通過用戶間接輸入來獲取等，在此不做限定。

[0086]該待推薦視頻可以為檢索內(nèi)容對(duì)應(yīng)的待進(jìn)行推薦的至少一個(gè)視頻，其中，獲取待

推薦視頻的方式可以有多種，例如，可以在獲取到檢索內(nèi)容之后，基于獲取到檢索內(nèi)容進(jìn)行

召回，以此來得到至少一個(gè)待推薦視頻。

9

CN114449342A說明書6/25頁

[0087]在現(xiàn)有的視頻推薦方法中，通常是根據(jù)用戶輸入的檢索內(nèi)容和視頻主題的相似度

來進(jìn)行視頻的推薦，當(dāng)召回的待推薦視頻中存在主題與視頻內(nèi)容不相關(guān)的視頻時(shí)，這種方

法極易導(dǎo)致推薦的視頻內(nèi)容與檢索內(nèi)容不符合的情況，例如，請(qǐng)參考圖3a,圖3a是本申請(qǐng)實(shí)

施例提供的一種視頻推薦方法的現(xiàn)有視頻推薦示意圖，當(dāng)輸入檢索內(nèi)容“紅燒肉”時(shí)，現(xiàn)有

的視頻推薦方法推薦了主題與檢索內(nèi)容“紅燒肉”不符合的視頻，例如圖中的“紅燒肉X歌”，

這種視覺相關(guān)性較差的視頻推薦方法，使得視頻推薦的準(zhǔn)確性較差,進(jìn)而導(dǎo)致視頻推薦的

效率較低。為此，本申請(qǐng)實(shí)施例提供了一種視頻推薦方法，通過捕抓待推薦視頻中的時(shí)序信

息以及局部信息，來對(duì)待推薦視頻進(jìn)行排序并推薦，以此，可以提升檢索內(nèi)容與待推薦視頻

的視覺相關(guān)性，保證召回視頻在視頻語義層面的準(zhǔn)確性，進(jìn)而可以提高視頻推薦的準(zhǔn)確性,

從而提升視頻推薦效率。下面進(jìn)行具體的說明。

[0088]102、在待推薦視頻中提取待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征。

[0089]其中，該圖像幀可以為在待推薦視頻中抽取出來的至少一幀圖像，該視覺特征可

以為表征該圖像幀的視覺信息的特征，每一視覺特征可以對(duì)應(yīng)一個(gè)圖像幀。

[0090]其中，在待推薦視頻中抽取出圖像幀的方式可以有多種，例如，可以對(duì)待推薦視頻

中每一幀的圖像都進(jìn)行抽取，來得到待推薦視頻中的每一圖像幀，也可以根據(jù)預(yù)設(shè)的抽幀

頻率來對(duì)待推薦視頻中的圖像進(jìn)行抽取，以此來避免圖像幀的數(shù)量太多占用大量存儲(chǔ)空間

或者降低計(jì)算速率的情況。

[0091]其中，根據(jù)預(yù)設(shè)的抽幀頻率來對(duì)待推薦視頻中的圖像進(jìn)行抽取的方式可以有多

種，比如，可以根據(jù)待推薦視頻的長度來確定抽幀頻率,從而可以采用預(yù)設(shè)的抽幀頻率來對(duì)

待推薦視頻中的圖像進(jìn)行抽取，得到待推薦視頻對(duì)應(yīng)的圖像幀，例如，當(dāng)待推薦視頻的長度

較長時(shí)，可以采用每2秒抽取一幀視頻幀的抽取頻率，當(dāng)待推薦視頻的長度較短時(shí)，可以采

用每秒抽取兩幀視頻幀的抽取頻率進(jìn)行圖像幀的抽取等。

[0092]其中，在待推薦視頻中提取待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征的方式可以

有多種，例如，可以將該待推薦視頻中每一圖像幀進(jìn)行分割處理，得到每一圖像幀對(duì)應(yīng)的多

個(gè)區(qū)域子圖像，對(duì)該區(qū)域子圖像進(jìn)行特征提取，得到每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征，對(duì)

該每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征進(jìn)行特征提取，得到該待推薦視頻中每一圖像幀對(duì)應(yīng)

的視覺特征。

[0093]其中，該區(qū)域子圖像可以為對(duì)每一圖像幀進(jìn)行分割處理后得到的每一區(qū)域的子圖

像,該區(qū)域子圖像特征可以為表征區(qū)域子圖像的特征信息。

[0094]其中，將該待推薦視頻中每一圖像幀進(jìn)行分割處理的方式可以有多種，比如，可以

根據(jù)實(shí)際需求，確定圖像幀的分割參數(shù)，進(jìn)而可以根據(jù)分割參數(shù)來對(duì)圖像幀進(jìn)行分割，來得

到每一圖像幀對(duì)應(yīng)的多個(gè)區(qū)域子圖像。

[0095]其中，該分割參數(shù)可以為如何將圖像幀進(jìn)行分割的參數(shù)，具體取值可以根據(jù)實(shí)際

需求進(jìn)行選取，比如，當(dāng)準(zhǔn)確度要求較高或者計(jì)算能力較強(qiáng)時(shí)，可以將分割參數(shù)設(shè)定為更大

的值,來將圖像幀分割為數(shù)量更多的區(qū)域子圖像，例如，可以將圖像幀分割為12個(gè)區(qū)域子圖

像，或者16個(gè)區(qū)域子圖像等，當(dāng)準(zhǔn)確度要求較低獲取計(jì)算能力較弱時(shí)，可以將分割參數(shù)設(shè)定

為相對(duì)較小的值,來將圖像幀分割為數(shù)量較少的區(qū)域子圖像，例如，可以將圖像幀分割為8

個(gè)區(qū)域子圖像，或者4個(gè)區(qū)域子圖像等，譬如，請(qǐng)參考圖3b,圖3b為本申請(qǐng)實(shí)施例提供的一種

視頻推薦方法的圖像幀分割示意圖，其中，該分割參數(shù)可以為四等分，可以將每一圖像幀分

10

CN114449342A說明書7/25頁

割為四等分，得到如圖3b中虛線所劃分得到的四個(gè)區(qū)域子圖像。

[0096]在將該待推薦視頻中每一圖像幀進(jìn)行分割處理之后,便可以對(duì)該區(qū)域子圖像進(jìn)行

特征提取，來得到每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征,進(jìn)而對(duì)該每一圖像幀對(duì)應(yīng)的區(qū)域子

圖像特征進(jìn)行特征提取,得到該待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特征。其中，對(duì)區(qū)域子

圖像進(jìn)行特征提取的方式可以有多種，比如，可以采用視覺轉(zhuǎn)換器(VisionTransformer,

也稱視覺Transformer,簡(jiǎn)稱ViT)，來將該待推薦視頻中每一圖像幀進(jìn)行分割處理，進(jìn)而對(duì)

該區(qū)域子圖像進(jìn)行特征提取，來得到每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征，從而對(duì)該每一圖

像幀對(duì)應(yīng)的區(qū)域子圖像特征進(jìn)行特征提取，得到該待推薦視頻中每一圖像幀對(duì)應(yīng)的視覺特

征。

[0097]例如，可以利用視覺Transformer對(duì)每一幀圖像幀進(jìn)行切分為多個(gè)區(qū)域，得到每一

幀圖像幀對(duì)應(yīng)的多個(gè)區(qū)域子圖像(patch),對(duì)每一個(gè)區(qū)域利用視覺Transformer中的卷積核

進(jìn)行區(qū)域向量化，得到每一圖像幀對(duì)應(yīng)的區(qū)域子圖像特征，接著將每一圖像幀視為一個(gè)序

列，序列中的每個(gè)元素即為每一區(qū)域?qū)?yīng)的區(qū)域子圖像特征，將此序列輸入到視覺

Transformer中，對(duì)每一圖像幀進(jìn)行高維特征的學(xué)習(xí)。從而將每一待推薦視頻視為一個(gè)序

列，序列中的每個(gè)元素即為單幀圖像幀的高維特征，也即每一圖像幀對(duì)應(yīng)的視覺特征。

[0098]103、將視覺特征進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合。

[0099]其中，該幀特征集合可以為多個(gè)幀特征構(gòu)成的整體,該幀特征可以為對(duì)待推薦視

頻的視覺特征進(jìn)行多尺度的切分之后的視覺特征，例如，可以以一幀為一尺度將視覺特征

進(jìn)行切分、以兩幀為一尺度將視覺特征進(jìn)行切分以及以四幀為一尺度將視覺特征進(jìn)行切分

等多尺度，來對(duì)視覺特征進(jìn)行多尺度切分，得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合，比如，假

設(shè)一待推薦視頻中提取出來8幀圖像幀,并進(jìn)行特征提取得到8幀圖像幀對(duì)應(yīng)的8幀視覺特

征,分別為(tl,t2,t3,t4,t5,t6,t7,t8)，進(jìn)而將視覺特征進(jìn)行多尺度切分，以兩幀為一尺

度將視覺特征進(jìn)行切分為例，得到該尺度對(duì)應(yīng)的4個(gè)幀特征集合，分別為幀特征集合l(tl,

t2)、幀特征集合2(t3,t4)、幀特征集合3(t5,t6)以及幀特征集合3(t7,t8)，其中，視覺特征

tl和t2是幀特征集合1中的兩個(gè)幀特征，視覺特征t3和t4是幀特征集合2中的兩個(gè)幀特征，

視覺特征t5和t6是幀特征集合3中的兩個(gè)幀特征，視覺特征t7和t8是幀特征集合4中的兩個(gè)

幀特征。

[0100]其中，將視覺特征進(jìn)行多尺度切分的方式可以有多種，比如，假設(shè)一待推薦視頻中

提取出來12幀圖像幀，并進(jìn)行特征提取得到12幀圖像幀對(duì)應(yīng)的12幀視覺特征,分別為(tl,

t2,t3,t4,t5,t6,t7,t8,t9,tl0,tll,tl2)，并可以采用三幀為一尺度、四幀為一尺度、六幀

為一尺度的三個(gè)尺度切分方式來將視覺特征進(jìn)行多尺度的切分，從而可以得到每一尺度對(duì)

應(yīng)的多個(gè)幀特征集合，具體分別為三幀為一尺度對(duì)應(yīng)的四個(gè)幀特征集合(tl,t2,t3)、(t4,

t5,t6)、(t7,t8,t9)以及(t10,tl1,112),四幀為一尺度對(duì)應(yīng)的三個(gè)幀特征集合(tl,t2,t3,

t4)(t5,t6,t7,t8)以及,六幀為一尺度對(duì)應(yīng)的兩個(gè)幀特征集合

t3,t4,t5,t6)以及(t7,t8,t9,tl0,tll,tl2)。

[0101]此外，對(duì)于將視覺特征進(jìn)行多尺度切分的方式，還可以獲取該視覺特征對(duì)應(yīng)的至

少一個(gè)尺度切分參數(shù)，根據(jù)該尺度切分參數(shù)，分別對(duì)該待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行標(biāo)

記，得到該視覺特征對(duì)應(yīng)的標(biāo)記信息，基于該標(biāo)記信息對(duì)該視覺特征進(jìn)行切分，并基于切分

后視覺特征得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合。

11

CN114449342A說明書8/25頁

[0102]其中，該尺度切分參數(shù)可以為表征如何對(duì)視覺特征序列進(jìn)行切分的參數(shù)，例如，該

尺度切分參數(shù)可以為數(shù)值3,表示對(duì)待推薦視頻的視覺特征序列中的每3個(gè)視覺特征進(jìn)行切

分，該尺度切分參數(shù)也可以為包含在待推薦視頻的視覺特征序列中的第幾個(gè)視覺特征進(jìn)行

切分的信息，例如，假設(shè)待推薦視頻的視覺特征序列中包含15個(gè)視覺特征，同時(shí)可以假設(shè)該

尺度切分參數(shù)可以為(3,5,10,12)，則該尺度切分參數(shù)表示在待推薦視頻的視覺特征序列

中的第3、5、10、12個(gè)視覺特征中進(jìn)行切分，以此，可以得到第1幀到第3幀對(duì)應(yīng)的幀特征集

合、第4幀到第5幀對(duì)應(yīng)的幀特征集合、第6幀到第10幀對(duì)應(yīng)的幀特征集合、第11幀到第12幀

對(duì)應(yīng)的幀特征集合以及第13幀到第15幀對(duì)應(yīng)的幀特征集合。該標(biāo)記信息可以為標(biāo)記待推薦

視頻的視覺特征序列中需要進(jìn)行切分的位置的信息。

[0103]其中，獲取該視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)的方式可以有多種，比如，可

以對(duì)該視覺特征進(jìn)行特征提取，得到每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)特征，基于該視覺關(guān)聯(lián)

特征,確定每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重，獲取多個(gè)預(yù)設(shè)切分參數(shù)，并根據(jù)視覺關(guān)聯(lián)權(quán)

重和預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

[0104]其中，該視覺關(guān)聯(lián)特征可以為表征每一視覺特征與其他視覺特征之間的關(guān)聯(lián)關(guān)系

的特征信息，例如，可以表征每一視覺特征與其他視覺特征之間的相似程度,該視覺關(guān)聯(lián)權(quán)

重可以為表征待推薦視頻中每一視覺特征的重要程度,也即可以表征每一視覺特征與其他

視覺特征之間的關(guān)聯(lián)程度,該預(yù)設(shè)切分參數(shù)可以為預(yù)先設(shè)定的表示對(duì)待推薦視頻中的視覺

特征序列的切分尺度的參數(shù)，該預(yù)設(shè)切分參數(shù)可以有多個(gè)，且可以為任意數(shù)值，比如，該預(yù)

設(shè)切分參數(shù)可以為3、4、5等數(shù)值，例如，可以假設(shè)預(yù)設(shè)切分參數(shù)可以為4,則可以表示對(duì)待推

薦視頻的視覺特征序列中的每4個(gè)視覺特征進(jìn)行切分，同時(shí)，可以假設(shè)待推薦視頻的視覺特

征序列中包含15個(gè)視覺特征，則該預(yù)設(shè)切分參數(shù)表示在待推薦視頻的15個(gè)視覺特征組成的

視覺特征序列中將每4個(gè)視覺特征進(jìn)行切分為一個(gè)幀特征集合，以此，可以得到第1幀到第4

幀對(duì)應(yīng)的幀特征集合、第5幀到第8幀對(duì)應(yīng)的幀特征集合、第9幀到第12幀對(duì)應(yīng)的幀特征集合

以及第13幀到第15幀對(duì)應(yīng)的幀特征集合。

[0105]其中，對(duì)該視覺特征進(jìn)行特征提取，得到每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)特征，基于

該視覺關(guān)聯(lián)特征，確定每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重的方式可以有多種，例如，可以采

用注意力網(wǎng)絡(luò)(Attention)對(duì)視覺特征進(jìn)行特征提取,來得到每一視覺特征對(duì)應(yīng)的視覺關(guān)

聯(lián)特征，比如，可以將每一視覺特征轉(zhuǎn)換為三個(gè)維度的空間向量,包括查詢向量(query,簡(jiǎn)

稱q)、鍵向量(key,簡(jiǎn)稱k)和值向量(value,簡(jiǎn)稱v),具體的轉(zhuǎn)換方式可以理解為對(duì)每一視

覺特征與三個(gè)維度的轉(zhuǎn)換參數(shù)進(jìn)行融合而得到的，將查詢向量、鍵向量和值向量作為每一

視覺特征對(duì)應(yīng)的關(guān)聯(lián)特征。

[0106]在對(duì)每一視覺特征進(jìn)行特征提取之后,便可以基于該視覺關(guān)聯(lián)特征，確定每一視

覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重?；谠撘曈X關(guān)聯(lián)特征，確定每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)

重的方式可以有多種，例如，可以采用注意力網(wǎng)絡(luò)將每一視覺特征對(duì)應(yīng)的查詢向量與其他

視覺特征的鍵向量進(jìn)行點(diǎn)積，可以得到每一視覺特征對(duì)應(yīng)的注意力得分(score),再基于每

一視覺特征對(duì)應(yīng)的注意力得分，來計(jì)算每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重。

[0W7]其中，除了可以采用注意力網(wǎng)絡(luò)對(duì)每一視覺特征進(jìn)行特征提取以外，還可以采用

其他可以捕捉每一視覺特征與其他視覺特征之間的關(guān)聯(lián)關(guān)系,進(jìn)而確定每一視覺特征在所

有視覺特征中所占的權(quán)重的網(wǎng)絡(luò)。

12

CN114449342A說明書9/25頁

[0108]在確定每一視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重之后，便可以獲取多個(gè)預(yù)設(shè)切分參數(shù),

并根據(jù)視覺關(guān)聯(lián)權(quán)重和預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù),其中，

根據(jù)視覺關(guān)聯(lián)權(quán)重和預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)的方式可

以有多種，例如，可以根據(jù)該視覺關(guān)聯(lián)權(quán)重計(jì)算該視覺特征的關(guān)聯(lián)權(quán)重分布,基于該關(guān)聯(lián)權(quán)

重分布確定該視覺特征之間的關(guān)聯(lián)特征分布，并根據(jù)該關(guān)聯(lián)特征分布對(duì)該視覺特征進(jìn)行標(biāo)

記，基于標(biāo)記后視覺特征以及預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

[0109]其中，該關(guān)聯(lián)權(quán)重分布可以為待推薦視頻中視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)重的散

布，該關(guān)聯(lián)特征分布可以為基于關(guān)聯(lián)權(quán)重分布確定的視覺特征之間的關(guān)聯(lián)特征分布,例如,

可以基于視覺關(guān)聯(lián)權(quán)重與對(duì)應(yīng)的視覺特征之間的映射關(guān)系，將關(guān)聯(lián)權(quán)重分布作為視覺特征

之間的關(guān)聯(lián)特征分布，可選的，可以基于視覺特征的時(shí)序以及視覺特征對(duì)應(yīng)的視覺關(guān)聯(lián)權(quán)

重，來構(gòu)成為一條權(quán)重分布曲線。

[0110]其中，根據(jù)該關(guān)聯(lián)特征分布對(duì)該視覺特征進(jìn)行標(biāo)記的方式可以有多種，例如，可以

獲取一個(gè)預(yù)先設(shè)定的閾值，并將關(guān)聯(lián)特征分布與這個(gè)閾值進(jìn)行對(duì)比，來篩選出關(guān)聯(lián)特征分

布中大于這個(gè)閾值的區(qū)間，進(jìn)而可以根據(jù)這個(gè)區(qū)間的端點(diǎn)在待推薦視頻中視覺特征序列中

的對(duì)應(yīng)位置進(jìn)行標(biāo)記，該閾值可以為一個(gè)臨界值，當(dāng)關(guān)聯(lián)特征分布中某一區(qū)域大于這個(gè)臨

界值，表明該區(qū)域?qū)?yīng)的視覺特征之間的關(guān)聯(lián)關(guān)系比較強(qiáng)。例如，假設(shè)待推薦視頻包括8個(gè)

視覺特征,分別為(tl,t2,t3,t4,t5,t6,t7,t8)，基于關(guān)聯(lián)特征分布與閾值的對(duì)比結(jié)果，篩

選出關(guān)聯(lián)特征分布中大于這個(gè)閾值的區(qū)間端點(diǎn)對(duì)應(yīng)為視覺特征t3到t4以及t5到t6的范圍，

因此，可以對(duì)t3以及t6進(jìn)行標(biāo)記，得到(tl,t2,mt3,t4,t5,t6m,t7,t8),其中m為標(biāo)記信息，

表明可以在t3視覺特征以及t6視覺特征處進(jìn)行切分，從而可以得到標(biāo)記后視覺特征(mt3,

t4,t5,t6m)o

tom]在根據(jù)該關(guān)聯(lián)特征分布對(duì)該視覺特征進(jìn)行標(biāo)記之后,便可以基于標(biāo)記后視覺特征

以及預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)，其中，基于標(biāo)記后視覺特

征以及預(yù)設(shè)切分參數(shù)，確定視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)的方式可以有多種，比

如，可以根據(jù)標(biāo)記后視覺特征對(duì)待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行初始劃分,得到多個(gè)初始

視覺特征區(qū)間，并獲取每一初始視覺特征區(qū)間的特征數(shù)量，進(jìn)而可以將特征數(shù)量大于預(yù)設(shè)

閾值的初始視覺特征區(qū)間以預(yù)設(shè)切分參數(shù)進(jìn)行劃分，需要說明的是,此處的劃分并未對(duì)視

覺特征序列進(jìn)行分開，而只是類似于歸類的形式進(jìn)行分類標(biāo)記。從而可以基于劃分后的視

覺特征得到視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)。

[0112]例如，可以假設(shè)待推薦視頻包括10個(gè)視覺特征,分別為(tl,t2,t3,t4,t5,t6,t7,

t8,t9,tl0)，標(biāo)記后視覺特征(mt3,t4,t5,t6m)，該預(yù)設(shè)閾值可以為3,進(jìn)而可以根據(jù)標(biāo)記后

視覺特征對(duì)待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行初始劃分，可以表示為,mt3,t4,t5,

t6m,'t7,t8,t9,tl0'),以此可以得到多個(gè)初始視覺特征區(qū)間分別為'tl,t2'、't7,t8,t9,

tlO',從而可以獲取每一初始視覺特征區(qū)間的特征數(shù)量，分別為2、4,進(jìn)而可以將特征數(shù)量

大于預(yù)設(shè)閾值的初始視覺特征區(qū)間't7,t8,t9,tl0'以預(yù)設(shè)切分參數(shù)3進(jìn)行劃分，即得到

,t7,t8,t9,以及‘tlO',從而可以得到劃分后的視覺特征,'t3,t4,t5,t6','t7,

t8,t9','tlO')。從而可以基于劃分后的視覺特征得到視覺特征對(duì)應(yīng)的尺度切分參數(shù)為(2,

6,9,10),則該尺度切分參數(shù)表示在待推薦視頻的視覺特征序列中的第2、6、9、10個(gè)視覺特

征中進(jìn)行切分。

13

CN114449342A說明書10/25頁

[0113]在獲取該視覺特征對(duì)應(yīng)的至少一個(gè)尺度切分參數(shù)之后，便可以根據(jù)該尺度切分參

數(shù)，分別對(duì)該待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行標(biāo)記，得到該視覺特征對(duì)應(yīng)的標(biāo)記信息，基于

該標(biāo)記信息對(duì)該視覺特征進(jìn)行切分，并基于切分后視覺特征得到每一尺度對(duì)應(yīng)的多個(gè)幀特

征集合。

[0114]例如，假設(shè)待推薦視頻包括10個(gè)視覺特征，分別為(tl,t2,t3,t4,t5,t6,t7,t8,

t9,tl0)，視覺特征對(duì)應(yīng)的尺度切分參數(shù)為(2,6,9,10),則可以根據(jù)該尺度切分參數(shù)，分別

對(duì)該待推薦視頻對(duì)應(yīng)的視覺特征進(jìn)行標(biāo)記，得到(t1,12m,t3,t4,t看t6m,t7,t8,t9m,

tlOm),從而可以得到該視覺特征對(duì)應(yīng)的標(biāo)記信息，該標(biāo)記可以包含表示在待推薦視頻的視

覺特征序列中的第2、6、9、10個(gè)視覺特征后進(jìn)行切分的信息，從而可以基于該標(biāo)記信息對(duì)該

視覺特征進(jìn)行切分，并基于切分后視覺特征得到每一尺度對(duì)應(yīng)的多個(gè)幀特征集合，分別為

(tl,t2)、(t3,t4,t5,t6)>(t7,t8,t9)以及(tlO)。

[0115]以此，通過對(duì)將視覺特征進(jìn)行多尺度的切分,可以對(duì)待推薦視頻中的局部細(xì)節(jié)信

息進(jìn)行更好的捕捉,進(jìn)而可以提高視頻推薦的準(zhǔn)確性。

[0116]104、對(duì)幀特征集合中的幀特征進(jìn)行差分處理,得到幀特征集合對(duì)應(yīng)的差分特征。

[0117]其中，該差分特征可以為幀特征集合中兩個(gè)幀特征之間的差值。

[0118]其中，對(duì)幀特征集合中的幀特征進(jìn)行差分處理的方式可以有多種，比如，還可以在

該幀特征集合中確定每一幀特征對(duì)應(yīng)的匹配幀特征，并將該幀特征集合中每一幀特征和對(duì)

應(yīng)的匹配幀特征作為一個(gè)匹配特征對(duì)，計(jì)算該幀特征集合中每一匹配特征對(duì)之間的特征差

值，得到每一匹配特征對(duì)對(duì)應(yīng)的差分特征，將該幀特征集合中每一匹配特征對(duì)對(duì)應(yīng)的差分

特征作為該幀特征集合對(duì)應(yīng)的差分特征。

[0119]其中，該匹配幀特征可以為幀特征集合中與幀特征集合中某一幀特征匹配的幀特

征。

[0120]其中，在該幀特征集合中確定每一幀特征對(duì)應(yīng)的匹配幀特征的方式可以有多種，

比如,可以在該幀特征集合中確定每一幀特征對(duì)應(yīng)的下一個(gè)幀特征為該幀特征對(duì)應(yīng)的匹配

幀特征，例如，假設(shè)待推薦視頻的一個(gè)幀特征集合為(t6,t7,t8,t9)，則可以在該幀特征集

合中確定幀特征t6對(duì)應(yīng)的下一個(gè)幀特征t7為幀特征t6對(duì)應(yīng)的匹配幀特征,幀特征t7對(duì)應(yīng)的

下一個(gè)幀特征t8為幀特征t7對(duì)應(yīng)的匹配幀特征,幀特征t8對(duì)應(yīng)的下一個(gè)幀特征t9為幀特征

t8對(duì)應(yīng)的匹配幀特征。此外，也可以在該幀特征集合中確定每一幀特征對(duì)應(yīng)的間隔幀特征

為該幀特征對(duì)應(yīng)的匹配幀特征，例如，假設(shè)待推薦視頻的一個(gè)幀特征集合為(t6,t7,t8,

t9)，則可以在該幀特征集合中確定幀特征t6對(duì)應(yīng)的間隔幀特征t8為幀特征t6對(duì)應(yīng)的匹配

幀特征，幀特征t7對(duì)應(yīng)的下一個(gè)幀特征t9為幀特征t7對(duì)應(yīng)的匹配幀特征等，具體的匹配幀

特征的確定方法可以根據(jù)實(shí)際需求進(jìn)行設(shè)定，在此不做限定。

[0121]在幀特征集合中確定每一幀特征對(duì)應(yīng)的匹配幀特征之后，便可以將該幀特征集合

中每一幀特征和對(duì)應(yīng)的匹配幀特征作為一個(gè)匹配特征對(duì)，計(jì)算該幀特征集合中每一匹配特

征對(duì)之間的特征差值，得到每一匹配特征對(duì)對(duì)應(yīng)的差分特征,將該幀特征集合中每一匹配

特征對(duì)對(duì)應(yīng)的差分特征作為該幀特征集合對(duì)應(yīng)的差分特征。例如，假設(shè)待推薦視頻的一個(gè)

幀特征集合甲為(t6,t7,t8,t9)，幀特征t6對(duì)應(yīng)的匹配幀特征為幀特征t7,幀特征t7對(duì)應(yīng)的

匹配幀特征為幀特征t8,幀特征t8對(duì)應(yīng)的匹配幀特征為幀特征t9,則可以得到匹配特征對(duì)，

分別為匹配特征對(duì)1(t6,t7)、匹配特征對(duì)2(t7,t8)、匹配特征對(duì)3(t8,t9)，進(jìn)而可以計(jì)算該

14

CN114449342A說明書11/25頁

幀特征集合中每一匹配特征對(duì)之間的特征差值，得到每一匹配特征對(duì)對(duì)應(yīng)的差分特征，分

別為匹配特征對(duì)1為(t7-t6)，匹配特征對(duì)2為(t8-t7),匹配特征對(duì)3為(t9-t8),從而可以將

該幀特征集合甲中每一匹配特征對(duì)對(duì)應(yīng)的差分特征(t7-t6)、(t8-t7)、(t9-t8)作為幀特征

集合甲對(duì)應(yīng)的差分特征。

[0122]以此，通過對(duì)待推薦視頻對(duì)應(yīng)的每一幀特征集合中的幀特征進(jìn)行差分處理，來得

到幀特征集合對(duì)應(yīng)的差分特征以進(jìn)行后續(xù)的視頻推薦,可以捕抓幀與幀之間的差分信息來

提升本申請(qǐng)實(shí)施例提供的視頻推薦方法對(duì)待推薦視頻中細(xì)粒度的動(dòng)態(tài)信息以及時(shí)序信息

的表征，進(jìn)而可以對(duì)待推薦視頻中的動(dòng)作和場(chǎng)景轉(zhuǎn)換等動(dòng)態(tài)信息有更好的表征能力，從而

可以提高視頻推薦的準(zhǔn)確性。

[0123]105、基于幀特征集合和幀特征集合對(duì)應(yīng)的差分特征，確定待推薦視頻對(duì)應(yīng)的局部

視頻特征。

[0124]其中，該局部視頻特征可以為表征待推薦視頻中的局部信息的特征信息。

[0125]其中，基于該幀特征集合和幀特征集合對(duì)應(yīng)的差分特征，確定該待推薦視頻對(duì)應(yīng)

的局部視頻特征的方式可以有多種，比如，可以在該幀特征集合中確定目標(biāo)幀特征，對(duì)該目

標(biāo)幀特征以及該幀特征集合對(duì)應(yīng)的差分特征進(jìn)行拼接,得到該待推薦視頻對(duì)應(yīng)的局部視頻

特征。

[0126]其中，該目標(biāo)幀特征可以為在幀特征集合中篩選出來用于確定待推薦視頻對(duì)應(yīng)的

局部視頻特征的幀特征。

[0127]其中，在該幀特征集合中確定目標(biāo)幀特征的方式可以有多種，比如，可以將幀特征

集合中的第一個(gè)幀特征確定為目標(biāo)幀特征，例如，假設(shè)待推薦視頻的一個(gè)幀特征集合甲為

(t6,t7,t8,t9),則可以將首幀t6確定為目標(biāo)幀特征。

[0128]又比如，可以對(duì)該幀特征集合中每一幀特征進(jìn)行特征提取,得到每一幀特征對(duì)應(yīng)

的幀關(guān)聯(lián)特征，基于該幀關(guān)聯(lián)特征，確定每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重，根據(jù)該幀關(guān)聯(lián)權(quán)

重，在該幀特征集合中篩選出目標(biāo)幀特征。

[0129]其中，對(duì)該幀特征集合中每一幀特征進(jìn)行特征提取的方式可以有多種，例如，可以

采用注意力網(wǎng)絡(luò)對(duì)該幀特征集合中每一幀特征進(jìn)行特征提取,來得到每一幀特征對(duì)應(yīng)的幀

關(guān)聯(lián)特征。

[0130]在對(duì)該幀特征集合中每一幀特征進(jìn)行特征提取之后,便可以基于該幀關(guān)聯(lián)特征,

確定每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重，其中，基于該幀關(guān)聯(lián)特征，確定每一幀特征對(duì)應(yīng)的幀關(guān)

聯(lián)權(quán)重的方式可以有多種，例如，可以采用注意力網(wǎng)絡(luò)來根據(jù)該幀關(guān)聯(lián)特征,確定每一幀特

征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重。

[0131]在基于該幀關(guān)聯(lián)特征，確定每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重之后，便可以根據(jù)該幀

關(guān)聯(lián)權(quán)重，在該幀特征集合中篩選出目標(biāo)幀特征。其中，根據(jù)該幀關(guān)聯(lián)權(quán)重，在該幀特征集

合中篩選出目標(biāo)幀特征的方式可以有多種，例如，可以根據(jù)每一幀特征對(duì)應(yīng)的幀關(guān)聯(lián)權(quán)重,

對(duì)幀特征集合中的幀特征進(jìn)行排序，從而可以將排名最靠前，也即幀關(guān)聯(lián)權(quán)重最大的幀特

征篩選出來,得到目標(biāo)幀特征。

[0132]在該幀特征集合中確定目標(biāo)幀特征之后，便可以對(duì)該目標(biāo)幀特