超圖理論與應(yīng)用

超圖理論與應(yīng)用第1頁(yè)，共38頁(yè)，2023年，2月20日，星期二動(dòng)機(jī)(Motivation)什么是共指消解(CoreferenceResolution)共指消解的各種方法圖分割(GraphPartitioning)方法簡(jiǎn)單圖分割方法的潛在缺陷引入超圖(Hypergraph)的意義第2頁(yè)，共38頁(yè)，2023年，2月20日，星期二超圖(Hypergraph)超圖的定義超圖的分割超圖真比簡(jiǎn)單圖優(yōu)越嗎？如何將超圖運(yùn)用到共指消解中第3頁(yè)，共38頁(yè)，2023年，2月20日，星期二什么是共指消解[李明i]怕[高媽媽j]一人呆在家里寂寞,[他i]便將[他自己i]家里的電視搬了過(guò)來(lái)給[她j]。第4頁(yè)，共38頁(yè)，2023年，2月20日，星期二共指消解的方法規(guī)則方法利用句法層面的知識(shí)，進(jìn)行啟發(fā)式消解。統(tǒng)計(jì)方法基于訓(xùn)練語(yǔ)料庫(kù)，統(tǒng)計(jì)出概率分布，然后進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)決策樹(shù)、樸素貝葉斯、規(guī)則學(xué)習(xí)等等。圖方法以節(jié)點(diǎn)表示名詞短語(yǔ)，以邊表示名詞短語(yǔ)間的共指關(guān)聯(lián)度。第5頁(yè)，共38頁(yè)，2023年，2月20日，星期二圖方法節(jié)點(diǎn)表示名詞短語(yǔ)邊表示短語(yǔ)與短語(yǔ)之間的某種關(guān)聯(lián)(這種關(guān)聯(lián)必須要對(duì)“共指”起到貢獻(xiàn)，如人稱(chēng)、性別、單復(fù)數(shù)等屬性)邊的權(quán)值用來(lái)表示這種關(guān)聯(lián)對(duì)共指起到的貢獻(xiàn)的大小第6頁(yè)，共38頁(yè)，2023年，2月20日，星期二簡(jiǎn)單圖一條邊只能連接兩個(gè)頂點(diǎn)第7頁(yè)，共38頁(yè)，2023年，2月20日，星期二超圖一條邊可以連接多個(gè)頂點(diǎn)第8頁(yè)，共38頁(yè)，2023年，2月20日，星期二為什么引入超圖(一個(gè)例子)簡(jiǎn)單圖版本丟失了“同一作者的多篇文章”這一信息，而超圖版本則保存了這一信息。在共指消解里面，也有類(lèi)似的信息，比如“多個(gè)指代的性別(gender)相同”、“多個(gè)指代的數(shù)量相同”(即同為單數(shù)或同為復(fù)數(shù))等。頂點(diǎn)代表文章，每條邊代表兩個(gè)頂點(diǎn)（文章）享有同一個(gè)作者第9頁(yè)，共38頁(yè)，2023年，2月20日，星期二為什么引入超圖(一個(gè)例子)假設(shè)有三篇文章，v1，v2，v3。它們的作者分別是：v1:A,Bv2:B,Cv3:C,D如果v1:A,Bv2:A,Cv3:A,D第10頁(yè)，共38頁(yè)，2023年，2月20日，星期二簡(jiǎn)單圖的分割目標(biāo)：使分割出來(lái)的兩個(gè)子圖之間的關(guān)聯(lián)最小

問(wèn)題：如何定義“關(guān)聯(lián)最小”？第11頁(yè)，共38頁(yè)，2023年，2月20日，星期二簡(jiǎn)單圖分割的數(shù)學(xué)表達(dá)分割子圖間關(guān)聯(lián)最小

=跨分割邊界的所有邊的權(quán)值之和最小鄰接矩陣(AdjacencyMatrix)A(i,j)=頂點(diǎn)i和頂點(diǎn)j之間的所有邊的權(quán)值之和MinCut(G+,G-)，根據(jù)二次型表達(dá)式等價(jià)于：MaxYYTAY，其中Yi∈{+1,-1};第12頁(yè)，共38頁(yè)，2023年，2月20日，星期二簡(jiǎn)單圖分割的問(wèn)題問(wèn)題：導(dǎo)致退化的分割第13頁(yè)，共38頁(yè)，2023年，2月20日，星期二Normalized-Cut僅僅做到跨邊界的權(quán)值和最小還不夠，因?yàn)榭赡艽嬖谝恍┕铝Ⅻc(diǎn)，它們跟外界的聯(lián)系本身就極小，于是很可能被獨(dú)立分割出來(lái)。第14頁(yè)，共38頁(yè)，2023年，2月20日，星期二Normalized-Cut解決思想：一個(gè)cut是“好的”當(dāng)且僅當(dāng)對(duì)任意一個(gè)子圖來(lái)說(shuō)，從子圖中的節(jié)點(diǎn)出發(fā)跨越分割邊界的邊的權(quán)值和相比于從子圖節(jié)點(diǎn)出發(fā)的所有邊的權(quán)值和的比例越小越好。通俗來(lái)說(shuō)就是：任一分割出來(lái)的子圖跟外界的聯(lián)系主要來(lái)自該子圖內(nèi)部。第15頁(yè)，共38頁(yè)，2023年，2月20日，星期二Normalized-CutNP-Hard第16頁(yè)，共38頁(yè)，2023年，2月20日，星期二拉普拉斯矩陣(LaplacianMatrix)第17頁(yè)，共38頁(yè)，2023年，2月20日，星期二譜(Spectrum)方法NP-Hard譜方法逼近解minz(ZTLZ/ZTZ)其中Zi∈{r+,r-};r+=√|{i:zi<0}|/|{i:zi>0}|r-=√|{i:zi>0}|/|{i:zi<0}|不變式：ZTZ=n;ZT1=0;含義：L是拉普拉斯矩陣L=B–A第18頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖理論的目標(biāo)

將簡(jiǎn)單圖的表達(dá)泛化為超圖表達(dá)，將簡(jiǎn)單圖分割算法推廣到超圖分割之上，并證明超圖分割和簡(jiǎn)單圖分割的內(nèi)在標(biāo)準(zhǔn)(criteria)是一致的第19頁(yè)，共38頁(yè)，2023年，2月20日，星期二超圖的表示關(guān)鍵是超邊如何表示：用一個(gè)點(diǎn)集來(lái)表示。令V是一個(gè)頂點(diǎn)集合V={v1,v2,v3,v4,v5,v6,v7};則每一條超邊都是V的一個(gè)子集E={e1,e2,e3,e4}={{v1,v2,v3},{v2,v3},{v3,v5,v6},{v4}}第20頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖的矩陣表達(dá)頂點(diǎn)的度d(v)超邊的度超圖的矩陣表達(dá)第21頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖的鄰接矩陣其中W是一對(duì)角陣，對(duì)角線元素為各超邊的權(quán)值。A是超圖的鄰接矩陣按右邊方法表示的A(超圖的鄰接矩陣)，A(i,i)為0，A(i,j)為vi和vj共享的所有超邊的權(quán)值和。Dv為一對(duì)角陣，對(duì)角線元素為各頂點(diǎn)的度d(v)。第22頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖的分割(cut)如何將簡(jiǎn)單圖的分割標(biāo)準(zhǔn)推廣到超圖上面？第23頁(yè)，共38頁(yè)，2023年，2月20日，星期二

理解超圖cut的含義將被切割的每一條超邊看作一個(gè)子圖，其中每?jī)蓚€(gè)頂點(diǎn)都是兩兩相連的，連接的權(quán)值皆為w(e)/(e的度)。該子圖被切割為e∩G+和e∩G-個(gè)頂點(diǎn)，因此被切斷的邊一共有|e∩G+||e∩G-|個(gè)。第24頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖的Normalized-Cut超圖和簡(jiǎn)單圖的Normailzed-cut是形式一致的第25頁(yè)，共38頁(yè)，2023年，2月20日，星期二

超圖的Normailzed-Cut第26頁(yè)，共38頁(yè)，2023年，2月20日，星期二隨機(jī)游走(RandomWalk)第27頁(yè)，共38頁(yè)，2023年，2月20日，星期二超圖分割的隨機(jī)游走解釋意義：證明超圖分割的確是簡(jiǎn)單圖分割的一個(gè)妥善的推廣，這對(duì)超圖分割算法的有效性至關(guān)重要。圖分割的隨機(jī)游走解釋?zhuān)阂粋€(gè)最優(yōu)分割須使得隨機(jī)游走落在同一個(gè)子圖中的概率最大，同時(shí)隨機(jī)游走跨越分割邊界的幾率最小。目標(biāo)：證明超圖分割也滿足同樣的隨機(jī)游走性質(zhì)。第28頁(yè)，共38頁(yè)，2023年，2月20日，星期二什么是隨機(jī)游走(RandomWalk)

GooglePagerank算法第29頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法基本模型：用一個(gè)向量I來(lái)代表所有頁(yè)面的重要性，I的第i個(gè)分量Ii就是第i個(gè)頁(yè)面的重要性；另，假設(shè)一個(gè)頁(yè)面有l(wèi)j個(gè)向其它頁(yè)面的鏈接，那么每個(gè)被指向的頁(yè)面都得到該頁(yè)面的1/lj的重要性；同時(shí)假設(shè)一個(gè)頁(yè)面的重要性完全來(lái)自指向它的頁(yè)面的貢獻(xiàn)數(shù)學(xué)表達(dá)：其中Pj表示第j個(gè)頁(yè)面。lj表示第j個(gè)頁(yè)面上的鏈接數(shù)，Pj∈Bi表示第j個(gè)頁(yè)面指向Pi。這么多頁(yè)面，它們互相之間都有一堆鏈接，我怎么知道一個(gè)特定的頁(yè)面的重要性是多少呢？第30頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePageRank算法第31頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法如何計(jì)算I=HI中的I？(I是H的一個(gè)特征向量，對(duì)應(yīng)特征值為1)迭代法：Ik+1=HIk第32頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法第33頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法問(wèn)題：鏈接黑洞(只進(jìn)不出)第34頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法解決：隨機(jī)游走(RandomWalk)理論假設(shè)你是一個(gè)網(wǎng)絡(luò)爬蟲(chóng)，在網(wǎng)絡(luò)上跟著頁(yè)面鏈接隨機(jī)的游走。那么，當(dāng)你發(fā)現(xiàn)自己停在一個(gè)頁(yè)面Pj上，而Pj共有l(wèi)j個(gè)鏈接，其中一個(gè)指向Pi，那么你下一步游走到Pi的幾率就是1/lj。在你隨機(jī)游走的整個(gè)過(guò)程中，假設(shè)你停留在Pj上的時(shí)間是Tj，那么你停留在Pi上的時(shí)間就是：隨機(jī)游走模型跟頁(yè)面重要性模型是一致的隨機(jī)游走模型跟頁(yè)面重要性模型是一致的第35頁(yè)，共38頁(yè)，2023年，2月20日，星期二GooglePagerank算法隨機(jī)游走到頁(yè)面2(一個(gè)鏈接黑洞)的時(shí)候，盡管沒(méi)有鏈接，但我們可以假設(shè)下一