張量分解課件

1基本概念及記號(hào)2張量（tensor）多維數(shù)組3一階張量（向量）二階張量（矩陣）三階張量張量空間由若干個(gè)向量空間中的基底的外積張成的空間4向量的外積和內(nèi)積階（order/ways/modes/rank）張成所屬?gòu)埩靠臻g的向量空間的個(gè)數(shù)一階張量（向量）：二階張量（矩陣）：三階或更高階張量：零階張量（數(shù)量）：5三階張量：纖維（fiber）6mode-1（列）纖維：

mode-2（行）纖維：

mode-3（管）纖維：切片（slice）7水平切片：

側(cè)面切片：

正面切片：

內(nèi)積和范數(shù)設(shè)

內(nèi)積：

（Frobenius）范數(shù)：8秩一張量/可合張量N階張量是一個(gè)秩一張量，如果它能被寫(xiě)成N個(gè)向量的外積，即9三階秩一張量：（超）對(duì)稱和（超）對(duì)角立方張量：各個(gè)mode的長(zhǎng)度相等對(duì)稱：一個(gè)立方張量是對(duì)稱的，如果其元素在下標(biāo)的任意排列下是常數(shù)。如一個(gè)三階立方張量是超對(duì)稱的，如果對(duì)角：僅當(dāng)時(shí)，10張量的（超）對(duì)角線展開(kāi)（matricization/unfolding/flattening）將N階張量沿mode-n展開(kāi)成一個(gè)矩陣11三階張量的mode-1展開(kāi)n-mode（矩陣）乘積一個(gè)張量和一個(gè)矩陣的n-mode乘積，其元素定義為這個(gè)定義可以寫(xiě)成沿mode-n展開(kāi)的形式性質(zhì)：12n-mode（向量）乘積一個(gè)張量和一個(gè)向量的n-mode乘積，其元素定義為性質(zhì)：13矩陣的Kronecker乘積

，則性質(zhì)：14矩陣的Kronecker乘積矩陣的Kronecker積還和張量和矩陣的n-mode乘積有如下關(guān)系15矩陣的Khatri-Rao乘積

，則性質(zhì)：16矩陣的Hadamard乘積

，則性質(zhì)：17CP分解18CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,M?cks,1988CP(CANDECOMP/PARAFAC),Kiers,200019CP分解的張量形式將一個(gè)張量表示成有限個(gè)秩一張量之和，比如一個(gè)三階張量可以分解為20三階張量的CP分解CP分解的矩陣形式因子矩陣：秩一張量中對(duì)應(yīng)的向量組成的矩陣，如利用因子矩陣，一個(gè)三階張量的CP分解可以寫(xiě)成展開(kāi)形式21CP分解的切片形式三階張量的CP分解有時(shí)按（正面）切片寫(xiě)成如下形式：

其中22三階張量CP分解的正面切片形式帶權(quán)CP分解為了計(jì)算方便，通常假設(shè)因子矩陣的列是單位長(zhǎng)度的，從而需要引入一個(gè)權(quán)重向量，使CP分解變?yōu)閷?duì)于高階張量，有

其展開(kāi)形式為23張量的秩和秩分解張量的秩定義為用秩一張量之和來(lái)精確表示所需要的秩一張量的最少個(gè)數(shù)，記為秩分解：

可見(jiàn)秩分解是一個(gè)特殊的CP分解，對(duì)應(yīng)于矩陣的SVD目前還沒(méi)有方法能夠直接求解一個(gè)任意給定張量的秩，這被證明是一個(gè)NP-hard問(wèn)題

24張量的秩不同于矩陣的秩，高階張量的秩在實(shí)數(shù)域和復(fù)數(shù)域上不一定相同。例如一個(gè)三階張量

在實(shí)數(shù)域內(nèi)進(jìn)行秩分解得到的因子矩陣為

而在復(fù)數(shù)域內(nèi)進(jìn)行分解得到的因子矩陣為25張量的低秩近似相對(duì)于矩陣的SVD來(lái)說(shuō)，高階張量的秩分解唯一性不需要正交性條件保證，只需滿足：

這里表示矩陣的k-秩：任意k列都線性無(wú)關(guān)的最大的k26張量的低秩近似然而在低秩近似方面，高階張量的性質(zhì)比矩陣SVD差Kolda給出了一個(gè)例子，一個(gè)立方張量的最佳秩-1近似并不包括在其最佳秩-2近似中，這說(shuō)明張量的秩-k近似無(wú)法漸進(jìn)地得到下面的例子說(shuō)明，張量的“最佳”秩-k近似甚至不一定存在27張量的低秩近似退化：如果一個(gè)張量能夠被一系列的低秩張量任意逼近邊緣秩（borderrank）：能夠任意逼近一個(gè)張量的最少的成分個(gè)數(shù)28秩2秩3一個(gè)秩為2的張量序列收斂到一個(gè)秩3張量CP分解的計(jì)算分解成多少個(gè)秩一張量（成分）之和？通常的做法是從1開(kāi)始嘗試，知道碰到一個(gè)“好”的結(jié)果為止如果有較強(qiáng)的應(yīng)用背景和先驗(yàn)信息，可以預(yù)先指定對(duì)于給定的成分?jǐn)?shù)目，怎么求解CP分解？目前仍然沒(méi)有一個(gè)完美的解決方案從效果來(lái)看，交替最小二乘（AlternatingLeastSquare）是一類比較有效的算法29CP分解的計(jì)算以一個(gè)三階張量為例，假定成分個(gè)數(shù)已知，目標(biāo)為作為ALS的一個(gè)子問(wèn)題，固定和，求解

得

再通過(guò)歸一化分別求出和30CP分解的計(jì)算ALS算法并不能保證收斂到一個(gè)極小點(diǎn)，甚至不一定能收斂到穩(wěn)定點(diǎn)，它只能找到一個(gè)目標(biāo)函數(shù)不再下降的點(diǎn)算法的初始化可以是隨機(jī)的，也可以將因子矩陣初始化為對(duì)應(yīng)展開(kāi)的奇異向量，如將初始化為的前個(gè)左奇異向量31CP分解的應(yīng)用計(jì)量心理學(xué)語(yǔ)音分析化學(xué)計(jì)量學(xué)獨(dú)立成分分析神經(jīng)科學(xué)數(shù)據(jù)挖掘高維算子近似隨即偏微分方程…………32Tucker分解33Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,200234Tucker分解Tucker分解是一種高階的主成分分析，它將一個(gè)張量表示成一個(gè)核心（core）張量沿每一個(gè)mode乘上一個(gè)矩陣。對(duì)于三階張量來(lái)說(shuō)，其Tucker分解為因子矩陣通常是正交的，可以視為沿相應(yīng)mode的主成分35Tucker分解容易看出，CP分解是Tucker分解的一種特殊形式：如果核心張量是對(duì)角的，且，則Tucker分解就退化成了CP分解36三階張量的Tucker分解Tucker分解的矩陣形式三階Tucker分解的展開(kāi)形式為T(mén)ucker分解可以推廣到高階張量37Tucker2和Tucker1對(duì)于三階張量固定一個(gè)因子矩陣為單位陣，就得到Tucker分解一個(gè)重要的特例：Tucker2。例如固定，則進(jìn)一步，固定兩個(gè)因子矩陣，就得到了Tucker1，例如令第二、三個(gè)因子矩陣為單位陣，則Tucker分解就退化成了普通的PCA38張量的n-秩近似一個(gè)N階張量的n-秩定義為若設(shè)，則叫做一個(gè)秩-

張量如果，則很容易得到的一個(gè)精確秩-Tucker分解；然而如果至少有一個(gè)使得，則通過(guò)Tucker分解得到的就是的一個(gè)秩-近似39張量的n-秩近似40截?cái)嗟腡ucker分解：秩-近似張量的n-秩近似對(duì)于固定的n-秩，Tucker分解的唯一性不能保證，所以需要添加其他的約束通常要求核心張量是“簡(jiǎn)單”的，如各個(gè)mode的主成分之間盡量不發(fā)生相互作用（稀疏性），或者其他的“簡(jiǎn)單性”約束41Tucker分解的計(jì)算HOSVD：利用SVD對(duì)每個(gè)mode做一次Tucker1分解（截?cái)嗷蛘卟唤財(cái)啵〩OSVD不能保證得到一個(gè)較好的近似，但HOSVD的結(jié)果可以作為一個(gè)其他迭代算法（如HOOI）的很好的初始解42Tucker分解的計(jì)算為了導(dǎo)出HOOI迭代