向量、矩陣偏導(dǎo)數(shù)(機(jī)器學(xué)習(xí)、深度學(xué)習(xí)基礎(chǔ))

1、dfml(x)dfm2(x)ILdxdxdfin(x)dxdf2n(x)dxadfmn(x)dx矩陣的導(dǎo)數(shù)運(yùn)算1 .矩陣Y=F(x)對(duì)標(biāo)量x求導(dǎo)相當(dāng)于每個(gè)元素求導(dǎo)數(shù)dfx)dfi2(x)dxdxIdf2i(x)df22(x)dY=dxdxdx:2 .標(biāo)量y對(duì)列向量x求導(dǎo)注意與上面不同，這次括號(hào)內(nèi)是求偏導(dǎo)，對(duì)mX1向量求導(dǎo)后還是mX1向量:xizf永2dyyuf(x)dxCfI3 .行向量yT對(duì)列向量x求導(dǎo)注意1xn向量對(duì)mK1向量求導(dǎo)后是mKn矩陣。將y的每一列對(duì)x求偏導(dǎo)，將各列構(gòu)成一個(gè)矩陣。(x)身2(x)可n(x)1女1次及1T用3-20)%(x)dy44=cx2cx2cx2dx：“x)%

2、(x)5n(x)I-I-&mxmxm一重要結(jié)論：:Idxd(Ax)Tt二Adx4.列向量y對(duì)行向量xT求導(dǎo)轉(zhuǎn)化為行向量yT對(duì)列向量x的導(dǎo)數(shù)，然后轉(zhuǎn)置。注意mX1向量對(duì)1Xn向量求導(dǎo)結(jié)果為mKn矩陣。重要結(jié)論:：x)-f2(X).廿m(x)1TdydxTdyT=I.：為淚(x)-X2淚(x)：x1一千2他).二x2-f2他).：x1fm(x)二x2fm(x)%dxdxTd(Ax)Y=A5.向量積對(duì)列向量x求導(dǎo)運(yùn)算法則注意與標(biāo)量求導(dǎo)有點(diǎn)不同。d(uTv)_d(uT)dxvudx重要結(jié)論:d(xTx)dxdxd(xTAx)d(xT)dxd(xT)x=2xdxAxd(xA)x=(AAT)xdx印lcF

3、6 .矩陣Y對(duì)列向量x求導(dǎo)將Y對(duì)x的每一個(gè)分量求偏導(dǎo)，構(gòu)成一個(gè)超向量。注意該向量的每一個(gè)元素都是一個(gè)矩陣。dYY=F(x),=dx,F心7 .標(biāo)量y對(duì)矩陣X的導(dǎo)數(shù)類似標(biāo)量y對(duì)列向量x的導(dǎo)數(shù)，把y對(duì)每個(gè)X的元素求偏導(dǎo)，不用轉(zhuǎn)置。dydX-xii-x21ff-：X|2-X22fCXinX2njf-xm2重要結(jié)論:dXd(UTXTXu)=2XudXd(Xu-v)T(Xu-v)dX=2(Xu-v)uT8 .矩陣Y對(duì)矩陣X的導(dǎo)數(shù)將Y的每個(gè)元素對(duì)X求導(dǎo)，然后排在一起形成超級(jí)矩陣。，根據(jù)門力矩陣對(duì)列向量求導(dǎo)法則，有見2a川斕dyd2AdXdXdX出一）次2adx_dXdXdX002x次12x2丁102x0例

4、設(shè)F=，五二ay，根據(jù)（15）矩陣對(duì)矩陣求導(dǎo)法則，有v?z比瓦比b方比&5/分泥&尚1d/axar5r一辦好一也立治一辦彰&矩陣、向量求導(dǎo)法則（1）設(shè)yr=Lxia是維行向量，x是元素，則（2）列向飄阮素求導(dǎo)設(shè)y=:是加維列向量，x是元素，則%dy宓dx（3）矩陣對(duì)元素求導(dǎo)WW設(shè)y=：是矩陣，x是元素，則.%外.dYndx辦.dxdx如（4）元素對(duì)行向量求導(dǎo)設(shè)y是元素，xr=（5）元素對(duì)列向量求導(dǎo),日midydydyXJElq維仃向里，則一=r=，dxr密d%設(shè)y是元素，x=:是P維列向量，則=dx（6）元素對(duì)矩陣求導(dǎo)14設(shè)y是元素，X=：是pxq矩陣，則%為.也一%（12）矩陣對(duì)列向量求導(dǎo)設(shè)r=；八1必履再是P維列向量，則：是mx甩矩陣，X=；外5(is)設(shè)yr=xiyA是n維行向量,E4Jf=：；是pxq矩陣，則勺】%（14）列向量對(duì)矩陣求