機器學(xué)習(xí)19 種損失函數(shù)介紹

1、1L1范數(shù)損失LILoss計算output和target之差的絕對值。torch.nn.L1Loss(reduction=mean)參數(shù)：reduction-三個值，none:不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。2均方誤差損失MSELoss計算output和target之差的均方差。torch.nn.MSELoss(reduction=mean)參數(shù)：reduction-三個值，none:不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。3交叉熵損失CrossEntropyLoss當(dāng)訓(xùn)練有C個類別的分類問

2、題時很有效可選參數(shù)weight必須是一個1維Tensor,權(quán)重將被分配給各個類別.對于不平衡的訓(xùn)練集非常有效。在多分類任務(wù)中，經(jīng)常采用softmax激活函數(shù)+交叉熵損失函數(shù)，因為交叉熵描述了兩個概率分布的差異，然而神經(jīng)網(wǎng)絡(luò)輸出的是向量，并不是概率分布的形式。所以需要softmax激活函數(shù)將一個向量進行“歸一化”成概率分布的形式，再采用交叉熵損失函數(shù)計算loss。torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100,reduction=mean)參數(shù)：weight(Tensor,optional)-自定義的每個類別的權(quán)重.必須是一個長度為

3、C的Tensorignore_index(int,optional)-設(shè)置一個目標值，該目標值會被忽略,從而不會影響到輸入的梯度。reduction-三個值，none:不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。4KL散度損失KLDivLoss計算input和target之間的KL散度。KL散度可用于衡量不同的連續(xù)分布之間的距離,在連續(xù)的輸出分布的空間上(離散采樣)上進行直接回歸時很有效.torch.nn.KLDivLoss(reduction=mean)參數(shù)：reduction-三個值，none:不使用約簡；mean:返回loss和的平均值；sum

4、:返回loss的和。默認：mean。5二進制交叉熵損失BCELoss二分類任務(wù)時的交叉熵計算函數(shù)。用于測量重構(gòu)的誤差,例如自動編碼機.注意目標的值ti的范圍為0到1之間.torch.nn.BCELoss(weight=None,reduction=mean)參數(shù)：weight(Tensor,optional)自定義的每個batch元素的loss的權(quán)重.必須是一個長度為“nbatch”的的TensorBCEWithLogitsLossBCEWithLogitsLoss損失函數(shù)把Sigmoid層集成到了BCELoss類中.該版比用一個簡單的Sigmoid層和BCELoss在數(shù)值上更穩(wěn)定,因為把這兩

5、個操作合并為一個層之后,可以利用log-sum-exp的技巧來實現(xiàn)數(shù)值穩(wěn)定.torch.nn.BCEWithLogitsLoss(weight=None,reduction=mean,pos_weight=None)參數(shù)：weight(Tensor,optional)自定義的每個batch元素的loss的權(quán)重.必須是一個長度為“nbatch”的TensorMarginRankingLosstorch.nn.MarginRankingLoss(margin=0.0,reduction=mean)對于mini-batch(小批量)中每個實例的損失函數(shù)如下：loss他=inax(07一些攵伍1-工2

6、)+margi口參數(shù)：margin:默認值0HingeEmbeddingLosstorch.nn.HingeEmbeddingLoss(margin=1.0,reduction=mean)對于mini-batch(小批量)中每個實例的損失函數(shù)如下：參數(shù)：margin:默認值19多標簽分類損失MultiLabelMarginLosstorch.nn.MultiLabelMarginLoss(reduction=mean)對于mini-batch(小批量)中的每個樣本按如下公式計算損失:10平滑版L1損失SmoothL1Loss也被稱為Huber損失函數(shù)。torch.nn.SmoothL1Loss

7、(reduction=mean)其中112分類的logistic損失SoftMarginLosstorch.nn.SoftMarginLoss(reduction=mean)12多標簽one-versus-all損失MultiLabelSoftMarginLosstorch.nn.MultiLabelSoftMarginLoss(weight=None,reduction=mean)歸血切二一料工爾*10瞅1+訥一冰尸）+（1-呱）*log（駕（彎防13cosine損失CosineEmbeddingLosstorch.nn.CosineEmbeddingLoss(margin=0.0,redu

8、ction=mean)loss(a:,y)=1gos(軋瞬)，ify=Iniax(0,a?e)margin),ify=1參數(shù)：margin:默認值014多類別分類的hinge損失MultiMarginLosstorch.nn.MultiMarginLoss(p=1,margin=1.0,weight=None,reduction=mean)參數(shù)：p=1或者2默認值：1margin:默認值115三元組損失TripletMarginLoss和孿生網(wǎng)絡(luò)相似，具體例子：給一個A,然后再給B、C,看看B、C誰和A更像。torch.nn.TripletMarginLoss(margin=1.0,p=2.0

9、,eps=1e-06,swap=False,reduction=mean)L(a3p?n)=-d(at7nt)+margin,0其中：必珀/)=|xx-yt|L16連接時序分類損失CTCLossCTC連接時序分類損失，可以對沒有對齊的數(shù)據(jù)進行自動對齊，主要用在沒有事先對齊的序列化數(shù)據(jù)訓(xùn)練上。比如語音識別、ocr識別等等。torch.nn.CTCLoss(blank=0,reduction=mean)參數(shù)：reduction-三個值，none:不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。17負對數(shù)似然損失NLLLoss負對數(shù)似然損失用于訓(xùn)練C個類別的分

10、類問題.torch.nn.NLLLoss(weight=None,ignore_index=-100,reduction=mean)參數(shù)：weight(Tensor,optional)-自定義的每個類別的權(quán)重.必須是一個長度為C的Tensorignore_index(int,optional)-設(shè)置一個目標值，該目標值會被忽略，從而不會影響到輸入的梯度.NLLLoss2d對于圖片輸入的負對數(shù)似然損失.它計算每個像素的負對數(shù)似然損失.torch.nn.NLLLoss2d(weight=None,ignore_index=-100,reduction=mean)參數(shù)：weight(Tensor,optional)-自定義的每個類別的權(quán)重.必須是一個長度為C的Tensorreduction-三個值，none:不使用約簡；mean:返回loss和的平均值;sum:返回loss的和。默認：mean。PoissonNLLLoss目標值為泊松分布的負對數(shù)似然損失torch.nn.PoissonNLLLoss(log_input=True,full=False,eps=1e-08,reduction=mean)參數(shù)：log_input(bool,optional)-如果設(shè)置為True,loss將會按照公式exp(input)-target*input來計算