Pytorch學(xué)習之19種損失函數

來(lái)源：CSDN-mingo_敏

地址：

https://blog.csdn.net/shanglianlm/article/details/85019768

基本用法

criterion = LossCriterion() #構造函數有自己的參數loss = criterion(x, y) #調用標準時(shí)也有參數

計算 output 和 target 之差的絕對值。

torch.nn.L1Loss(reduction='mean')

參數：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

2  均方誤差損失 MSELoss

計算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

參數：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

3  交叉熵損失 CrossEntropyLoss

當訓練有 C 個(gè)類(lèi)別的分類(lèi)問(wèn)題時(shí)很有效. 可選參數 weight 必須是一個(gè)1維 Tensor, 權重將被分配給各個(gè)類(lèi)別. 對于不平衡的訓練集非常有效。

在多分類(lèi)任務(wù)中，經(jīng)常采用 softmax 激活函數+交叉熵損失函數，因為交叉熵描述了兩個(gè)概率分布的差異，然而神經(jīng)網(wǎng)絡(luò )輸出的是向量，并不是概率分布的形式。所以需要 softmax激活函數將一個(gè)向量進(jìn)行“歸一化”成概率分布的形式，再采用交叉熵損失函數計算 loss。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')

參數：

weight (Tensor, optional) – 自定義的每個(gè)類(lèi)別的權重. 必須是一個(gè)長(cháng)度為 C 的 Tensor

ignore_index (int, optional) – 設置一個(gè)目標值, 該目標值會(huì )被忽略, 從而不會(huì )影響到 輸入的梯度。

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

4  KL 散度損失 KLDivLoss

計算 input 和 target 之間的 KL 散度。KL 散度可用于衡量不同的連續分布之間的距離, 在連續的輸出分布的空間上(離散采樣)上進(jìn)行直接回歸時(shí) 很有效.

torch.nn.KLDivLoss(reduction='mean')

參數：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

5  二進(jìn)制交叉熵損失 BCELoss

二分類(lèi)任務(wù)時(shí)的交叉熵計算函數。用于測量重構的誤差, 例如自動(dòng)編碼機. 注意目標的值 t[i] 的范圍為0到1之間.

torch.nn.BCELoss(weight=None, reduction='mean')

參數：

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權重. 必須是一個(gè)長(cháng)度為 “nbatch” 的 的 Tensor

6  BCEWithLogitsLoss

BCEWithLogitsLoss損失函數把 Sigmoid 層集成到了 BCELoss 類(lèi)中. 該版比用一個(gè)簡(jiǎn)單的 Sigmoid 層和 BCELoss 在數值上更穩定, 因為把這兩個(gè)操作合并為一個(gè)層之后, 可以利用 log-sum-exp 的 技巧來(lái)實(shí)現數值穩定。

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

參數：

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權重. 必須是一個(gè)長(cháng)度 為 “nbatch” 的 Tensor

torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')

對于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數如下：

參數：

margin:默認值0

torch.nn.HingeEmbeddingLoss(margin=1.0,  reduction='mean')

對于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數如下:

參數：

margin:默認值1

torch.nn.MultiLabelMarginLoss(reduction='mean')

對于mini-batch(小批量) 中的每個(gè)樣本按如下公式計算損失:

也被稱(chēng)為 Huber 損失函數。

torch.nn.SmoothL1Loss(reduction='mean')

torch.nn.SoftMarginLoss(reduction='mean')

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')

參數：

margin:默認值0

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None,  reduction='mean')

參數：

p=1或者2 默認值：1margin:默認值1

和孿生網(wǎng)絡(luò )相似，具體例子：給一個(gè)A，然后再給B、C，看看B、C誰(shuí)和A更像。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean')

其中：

16 連接時(shí)序分類(lèi)損失 CTCLoss

CTC連接時(shí)序分類(lèi)損失，可以對沒(méi)有對齊的數據進(jìn)行自動(dòng)對齊，主要用在沒(méi)有事先對齊的序列化數據訓練上。比如語(yǔ)音識別、ocr識別等等。

torch.nn.CTCLoss(blank=0, reduction='mean')

參數：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

17  負對數似然損失 NLLLoss

負對數似然損失. 用于訓練 C 個(gè)類(lèi)別的分類(lèi)問(wèn)題.

torch.nn.NLLLoss(weight=None, ignore_index=-100,  reduction='mean')

參數：

weight (Tensor, optional) – 自定義的每個(gè)類(lèi)別的權重. 必須是一個(gè)長(cháng)度為 C 的 Tensor

ignore_index (int, optional) – 設置一個(gè)目標值, 該目標值會(huì )被忽略, 從而不會(huì )影響到 輸入的梯度.

18  NLLLoss2d

對于圖片輸入的負對數似然損失. 它計算每個(gè)像素的負對數似然損失。

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')

參數：

weight (Tensor, optional) – 自定義的每個(gè)類(lèi)別的權重. 必須是一個(gè)長(cháng)度為 C 的 Tensor

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

19  PoissonNLLLoss

目標值為泊松分布的負對數似然損失：

torch.nn.PoissonNLLLoss(log_input=True, full=False,  eps=1e-08,  reduction='mean')

參數：

log_input (bool, optional) – 如果設置為 True , loss 將會(huì )按照公 式 exp(input) - target * input 來(lái)計算, 如果設置為 False , loss 將會(huì )按照 input - target * log(input+eps) 計算.

full (bool, optional) – 是否計算全部的 loss, i. e. 加上 Stirling 近似項 target * log(target) - target + 0.5 * log(2 * pi * target).

eps (float, optional) – 默認值: 1e-8

參考資料：pytorch loss function 總結http://www.voidcn.com/article/p-rtzqgqkz-bpg.html