為什么交叉熵和KL散度在作為損失函數時(shí)是近似相等的

來(lái)源：DeepHub IMBA

在這里我們將要驗證為什么最小化交叉熵而不是使用 KL 散度會(huì )得到相同的輸出。所以我們首先從正態(tài)分布中抽取兩個(gè)概率分布 p 和 q。如圖 1 所示，兩種分布都不同，但是它們共享一個(gè)事實(shí)，即兩者都是從正態(tài)分布中采樣的。

熵是系統不確定性的度量。直觀(guān)地說(shuō)它是從系統中消除不確定性所需的信息量。系統各種狀態(tài)的概率分布 p 的熵可以計算如下：

交叉熵是指存在于兩個(gè)概率分布之間的信息量。在這種情況下，分布 p 和 q 的交叉熵可以表述如下：

兩個(gè)概率分布之間的散度是它們之間存在的距離的度量。概率分布 p 和 q 的KL散度（ KL-Divergence ）可以通過(guò)以下等式測量：

其中方程右側的第一項是分布 p 的熵，第二項是分布 q 對 p 的期望。在大多數實(shí)際應用中，p 是實(shí)際數據/測量值，而 q 是假設分布。對于 GAN，p 是真實(shí)圖像的概率分布，而 q 是生成的假圖像的概率分布。

現在讓我們驗證 KL 散度確實(shí)與使用交叉熵分布 p 和 q 相同。我們分別在 python 中計算熵、交叉熵和 KL 散度。

右側的第二項，即分布 p 的熵可以被認為是一個(gè)常數，常數的導數是0，對反向傳播不會(huì )有影響。因此我們可以得出結論，最小化交叉熵代替 KL 散度會(huì )出現相同的輸出，因此可以近似相等。

在本文中，我們了解了熵、交叉熵和 kl-散度的概念。然后我們回答了為什么這兩個(gè)術(shù)語(yǔ)在深度學(xué)習應用程序中經(jīng)?；Q使用。我們還在 python 中實(shí)現并驗證了這些概念。完整代碼參考這個(gè)地址： https://github.com/azad-academy/kl_cross_entropy.git
引用:[1] Goodfellow, I. et al., Generative adversarial nets. In Advances in  neural information processing systems. pp. 2672–2680, 2014[2]https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
作者：J. Rafid S., PhD