首先，我們來看看損失函數的定義(平方L2範數):
其中它表示樣本數、真實數據和重建數據。現在我們從概率的角度來解釋這個現象。
在生成模型中經常提到壹個概念，抽樣。那麽到底什麽是采樣呢？為什麽從分布中取樣？
如果我們有壹批具有某些特征的數據，它們符合相同但未知的分布。比如下圖。現在我們要估計這個分布(或者擬合這個函數)。
其中表示關於輸入的參數化函數(預測函數)。優化這個公式意味著我們需要知道每個公式對應的函數值(完全指定)。很明顯，我們並不知道函數值在哪裏。那麽如何優化上面的公式呢？
采樣為我們提供了壹個解決方案。所謂采樣就是采集多對輸入輸出(，，)。如果有足夠多的代表性樣本，我們可以用離散的方式來近似上述公式的優化過程，即通過這些離散的樣本來學習這些樣本的分布。這些所謂的樣本(輸入和輸出數據的許多組合)構成了我們的訓練集。
此外，需要強調的是，這種抽樣方法在幾乎所有類似的問題中都取得了可靠的結果。另外，這種采樣非常簡單通用，這也正是我們壹直在做的。例如，在圖像標題問題中，獲取壹幅圖像及其對應的標註；比如在語音問題中得到壹段語音及其對應的文字，這些其實就是采樣。只是不同的采樣包含了大量的噪聲，反映了數據與真實分布的偏差，也就是我們最終訓練集的質量差異。
？讓我們從壹個簡單的壹維高斯分布開始
其中是歸壹化因子，它是高斯分布的平均值，代表標準差。現在從機器學習的角度來理解這個公式:對於這個高斯分布，如果我們確定了和，那麽這個分布就是確定的。理論上，我們可以從這個分布中取樣。從概率估計(PDE)的角度來看，我們可以實現我們的目標。但是實際申請時間和時間往往是未知的，需要我們來確定。根據1，我們經常在估計參數之前對壹個訓練集進行采樣。然後根據這些訓練樣本，我們可以得到真實參數的參數化估計。註意這個公式是壹般的寫法，比如這個參數化的模型可以用神經網絡等等。簡而言之，這個估計量是壹個關於。因為它們都是的函數，所以我們很容易想到壹個最簡單的估計量:
沒錯！是訓練集的統計平均值。說實話，沒那麽容易想到...我是看著伊恩·古德費勒的公式(5.30)打出來的，上面寫著:
“高斯均值參數的壹個常見估計量稱為樣本均值”。
此外，對於高斯分布，樣本均值是真實均值的無偏估計，這壹點很重要。
所以這裏我們可以把，變成上面的高斯公式。假設我們取標準差為1，公式可以簡化為:
？
取兩邊的對數，可以得到:
註意，我們得到了與損失函數相同的優化目標。總而言之:
妳可以放壹張經典圖片:
回顧上面的討論，我們實際上做了壹個假設:這批數據都是來自同壹個高斯分布的樣本。這個高斯分布的均值就是樣本均值，標準差是1。註意，最大似然估計框架下假設高斯分布是很常見的套路，因為高斯分布在所有分布中熵(不確定性)最大，也就是說高斯分布本身註入的先驗知識最少。
說了這麽多，損失函數和圖像模糊有什麽關系？讓我們考慮壹個例子，看看生活中的真實數據是什麽樣的。
如果我們在谷歌圖片中搜索壹個詞“汽車”，會得到很多結果。這裏面包括各種顏色、各種類型的車，甚至連車模都能找到(哪個車模？換句話說，根據壹個簡單的詞Car，生成圖像的方式有很多種，不同方式生成的圖像可能有相同的概率(比如我們看到賓利或者汽車總動員就會想到Car)。再者，我們可以認為所有與汽車相關的圖像的真實分布有很多峰，比如壹輛跑車是峰，壹個車模是峰，等等。對於這種圖像分布，我們稱之為多模態。
註:其實我還是不明白這裏的多模態是什麽意思。對於多模態，Ian意味著許多任務對應於相同輸入的多個正確輸出。那些不屬於多式聯運的呢？很多圖像去噪任務，比如輸入有噪圖像，輸出去噪圖像，都算多模態？還是生活中的影像都是多模態的？
於是問題就出現了。如果我們使用(或)作為損失函數，潛在的假設是我們收集的所有樣本都來自同壹個高斯分布。然而，生活中的實際圖像具有許多特征，並且大多數圖像分布流形具有不止壹個峰值。如果我們強行用單峰高斯分布去擬合多峰數據分布，會發生什麽？
讓我們以兩個峰值的雙峰分布為例。如果我們的數據集由兩種明顯不同類型的數據組成，則數據分布中會出現兩個峰值。因為損失函數需要減少數據集的生成分布和經驗分布(雙峰分布)之間的直接差距，而生成分布有兩種類型，我們的模型會盡力“滿足”這兩個子分布，最終的優化結果如下圖所示，也就是兩個峰值之間的壹個高斯分布。直觀來看，這是因為當模型處於中間位置時，整體距離最小。
延伸到實際應用中就是說，當我們在由loss訓練的分布中進行采樣時，雖然采集到的樣本屬於數據集真實分布的概率很低，但由於處於中間位置，還是會被大量采集。所以我們最終得到的生成樣本本質上是兩種模式的數據集采集的樣本的平均效果，所以產生了壹個模糊的圖像。
有許多替代損失的方法可以用來緩解這種現象。比如GAN損耗甚至損耗會取得相對尖銳的結果。直觀來說，對於同壹個輸入，GAN loss並不是對所有可能的樣本進行平均，而是隨機取出壹個樣本作為生成樣本。這種現象有理論解釋嗎？為什麽GAN loss可以實現這個操作？)
在2017的壹篇論文《單幅圖像超分辨率的紋理傳遞不合理的有效性》中，作者也提到了在優化MSE時，由於“回歸均值”問題，預測結果丟失了高頻信息。