/question/41252833/answer/195901726
參考文獻2:摘自《神經網絡與深度學習》
信息論領域有壹個解釋交叉熵的標準方法。壹般來說，這個想法是交叉熵是壹個“出乎意料”的度量。
交叉熵衡量的是我們知道y的真值時的平均“出乎意料”程度，當輸出是我們的期望值時，我們的“出乎意料”程度相對較低；當產出不是我們預期的時候，我們的“出乎意料”程度就比較高。當然，我沒有具體說明“意料之外”是什麽意思，所以措辭聽起來很空洞。但實際上，有壹種精確的信息論方法來解釋“意料之外”的含義。可惜我不知道在網上能不能找到壹篇優秀的，簡短的，自洽的關於這個話題的討論。但是如果妳想更深入地挖掘，維基百科有壹個簡短的概述，可以讓妳正確地開始。細節可以通過研究有關卡夫不等式的材料來補充，這些材料可以在Cover和Thomas寫的《信息論》壹書的第五章中找到。
參考文獻3:
交叉熵:用於衡量在給定的真實分布下，使用不真實分布指定的策略消除系統的不確定性所需付出的努力。