資訊熵是什麼，資訊熵的計算公式是什麼

1樓：博士後

資訊熵是資訊理論中的乙個概念，用於描述資訊的不確定性和隨機性。它是乙個表示資訊平均不確定性的度量，通常用於衡量信源的不確定性和資訊傳輸的效率。

資訊熵的定義是：

對於乙個離散的隨機變數x，其資訊熵h(x)定義為：

h(x) = -∑p(x) log₂p(x)

其中，p(x)是x的概率分佈，log₂表示以2為底的對數。這個式子表示對於每乙個x的取值，我們用對數來衡量其出現的概率，然後將所有的結果求和，最後取相反數。

資訊熵的單位通常是位元（bit），因為它與資訊傳輸中使用的二進位數碼有關。當資訊熵為1位元時，表示有兩種等概率的選擇；當資訊熵為n位元時，表示有2ⁿ種等概率的選擇。

資訊熵越高，表示資訊的不確定性和隨機性越大，需要更多的資訊來描述；反之，資訊熵越低，表示資訊的確定性和可**性越高，需要更少的資訊來描述。

2樓：*****bye**查重軟體

資訊熵是資訊理論中的乙個重要概念，用來描述資訊的不確定性。它是由克勞德·夏農在1948年提出的，常被用於評價資訊源的純度或者隨機事件的不確定性程度。

資訊熵的定義為：對於乙個離散型隨機變數，其資訊熵表示為$h(x) = - sum_^ p_i \log_2 p_i$，其中 $p_i$ 表示隨機變數取值為 $i$ 的概率。資訊熵越大，表示這個隨機變數的不確定性越高。

可以用乙個簡單的例子來解釋資訊熵的概念。假設有乙個硬幣，正反面各佔一半的概率。如果我們要猜測這個硬幣的朝向，那麼我們的猜測應該是隨機的，因為我們無法**硬幣的朝向。

這時，硬幣的資訊熵就是 $h(x) = = 1$。這意味著，我們需要使用一位二進位數才能表示硬幣的朝向。

當所有可能的結果都是等概率出現時，資訊熵最大，此時的資訊量最大，因為我們需要更多的資訊才能確定結果。當某些結果出現的概率比其他結果高時，資訊熵就會降低，因為我們可以通過這些高概率結果來更準確地**結果。

資訊熵在資訊理論中有著廣泛的應用，例如在資料壓縮、信源編碼、密碼學、機器學習等領域中都得到了廣泛的應用。

資訊熵的計算公式是什麼?

3樓：小楓帶你看生活

資訊熵的計算公式為h(x) =e[i(xi)] e[ log(2,1/p(xi)) p(xi)log(2,p(xi)) i=1,2,..n)。

1948年，夏農。

提出了「資訊熵」的概念，才解決了對資訊的祥亮量化度量問題。資訊熵這個詞是夏農）從熱力學。

中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。夏農用資訊熵的概念來描述信源的不確定度。

特點：資訊熵的計算是非常複雜的。而具有多重前置條件的資訊，更是幾乎不能計算的。所以在現實世界中資訊的價值大多是察宴塵不能被計算出來的。

但因為資訊熵和熱力學熵的緊密相關性，所以資訊熵是可以在衰減的過程中被測定出來的。因此資訊的價值是通過資訊的傳遞體現出來的。在沒有引入附加價值（負熵）敗禪的情況下，傳播得越廣、流傳時間越長的資訊越有價值。