資訊熵的資訊含義,資訊熵的理解

1樓：小小新

資訊是物質、能量、資訊及其屬性的標示。【逆維納資訊定義】

資訊是確定性的增加。【逆夏農資訊定義】

資訊是事物現象及其屬性標識的集合。【2023年】資訊理論的鼻祖之一claude e. shannon把資訊（熵）定義為離散隨機事件的出現概率。

所謂資訊熵，是一個數學上頗為抽象的概念，在這裡不妨把資訊熵理解成某種特定資訊的出現概率。而資訊熵和熱力學熵是緊密相關的。根據charles h.

ben***t對maxwell's demon的重新解釋，對資訊的銷燬是一個不可逆過程，所以銷燬資訊是符合熱力學第二定律的。而產生資訊，則是為系統引入負（熱力學）熵的過程。所以資訊熵的符號與熱力學熵應該是相反的。

一般而言，當一種資訊出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從資訊傳播的角度來看，資訊熵可以表示資訊的價值。這樣子我們就有一個衡量資訊價值高低的標準，可以做出關於知識流通問題的更多推論。

h(x) = e[i(xi)] = e[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。p(x)表示輸出概率函式。變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大.

資訊熵：資訊的基本作用就是消除人們對事物的不確定性。多數粒子組合之後，在它似像非像的形態上押上有價值的數碼，具體地說，這就是一個在博弈對局中現象資訊的混亂。

夏農指出，它的準確資訊量應該是

-(p1*log(2,p1) + p2 * log(2,p2) +　．．．　+p32 *log(2,p32))，

其中，p1，p2 ，　．．．，p32 分別是這 32 個球隊奪冠的概率。夏農把它稱為「資訊熵」 (entropy)，一般用符號 h 表示，單位是位元。

有興趣的讀者可以推算一下當 32 個球隊奪冠概率相同時，對應的資訊熵等於五位元。有數學基礎的讀者還可以證明上面公式的值不可能大於五。對於任意一個隨機變數 x（比如得冠軍的球隊），它的熵定義如下：

變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。

資訊熵是資訊理論中用於度量資訊量的一個概念。一個系統越是有序，資訊熵就越低；

反之，一個系統越是混亂，資訊熵就越高。所以，資訊熵也可以說是系統有序化程度的一個度量。

熵的概念源自熱物理學。

假定有兩種氣體a、b，當兩種氣體完全混合時，可以達到熱物理學中的穩定狀態，此時熵最高。如果要實現反向過程，即將a、b完全分離，在封閉的系統中是沒有可能的。只有外部干預（資訊），也即系統外部加入某種有序化的東西（能量），使得a、b分離。

這時，系統進入另一種穩定狀態，此時，資訊熵最低。熱物理學證明，在一個封閉的系統中，熵總是增大，直至最大。若使系統的熵減少（使系統更加有序化），必須有外部能量的干預。

資訊熵的計算是非常複雜的。而具有多重前置條件的資訊，更是幾乎不能計算的。所以在現實世界中資訊的價值大多是不能被計算出來的。

但因為資訊熵和熱力學熵的緊密相關性，所以資訊熵是可以在衰減的過程中被測定出來的。因此資訊的價值是通過資訊的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的資訊越有價值。

熵首先是物理學裡的名詞。

在傳播中是指資訊的不確定性，一則高資訊度的資訊熵是很低的,低資訊度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用資訊熵的改變數這個統一的標尺來度量。

資訊熵的理解

2樓：匿名使用者

不矛盾。前一句和後一句都省略了前提，完整如下：

1、當系統的有序狀態一致時，資料越集中的地方熵值越小，資料越分散的地方熵值越大。這是從資訊的完整性上進行的描述。

2、當資料量一致時，「系統越有序，熵值越低；系統越混亂或者分散，熵值越高。這是從資訊的有序性上進行的描述。

有序性和資料量二者並沒有必然的聯絡，不能說資料量越大，有序性越差或越好，也不能說系統越有序，資料量越大或越小。這兩者是兩個不同的描述層面，所以是不矛盾的。

3樓：匿名使用者

在物理學上說，熵 entrophy 就是「混亂」程度的量度，所以,」系統越有序，熵值越低；系統越混亂或者分散，熵值越高」。

在資訊理論上說，資訊就是負熵negtrophy。所以，「資訊資料」越集中的地方熵值越小, 「資訊資料」越分散的地方熵值越大。兩者是沒有矛盾的。

不過要注意，資訊量並不是物理量，資訊資料是用二進位制binary 量度的,與物理學的十進位制量度並不是相同的概念。

參考資料：生命真相劉量衡著湖南科技出版社，2012。

4樓：匿名使用者

熵在物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。在資訊理論中，用熵來表示不確定性和無組織性的度量，夏農認為資訊就是不確定性的減少，也就是熵值更少，資訊增長是一個逆熵的過程（熱力學中不可能）。這是後面一句話的解釋，不知道前面一句出處是哪，要聯絡下上下文讀一下才能理解

我覺得說的資料越集中可能也是指資訊的完整性更強，不確定更少..但是網路資料的資訊也和傳統理解不同，像波茲曼認為資訊要帶來行動，新聞是一種娛樂大於資訊