1樓：匿名使用者
顯然不是物理概念
資訊熵：資訊的基本作用就是消除人們對事物的不確定性。多數粒子組合之後，在它似像非像的形態上押上有價值的數碼，具體地說，這就是一個在博弈對局中現象資訊的混亂。
夏農指出，它的準確資訊量應該是
-(p1*log(2,p1) + p2 * log(2,p2) + ．．． +p32 *log(2,p32))，
資訊熵其中，p1，p2 ， ．．．，p32 分別是這 32 個球隊奪冠的概率。夏農把它稱為「資訊熵」 (entropy)，一般用符號 h 表示，單位是位元。
有興趣的讀者可以推算一下當 32 個球隊奪冠概率相同時，對應的資訊熵等於五位元。有數學基礎的讀者還可以證明上面公式的值不可能大於五。對於任意一個隨機變數 x（比如得冠軍的球隊），它的熵定義如下：
變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。
資訊熵是資訊理論中用於度量資訊量的一個概念。一個系統越是有序，資訊熵就越低；
反之，一個系統越是混亂，資訊熵就越高。所以，資訊熵也可以說是系統有序化程度的一個度量。
熵的概念源自熱物理學。
假定有兩種氣體a、b，當兩種氣體完全混合時，可以達到熱物理學中的穩定狀態，此時熵最高。如果要實現反向過程，即將a、b完全分離，在封閉的系統中是沒有可能的。只有外部干預（資訊），也即系統外部加入某種有序化的東西（能量），使得a、b分離。
這時，系統進入另一種穩定狀態，此時，資訊熵最低。熱物理學證明，在一個封閉的系統中，熵總是增大，直至最大。若使系統的熵減少（使系統更加有序化），必須有外部能量的干預。
資訊熵的計算是非常複雜的。而具有多重前置條件的資訊，更是幾乎不能計算的。所以在現實世界中資訊的價值大多是不能被計算出來的。
但因為資訊熵和熱力學熵的緊密相關性，所以資訊熵是可以在衰減的過程中被測定出來的。因此資訊的價值是通過資訊的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的資訊越有價值。
熵首先是物理學裡的名詞。
在傳播中是指資訊的不確定性，一則高資訊度的資訊熵是很低的,低資訊度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用資訊熵的改變數這個統一的標尺來度量。
2樓：匿名使用者
不是，資訊熵也是傳播學的概念。是來評價資訊價值的,是資訊量與資訊價值的比值，熵值越低，代表資訊價值越大，樓主可以看手機qq瀏覽器移動網際網路大會上的報告，未來的趨勢是進入降熵的時代。
資訊熵是什麼？什麼是熵？
3樓：匿名使用者
在資訊理論中，熵抄被用來衡量一個隨機變數出現的期望值。它代表了在被接收之前，訊號傳輸過程中損失的資訊量，又被稱為資訊熵。資訊熵也稱信源熵、平均自資訊量。
在2023年，克勞德·艾爾伍德·夏農將熱力學的熵，引入到資訊理論，因此它又被稱為夏農熵。
4樓：匿名使用者
資訊是個很抽copy象的概念。我們bai常常說資訊很多，或者資訊du較少，zhi但卻很難說清楚資訊到底有多少。比dao如一本五十萬字的中文書到底有多少資訊量。
熵表示物質系統狀態的一個物理量(記為s)，它表示該狀態可能出現的程度。在熱力學中，是用以說明熱學過程不可逆性的一個比較抽象的物理量。孤立體系中實際發生的過程必然要使它的熵增加。
什麼是資訊熵？
5樓：春風化雨時
資訊是個很抽象的概念。人們常常說資訊很多，或者資訊較少，但卻很難說內清楚資訊到底有多少。比如一容
本五十萬字的中文書到底有多少資訊量。
直到2023年，夏農提出了「資訊熵」的概念，才解決了對資訊的量化度量問題。資訊熵這個詞是c．e．夏農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。
夏農用資訊熵的概念來描述信源的不確定度。
資訊理論之父克勞德·艾爾伍德·夏農第一次用數學語言闡明瞭概率與資訊冗餘度的關係。
資訊理論之父 c. e. shannon 在 1948 年發表的**「通訊的數學理論（ a mathematical theory of communication ）」中， shannon 指出，任何資訊都存在冗餘，冗餘大小與資訊中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關。
shannon 借鑑了熱力學的概念，把資訊中排除了冗餘後的平均資訊量稱為「資訊熵」，並給出了計算資訊熵的數學表示式。
6樓：仙葉的故事
資訊熵資訊是個很抽抄
象的概bai念。人們常常du說資訊很多，或者資訊較少，但zhi卻很難說清楚dao資訊到底有多少。比如一本五十萬字的中文書到底有多少資訊量。
直到2023年，夏農提出了「資訊熵」的概念，才解決了對資訊的量化度量問題。資訊熵這個詞是c．e．夏農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。
夏農用資訊熵的概念來描述信源的不確定度。
資訊理論之父克勞德·艾爾伍德·夏農第一次用數學語言闡明瞭概率與資訊冗餘度的關係。
中文名資訊熵
外文名informationentropy提出者c. e. shannon
時 間
1948 年
借鑑望採納！
7樓：free我是你浩哥
一分鐘瞭解資訊量與資訊熵
資訊熵和熱力學熵有什麼關係嗎？ 10
8樓：匿名使用者
也許你把它理解得過於複雜了，熵就是用來表徵一個
系統的無序程度的物理概內念，熵越大，那麼系統就越混容亂。它出自熱學，但是已經滲透到了各個學科及領域，系統總是自發地向著熵增大的方向進行變化，計算機的資訊儲存必然是使熵變小，也必然要消耗相應能量，這也就和第二類永動機為什麼不可能實現是一個道理，熵增加原理！
什麼是資訊熵***
9樓：亡靈迫恫
「熵」是德國物理學家克勞修斯在１８５０年創造的一個術語，他用它來表示任何一種能量在空間中分佈的均勻程度。能量分佈得越均勻，熵就越大。如果對於我們所考慮的
那個系統來說，能量完全均勻地分佈，那麼，這個系統的熵就達到最大值。
在克勞修斯看來，在一個系統中，如果聽任它自然發展，那麼，能量差總是傾向於消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。
如果把兩個水庫連線起來，並且其中一個水庫的水平面高於另一個水庫，那麼，萬有引力就會使一個水庫的水面降低，而使另一個水面升高，直到兩個水庫的水面均等，而勢能也取平為止。
因此，克勞修斯說，自然界中的一個普遍規律是：能量密度的差異傾向於變成均等。換句話說，「熵將隨著時間而增大」。
對於能量從密度較高的地方向密度較低的地方流動的研究，過去主要是對於熱這種能量形態進行的。因此，關於能量流動和功－能轉換的科學就被稱為「熱力學」，這是從希
臘文「熱運動」一詞變來的。
人們早已斷定，能量既不能創造，也不能消滅。這是一條最基本的定律；所以人們把它稱為「熱力學第一定律」。
克勞修斯所提出的熵隨時間而增大的說法，看來差不多也是非常基本的一條普遍規律，所以它被稱為「熱力學第二定律」。
舉例來講果我們能看到橡皮筋的分子結構，我們會發現它的結構在拉緊和放鬆的狀態時是不一樣的。放鬆的時候它的分子結構像一團亂麻交織在一起。而在把橡皮筋拉長的時候，那些如同鏈狀的分子就會沿著拉伸的方向比較整齊地排列起來。
於是我們可以看到兩種狀態：一種是自然，或者自發的狀態。在這種狀態下結構呈「混亂」或 「無序」狀。
而另一種是在外界的拉力下規則地排列起來的狀態。這種「無序」 的狀態還可以從分子的擴散中觀察到。用一個密封的箱子，中間放一個隔板。
在隔板的左邊空間注入煙。我們把隔板去掉，左邊的煙就會自然 (自發)地向右邊擴散，最後均勻地佔滿整個箱體。這種狀態稱為「無序」。
在物理學裡我們可以用「熵」的概念來描述某一種狀態自發變化的方向。比如把有規則排列的狀態稱為「低熵」而混亂的狀態對應於「高熵」。而熵則是無序性的定量量度。
熱力學第二定律的結論是：「一個孤立系統的熵永不減少。」換句話說，物質世界的狀態總是自發地轉變成無序；「從低熵」變到「高熵」。
比如，當外力去除之後，整齊排列的分子就會自然地向紊亂的狀態轉變；而箱子左邊的煙一定會自發地向右邊擴散。這就是著名的「熵增定律」。
資訊熵的定義與熵的定義相似，我們說的資訊熵一般是指資訊理論的夏農理論。
在訊息傳遞系統中，其傳輸的是訊息；但訊息傳遞過程中，最普通，卻容易被忽視的一點是：收信人在收到訊息以前是不知道訊息的具體內容的。訊息的傳遞過程，對收信人來說，是一個從不知到知的過程，或者說是一個從不確定到確定的過程。
從通訊過程來看，收信者的所謂「不知」就是不知道傳送端將傳送描述何種運動狀態的訊息。例如，看天氣預報前，不清楚天氣的將出現何種狀態；看天氣預報後，這種不確定性就大大縮小了。所以通訊過程是一種從不確定到確定的過程。
不確定性消除了，收信者就獲得了資訊。所以夏農認為， 資訊是不定性的減少或消除。即
i = s(q/x)-s(q/x')
i代表資訊，q 代表對某件事的疑問，s 代表不定性，x為收到訊息前關於q的知識，x' 為收到訊息後關於q 的知識。
資訊熵並不是負熵，它描述的是信源 不確定性而不是 不確定性的減少。資訊熵大表示信源的不確定程度較大，同樣是一種無序性。夏農的資訊概念是人們對事物瞭解的不確定性的減少或消除，這一定義關注的是通訊中的資訊問題，所以夏農資訊是一種與通道相關的「資訊」。
信源、通道是信宿成了認識過程的不可分割的部分，主客體是不可分的；夏農的概率，是主體對客體（信宿對信源）的一種先驗主觀認識，這本身就加入了主體的因素。因此，作為「通訊中的數學理論」，信源與信宿在通道聯絡下的「互資訊」，才是夏農的「資訊」。
通道的任務是以訊號方傳輸和存貯資訊，通過資訊處理後，一般只會增加資訊的損失，不可能增加原來獲得的資訊。這意味著，在任何資訊傳輸系統中，最後獲得的資訊至多是信源所提供的資訊；資訊一旦丟失，如不觸及信源，就不能再恢復。這就是 資訊不增原理，又稱 資料處理定理，熵只是平均不確定性的描述，而不確定性的消除才是接受端獲得的資訊量，資訊量不應該與不確定性混為一談。
資訊理論並不是夏農一個人建立的，實際上它是由好幾位科學家差不多在同一時候提出來的。夏農從通訊編碼方面，維納從濾波理論方面，統計學家費希爾（fisher ）從古典統計理論方面，研究了資訊的理論問題。但維納與夏農在資訊概念的理解上有些不同
資訊理論並不是夏農一個人建立的，實際上它是由好幾位科學家差不多在同一時候提出來的。夏農從通訊編碼方面，維納從濾波理論方面，統計學家費希爾（fisher ）從古典統計理論方面，研究了資訊的理論問題。但維納與夏農在資訊概念的理解上有些不同
資訊熵並不是負熵，它描述的是信源不確定性而不是不確定性的減少。資訊熵大表示信源的不確定程度較大，同樣是一種無序性。夏農的資訊概念是人們對事物瞭解的不確定性的叫少或消除，實際上是「互資訊」；因為這一定義關注的是通訊中的資訊問題，所以夏農資訊是一種與通道相關的「資訊」。
什麼是熵變，它的定義是什麼熵的物理意義是什麼？它是如何被定義的？
熵的概念是由德國物理學家克勞修斯於1865年所提出.克氏定義一個熱力學系統中熵的增減 在一個可逆性程式裡,被用在恆溫的熱的總數 q 玻爾茲曼定義s k ln 公式中的k是玻爾茲曼常數,則為該巨集觀狀態中所包含之微觀狀態數量.這個被稱為玻爾茲曼原理的假定是統計力學的基礎.作用 自發反應總是向體系與環境...
熵增和熵產是什麼，熵是狀態函式，為什麼可逆絕熱和不可逆絕熱的熵變不同
熵是狀態的單植函式，熵增等於初態與末態之間任意一個可逆過程中的熱溫比的積分 熵增原理 孤立系統中的可逆過程熵不變 孤立私系統中的不可逆過程其熵要增加 定律內容 熱量從高溫物體流向低溫物體是不可逆的。克勞修斯引入了熵的概念來描述這種不可逆過程。在熱力學中，熵是系統的狀態函式，它的物理表示式為 s dq...
熵的物理意義是什麼？它是如何被定義的
因題幹條件不完整，缺少文字，不能正常作答。熵 的物理意義是什麼？它是如何被定義的 熵 拼音 sh ng 熵的概念是由德國物理學家克勞修斯於1865年所提出。化學及熱力學中所指的熵，是一種測量在動力學方面不能做功的能量總數。熵亦被用於計算一個系統中的失序現象。熵是一個描述系統狀態的函式，但是經常用熵的...