資訊量的計算,資訊量的計算方法

2021-05-21 07:02:08 字數 2283 閱讀 3064

1樓:

資訊量 i=log2(1/p)

其中 p是概率, log2指以二為底的對數。

對於第一問,「不能使用」, 其概率為25%(35度以下)+5%(40度以上)=30%

資訊量 i=log2(1/0.3)=1.7第二問,"能使用", 其概率p=1-0.

3=0.7資訊量 i=log2(1/0.7)=0.

515第三問,「因為裝置在冷卻中不能使用」 ,其概率p為5%資訊量 i=log2(1/0.05)=4.322參見《通訊原理》,樊昌信第五版,第八頁。

資訊量的計算方法

2樓:百度使用者

資訊理論創始人c.e.shannon,2023年首次使用位元(bit)概念:1(bit)= 。它相當於對二個可

能結局所作的一次選擇量。資訊理論採用對隨機分佈概率取對數的辦法,解決了不定度的度量問題。

m個物件集合中的第i個物件,按n個觀控指標測度的狀態集合的

全資訊量ti= 。

從試驗後的結局得知試驗前的不定度的減少,就是申農界定的資訊量,即

自由資訊量fi=-∑pi ,(i=1,2,…,n)。

式中pi是與隨機變數xi對應的觀控權重,它趨近對映其實際狀態的分佈概率。由其內在分佈構成引起的在試驗前的不定度的減少,稱為先驗資訊或謂約束資訊量。風險是潛藏在隨機變數尚未變之前的內在結構能(即形成該種結構的諸多作用中還在繼續起作用的有效能量)中的。

可以顯示、對映這種作用的是

約束資訊量bi=ti-fi。

研究表明,m個觀控物件、按n個觀控指標進行規範化控制的比較收益優選序,與其自由資訊量fi之優選序趨近一致;而且各觀控物件「愈自由,風險愈小」;約束資訊量bi就是對映其風險的本徵性測度,即風險熵。

把資訊描述為資訊熵,是狀態量,其存在是絕對的;資訊量是熵增,是過程量,是與資訊傳播行為有關的量,其存在是相對的。在考慮到系統性、統計性的基礎上,認為:資訊量是因具體信源和具體信宿範圍決定的,描述資訊潛在可能流動價值的統計量。

本說法符合熵增原理所要求的條件:

一、「具體信源和信宿範圍」構成孤立系統,資訊量是系統行為而不僅僅是信源或信宿的單獨行為。

二、界定了資訊量是統計量。此種表述還說明,資訊量並不依賴具體的傳播行為而存在,是對「具體信源和具體信宿」的某資訊潛在可能流動價值的評價,而不是針對已經實現了的資訊流動的。由此,資訊量實現了資訊的度量。

資訊量的計算過程

3樓:百度使用者

如何計算資訊量的多少?在日常生活中,極少發生的事件一旦發生是容易引起人們關注的,而司空見慣的事不會引起注意,也就是說,極少見的事件所帶來的資訊量多。如果用統計學的術語來描述,就是出現概率小的事件資訊量多。

因此,事件出現得概率越小,資訊量愈大。即資訊量的多少是與事件發生頻繁(即概率大小)成反比。

⒈如已知事件xi已發生,則表示xi所含有或所提供的資訊量

h(xi) = −

例題:若估計在一次國際象棋比賽中謝軍獲得冠軍的可能性為0.1(記為事件a),而在另一次國際象棋比賽中她得到冠軍的可能性為0.

9(記為事件b)。試分別計算當你得知她獲得冠軍時,從這兩個事件中獲得的資訊量各為多少?

h(a)=- ≈3.32(位元)

h(b)=- ≈0.152(位元)

⒉統計資訊量的計算公式為:

xi —— 表示第i個狀態(總共有n種狀態);

p(xi)——表示第i個狀態出現的概率;

h(x)——表示用以消除這個事物的不確定性所需要的資訊量。

例題:向空中投擲硬幣,落地後有兩種可能的狀態,一個是正面朝上,另一個是反面朝上,每個狀態出現的概率為1/2。如投擲均勻的正六面體的骰子,則可能會出現的狀態有6個,每一個狀態出現的概率均為1/6。

試通過計算來比較狀態的不肯定性與硬幣狀態的不肯定性的大小。

h(硬幣)= -(2×1/2)× ≈1(位元)

h(骰子)= -(1/6×6)× ≈2.6(位元)

由以上計算可以得出兩個推論:

[推論1] 當且僅當某個p(xi)=1,其餘的都等於0時, h(x)= 0。

[推論2]當且僅當某個p(xi)=1/n,i=1, 2,……, n時,h(x)有極大值log n。

4樓:匿名使用者

偶然間看到的,很詳細。

知乎

一道簡單的平均資訊量計算

5樓:匿名使用者

哥來回答~~底數為2就是位元,e就是奈特,10就是哈特,那道題目計算資訊熵~~~

資訊理論與編碼中平均資訊量怎麼求,資訊理論與編碼題求助

1 12 2 3 10 4 11 5 12 6 20 7 21 12 這有bai一篇介紹的 du比較詳zhi細,希望可 dao以幫專到你屬 知乎 資訊理論與編碼題求助 50 資訊理論與編碼中p ab 和p a,b 是什麼意思 條件概率公式 p a b p ab p b p a b 在 b 條件下 a...

英語六級聽力,我總感覺長對話的資訊量好大,就算都聽出來了,等答題的時候也都忘了,還是做不對,怎麼辦

首先把題目都看一遍,有一個大概的印象。聽得時候抓取重點跟題目相關的,因為你不可能每一句都聽得那麼精準,只有抓住重點的。才能夠答的精準。聽力不是盲目去聽得,平時聽得時候可以反覆的聽,儘量把每一個單詞都聽懂。六級的話多做幾套試卷,一定要把你當做是在考試,而不是做一題看一下答案,這樣是沒有效果的。而且要在...

簡述管道安裝的工程量的計算方法,工業管道安裝工程量如何套定額計算

整體面層 按設計圖示尺寸面積計算扣除凸面構築物 裝置基礎 室內管道 溝等所 佔面積扣除間壁牆及 0.3 柱 垛 附牆煙囪及孔洞所佔面積門洞 空圈 暖氣包槽 壁龕口部增加面積 塊料面層 按設計圖示尺寸面積計算門洞 空圈 暖氣包槽 壁龕口部併入相應工程量內 自己查下資料吧 這樣的提問感覺沒有意義 工業管...