1樓：
m h(x)=-∑[p(xi)lgp(xi)/lg2]i=1
m ∑p(xi)=1
i=1對第一式求導，把∑p(xi）分離出來。帶入就好了。
2樓：匿名使用者
熵 熵shāng
◎ 物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
◎ 科學技術上泛指某些物質系統狀態的一種量（liàng）度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。
1.只有當你所使用的那個特定系統中的能量密度參差不齊的時候，能量才能夠轉化為功，這時，能量傾向於從密度較高的地方流向密度較低的地方，直到一切都達到均勻為止。正是依靠能量的這種流動，你才能從能量得到功。
江河發源地的水位比較高，那裡的水的勢能也比河口的水的勢能來得大。由於這個原因，水就沿著江河向下流入海洋。要不是下雨的話，大陸上所有的水就會全部流入海洋，而海平面將稍稍升高。
總勢能這時保持不變。但分佈得比較均勻。
正是在水往下流的時候，可以使水輪轉動起來，因而水就能夠做功。處在同一個水平面上的水是無法做功的，即使這些水是處在很高的高原上，因而具有異常高的勢能，同樣做不了功。在這裡起決定性作用的是能量密度的差異和朝著均勻化方向的流動。
熵是混亂和無序的度量.熵值越大,混亂無序的程度越大. 我們這個宇宙是熵增的宇宙.
熱力學第二定律,體現的就是這個特徵. 生命是高度的有序,智慧是高度的有序. 在一個熵增的宇宙為什麼會出現生命?
會進化出智慧?(負熵) 熱力學第二定律還揭示了, 區域性的有序是可能的,但必須以其他地方更大無序為代價. 人生存,就要能量,要食物,要以動植物的死亡(熵增)為代價.
萬物生長靠太陽.動植物的有序, 又是以太陽核反應的衰竭(熵增),或其他的熵增形勢為代價的. 人關在完全封閉的鉛盒子裡,無法以其他地方的熵增維持自己的負熵.
在這個相對封閉的系統中,熵增的法則破壞了生命的有序. 熵是時間的箭頭,在這個宇宙中是不可逆的. 熵與時間密切相關,如果時間停止"流動",熵增也就無從談起.
"任何我們已知的物質能關住"的東西,不是別的,就是"時間". 低溫關住的也是"時間". 生命是物質的有序"結構".
"結構"與具體的物質不是同一個層次的概念. 就象大廈的建築材料,和大廈的式樣不是同一個層次的概念一樣. 生物學已經證明,凡是到了能上網歲數的人, 身體中的原子,已經沒有一個是剛出生時候的了.
但是,你還是你,我還是我,生命還在延續. 倒是死了的人,沒有了新陳代謝,身體中的分子可以保留很長時間. 意識是比生命更高層次的有序.
可以在生命之間傳遞. 說到這裡,我想物質與意識的層次關係應該比較清楚了. 這裡之所以將"唯物"二字加上引號.
是因為並不徹底.為什麼熵減是這個宇宙的本質,還沒法回答. （摘自人民網bbs論壇）
不管對哪一種能量來說，情況都是如此。在蒸汽機中，有一個熱庫把水變成蒸汽，還有一個冷庫把蒸汽冷凝成水。起決定性作用的正是這個溫度差。
在任何單一的、毫無差別的溫度下——不管這個溫度有多高——是不可能得到任何功的。
「熵」(entropy)是德國物理學家克勞修斯(rudolf clausius, 1822 – 1888)在2023年創造的一個術語，他用它來表示任何一種能量在空間中分佈的均勻程度。能量分佈得越均勻，熵就越大。如果對於我們所考慮的那個系統來說，能量完全均勻地分佈，那麼，這個系統的熵就達到最大值。
在克勞修斯看來，在一個系統中，如果聽任它自然發展，那麼，能量差總是傾向於消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。
如果把兩個水庫連線起來，並且其中一個水庫的水平面高於另一個水庫，那麼，萬有引力就會使一個水庫的水面降低，而使另一個水面升高，直到兩個水庫的水面均等，而勢能也取平為止。
因此，克勞修斯說，自然界中的一個普遍規律是：能量密度的差異傾向於變成均等。換句話說，「熵將隨著時間而增大」。
對於能量從密度較高的地方向密度較低的地方流動的研究，過去主要是對於熱這種能量形態進行的。因此，關於能量流動和功－能轉換的科學就被稱為「熱力學」，這是從希臘文「熱運動」一詞變來的。
人們早已斷定，能量既不能創造，也不能消滅。這是一條最基本的定律；所以人們把它稱為「熱力學第一定律」。
克勞修斯所提出的熵隨時間而增大的說法，看來差不多也是非常基本的一條普遍規律，所以它被稱為「熱力學第二定律」。
2.資訊理論中的熵：資訊的度量單位：由資訊理論的創始人shannon在著作《通訊的數學理論》中提出、建立在概率統計模型上的資訊度量。他把資訊定義為「用來消除不確定性的東西」。
shannon公式：i(a)=-logp(a)
i(a)度量事件a發生所提供的資訊量，稱之為事件a的自資訊，p(a)為事件a發生的概率。如果一個隨機試驗有n個可能的結果或一個隨機訊息有n個可能值，若它們出現的概率分別為p1,p2,…，pn,則這些事件的自資訊的平均值：
h=-sum(pi*log(pi)),i=1,2…n。h稱為熵。
參考資料
資訊熵的資訊含義
最大熵原理的發展過程
3樓：妹子
早期的資訊理論其中心任務就是從理論上認識一個通訊的裝置（手段）的通訊能力應當如何去計量以及分析該通訊能力的規律性。但是資訊理論研究很快就發現利用資訊熵最大再附加上一些約束，就可以得到例如著名的統計學中的高斯分佈（即正態分佈）。這件事提示我們高斯分佈又多了一種論證的方法，也提示了把資訊熵最大化是認識客觀事物的規律性的新角度。
把熵最大（對應我們的複雜程度最大）做為一種原則或者方法應用於各個科技領域的旗手是傑尼斯e.t.jaynes 。
他從2023年就在這個方向做了開創性的工作。他給出了利用最大熵方法定量求解問題的一般技術途徑；論證了統計力學中的一些著名的分佈函式從資訊熵最大的角度也可以得到證明。這不僅使資訊理論知識與統計物理知識實現了連通，也使熵概念和熵原理走出了熱力學的領域。
20世紀60年代burg在時間序列的分析中提出了用資訊熵最大求頻譜的技術。用這種方法得到的譜的準確性比過去的方法好，人們把它稱為最大熵譜。80年代這個方法在我國也得到了廣泛應用。
40多年以來，儘管「利用最大熵的方法解決科技問題」在資訊理論的理論中不是主流，但是利用資訊熵最大幫助解決很多科技問題已經形成了獨立的一股學術和技術力量，而且是碩果累累了。80年代以來在美國等地每年都召開一次討論最大熵方法應用的學術會議，並且有一冊會議文集出版。這成為他們的重要學術活動形式。
通訊原理中平均資訊量什麼時候最大,怎樣證明
4樓：匿名使用者
碼元出現的概率相等的時候最大
此時平均資訊量又叫資訊熵，可以參看物理裡面關於熱學的 熵的推導過程。
熵是什麼？
5樓：情感生活談
熵，熱力學中表徵物質狀態的參量之一，用符號s表示，其物理意義是體系混亂程度的度量。
熵最初是根據熱力學第二定律引出的一個反映自發過程不可逆性的物質狀態參量。
熱力學第二定律是根據大量觀察結果總結出來的規律：
在孤立系統中，體系與環境沒有能量交換，體系總是自發地像混亂度增大的方向變化，總使整個系統的熵值增大，此即熵增原理。
6樓：天涯蝶舞之星劫
熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。熵由魯道夫·克勞修斯（rudolf clausius）提出，並應用在熱力學中。後來在，克勞德·艾爾伍德·夏農（claude elwood shannon）第一次將熵的概念引入到資訊理論中來。
中文名：熵
外文名：entropy
釋義：熱量轉化為功的程度
特點：熵是體系的狀態函式
分享釋義
基本釋義
熵【拼音】：shāng
詳細釋義
1：物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
2：科學技術上用來描述、表徵系統不確定程度的函式。亦被社會科學用以借喻人類社會某些狀態的程度。
3：傳播學中表示一種情境的不確定性和無組織性。
英文釋義：the degree of randomness or disorder in a thermodynamic system.
特點1.熵是體系的狀態函式，其值與達到狀態的過程無關；
2.熵的定義式是：ds=dq/t，因此計算某一過程的熵變時，必須用與這個過程的始態和終態相同的過程的熱效應dq來計算。
（注：如果這裡dq寫為dqr則表示可逆過程熱效應，r為reversible；dq寫為dqi為不可逆過程的熱效應，i為irreversible。）
3.tds的量綱是能量，而t是強度性質，因此s是廣度性質。計算時，必須考慮體系的質量；
4.同狀態函式u和h一樣，一般只計算熵的變化。
7樓：
熵熵shāng
◎ 物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
◎ 科學技術上泛指某些物質系統狀態的一種量（liàng）度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。
◎ 在資訊理論中，熵表示的是不確定性的量度。
1.只有當你所使用的那個特定系統中的能量密度參差不齊的時候，能量才能夠轉化為功，這時，能量傾向於從密度較高的地方流向密度較低的地方，直到一切都達到均勻為止。正是依靠能量的這種流動，你才能從能量得到功。
江河發源地的水位比較高，那裡的水的勢能也比河口的水的勢能來得大。由於這個原因，水就沿著江河向下流入海洋。要不是下雨的話，大陸上所有的水就會全部流入海洋，而海平面將稍稍升高。
總勢能這時保持不變。但分佈得比較均勻。
正是在水往下流的時候，可以使水輪轉動起來，因而水就能夠做功。處在同一個水平面上的水是無法做功的，即使這些水是處在很高的高原上，因而具有異常高的勢能，同樣做不了功。在這裡起決定性作用的是能量密度的差異和朝著均勻化方向的流動。
熵是混亂和無序的度量.熵值越大,混亂無序的程度越大. 我們這個宇宙是熵增的宇宙.
熱力學第二定律,體現的就是這個特徵. 生命是高度的有序,智慧是高度的有序. 在一個熵增的宇宙為什麼會出現生命?
會進化出智慧?(負熵) 熱力學第二定律還揭示了, 區域性的有序是可能的,但必須以其他地方更大無序為代價. 人生存,就要能量,要食物,要以動植物的死亡(熵增)為代價.
萬物生長靠太陽.動植物的有序, 又是以太陽核反應的衰竭(熵增),或其他的熵增形勢為代價的. 人關在完全封閉的鉛盒子裡,無法以其他地方的熵增維持自己的負熵.
在這個相對封閉的系統中,熵增的法則破壞了生命的有序. 熵是時間的箭頭,在這個宇宙中是不可逆的. 熵與時間密切相關,如果時間停止"流動",熵增也就無從談起.
"任何我們已知的物質能關住"的東西,不是別的,就是"時間". 低溫關住的也是"時間". 生命是物質的有序"結構".
"結構"與具體的物質不是同一個層次的概念. 就象大廈的建築材料,和大廈的式樣不是同一個層次的概念一樣. 生物學已經證明,凡是到了能上網歲數的人, 身體中的原子,已經沒有一個是剛出生時候的了.
但是,你還是你,我還是我,生命還在延續. 倒是死了的人,沒有了新陳代謝,身體中的分子可以保留很長時間. 意識是比生命更高層次的有序.
可以在生命之間傳遞. 說到這裡,我想物質與意識的層次關係應該比較清楚了. 這裡之所以將"唯物"二字加上引號.
是因為並不徹底.為什麼熵減是這個宇宙的本質,還沒法回答. （摘自人民網bbs論壇）
不管對哪一種能量來說，情況都是如此。在蒸汽機中，有一個熱庫把水變成蒸汽，還有一個冷庫把蒸汽冷凝成水。起決定性作用的正是這個溫度差。
在任何單一的、毫無差別的溫度下——不管這個溫度有多高——是不可能得到任何功的。
「熵」(entropy)是德國物理學家克勞修斯(rudolf clausius, 1822 – 1888)在2023年創造的一個術語，他用它來表示任何一種能量在空間中分佈的均勻程度。能量分佈得越均勻，熵就越大。如果對於我們所考慮的那個系統來說，能量完全均勻地分佈，那麼，這個系統的熵就達到最大值。
在克勞修斯看來，在一個系統中，如果聽任它自然發展，那麼，能量差總是傾向於消除的。讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。
如果把兩個水庫連線起來，並且其中一個水庫的水平面高於另一個水庫，那麼，萬有引力就會使一個水庫的水面降低，而使另一個水面升高，直到兩個水庫的水面均等，而勢能也取平為止。
因此，克勞修斯說，自然界中的一個普遍規律是：能量密度的差異傾向於變成均等。換句話說，「熵將隨著時間而增大」。
對於能量從密度較高的地方向密度較低的地方流動的研究，過去主要是對於熱這種能量形態進行的。因此，關於能量流動和功－能轉換的科學就被稱為「熱力學」，這是從希臘文「熱運動」一詞變來的。
人們早已斷定，能量既不能創造，也不能消滅。這是一條最基本的定律；所以人們把它稱為「熱力學第一定律」。
克勞修斯所提出的熵隨時間而增大的說法，看來差不多也是非常基本的一條普遍規律，所以它被稱為「熱力學第二定律」。
2.資訊理論中的熵：資訊的度量單位：由資訊理論的創始人shannon在著作《通訊的數學理論》中提出、建立在概率統計模型上的資訊度量。他把資訊定義為「用來消除不確定性的東西」。
shannon公式：i(a)=-logp(a)
i(a)度量事件a發生所提供的資訊量，稱之為事件a的自資訊，p(a)為事件a發生的概率。如果一個隨機試驗有n個可能的結果或一個隨機訊息有n個可能值，若它們出現的概率分別為p1,p2,…，pn,則這些事件的自資訊的平均值：
h=-sum(pi*log(pi)),i=1,2…n。h稱為熵。
如何辨別網路中的真假資訊如何辨別真假資訊
沒有永遠的朋友，沒有永遠的敵人，只有永恆的利益。網路中交往的根本看最後是不是牽涉到利益。懂了吧 沒有免費的午餐，天上不會掉餡餅。時刻保持一顆冷靜的頭腦，自己 慢慢去體會資訊的真假。跟你要錢基本都是網路詐騙的終極目的，警惕這一點！不能全盤否認網路的真實性，要善於利用網路，看看網路詐騙的經典案例，隨著經...
如何提高獲取資訊的能力
如果用在教育教學中,也可以說,學生的學習就是一個收集資訊,處理資訊的過程。其實學生學習過程就是把所學知識轉化為解決問題的能力,我們也可以認為學生學習過程可以是一個資訊轉化的過程 收集資訊 篩選資訊 處理資訊 得出答案。一 培養學生收集處理資訊的一般方法 在教學中培養學生收集資訊的一般方法有 直接觀察...
如何使用ecel中的找最大值ma函式
1 以excel2010版本為例，如下圖的a列資料要用max函式找出最大值 2 首版先在b1單元格輸入max函式，指的是返回一權組數值中的最大值 3 然後在max函式裡輸入要查詢的資料範圍，這裡是a1到a5，故公式為 max a1 a5 最後按enter鍵則可找出該列資料的最大值了，如下圖是1567...