信息論與編碼信道容量和最佳輸入概率求解題目，23題實在算不出來，求大神相助?。。?/h1>
- 資格考試
- 2022-08-25 07:56:14
信道容量的計算
信道的輸入、輸出都取值于離散符號集，且都用一個隨機變量來表示的信道就是離散單符號信道。由于信道中存在干擾，因此輸入符號在傳輸中將會產(chǎn)生錯誤，這種信道干擾對傳輸?shù)挠绊懣捎脗鬟f概率來描述。
信道傳遞概率通常稱為前向概率。它是由于信道噪聲引起的，所以通常用它描述信道噪聲的特性。
有時把p(x）稱為輸入符號的先驗概率。而對應的把p(x|y）稱為輸入符號的后驗（后向）概率。
平均互信息 I(X;Y) 是接收到輸出符號集Y后所獲得的關于輸入符號集X的信息量。信源的不確定性為H(X），由于干擾的存在，接收端收到 Y后對信源仍然存在的不確定性為H(X|Y），又稱為信道疑義度。信宿所消除的關于信源的不確定性，也就是獲得的關于信源的信息為 I(X;Y），它是平均意義上每傳送一個符號流經(jīng)信道的信息量，從這個意義上來說，平均互信息又稱為信道的信息傳輸率，通常用 R 表示。
有時我們所關心的是信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?。如果平均傳輸一個符號為t秒，則信道平均每秒鐘傳輸?shù)男畔⒘繛镽t一般稱為信息傳輸速率。
對于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個符號接收端獲得的信息量最大，也就是說對于每個固定信道都有一個最大的信息傳輸率，這個最大的信息傳輸率即為信道容量，而相應的輸入概率分布稱為最佳輸入分布。
信道容量是信道傳送信息的最大能力的度量，信道實際傳送的信息量必然不大于信道容量。
要使信道容量有確切的含義，尚須證明相應的編碼定理，就是說當信息率低于信道容量時必存在一種編碼方法，使之在信道中傳輸而不發(fā)生錯誤或錯誤可任意逼近于零。已經(jīng)過嚴格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規(guī)定。 為了評價實際信道的利用率，應具體計算已給信道的容量。這是一個求最大值的問題。由于互信息對輸入符號概率而言是凸函數(shù)，其極值將為最大值，因此這也就是求極值的問題。對于離散信道，P(x）是一組數(shù)，滿足非負性和歸一性等條件，可用拉格朗日乘子法求得條件極值。對于連續(xù)信道，P(x）是一函數(shù)，須用變分法求條件極值。但是對于大部分信道，這些方法常常不能得到顯式的解，有時還會得到不允許的解，如求得的P(x）為負值等。為了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元對稱信道和高斯信道。
對于其他信道的容量計算曾提出過一些方法，但都有較多的限制。比較通用的解法是迭代計算，可借助計算機得到較精確的結果。
對于連續(xù)信道，只需把輸入集和輸出集離散化，就仍可用迭代公式來計算。當然如此形成的離散集，包含的元的數(shù)目越多，精度越高，計算將越繁。對于信息論中的其他量，如信息率失真函數(shù)，可靠性函數(shù)等，都可以用類似的方法得到的各種迭代公式來計算。 從求信道容量的問題實際上是在約束條件下求多元函數(shù)極值的問題，在通常情況下，計算量是非常大的。下面我們介紹一般離散信道的平均互信息達到信道容量的充要條件，在某些情況下它可以幫助我們較快地找到極值點。（定理略去）
信道容量定理只給出了達到信道容量時，最佳輸入概率分布應滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。 對于給定離散無記憶信道，其符號轉(zhuǎn)移概率分布已定，通過適當改變輸入符號集上的概率分布，可使傳信率達到最大值，即該信道容量公式 如右圖8 。其中E是輸入符號集上所有可能概率分布的集。
對于連續(xù)信道，應將式中概率分布換成概率密度，求和號換成積分號，即得出連續(xù)信道的容量公式。
容量的計算是在特定約束條件下，求傳信率函數(shù)I（X；Y）的極大值問題。對離散信道的約束條件是輸入符號的概率，對于連續(xù)信道，除了概率約束條件外，還可有不同的約束條件，如平均功率或峰值功率受限。由于I（X；Y）是輸入分布（或密度）的上凸函數(shù)，故其極值即為最大值，可見，求容量在于求I（X；Y）的條件極值。簡單情況下，離散信道可用拉格朗日乘子法求解，連續(xù)信道可用變分法求解。R．E．勃拉赫特提出的迭代算法可精確求解一般離散無記憶信道的容量，也可用來近似計算連續(xù)信道的容量以及率失真函數(shù)和可靠性函數(shù)。
常見的二元對稱信道(BSC)的容量公式如圖9 ，式中ε是符號出差錯的概率。常見的加性白高斯噪聲(AWGN)信道的容量公式如圖10 ，式中S是信道允許的平均功率，N0是白高斯噪聲的單邊功率譜密度，F(xiàn)是信道許用帶寬。當F→∞時有。令Eb表示每比特信息占有的能量，則S=REb，R是傳信率。由圖11及編碼定理有，通稱-1．6dB為仙農(nóng)極限，它表示在無限帶寬的AWGN信道中，傳送1bit信息所需的最小Eb/N0。
實際離散信道的輸入和輸出常常是隨機變量序列，用隨機矢量來表示，稱為離散多符號信道。
若在任意時刻信道的輸出只與此時刻信道的輸入有關，而與其他時刻的輸入和輸出無關，則稱之為離散無記憶信道，簡稱為DMC(discrete memoryless channel）。
輸入、輸出隨機序列的長度為N的離散無記憶平穩(wěn)信道通常稱為離散無記憶信道的N次擴展信道。
對于離散無記憶N次擴展信道，當信源是平穩(wěn)無記憶信源時，其平均互信息等于單符號信道的平均互信息的N倍。
當信源也是無記憶信源并且每一時刻的輸入分布各自達到最佳輸入分布時，才能達到這個信道容量NC。 前面我們分析了單符號離散信道和離散無記憶信道的擴展信道。實際應用中常常會遇到兩個或更多個信道組合在一起使用的情況。例如，待發(fā)送的消息比較多時，可能要用兩個或更多個信道并行發(fā)送，這種組合信道稱為并聯(lián)信道；有時消息會依次地通過幾個信道串聯(lián)發(fā)送，例如無線電中繼信道，數(shù)據(jù)處理系統(tǒng)，這種組合信道稱為級聯(lián)信道。在研究較復雜信道時，為使問題簡化，往往可以將它們分解成幾個簡單的信道的組合。這一節(jié)我們將討論這兩種組合信道的信道容量與其組成信道的信道容量之間的關系。
獨立并聯(lián)信道的信道容量才等于各信道容量之和。
級聯(lián)信道是信道最基本的組合形式，許多實際信道都可以看成是其組成信道的級聯(lián)。兩個單符號信道組成的最簡單的級聯(lián)信道X→Y→Z 組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，級聯(lián)信道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。求得級聯(lián)信道的總的信道矩陣后，級聯(lián)信道的信道容量就可以用求離散單符號信道的信道容量的方法計算。
求 《信息論理論基礎》試題,哈工大，賈世樓
信息論理論基礎，賈世樓編著，俺們08052專業(yè)，鄒斌教也，張均萍之夫也，此人風格十分獨特，乃大四所獨見，明知大四考研找工作的忙，還要點名，上課結束后關于考試內(nèi)容，只說一 句話：凡事我上過的都考。甚至不說答疑的時間。聽后，頓覺渾身發(fā)抖，不自主戰(zhàn)栗，哈哈哈，開個玩笑！關于，這本書，找不到相關題目，也沒有答案，本來此本書應該很簡單的，但是老 師不講考試題型，不講考試內(nèi)容，就一下子提高了這門課的難度，且老師威名早已遠播，實非我等所能力改也，只能順應他，來應考。 值此本人考試歸來之際，裨益以后同學，特憑記憶把考試內(nèi)容公布，廣而告之，后學勉之！也發(fā)現(xiàn)一個現(xiàn)象，大家都怕麻煩，即使同為哈工大學生也大愿意相互幫求 信息論與編碼 學習心得
學習信息論與編碼感想 多媒體信息是未來人類獲取信息最主要的載體，因此它已成為目前世界上技術開發(fā)和研究的熱點。視頻信息作為多媒體信息中最被關注、數(shù)據(jù)量最大的一員，現(xiàn)在也正面臨著一場其意義不亞于從模擬到數(shù)字的技術進步革新：從傳統(tǒng)的矩形DCT變換編碼到根據(jù)視頻內(nèi)容、劃分對象、分別變換編碼的新的編碼方法。 一、傳統(tǒng)的編碼方式 傳統(tǒng)的視頻編碼是以視頻信號的數(shù)字量為編碼對象的，與視頻信息的內(nèi)容無關，無論是M-JPEG、MPEG-1還是MPEG-2，都是以DCT矩形變換塊為變換編碼單元，對DCT塊內(nèi)圖像的亮度和色度進行特征取樣，提取像素；采用幀間編碼、運動估測技術，在參考幀幀內(nèi)DCT編碼的基礎上，對DCT塊
展開全文閱讀
- 資格考試
- 2022-08-25 07:56:14
信道容量的計算
信道的輸入、輸出都取值于離散符號集，且都用一個隨機變量來表示的信道就是離散單符號信道。由于信道中存在干擾，因此輸入符號在傳輸中將會產(chǎn)生錯誤，這種信道干擾對傳輸?shù)挠绊懣捎脗鬟f概率來描述。
信道傳遞概率通常稱為前向概率。它是由于信道噪聲引起的，所以通常用它描述信道噪聲的特性。
有時把p(x）稱為輸入符號的先驗概率。而對應的把p(x|y）稱為輸入符號的后驗（后向）概率。
平均互信息 I(X;Y) 是接收到輸出符號集Y后所獲得的關于輸入符號集X的信息量。信源的不確定性為H(X），由于干擾的存在，接收端收到 Y后對信源仍然存在的不確定性為H(X|Y），又稱為信道疑義度。信宿所消除的關于信源的不確定性，也就是獲得的關于信源的信息為 I(X;Y），它是平均意義上每傳送一個符號流經(jīng)信道的信息量，從這個意義上來說，平均互信息又稱為信道的信息傳輸率，通常用 R 表示。
有時我們所關心的是信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?。如果平均傳輸一個符號為t秒，則信道平均每秒鐘傳輸?shù)男畔⒘繛镽t一般稱為信息傳輸速率。
對于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個符號接收端獲得的信息量最大，也就是說對于每個固定信道都有一個最大的信息傳輸率，這個最大的信息傳輸率即為信道容量，而相應的輸入概率分布稱為最佳輸入分布。
信道容量是信道傳送信息的最大能力的度量，信道實際傳送的信息量必然不大于信道容量。
要使信道容量有確切的含義，尚須證明相應的編碼定理，就是說當信息率低于信道容量時必存在一種編碼方法，使之在信道中傳輸而不發(fā)生錯誤或錯誤可任意逼近于零。已經(jīng)過嚴格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規(guī)定。 為了評價實際信道的利用率，應具體計算已給信道的容量。這是一個求最大值的問題。由于互信息對輸入符號概率而言是凸函數(shù)，其極值將為最大值，因此這也就是求極值的問題。對于離散信道，P(x）是一組數(shù)，滿足非負性和歸一性等條件，可用拉格朗日乘子法求得條件極值。對于連續(xù)信道，P(x）是一函數(shù)，須用變分法求條件極值。但是對于大部分信道，這些方法常常不能得到顯式的解，有時還會得到不允許的解，如求得的P(x）為負值等。為了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元對稱信道和高斯信道。
對于其他信道的容量計算曾提出過一些方法，但都有較多的限制。比較通用的解法是迭代計算，可借助計算機得到較精確的結果。
對于連續(xù)信道，只需把輸入集和輸出集離散化，就仍可用迭代公式來計算。當然如此形成的離散集，包含的元的數(shù)目越多，精度越高，計算將越繁。對于信息論中的其他量，如信息率失真函數(shù)，可靠性函數(shù)等，都可以用類似的方法得到的各種迭代公式來計算。 從求信道容量的問題實際上是在約束條件下求多元函數(shù)極值的問題，在通常情況下，計算量是非常大的。下面我們介紹一般離散信道的平均互信息達到信道容量的充要條件，在某些情況下它可以幫助我們較快地找到極值點。（定理略去）
信道容量定理只給出了達到信道容量時，最佳輸入概率分布應滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。 對于給定離散無記憶信道，其符號轉(zhuǎn)移概率分布已定，通過適當改變輸入符號集上的概率分布，可使傳信率達到最大值，即該信道容量公式 如右圖8 。其中E是輸入符號集上所有可能概率分布的集。
對于連續(xù)信道，應將式中概率分布換成概率密度，求和號換成積分號，即得出連續(xù)信道的容量公式。
容量的計算是在特定約束條件下，求傳信率函數(shù)I（X；Y）的極大值問題。對離散信道的約束條件是輸入符號的概率，對于連續(xù)信道，除了概率約束條件外，還可有不同的約束條件，如平均功率或峰值功率受限。由于I（X；Y）是輸入分布（或密度）的上凸函數(shù)，故其極值即為最大值，可見，求容量在于求I（X；Y）的條件極值。簡單情況下，離散信道可用拉格朗日乘子法求解，連續(xù)信道可用變分法求解。R．E．勃拉赫特提出的迭代算法可精確求解一般離散無記憶信道的容量，也可用來近似計算連續(xù)信道的容量以及率失真函數(shù)和可靠性函數(shù)。
常見的二元對稱信道(BSC)的容量公式如圖9 ，式中ε是符號出差錯的概率。常見的加性白高斯噪聲(AWGN)信道的容量公式如圖10 ，式中S是信道允許的平均功率，N0是白高斯噪聲的單邊功率譜密度，F(xiàn)是信道許用帶寬。當F→∞時有。令Eb表示每比特信息占有的能量，則S=REb，R是傳信率。由圖11及編碼定理有，通稱-1．6dB為仙農(nóng)極限，它表示在無限帶寬的AWGN信道中，傳送1bit信息所需的最小Eb/N0。
實際離散信道的輸入和輸出常常是隨機變量序列，用隨機矢量來表示，稱為離散多符號信道。
若在任意時刻信道的輸出只與此時刻信道的輸入有關，而與其他時刻的輸入和輸出無關，則稱之為離散無記憶信道，簡稱為DMC(discrete memoryless channel）。
輸入、輸出隨機序列的長度為N的離散無記憶平穩(wěn)信道通常稱為離散無記憶信道的N次擴展信道。
對于離散無記憶N次擴展信道，當信源是平穩(wěn)無記憶信源時，其平均互信息等于單符號信道的平均互信息的N倍。
當信源也是無記憶信源并且每一時刻的輸入分布各自達到最佳輸入分布時，才能達到這個信道容量NC。 前面我們分析了單符號離散信道和離散無記憶信道的擴展信道。實際應用中常常會遇到兩個或更多個信道組合在一起使用的情況。例如，待發(fā)送的消息比較多時，可能要用兩個或更多個信道并行發(fā)送，這種組合信道稱為并聯(lián)信道；有時消息會依次地通過幾個信道串聯(lián)發(fā)送，例如無線電中繼信道，數(shù)據(jù)處理系統(tǒng)，這種組合信道稱為級聯(lián)信道。在研究較復雜信道時，為使問題簡化，往往可以將它們分解成幾個簡單的信道的組合。這一節(jié)我們將討論這兩種組合信道的信道容量與其組成信道的信道容量之間的關系。
獨立并聯(lián)信道的信道容量才等于各信道容量之和。
級聯(lián)信道是信道最基本的組合形式，許多實際信道都可以看成是其組成信道的級聯(lián)。兩個單符號信道組成的最簡單的級聯(lián)信道X→Y→Z 組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，級聯(lián)信道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。求得級聯(lián)信道的總的信道矩陣后，級聯(lián)信道的信道容量就可以用求離散單符號信道的信道容量的方法計算。
