目錄
前言
第1章 緒論 1
第2章 概率統(tǒng)計(jì)的基礎(chǔ)知識(shí) 3
2.1 概率空間 3
2.2 條件概率 6
2.3 獨(dú)立性 10
2.4 隨機(jī)變量 12
2.4.1 隨機(jī)變量的基本性質(zhì) 12
2.4.2 隨機(jī)變量的獨(dú)立性 14
2.5 隨機(jī)變量的數(shù)字特征 15
2.5.1 離散型 15
2.5.2 連續(xù)型 16
2.6 大數(shù)定律 16
習(xí)題2 17
第3章 離散信源的熵和信息量 19
3.1 離散信源 19
3.2 事件的互信息 20
3.3 條件互信息和聯(lián)合事件的互信息 23
3.4 事件的自信息 24
3.5 離散隨機(jī)變量的平均自信息一一熵 27
3.6 熵的性質(zhì) 30
3.7 香農(nóng)熵的公理化定義 35
3.8 隨機(jī)變量的鑒別信息和平均互信息 37
3.8.1 隨機(jī)變量的鑒別信息 37
3.8.2 隨機(jī)變量的互信息 40
3.9 馬爾可夫鏈和數(shù)據(jù)處理定理 41
3.10 連續(xù)隨機(jī)變量的互信息和微分熵 - 43
3.10.1 連續(xù)隨機(jī)變量的互信息 43
3.10.2 連續(xù)隨機(jī)變量的熵微分熵 44
3.10.3 微分熵的極大化 46
3.11 凸函數(shù)和互信息的凸性 49
3.11.1 凸函數(shù)的概念和性質(zhì) 49
3.11.2 Kuhn-llucker條件 50
3.11.3 互信息的凸性 53
3.12 平穩(wěn)離散信源 55
3.12.1 平穩(wěn)離散信源的一般概念 56
3.12.2 平穩(wěn)信源的熵 57
3.12.3 馬爾可夫信源的熵 60
習(xí)題3 62
第4章 離散信源的無(wú)錯(cuò)編碼 65
4.1 漸近等同分割性和離散無(wú)記憶信源的等長(zhǎng)編碼 65
4.1.1 漸近等司分割性 65
4.1.2 離散無(wú)記憶信源的等長(zhǎng)編碼 70
4.2 離散無(wú)記憶信源的不等長(zhǎng)編碼 72
4.2.1 Kraft不等式 74
4.2.2 不等長(zhǎng)編碼定理 76
4.2.3 最佳不等長(zhǎng)編碼(Huffman編碼 78
4.2.4 其他不等飫編碼 81
4.3 平穩(wěn)信源和馬爾可夫信源的編碼定理 86
4.3.1 平穩(wěn)信源的編碼 86
4.3.2 馬爾可夫信源的編碼定理 89
習(xí)題4 92
第5章 離散無(wú)記憶信道的容量和編碼定理 94
5.1 離散無(wú)記憶信道及其容量 94
5.1.1 信道容量的定義和舉例 95
5.1.2 對(duì)稱離散無(wú)記憶信道容量的計(jì)算 99
5.1.3 轉(zhuǎn)移概率矩陣可逆信道的容量計(jì)算 103
5.1.4 離散無(wú)記憶信道容量的迭代計(jì)算 104
5.2 信道的組合 107
5.2.1 積信道（平行組合信道） 108
5.2.2 和信道 110
5.2.3 級(jí)聯(lián)信道 112
5.3 離散無(wú)記憶信道的編碼定理 112
5.3.1 幾個(gè)有關(guān)定義 113
5.3.2 聯(lián)合典型列對(duì) 114
5.3.3 信道編碼定理 115
習(xí)題5 116
參考文獻(xiàn) 118