信息論與編碼是一門比較理論化的科學，涉及大量的數(shù)學分析、論證和建模，對數(shù)學的要求高，涉及概率論、線性代數(shù)、微積分等。對于不善于領悟的同學，可能會覺得它枯燥無味；而對于善于領悟的同學，則會有如魚得水的感覺。信息論是對信息問題的抽象，應用面和涉及面廣，許多問題都可以歸結為信息論問題，但是由于其中涉及數(shù)學建模太多，局限性也多。這對于學生，特別是對于本科生而言，是具有一定難度的。當今的某些課程，包括數(shù)學等，經(jīng)歷課時數(shù)的壓縮，課時也有所縮短。在這樣的情況下，針對昔日本科生的教學大綱和教材，對于經(jīng)過擴招以后的大學生而言，顯得更加枯燥無味、艱澀難懂。為了促進學生對于相關數(shù)學問題的理解，我們將信息論與編碼中的關鍵性、全局性的問題進行了提煉，設計了一些全程問題，并且將復雜的問題分解為若干問題及其錦囊，通過逐步提示和啟發(fā)的方式來促進學生的理解。當然對于一些問題的分解并不太讓人滿意，權作為拋磚引玉。

　　雖然直觀地看，書本上的數(shù)學公式枯燥無味，但是如果能夠善于思考和洞察問題的本質(zhì)，就會發(fā)現(xiàn)，數(shù)學問題是那樣美妙、有趣，數(shù)字的規(guī)律有時候也是嚴整有序的。

　　根據(jù)學生對以往的信息論與編碼類教材的反饋意見，我們決定在前人的基礎上改進信息論與編碼教材，同時實踐我們在一些教改論文中提出的教材改革、教學改革和提高學生創(chuàng)新能力的建議[1-4\]。我們在教學中發(fā)現(xiàn)學生有應試習慣，許多學生并不是通過自己的理解去做題，而是依葫蘆畫瓢，按照類似的題型去套，因此在課后習題中增加了一些比較靈活、自由的題目。

　　我們在這本教材中試圖做到以下幾點：

　　(1) 充分重視啟發(fā)。將復雜的數(shù)學證明簡化為若干小問題，變成若干錦囊來啟發(fā)學生理解問題。通過極端的例子來啟發(fā)學生發(fā)現(xiàn)和理解問題。通過現(xiàn)實中經(jīng)常用到的例子來啟發(fā)。

　　(2) 重視實用性，除了理論外，還對各種編碼的具體實現(xiàn)中的問題進行了分析，并且給出了一些軟件實現(xiàn)的具體指導。避免教材內(nèi)容過于學術化，而沒有考慮到學生今后在工作中的實際需求。對于信息論與編碼技術在現(xiàn)實中的各種應用也有不少介紹和展望。

　　(3) 充分結合我們的研究和教學成果與經(jīng)驗，根據(jù)我們的分析和研究，提供一些新的理解或者證明相關結論的方法。

　　(4) 注重各知識點的條理性、銜接性、前后關系和因果關系。

　　(5) 詳細敘述與方向指引并重�！拔嵘�也有涯，而知也無涯。以有涯隨無涯，殆已�！敝�識是無涯的，與此相對應的是教材篇幅是受到限制的，學生的時間也是有限的，即有涯。如何在有涯和無涯之間建立很好的平衡是一個教材的編者必須充分考慮的。在當今強調(diào)寬口徑教學的背景下，一方面要突出重點，針對具有理論和應用價值的內(nèi)容進行詳細敘述；另一方面，由于篇幅所限，不可能面面俱到，在教材中指明學科的脈絡、發(fā)展方向和前沿，對于某些應用面有限的、煩瑣的尖端枝末性的知識，我們盡量推薦一定的教材和資源，以便讀者可以根據(jù)指引找到相關資料。本書還提出了一些具有潛力的新問題研究方向。

　　(6) 傳授知識與傳授方法并舉。通過舉例等讓學生體驗到利用新的方法來解決實際問題的途徑。以教材的課后習題誘導學生去探索現(xiàn)學現(xiàn)用甚至自己去搜集資料來解決問題的方法。本書不僅致力于讓學生學會信息論與編碼的相關知識，在許多時候通過啟發(fā)的方式讓學生能夠?qū)W習信息論的基本方法，以及新理論的創(chuàng)新的方法和技巧。在值得學生深思、借鑒和聯(lián)想的地方做一定的標記和啟發(fā)性提問。提供通用的和針對信息論與編碼的學習和研究的方法、技巧。

　　(7) 對于重要的關鍵詞提供對應的英文術語，達到一定的雙語效果，便于讀者進一步閱讀英文文獻。

　　(8) 學術性與通俗性共存。在兩者之間保持平衡，避免教材的曲高和寡與經(jīng)院化，也避免教材一味追求實用卻缺乏理論深度。目前一些教材存在著學術性很強，但是缺乏通俗性的弊端。編者將更多地站在學生的角度去編寫教材。第一，在編寫教材時，考慮讀者的基礎，盡量對于專業(yè)術語給予解釋。第二，不要采用模糊不清的表述，寧可多寫，也要把問題寫清楚，對于可能存在歧義的表述，通過各種方式讓歧義消除，語意明確。為了達到通俗易懂，在一些地方不避煩冗，對于比較專業(yè)和自學能力強的讀者，可能會覺得比較啰嗦，這是為了表述得更加明確。第三，盡量少用抽象空洞的表述，同時配備通俗易懂的實例或者圖表。第四，對于難于理解的問題，用形象的例子或者比擬來啟發(fā)思維。第五，在描述問題時避免跨度太大或者跨越某些知識而造成理解上的困難。達到無須教師講解依然具有很好的可讀性的效果，便于自學。第六，內(nèi)容上要考慮實踐中必須解決的一些問題，考慮現(xiàn)實中的各種因素。第七，一方面減少了某些意義不大、非常煩雜的、數(shù)學推導過多的內(nèi)容，但是同時也用一些啟發(fā)的錦囊來引導讀者自悟。對于較為復雜的問題，同時給予專業(yè)性表述和通俗性表述。

　　(9) 合理設計排版布局。為了保證對于不同讀者和學生的適用性，顯示教材內(nèi)容的層次性，不同性質(zhì)的內(nèi)容采用不同的字體。對于比較難、選學的內(nèi)容，在其標題后加*號，對于一些啟發(fā)性、評價性的內(nèi)容，解題指導以及理論應用于實際方面的討論的內(nèi)容，感想、啟示以及啟發(fā)性提問采用楷體；重要的內(nèi)容采用加粗字體；必要的背景闡釋和補充說明采用仿宋字體。

　　(10) 重視對創(chuàng)新能力的激勵和培養(yǎng)。第一，在合適位置預留讀者發(fā)表自己看法的空間。為了啟發(fā)和喚醒學生的創(chuàng)新思維，在教材的適當位置（比如編者認為某些內(nèi)容還有很大的創(chuàng)新空間時）預留讀者自己思考和創(chuàng)新的空白位置，并且用文字標示出來提醒讀者。在描述具有啟發(fā)意義的創(chuàng)新內(nèi)容時，對于相關內(nèi)容的重大創(chuàng)新給予點評來啟發(fā)讀者進行創(chuàng)新，并且在章節(jié)的末尾或者適當位置預留空間讓讀者自由表達思想，如可以容納新思想、新假想、未被證實或未完全證實的想法、簡潔但是有用的想法等，或者讓讀者可以評閱、提出自己的困難與添加自己的觀點、建議和改進意見，這樣的提示有利于讀者發(fā)揮主觀能動性和養(yǎng)成獨立思考的習慣，也有利于教師或者編者將這些學生的評閱和觀點加以整理，以便于修改完善教材。第二，信息論的許多模型都有自己的前提，是有局限性的，在描述編者認為非絕對內(nèi)容的時候通過非肯定的描述，避免讓讀者對已有的理論產(chǎn)生正確無疑的看法，從而鼓勵學生放開眼光，發(fā)散思考，甚至提示學生去發(fā)現(xiàn)這些潛在的前提。

　　(11) 充分重視學生的數(shù)學基礎，除了學生必須具備的高等數(shù)學、線性代數(shù)和概率論基礎外，對于其他的數(shù)學基礎會在相應章節(jié)簡要提及。教材的編寫注重通俗性和易讀性，讓數(shù)學基礎差的同學在沒有教師指導的情況下能夠自學，特別是需要考慮擴招帶來的學生基礎的影響。

　　(12) 合理地設計習題。由于創(chuàng)新能力、自學能力和動手能力在產(chǎn)學研結合教育中的重要性，因此教材的習題也要考慮激發(fā)、提高或者檢驗學生的創(chuàng)新能力、現(xiàn)學現(xiàn)用能力、自學能力和動手能力。除了傳統(tǒng)的答案相對固定的習題外，還應當有答案開放、促進思維發(fā)散的習題，讓學生展開思維的翅膀去創(chuàng)新。在習題中引入沒有用書本上的概念描述的現(xiàn)實問題，讓學生現(xiàn)學現(xiàn)用，增強學生舉一反三的能力。鼓勵學生結合信息論去思考現(xiàn)實中的各種問題。

　　(13) 先立后破。引導學生進入信息論的模型中，進而接受和相信信息論。在可能走向迷信的時候，打破這種迷信。在教材的最后，才開始討論信息論的前提條件，讓讀者知道其局限性。

　　(14) 對于一些比較困難的內(nèi)容進行簡化，僅僅提及相關的結論和基本的原理。

(15) 在將科研成果融入教材的同時，試圖化解教學之易與科研之難的矛盾。本書在將許多科研成果融入教材時盡量采用容易理解的方式簡化相關內(nèi)容。

　　本教材依然存在以下方面的問題： 對于信息論的各個模型、定義，有一些未明確說明的假定。在具體的理論轉向不同應用情形的時候，也存在一些未明確說明的問題，諸如是否適用的問題。比如，當一個定理對單個符號適用，轉向應用于符號序列時，沒有說明其適用性。這是讀者在閱讀信息論與編碼類教材時需要注意的。本教材對于其中一部分給出了說明，但是沒有全部說明。

　　在本書的編寫過程中參考了不少信息論與編碼方面的教材、專著、論文和網(wǎng)絡資源等，在此作者對這些著作的作者深表感謝。為了減少歧義，對一些題目和知識的條件進行了明確的闡述，對于可能不妥的說法也進行了改進，但是，這些改進可能存在不當之處。

　　信息論面對的現(xiàn)實中真實的模型、系統(tǒng)、對象和參數(shù)都是極其復雜、多樣化和不確定的，在信息論中是存在許多簡化和忽略的，這造成某些理論是受到限制的，并不普適，也不唯一，有些教材也存在不一致的說法。在本教材中，編者盡量對一些模糊的對象加以明確，對于一些前提加以限定，但是有時候鑒于考慮得越復雜、越細致就會越煩瑣和復雜化，因此有些地方依然保持現(xiàn)有教材的說法。

　　在不同的教材中，有些術語、分類和劃分等對象存在一定的不一致、不統(tǒng)一、不確定的情況，有些內(nèi)容本身也存在模糊性，有些劃分要么過于龐雜，要么存在疏漏，有的劃分還有重復。在本教材中采用以下原則： 列舉別名、明確問題、理清脈絡、解釋分歧、回避歧義、避免繁雜而無意義的內(nèi)容。但是，這些原則在針對實際情況時也存在欠缺，尚未做得滿意。

　　本書力圖做出多方面的改革和改進，但是，這些變革總是存在一定難度的，一部優(yōu)秀的教材應該融合產(chǎn)學研，編者在有些方面心有余而力不足，加上時間有限，可能存在一定的不足。

　　對于學生的學習方面，編者認為，雖然本教材設計了大量的思考題，但是，作者也反對絞盡腦汁、挖空心思式的短期拔苗助長的思維訓練方法，真正提高智力需要有安寧、清明的心，寧靜才能致遠，清明才能洞察。學生的思考習慣應該是先扶后抑，當學生不習慣思考的時候，可以培養(yǎng)思考的習慣；但是思考成為非常強烈的習慣的時候，這從任何一個角度（智力、身體、心理等）來說對于學生都是不利的，需要冷靜觀察和抑制思維。

　　在學習中，方法是非常重要的，甚至比書本上的死知識更重要，建議多讀數(shù)學家和密碼學家的故事，比如香農(nóng)、王小云等。知識的啟發(fā)價值可能遠遠超過知識的直接價值。關于這門課程的學習，相對于其他的課程顯得比較艱深抽象，需要較好的數(shù)學基礎，固然做習題也是需要的，但是，習題可能更多的是應付考試，對于真正掌握和進一步應用信息論與編碼的理論意義是不大的，信息論與編碼課程的學習與掌握，最重要的還是理解。

　　本教材添加了一些實踐應用方面的知識，也涉及許多思想與方法，相比一些教材更“厚”，在教學中如果課時受限，要根據(jù)需求合理取舍，并將一些內(nèi)容交給學生自學。

　　根據(jù)編者的經(jīng)驗，自己獨立去想通一個問題，或者實在想不通的時候，看一部分書本證明再繼續(xù)獨立思考，可能比完全看書本上的分析與證明效果更好。這一點可以總結為“學習得來終覺淺，絕知此事要自悟”。

　　編者認為，信息在對于人類的利弊上是中立的，信息只是提供給我們更多的選擇，但是這種選擇到底是有益還是有害，人是不是會利用這種選擇來危害社會，很大的程度上是取決于用信息的人，所以無論科技如何發(fā)達，永遠都不能忽視人的道德問題，壞人掌握高科技，無異于南轅北轍。正如復旦大學校長所言： “無德學生越有知識可能越禍害社會�！睂τ趯W生的道德要求應高于學業(yè)要求，德育更重于智育。

　　現(xiàn)在的大學教學中忽視德育，輕視方法與思想，而更側重理論。但實際上三者的重要性是遞減的。

　　國外的一些大學教育水平為什么能夠高出國內(nèi)很多，我們參考國外的教材和教學安排、習題就可以得出一部分答案： 它們學生的壓力更大，學習內(nèi)容多，但是教師講的少，學生自學的內(nèi)容多，題目更加靈活；它們的平時成績往往超過70%，平時的習題任務也非常大，而且非常嚴格；另外，機制保證了學生更加勤奮，教師的要求更加嚴格。而在國內(nèi)，在學習專業(yè)知識的大學階段卻反倒松懈下來。提升大學教育質(zhì)量離不開嚴格管理，國外的做法值得借鑒。

　　本書共分9章。第1章是緒論，介紹信息、通信系統(tǒng)模型、離散與連續(xù)等內(nèi)容。第2章介紹信息的統(tǒng)計度量，也是信息論的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，這一章是后續(xù)章節(jié)的基礎。第3章討論信道及其容量。第4章主要介紹編碼的基本概念與無失真信源編碼。第5章討論信息率失真函數(shù)與限失真編碼。第6章討論信道編碼。第7章討論加密編碼。第8章分析香農(nóng)信息論的局限性，并且對信息論的發(fā)展進行展望。第9章介紹一些常用編碼的實現(xiàn)方法和信息論的應用。

　　本書由王勇主編，第6章由黃雄華完成，其余均由王勇編寫，蔡國永參與了第9章的編寫。主編審閱了各章內(nèi)容，但是當章節(jié)編者與主編存在不同看法時，主要保留編者的觀點。教材中新的錦囊、穿插的思考題、課后思考題由王勇設計。教材的策劃與改革主要由王勇完成。

　　作者要特別感謝清華大學出版社的信任與支持！同時感謝付莉做了一部分資料收集工作，并繪制了若干插圖。

　　本書得到中國電子教育學會“十二·五”高等教育科學研究立項課題（No.ZDJ11208）、新世紀廣西高等教育教學改革工程立項項目（No.2012JGA137）的資助。

　　本書的前修課程包括高等數(shù)學、概率論和線性代數(shù)。離散數(shù)學（數(shù)論、近世代數(shù)）也是某些編碼理論的基礎，本書中在相關章節(jié)對這些基礎簡要提及。

　　本書將會提供一定的增補電子文檔和其他相關的電子文檔。

　　本書試圖更多地從理解的角度來啟迪讀者，也提出了許多具有啟發(fā)性的思考問題，希望能夠把這本書變成啟迪思維、開啟智慧的素材集，但是編者的理解是有限的，在信息論與編碼領域的理論和實踐方面存在一定的欠缺，限于作者水平有限，書中錯誤和不當之處在所難免，歡迎各種批評和建議。我們倡導面向就業(yè)的教學方式，在教材的編寫上，也希望能夠進一步貼近研究和應用的實踐，我們歡迎（但是不限于）以下反饋意見：

　　(1) 研究人員對教材的前瞻性提出批評指正；

　　(2) 學習過信息論與編碼的畢業(yè)生在從業(yè)多年后對教材的實用性進行評價；

　　(3) 還未學習過信息論與編碼的本科生（已經(jīng)學過高等數(shù)學、線性代數(shù)和概率論）來評論教材的通俗性和易讀性，指出教材中的跳躍度較大、艱澀難懂的地方；

　　(4) 教師和學生對教材中出現(xiàn)的問題給予批評，對教材的優(yōu)缺點進行評價，針對教材中的一些改進點提出批評意見；

　　(5) 產(chǎn)業(yè)界和廣大的相關行業(yè)人士就教材的實用性提出自己的意見，以增強課程與實踐的銜接。如有意見可以發(fā)到hellowyin@126.com，對于有顯著貢獻的讀者，我們會在教材或者其電子材料中注明，并可能拿出一部分稿酬給予獎勵。此外，對于今后的教材再版，我們也積極歡迎產(chǎn)、學、研等領域的人才參與進來，參與者和提出意見者可以提出自己的關于版權、署名和稿酬等方面的要求。




王勇
2012年11月于桂林電子科技大學