信息論基礎

出版時間:2005-5  出版社:機械工業出版社  作者:[美] Thomas M.Cover,Joy A.Thomas  頁數:435  
Tag標簽:無  

內容概要

  本書介紹信息論及其應用,內容豐富,涉及信息、統計,計算機科學等領域,系統和全面地介紹了香農信息論的基本理論與多類應用問題,其中包括作者的許多研究成果。本書包含大量的例題與背景說明,涉及信息處理與信息世界中的許多問題。本書是美國斯坦福大學、萊斯大學等使用的信息論教材,是學習信息論的主要參考書。  本書全面系統地介紹了香農信息論的基本理論以及多類應用問題,其中包括了作者的許多研究成果。本書闡述了熵、相對熵和互信息之間的基本代數關系,論述了漸近均分性(AEP)、隨機過程和數據壓縮的熵率、Kolmogorov復雜度、信道容量定理、微分熵以及網絡信息理論等內容,并采用“使用不等式串、中間不加任何文字、最后直接加以解釋”的創新表述方式,使讀者學習了一定數量的證明后,在沒有任何解釋的情況下就能理解其中的大部分步驟,并給予必要的解釋。  本書適合作為通信理論、計算機科學和數學等專業學生學習信息論的教材。章后提供的習題便于老師的教學,以及增強學生對信息論的理解。

作者簡介

  Thomas M.cover是國際著名的信息論教授,1964年獲美國斯坦福大學電子工程博士學位,1972年起任美國斯坦福大學電子工程與數理統計學教授,妝兼任IEEE、AAAS、IMS學會特別會員及多項重要學會理事。 Joy A.Thomas,1990年獲美國斯坦福大學電子工程博士學位,1984-1985年被授予IEEE Chareles LeGeyt Fortescue Fellowship,1987-1990年被授予IBM Graduate Fellowship。

書籍目錄

譯者序前言第1章 緒論與概覽第2章 熵、相對熵和互信息2.1 熵2.2 聯合熵和條件熵2.3 相對熵和互信息2.4 熵與互信息的關系2.5 熵、相對熵和互信息的鏈式法則2.6 Jensen不等式及其結果2.7 對數和不等式及其應用2.8 數據處理不等式2.9 熱力學第二定律2.10 充分統計量2.11 Fano不等式要點習題歷史回顧第3章 漸近均分性3.1 漸近均分性的定義3.2 AEP的結果應用:數據壓縮3.3 高概率集與典型集要點習題歷史回顧第4章 隨機過程的熵率4.1 馬爾可夫鏈4.2 熵率4.3 例子:加權圖上隨機游動的熵率4.4 隱馬爾可夫模型要點習題歷史回顧第5章 數據壓縮5.1 有關編碼的例子5.2 Kraft不等式5.3 最優碼5.4 最優碼長的界5.5 惟一可譯碼的Kraft不等式5.6 赫夫曼碼5.7 有關赫夫曼碼的評論5.8 赫夫曼碼的最優性5.9 Shannon-Fano-Elias編碼5.10 算術編碼5.11 香農碼的競爭最優性5.12 由均勻硬幣投擲生成離散分布要點習題歷史回顧第6章 博弈與數據壓縮6.1 馬賽6.2 博弈與邊信息6.3 相依的馬賽及其熵率6.4 英文的熵6.5 數據壓縮與博弈6.6 英文的熵的博弈估計要點習題歷史回顧第7章 Kolmogorov復雜度7.1 計算模型7.2 Kolmogorov復雜度:定義和例子7.3 Kolmogorov復雜度與熵7.4 整數的Kolmogorov復雜度7.5 算法隨機序列與不可壓縮序列7.6 普適概率7.7 停止問題和Kolmogorov復雜度的不可計算性7.8 Ω7.9 普適投注策略7.10 奧克姆剃刀7.11 Kolmogorov復雜度與普適概率7.12 Kolmogorov充分統計量要點習題歷史回顧第8章 信道容量8.1 信道容量的例子8.2 對稱信道8.3 信道容量的性質8.4 信道編碼定理預覽8.5 定義8.6 聯合典型序列8.7 信道編碼定理8.8 零誤差碼8.9 Fano不等式與編碼定理的逆定理8.10 信道編碼定理的逆定理中的等式8.11 漢明碼8.12 反饋容量8.13 聯合信源信道編碼定理要點習題歷史回顧第9章 微分熵9.1 定義9.2 連續隨機變量的AEP9.3 微分熵與離散熵的關系9.4 聯合微分熵和條件微分熵9.5 相對熵和互信息9.6 微分熵、相對熵以及互信息的性質9.7 離散熵的微分熵界要點習題歷史回顧第10章 高斯信道10.1 高斯信道的定義10.2 高斯信道編碼定理的逆定理10.3 有限帶寬信道10.4 并聯高斯信道10.5 彩色高斯噪聲信道10.6 帶反饋的高斯信道要點習題歷史回顧第11章 最大熵與譜估計11.1 最大熵分布11.2 例子11.3 反常的最大熵問題11.4 譜估計11.5 高斯過程的熵率11.6 Burg最大熵定理要點習題歷史回顧第12章 信息論與統計學12.1 型方法12.2 大數定律12.3 通用信源編碼12.4 大偏差理論12.5 Sanov定理的例子12.6 條件極限定理12.7 假設檢驗12.8 Stein引理12.9 Chernoff界12.10 Lempel-Ziv編碼12.11 Fisher信息與Cram巖-Rao不等式要點習題歷史回顧第13章 率失真理論13.1 量化13.2 定義13.3 率失真函數的計算13.4 率失真定理的逆定理13.5 率失真函數的可達性13.6 強典型序列與率失真13.7 率失真函數的特征13.8 信道容量與率失真函數的計算要點習題歷史回顧第14章 網絡信息論14.1 高斯多用戶信道14.2 聯合典型序列14.3 多接入信道14.4 相關信源的編碼14.5 Slepian-Wolf編碼與多接入信道之間的對偶性14.6 廣播信道14.7 中繼信道14.8 具有邊信息的信源編碼14.9 具有邊信息的率失真14.10 一般多端網絡要點習題歷史回顧第15章 信息論與股票市場15.1 股票市場:定義15.2 對數最優投資組合的Kuhn-Tucker特征15.3 對數最優投資組合的漸近最優性15.4 邊信息與雙倍率15.5 平穩市場中的投資15.6 對數最優投資組合的競爭最優性15.7 Shannon-McMillan-Breiman定理要點習題歷史回顧第16章 信息論的不等式16.1 信息論的基本不等式16.2 微分熵16.3 熵與相對熵的界16.4 型的不等式16.5 子集的熵率16.6 熵與Fisher信息16.7 熵冪不等式與Brunn-Minkowski不等式16.8 行列式的不等式16.9 行列式的比值的不等式全書要點習題歷史回顧參考文獻索引

媒體關注與評論

  本書是美國斯坦福大學、萊斯大學等使用的信息論教材,是學習信息論的主要參考書。  本書特色:  ·包含大量新的素材,如信息論與博弈的關系;  ·采用典型序列的方法對編碼理論進行描述與證明;  ·采用隨機碼方法證明信道與有失真信源編碼定理。

圖書封面

圖書標簽Tags

評論、評分、閱讀與下載


    信息論基礎 PDF格式下載



用戶評論 (總計30條)

 
 

  •       信息論基礎
      評分:8.5 權重8 (課程共耗時6361,其中本書2339)
      從課程講到典型集之后換用這本書學信息論部分。目前只自己看了這本書的很小一部分,包括二三五七章的部分。使用了本書之后感覺《信息論與編碼理論》真是本傻逼教材,受不了它了。。這本書總體比信息論與編碼的書好多了,第二章只發現了一個錯誤。層次分明的排版,簡潔明了的公式、定理及其證明,讓人賞心悅目,在閱讀的時候有一種美學享受(不要小看這一點,這是非常影響學習情緒從而影響學習效率的;)。我在學習這本書的時候,常常是剛剛洗澡完,然后一回來就情不自禁如饑似渴的對著本書一直看,等到一抬頭已經12點多,舍友都在催我睡覺了;可以說完全進入了一種高度專注的“心流”的學習狀態,這不僅要拜我當時的良好狀態所賜,也與教材有極大關聯;那些錯漏百出的爛書是絕對不可能如此吸引我并且能提供如此連續而密集的智力活動體驗的。本書的每個章節的最后還都有專門列舉了本章所有的重要公式定理,簡直是太貼心了。這本書還將每個知識點的外延也都包括在書中,列舉了大量的信息論知識在其他領域如統計、隨機過程、博弈論的應用(后面章節還有更多方面的,我還沒看到)。最能說明其效力的莫過于漸進均分性這一章,我當時沒有這本教材,聽老師上課講了兩節課基本什么都沒有聽懂,完全一頭霧水(當然,不能完全怪老師,我本來就不是audio learner,上課就當是預習/復習,而是明顯的visual learner,課下自己看才是重頭戲),在用短短幾個小時看了本書的這一章節后就豁然開朗,很快就融會貫通了。這本書的習題量也非常多,而且有理由相信它們都是很經典的,可惜只有很少的部分在網上有英文版的答案。這本書文字和公式都太精要了,以至于我想畫一些重點和做高亮記號都無從下手,因為幾乎所有內容都沒有什么廢話,所有內容都是信息量很大的重點,復習的時候可以直接閱讀。但是這本書似乎有點太精要了,經常出現不認識的符號或者沒有說明清楚的地方,似乎不是面向初學者的,以至于我有不少地方不太看得懂或者感覺牽扯了太多非課程內容。因此,這本書如果在掌握了更高深的知識后過來復習,會有更大的效力,能夠打通并構建出更完整龐大的知識網絡。我與這本書的緣分必然不會就此終結,以后必然還會繼續復習以及學習這本書的其他部分,屆時對它的理解可能更加深入,本書的評分也可能會相應的繼續提高。
      
  •       比起同類書,是相當容易懂。但是數學的條理邏輯性就不明顯了。具體說來,其他書基本都是直接先把用到的數學基礎擺出來,在后面章節中直接用(如El Gamal & Kim的NETWORK INFORMATION THEORY)。而這本書不是的。
      
      組織結構上可能有些難以把握。僅僅在通信上的應用,最起碼包括信道編碼和信源編碼,兩者是對偶,需要跳來跳去,會弄的讀者一頭霧水。本書又包括了算法復雜度,還有股票投資什么的,建議這部分先跳過去。
      
      此書入門,入門后看El Gamal & Kim的書。然后再后頭看這本另有收獲。BTW,本書主要用弱典型,El Gamal & Kim的是強典型。強典型容易點。
  •       剛剛讀完這本書,的確是一本好書,把信息論的主要思想,以及這些思想在包括博弈、金融、數學、物理、算法復雜性等理論的應用都講出來了,而且能夠把信息論之中蘊含的深刻科學思想講出來,的確是一本好書。
      但我認為,這本書仍然存在以下一些不足之處:
      1、這并不是一本入門級別的書
      不知道評價這本書的其他朋友怎么看,不知道各位都是什么級別的人士。但是,我作為一名也算是理工科背景出身的高校教師,仍然覺得這本書很難真正讀懂。信息論中有很多艱深的思想以及數學證明包含了本書之中,這些證明不花上一定的力氣不可能學會。所以,相比較來說,我并不覺得這是一本信息論入門書籍。(相比較來說,入門書籍應該更加淺顯一些,而且不要涉及太多的數學證明)。
      2、內容過于分散,很難讓初學者抓住主線
      本書的優點之一就是將信息論設計的很多相關學科也介紹的非常清楚,例如金融、博弈、物理、最大熵原理、統計等等,但是這也恰恰形成了讀者,尤其是初學者閱讀這本書的障礙。我更不能理解的是,作者似乎按照兩條主線來敘述這些東西。一條主線是比較清晰的傳統信息論和編碼、通信理論,另外一條主線是信息論涉及到的邊邊角角的知識,而且這兩條主線是交錯地在各個章節呈現的。
      3、翻譯的語言過于學術化
      翻譯還是不好,有些語言太死板了,有把簡單的概念復雜化的趨勢。
      
      但是,這本書還是有相當多的閃光點,比如對Entropy這個概念的完整介紹,比如Kolmogorov復雜性理論的介紹。我覺得作者應該進一步突出Entropy這個概念,用它貫穿所有的內容。
  •       公認的
      書中包括的內容極其豐富
      并且定理推導都不算復雜
      可謂是初學者接觸信息論的最好教材
      再加上是二版
      這個是標準的美版
      哎
      只可惜俺沒錢買
      長期只能pdf……
  •       感覺挺明白淺顯的,本科的老師用的這本教材,不過她明顯沒有好好備課,講的亂七八糟的,都是自己看的,還不錯,現在還記得一些印象。
      不過我對翻譯的書都沒什么好印象,所以還是建議大家去讀英文版的吧。
  •       Cover先生是牛人,IEEE的Fellow。
      
      這本書網上也有英文的電子版。可以試一試直接看英文版。也是不錯的。
      講的最后兩章指明了現在和將來信息論可能的研究方向。
  •       雖然概念比較難懂,但如果能找到切入點很容易明白。建議看
      www.googlechinablog.com 的數學之美系列文章。
  •     Cover的數學條理邏輯很好的啊,由道入術。
  •     說是入門書的,都是在裝逼,不用介意。
  •     基礎不是入門啊,這個是專業基礎,外行人不知道什么叫基礎吧,呵呵
  •     我承認,這本書的不少證明我都是跳過去了的,但是這也似乎是國內能找到最好的信息論入門教材了,不然就得去看給學通信的工科生寫的教材....
    至于貼近普及讀物的一本信息論介紹的書,至今還沒找到
  •     我覺得信息論和概率統計都需要極深厚的賭博業背景``
  •     Obviously, information theory is more complex than what they said in the book~
  •     我感覺著本書還是比較基礎的,至少對于相關專業而言。
    其實,熵只是一個簡單的概念。更為重要的如何去在傳遞過程中盡量降低信息的損失。
    信息論涉及到的數學主要是初等概率論,以及一些重要的不等式。
  •     實話實說,對于信息論來說,這還真就是個入門的書籍。這個入門不是指得科普讀物,而是在大學教育過程中,接觸信息論的第一本書籍。而且Cover已經在刻意降低理論的深度,把這個口子開得很寬,沒有說太深奧的東西。
    幾項基本的東西像 Jenson 不等式,數據處理不等式,Fano不等式,利用typical set 給出的證明,還有就是 random binning 。再深的東西都沒有涉及,像dirty paper coding, Gelfand-Pinsker定理,degraded broadcast channel, interference channel統統都涉獵不深。
    還有,學習又不是玩,信息論這樣的東西更是需要大量的腦力勞動。不客氣地說,在國內信息論的研究幾乎就是個0,如果學生想靠自己從頭研究是不現實的。如果你想走馬觀花的看看,那也沒這個必要,什么也學不到;如果想認認真真地學,那就需要花點時間。
    如果去看看Csiszar的書,才知道什么叫難懂。
    如果是做研究,Abbas El Gamal的書其實不錯,屬于可以指導研究的講義。
  •     就是基礎才要把證明寫得很清楚啊……
  •     這本書書名翻譯的有問題,人家寫的是elements of information theory
    又不是basics of information theory或者introduction to information theory
  •     這本書在第一版前言明確說明本書適合大四(senior year) 和研究生一年級的教材, 并且學過概率,有扎實的數學基礎(with a background of at least one good semester course in probability and a solid background in mathematics.),這樣的教材怎么能叫入門教材?我理解的入門教材應該
    是有高中甚至初中數學背景的人都能讀懂,國外的很多intro 開頭的教材都是這樣
  •     這就是信息論的入門經典,但是需要花很大力氣才能讀懂并理解的。這就是這么學科的特點,信息論本身屬于概率統計,應用數學的分支之一。讀這本書一方面要有較扎實的數學功底,另一方面對于無線通信、編碼要有一定了解,這樣就能很好的入門。這是經典學術著作,而不是科普。十分同意@dcc1031的說法。
  •     樓上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入門教材了,附錄怕你不知道求和號,寫著[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]],第1145頁
  •     信息論不用大量證明就不是信息論了。Shannon的信息熵本身就是對probabilistic uncertainty的量化。Cover把很多基于概率統計(我指的是三年級以上的概率統計)的理論都recast了一下,反而比統計理得更清楚。
  •     作為非EE專業的學生 個人覺得讀起來相當有意思 花些時間和耐心可以讀得很懂 但是problem好難! 這個Problem肯定不是入門級的!
  •     翻譯的有問題。Elements of Information Theory,又不是Elementary。
  •     樓主可能把這書當科普類的看了,不過這可是教材
    教材的話,數學多才是負責任的表現
    數學的參與是大部分學科目前的趨勢,所以呢,讀者不應該建議作者,反而應該改變自己
  •     確實是基礎,只不過這個基礎知識,需要兩三年才能建立好。我目前都6年了,也就那樣。
  •     哪里有pdf下?急需555
  •     gigapedia上面肯定有,你可以google下書名加PDF,多找找,應該也有的。我的是別人直接拷給我的
  •     嗯,的確寫得不錯。推薦。
  •     我看了數學之美才找到這本書的,太有感觸了!
  •     信息論也很美
 

250萬本中文圖書簡介、評論、評分,PDF格式免費下載。 第一圖書網 手機版

第一圖書網(tushu007.com) @ 2017

全年永久头数公式规律