信息论基础

  • 出版时间: 2008年03月01日
  • 作者: Thomas M.Cover、 Joy A.Thomas
  • 浏览: 57
  • 发表评论

《信息论基础》(原书第2版)是信息论领域中一本简明易懂的教材。主要内容包括:熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。《信息论基础》(原书第2版)还对网络信息论和假设检验等进行了介绍,并且以赛马模型为出发点,将对证券市场的研究纳入了信息论的框架,从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

1第1章 绪论与概览

2第2章 熵、相对熵与互信息

2.1 熵

2.2 联合熵条件熵

2.3 相对熵与互信息

2.4 熵与互信息的关系

2.5 熵、相对熵与互信息的链式法则

2.6 Jensen不等式及其结果

2.7 对数和不等式及其应用

2.8 数据处理不等式

2.9 充分统计量

2.10 费诺不等式

要点

习题

历史回顾

3第3章 渐近均分性

3.1 渐近均分性定理

3.2 AEP的推论:数据压缩

3.3 高概率集与典型集

要点

习题

历史回顾.

4第4章 随机过程的熵率

4.1 马尔可夫链

4.2 熵率

4.3 例子:加权图上随机游动的熵率

4.4 热力学第二定律

4.5 马尔可夫链的函数

要点

习题

历史回顾

5第5章 数据压缩

5.1 有关编码的几个例子

5.2 Kraft不等式

5.3 最优码

5.4 最优码长的界

5.5 惟一可译码的Kraft不等式

5.6 赫夫曼码

5.7 有关赫夫曼码的评论

5.8 赫夫曼码的最优性

5.9 Shannon-Fano-Elias编码

5.10 香农码的竞争最优性

5.11 由均匀硬币投掷生成离散分布

要点

习题

历史回顾

6第6章 博弈与数据压缩

6.1 赛马

6.2 博弈与边信息

6.3 相依的赛马及其熵率

6.4 英文的熵

6.5 数据压缩与博弈

6.6 英文的熵的博弈估计

要点

习题

历史回顾

7第7章 信道容量

7.1 信道容量的几个例子

7.1.1 无噪声二元信道

7.1.2 无重叠输出的有噪声信道

7.1.3 有噪声的打字机信道

7.1.4 二元对称信道

7.1.5 二元擦除信道

7.2 对称信道

7.3 信道容量的性质

7.4 信道编码定理预览

7.5 定义

7.6 联合典型序列

7.7 信道编码定理

7.8 零误差码

7.9 费诺不等式与编码定理的逆定理

7.10 信道编码定理的逆定理中的等式

7.11 汉明码

7.12 反馈容量

7.13 信源信道分离定理

要点

习题

历史回顾

8第8章 微分熵

8.1 定义

8.2 连续随机变量的AEP

8.3 微分熵与离散熵的关系

8.4 联合微分熵与条件微分熵

8.5 相对熵与互信息

8.6 微分熵、相对熵以及互信息的性质

要点

习题

历史回顾

9第9章 高斯信道

9.1 高斯信道:定义

9.2 高斯信道编码定理的逆定理

9.3 带宽有限信道

9.4 并联高斯信道

9.5 高斯彩色噪声信道

9.6 带反馈的高斯信道

要点

习题

历史回顾

10第10章 率失真理论

10.1 量化

10.2 定义

10.3 率失真函数的计算

10.3.1 二元信源

10.3.2 高斯信源

10.3.3 独立高斯随机变量的同步描述

10.4 率失真定理的逆定理

10.5 率失真函数的可达性

10.6 强典型序列与率失真

10.7 率失真函数的特征

10.8 信道容量与率失真函数的计算

要点

习题

历史回顾

11第11章 信息论与统计学

11.1 型方法

11.2 大数定律

11.3 通用信源编码

11.4 大偏差理论

11.5 Sanow定理的几个例子

11.6 条件极限定理

11.7 假设检验

11.8 Chernoff-Stein引理

11.9 Chemoff信息

11.10 费希尔信息与Cramer-Rao不等式

要点

习题

历史回顾

12第12章 最大熵

12.1 最大熵分布

12.2 几个例子

12.3 奇异最大熵问题

12.4 谱估计

12.5 高斯过程的熵率

12.6 Burg最大熵定理

要点

习题

历史回顾

13第13章 通用信源编码

13.1 通用码与信道容量

13.2 二元序列的通用编码

13.3 算术编码

13.4 Lempel-Ziv编码

13.4.1 带滑动窗口的Lernpel-Ziv算法

13.4.2 树结构Lernpel-Ziv算法

13.5 Lempel-Ziv算法的最优性

13.5.1 带滑动窗口的Lempel-Ziv算法

13.5.2 树结构Lempel-Ziv压缩的最优性

要点

习题

历史回顾

14第14章 科尔莫戈罗夫复杂度

14.1 计算模型

14.2 科尔莫戈罗夫复杂度:定义与几个例子

14.3 科尔莫戈罗夫复杂度与熵

14.4 整数的科尔莫戈罗夫复杂度

14.5 算法随机序列与不可压缩序列

14.6 普适概率

14.7 科尔莫戈罗夫复杂度

14.8 Ω

14.9 万能博弈

14.10 奥克姆剃刀

14.11 科尔莫戈罗夫复杂度与普适概率

14.12 科尔莫戈罗夫充分统计量

14.13 最短描述长度准则

要点

习题

历史回顾

15第15章 网络信息论

15.1 高斯多用户信道

15.1.1 单用户高斯信道

15.1.2 阴个用户的高斯多接人信道

15.1.3 高斯广播信道

15.1.4 高斯中继信道

15.1.5 高斯干扰信道

15.1.6 高斯双程信道

15.2 联合典型序列

15.3 多接人信道

15.3.1 多接人信道容量区域的可达性

15.3.2 对多接人信道容量区域的评述

15.3.3 多接人信道容量区域的凸性

15.3.4 多接人信道的逆定理

15.3.5 m个用户的多接人信道

15.3.6 高斯多接人信道

15.4 相关信源的编码

15.4.1 Slepian-wolf定理的可达性

15.4.2 Slepian-Wolf定理的逆定理

15.4.3 多信源的Slepian-Wolf定理

15.4.4 Slepian-Wolf编码定理的解释

15.5 Slepian-Wolf编码与多接人信道之间的对偶性

15.6 广播信道

15.6.1 广播信道的定义

15.6.2 退化广播信道

15.6.3 退化广播信道的容量区域

15.7 中继信道

15.8 具有边信息的信源编码

15.9 具有边信息的率失真

15.10 一般多终端网络

要点

习题

历史回顾

16第16章 信息论与投资组合理论

16.1 股票市场:一些定义

16.2 对数最优投资组合的库恩-塔克特征

16.3 对数最优投资组合的渐近最优性

16.4 边信息与增长率

16.5 平稳市场中的投资

16.6 对数最优投资组合的竞争最优性

16.7 万能投资组合

16.7.1 有限期万能投资组合

16.7.2 无限期万能投资组合

16.8 Shanon-McMillan-Breiman定理(广义渐近均分性质)

要点

习题

历史回顾

17第17章 信息论中的不等式

17.1 信息论中的基本不等式

17.2 微分熵

17.3 熵与相对熵的界

17.4 关于型的不等式

17.5 熵的组合界

17.6 子集的熵率

17.7 熵与费希尔信息

17.8 熵幂不等式与布伦-闵可夫斯基不等式

17.9 有关行列式的不等式

17.10 关于行列式的比值的不等式

标签: 信道
我来评分 :6
0

转载注明:转自5lulu技术库

本站遵循:署名-非商业性使用-禁止演绎 3.0 共享协议