3.4 离散单符号信源3.4.1 离散平稳信源的性质一、定义离散平稳信源信源输出是离散随机序列X X_1 X_2 X_3 \cdots满足两个核心特点离散性序列中每一个X_i都取自同一个有限符号集\mathscr{A} \{a_1, a_2, \dots\}。平稳性最核心概率分布不随时间起点平移而改变。把整个序列往后平移任意h对应的联合概率不变。简单来说统计特性和时间起点无关。例子电报脉冲信号1 代表有脉冲0 代表无脉冲属于离散多符号二进制信源。二、离散平稳信源的性质1. 各次扩展信源分布和起点无关一维P[X_i] P[X_j]任意时刻单符号分布一样。二维、三维乃至N维联合分布只和符号之间的相对间隔有关从哪个时刻开始取不影响联合概率。2. 条件概率仅和关联长度有关与起点无关P[X_{i1} | X_i] P[X_{j1} | X_j]也就是相隔同样长度的条件概率相等。注意平稳信源 ≠ 无记忆信源。平稳只是平移不变符号之间仍然可以存在相关性。三、条件熵的平稳结论H(X_2 | X_1) H(X_3 | X_2) \dots H(X_N | X_{N-1})意思是平稳信源中相邻符号之间的条件熵全都相等不会随着时间推移发生变化这是考试常考公式。四、一句话速记离散平稳信源 符号取自有限集合 统计分布不随时间平移改变联合概率、条件概率只看相对间隔条件熵恒定。3.4.2 常见的离散平稳信源重点总结严格平稳信源要求对任意N都满足平稳性条件非常苛刻现实很难实现。工程上会放宽条件只要求有限维满足平稳由此引出有限维离散平稳信源。1. 一维离散平稳信源N1只要求单符号概率不随时间变化P[X_i] P[X_j]也就是单符号先验分布和时间无关本质上就是普通的单符号离散信源。2. 二维离散平稳信源N2不仅单符号分布相同一维条件概率也和时间起点无关P[X_i] P[X_j]P[X_{i1} | X_i] P[X_{j1} | X_j]只要相邻两个符号的条件概率不随起点改变就满足二维平稳。3. m 维有限维离散平稳信源只要求到有限的m维满足平稳不需要无穷维都成立。它的全部联合分布以及一共m-1个各级条件概率都与时间起点无关。核心考点一句话严格平稳要求全部任意维都满足有限维平稳只需要到m维满足m维以内的条件概率、联合分布平移不变用来解决实际中信源很难达到严格平稳的问题。3.4.3 离散多符号信源的信源熵重点总结本节围绕离散多符号信源的三个核心熵概念展开分别是 N 长序列的联合熵H(X^N)、有限长序列的平均符号熵H_N(X)以及序列长度趋于无穷时的极限熵熵率H_\infty。理解三者的区别与联系是掌握多符号信源信息度量的关键。1. 信息熵信源熵信息熵表征单符号信源的平均不确定程度代表单个信源符号携带的平均信息量。对于多符号序列N 长序列总的熵为H(X^N) H(X_1 X_2 \cdots X_N)它是 N 个符号联合的总信息量随序列长度 N 增长而增长因此不能直接用来代表单个符号的信息量。2. 平均符号熵 H_N(X)定义 3.4针对长度为 N 的随机序列把 N 长序列的联合熵取平均得到每个符号平均携带的信息量H_N(X) \frac{1}{N} H(X^N) \frac{1}{N} H(X_1 X_2 \cdots X_N)含义把 N 个符号看成一组分摊到每一个符号上的平均熵用来刻画有限长序列中单符号的平均信息量。3. 极限熵 H_\infty也叫熵率定义 3.5当序列长度N \to \infty无限长随机序列对平均符号熵取极限就是极限熵H_\infty \lim_{N \to \infty} H_N(X) \lim_{N \to \infty} \frac{1}{N} H(X^N)含义对于无限长平稳信源每个符号实际携带的平均信息量是描述无限长序列信源最本质的熵。✅ 考点区分H(X^N)N 个符号整体的联合熵是整条 N 长序列的总信息量。H_N(X)有限 N 长序列的平均符号熵把联合熵分摊到单个符号。H_\inftyN 趋向无穷时的极限熵熵率无限序列下单个符号的平均熵。一句话速记联合熵是 N 个符号的总和平均符号熵做除以 N 的分摊N 取无穷就得到极限熵熵率。3.4.4 离散平稳无记忆信源重点总结本节把「无记忆」和「平稳」两个条件叠加起来得到离散平稳无记忆信源并由此引出 N 次扩展信源。核心结论只有一条无记忆条件下N 次扩展信源的联合熵等于原单符号信源熵的 N 倍即H(X^N) N \cdot H(X)。1. 离散平稳无记忆信源无记忆信源输出序列中各个符号相互独立前后符号之间不存在统计依赖即任意时刻的输出都不受之前输出影响。平稳符号的概率分布不随时间起点改变任意时刻的单符号分布都相同。两个条件同时满足就是离散平稳无记忆信源。此时可以把一段长度为N的符号序列整体看成一个新的信源也就是下面要讲的扩展信源。2. N 次扩展信源的定义设原始单符号信源为\mathscr{A} \{a_1, a_2, \dots, a_Q\}其 N 次扩展信源记为X^N它的每一个输出符号都是一个长度为N的符号串\boldsymbol{x} (x_1 x_2 \dots x_N), \quad x_k \in \mathscr{A}二次扩展N2扩展信源的每个符号由 2 个原始符号组成共Q^2种可能取值。三次扩展N3扩展信源的每个符号由 3 个原始符号组成共Q^3种可能取值。N 次扩展扩展信源的符号空间大小为Q^N即所有长度为 N 的符号串。3. 无记忆扩展信源的概率特点由于符号相互独立长度为 N 的符号串的联合概率等于各个符号概率的连乘p(a_{i_1} a_{i_2} \dots a_{i_N}) \prod_{k1}^{N} p(a_{i_k})也就是说只要知道单符号的概率分布就能直接写出扩展信源中任意一个符号串的概率不需要额外的条件概率。4. 核心定理无记忆 N 次扩展信源的熵\boldsymbol{H(X^N) N \cdot H(X)}即 N 次扩展信源的总联合熵等于原单符号信源熵的 N 倍。这一结论来自独立条件下联合熵的可加性H(X^N) H(X_1 X_2 \dots X_N) \sum_{k1}^{N} H(X_k) N \cdot H(X)推论平均符号熵为H_N(X) \frac{1}{N} H(X^N) H(X)即无记忆信源的平均符号熵与单符号信源熵相等与序列长度 N 无关取极限后极限熵同样满足H_\infty H(X)。✅ 考点速记无记忆 ⇒ 符号独立联合概率直接连乘不需要条件概率。无记忆扩展信源总熵直接乘以 NH(X^N) N H(X)是考试最常考公式。有记忆信源不满足该公式只有无记忆信源才有H(X^N) N H(X)有记忆时一般有H(X^N) N H(X)。平均符号熵与极限熵无记忆时H_N(X) H(X)H_\infty H(X)序列再长也不会降低单符号的平均不确定性。常见例题一般用二进制0、1或两符号红绿灯举例先算单符号熵再乘以 N 得到序列总熵最后用-\log p计算某个具体序列的自信息量。一句话速记无记忆就是符号独立联合概率连乘、联合熵相加N 次扩展信源的总熵是单符号熵的 N 倍平均符号熵和极限熵都回到原来的H(X)。3.4.5 离散平稳有记忆信源重点总结前面讨论的无记忆信源假设符号之间相互独立而实际信源大多是有记忆的——输出序列中符号之间存在统计依赖。本节从联合熵的链规则出发给出有记忆信源熵的四大性质并说明极限熵就是所有条件熵的最小值。1. 基本概念前面学的是无记忆信源而实际中大多数信源都是有记忆信源。其输出序列为X X_1 X_2 \cdots X_N符号之间存在统计依赖关系不只是相邻符号多个符号之间都可能存在依赖。信源整体的不确定度用联合熵表示H(X) H(X_1 X_2 \cdots X_N)2. 熵的链规则核心公式N 维联合熵可以拆解成一连串条件熵之和H(X_1 X_2 \cdots X_N) H(X_1) H(X_2 | X_1) H(X_3 | X_1 X_2) \dots H(X_N | X_{N-1} \dots X_1)含义整个序列的熵 第一个符号的自熵 后面每一个符号在前面符号已知条件下的条件熵。链规则把高维联合熵逐层分解是推导有记忆信源熵性质的基础。3. 信源熵的四大性质定理 3.2性质 1条件熵随 N 增大而递减H(X_N | X_{N-1} X_{N-2} \dots X_1)随 N 增加不断变小。记忆越长前面已知的符号越多对下一个符号的不确定性就越低符号之间依赖性越强不确定度越低。性质 2N 给定时平均符号熵 ≥ 条件熵H_N(X) \ge H(X_N | X_{N-1} \dots X_1)性质 3平均符号熵 H_N(X) 随 N 增大递减H_N(X) \le H_{N-1}(X)符号之间依赖越强单个符号携带的平均信息量越少。性质 4极限熵存在只要H(X_1) \infty当序列长度N \to \infty时极限熵存在H_\infty \lim_{N \to \infty} H_N(X) \lim_{N \to \infty} H(X_N | X_{N-1} \dots X_1)极限熵就是所有条件熵的最小值代表记忆无限长时信源每个符号真正的熵。一句话考点速记平稳有记忆信源序列越长条件熵、平均符号熵都下降符号之间的依赖性会降低每个符号的不确定度最终收敛到极限熵。3.4.6 一维离散平稳信源的信源熵重点总结一维离散平稳信源并不是无记忆信源符号之间存在统计依赖因此不能直接套用单符号无记忆信源的结论。本节先用红绿灯例题说明这一点再给出单符号熵、条件熵、联合熵三类熵的计算公式与相互关系。1. 一维离散平稳信源的本质一维离散平稳信源只要求单符号概率分布不随时间起点改变即P[X_i] P[X_j]但并没有要求符号之间相互独立。课本用红绿灯例题来验证这个特点。给定转移概率P[\text{绿}|\text{绿}]0.8,\quad P[\text{红}|\text{绿}]0.2P[\text{绿}|\text{红}]0.2,\quad P[\text{红}|\text{红}]0.8已知初始分布P[X_1\text{红}]0.6、P[X_1\text{绿}]0.4按全概率公式迭代计算不同时刻红灯的概率t2P[X_2\text{红}]0.56t3P[X_3\text{红}]0.536t4P[X_4\text{红}]0.5216不同时刻红灯的概率并不相同说明该序列的统计特性与时间起点有关并不满足严格平稳同时也说明符号之间存在相关性一维离散平稳信源不等于无记忆信源不能把各符号当作独立处理。2. 一维离散平稳信源各类熵公式1信息熵单符号熵由平稳性任意时刻信源符号的熵相等H(X_t)H(X)-\sum_{x\in X}P(x)\log P(x)2条件熵任意两个时刻符号的条件熵相等且与单符号熵相同H(X_i|X_j)H(X_t)H(X)3联合熵由熵的链规则两个时刻符号的联合熵为H(X_i,X_j)H(X_i)H(X_j|X_i)H(X)H(X)2H(X)✅ 考点速记一维平稳信源符号之间存在关联不能当成无记忆利用红绿灯递推例子可以判断有无记忆牢记单符号熵、条件熵、联合熵三者之间的关系式H(X_i,X_j)2H(X)。3.5 马尔可夫信源3.5.1 有限状态马尔可夫信源重点总结马尔可夫信源是对平稳有记忆信源的简化建模——只保留最近m个历史符号的影响更早的历史不再追溯从而把复杂的无限记忆问题转化为可用马尔可夫链描述的问题。本节围绕无后效性、一步转移概率、k 步转移概率和 k 步转移矩阵四个核心概念展开。1. 马尔可夫信源的引入平稳有记忆信源中符号之间的相关性可以追溯到很早计算极其复杂。马尔可夫信源做简化假设下一符号的概率只和最近m个历史符号有关更早的历史不影响。它属于离散平稳有记忆信源用马尔可夫链描述。课本青蛙跳例题直观体现了马尔可夫性青蛙下一时刻的位置仅由上一刻位置决定与更早时刻无关。2. 马尔可夫性定义无后效性设随机序列\{X_n\}只要已知前一时刻状态X_{n-1}当前X_n的条件概率就不再依赖更早的所有历史P[X_nS_{i_n}|X_{n-1}S_{i_{n-1}},\dots,X_1S_{i_1}] P[X_nS_{i_n}|X_{n-1}S_{i_{n-1}}]通俗理解已知现在未来和过去无关。3. 转移概率1一步转移概率p_{ij}(m)m时刻处于状态i下一步转移到状态j的概率p_{ij}(m)P[X_{m1}S_j|X_mS_i]性质p_{ij}\ge 0且对固定的i有\sum_j p_{ij}1归一化。2k 步转移概率p_{ij}^{(k)}(m)从时刻m的状态i出发经过k步转移到状态j的概率p_{ij}^{(k)}(m)P[X_{mk}j|X_mi]k1时就是一步转移概率。k0时为克罗内克函数p_{ij}^{(0)}\delta_{ij}即ij时等于 1i\neq j时等于 0。4. k 步转移矩阵把全部 k 步转移概率排成矩阵\boldsymbol P^{(k)}(m)矩阵每行求和等于 1完整刻画多步状态转移的概率规律。✅ 考点速记核心就是无后效性只依赖最近的历史分清一步转移概率与 k 步转移概率转移矩阵每行概率之和为 1克罗内克函数对应 0 步转移。3.5.2 齐次马尔可夫链及其平稳分布重点总结齐次马尔可夫链是马尔可夫链中最常用的一类——一步转移概率不随时间起点改变。本节围绕齐次性定义、C-K 方程、平稳分布、极限分布以及平稳分布的求解步骤展开其中平稳分布的求解是考试大题的常客。1. 齐次马尔可夫链的定义若一步转移概率p_{ij}(m)与时刻m无关可记作p_{ij}即从状态i转移到状态j的概率不随时间起点改变转移具有时不变特性这样的马尔可夫链称为齐次马尔可夫链。性质p_{ij}\ge 0且对固定的i有\sum_j p_{ij}1归一化。把所有一步转移概率排成矩阵即得到一步转移矩阵\boldsymbol P。2. 切普曼-柯尔莫哥洛夫方程C-K 方程齐次链的多步转移满足\boldsymbol P^{(mr)}\boldsymbol P^{(m)}\boldsymbol P^{(r)}推论\boldsymbol P^{(n)}\boldsymbol P^n即 n 步转移矩阵等于一步转移矩阵的 n 次方这是计算多步转移概率的核心公式。3. 平稳分布若存在分布\boldsymbol\pi[\pi_1,\pi_2,\dots,\pi_J]满足方程\boldsymbol\pi\boldsymbol\pi \boldsymbol P且满足归一化条件\sum_i \pi_i1、\pi_i0则\boldsymbol\pi就是该链的平稳分布。物理含义系统达到稳态之后状态概率不再随转移步数变化且与初始分布无关。4. 渐近性质极限分布满足一定条件不可约、非周期时当转移步数M\to\infty\boldsymbol P^{(M)}的各行都会趋近平稳分布\boldsymbol\pi。也就是说不管初始状态是什么经过足够多次转移之后系统状态分布都会收敛到平稳分布。5. 求解平稳分布的解题步骤例题考点列方程组\boldsymbol\pi\boldsymbol\pi \boldsymbol P增加归一化约束\pi_1\pi_2\dots\pi_J1解线性方程组得到各个\pi_i。✅ 考点速记齐次 转移概率与时间无关C-K 方程用来算多步转移矩阵平稳分布的核心方程是\boldsymbol\pi\boldsymbol\pi\boldsymbol P并附带归一化条件考试大题经常直接让解平稳分布。3.5.3 齐次马尔可夫信源重点总结齐次马尔可夫信源是马尔可夫信源中最常用的一类其核心是「有限记忆 转移概率时不变」。本节围绕马尔可夫信源的定义、一阶齐次马尔可夫信源的条件熵与极限熵、二阶马尔可夫信源的状态建模三个部分展开其中一阶齐次的极限熵H_\infty和 m 阶信源的状态转移图是考试大题的常见套路。1. 马尔可夫信源的定义信源输出符号具有有限记忆性某一时刻输出符号x_n的概率只依赖当前信源状态和更早的历史状态无关而信源的状态由当前输出符号与前一时刻状态唯一确定。也就是说马尔可夫信源把「无限长的历史依赖」压缩成「有限个状态之间的转移」从而可以用马尔可夫链来描述和计算。2. 一阶马尔可夫信源当前符号仅跟前 1 个前序符号有关P[X_t|X_{t-1}\dots X_1]P[X_t|X_{t-1}]若进一步满足一阶齐次即条件转移概率与时间起点无关P[X_t|X_{t-1}] P[X_2|X_1]✅ 重要性质任意相邻符号之间的条件熵全都相等H(X_2|X_1)H(X_3|X_2)\dotsH(X_N|X_{N-1})由此可得 N 次扩展源的平均符号熵。先写出 N 次扩展源的联合熵H(X^N)H(X_1)(N-1)H(X_2|X_1)再除以 N 得到平均符号熵H_N(X)\frac{1}{N} H(X^N)当N\to\infty时取极限得到极限熵H_\infty\lim_{N\to\infty}H_N(X)H(X_2|X_1)结论阶数固定的齐次马尔可夫信源扩展次数 N 趋向无穷时平均符号熵收敛到相邻符号的条件熵。大小关系H_\infty \le H_N(X) \le H_1(X)N 越大平均符号熵越小整体呈非递增趋势。3. 二阶马尔可夫信源当前符号依赖前面 2 个历史符号P[X_n|X_{n-1},X_{n-2},\dots]P[X_n|X_{n-1},X_{n-2}]二阶齐次转移概率不随时间改变。建模技巧把连续两个符号组合定义成一个信源状态状态总数为Q^m其中Q是符号集大小m是阶数。例二元符号二阶马尔可夫信源状态为 00、01、10、11一共 4 个状态据此画出状态转移矩阵、状态转移图。✅ 考点速记马尔可夫信源核心有限记忆只看最近 m 个符号。齐次 转移概率和时间起点无关。一阶齐次最常考条件熵恒定求 N 次扩展平均符号熵求极限熵H_\infty。m 阶马尔可夫信源状态是 m 长符号组状态数目Q^m画状态转移图、写转移矩阵是大题套路。一句话速记齐次马尔可夫信源 有限记忆 转移概率时不变一阶齐次的条件熵恒定平均符号熵随 N 非递增并收敛到H(X_2|X_1)m 阶信源把 m 长符号组当作状态共Q^m个状态。3.5.4 m阶齐次马尔可夫信源重点总结m 阶齐次马尔可夫信源把「最近 m 个历史符号」打包成一个状态从而把无限记忆问题转化为有限状态马尔可夫链问题。本节围绕 m 阶定义、状态与转移概率、极限熵定理、解题三步法和重要性质五个部分展开其中极限熵H_\inftyH_{m1}的计算是核心考点。1. m 阶马尔可夫信源的定义信源当前发出的符号x_n只和最近的m个历史符号有关与更早的符号无关P[x_na_{i_n}|x_{n-1},x_{n-2},\dots,x_1]P[x_na_{i_n}|x_{n-1},\dots,x_{n-m}]也就是说记忆长度被截断为m超过m步之前的历史对当前输出不再产生影响。2. 状态与状态转移概率把连续m个符号打包为一个信源状态S_i若符号集大小为Q则总共有Q^m个状态。一步转移概率p_{ij}(n)从状态S_i转移到状态S_j的概率。齐次性转移概率与时间n无关即p_{ij}(n)p_{ij}转移矩阵固定不变。由于状态由 m 长符号组构成状态之间的转移并不是任意的新状态的后m-1个符号必须与旧状态的后m-1个符号一致这一点在画状态转移图时尤其要注意。3. 极限熵核心考点定理m 阶齐次马尔可夫信源的极限熵为H_\inftyH_{m1}H(X_{m1}|X_m X_{m-1}\dots X_1)计算公式为H_{m1}\sum_{S_i\in S} P[S_i]\cdot H(X|S_i)P[S_i]状态S_i的平稳分布\pi_i。H(X|S_i)处在状态S_i条件下再发出一个符号的条件熵。直观理解极限熵等于「各状态条件熵」按「平稳分布」加权求和即先算每个状态发出下一符号的不确定度再按状态出现的长期概率做平均。4. 解题三步法例题套路判定验证转移矩阵判断是否存在平稳分布某次方矩阵全部元素大于 0满足遍历条件。求平稳分布\boldsymbol{\pi}解方程\boldsymbol{\pi}\boldsymbol{\pi}P并附带约束\sum_i \pi_i1。算极限熵分别计算每个状态的条件熵乘以该状态的平稳概率再全部相加。5. 重要性质信源达到平稳之后单符号分布、多维联合分布都不再随时间变化此时极限熵才是一个与时间起点无关的确定值。一句话速记m 阶齐次马尔可夫信源 只看最近 m 个符号 转移概率时不变状态是 m 长符号组共Q^m个极限熵H_\inftyH_{m1}\sum_i \pi_i H(X|S_i)先求平稳分布再按状态条件熵加权求和。3.6 信源的相关性和剩余度3.6.1 信源相关性重点总结实际信源大多有记忆前后符号之间存在相关性可以用 m 阶马尔可夫信源去近似。相关性越强、记忆越长极限熵越小剩余度越大可压缩的空间也越大。本节围绕信源相关性、熵的递减关系、信源类型对照表、英文信源例题和剩余度五个部分展开。1. 核心概念信源相关性实际信源大多有记忆前后符号之间存在依赖相关性一般可以用 m 阶马尔可夫信源去近似。阶数 m 越大记忆长度越长符号之间相关性越强。记忆长度 m当前符号依赖前面 m 个历史符号。2. 熵的递减关系非常重要的不等式\boldsymbol{H_{max}H_0 \ge H_1 \ge H_2 \ge \dots \ge H_{m1}\ge H_\infty}H_0\log Q最大熵等概无记忆信源符号相互独立且等概率不确定性最大。H_1H(X)非等概无记忆信源熵只用到单符号概率。H_2H(X_2|X_1)记忆长度 1一阶马尔可夫。H_3H(X_3|X_2X_1)记忆长度 2二阶马尔可夫。H_\infty极限熵考虑全部符号相关性。一句话结论符号之间相关性越强、记忆越长极限熵越小单个符号携带的平均信息量就越小。只有符号相互独立并且等概率信源熵才能达到最大值。3. 表格对应关系背诵信源类型记忆长度极限熵等概无记忆0H_0\log Q非等概无记忆0H_1H(X)一阶马尔可夫1H_2H(X_2|X_1)m 阶马尔可夫mH_{m1}H(X_{m1}|X_m\dots X_1)无限记忆极限∞H_\infty4. 例题英文信源典型考题英文一共 26 个字母加空格共Q27个符号。H_0\log 274.76比特/符号等概独立最大熵。H_14.03比特/符号统计实际字母概率无记忆。H_23.32比特/符号一阶记忆长度 1。H_33.10比特/符号二阶记忆长度 2。H_51.65比特/符号四阶。H_\infty1.40比特/符号考虑全部相关性极限熵最小。✅ 例子直观验证上面的熵递减规律随着考虑的符号相关性越来越多熵不断变小。⚠️注意高阶马尔可夫计算量爆炸二阶就要算大量条件概率。5. 剩余度引申考点剩余度描述信源有多少冗余信源相关性越强剩余度越大代表可以压缩的空间越大。一句话速记相关性越强、记忆越长极限熵越小、剩余度越大H_0 \ge H_1 \ge H_2 \ge \dots \ge H_\infty只有等概且独立时熵才取到最大值\log Q。3.6.2 信源剩余度重点总结剩余度衡量信源中有多少成分是冗余的。它由信源效率决定效率越低、剩余度越大可压缩的空间也越大。本节围绕「传输固定信息量求符号数」的例题、信源效率与剩余度两个核心定义、剩余度的性质与来源以及它的工程意义展开。1. 先看懂例题传输固定信息量求所需符号数题目传输 100 bit 的信息量不同模型分别需要多少个信源符号公式N\left\lceil \frac{\text{总信息量}}{\text{该模型熵值}} \right\rceil\left\lceil\frac{100}{H}\right\rceil等概独立无记忆H_04.76N21最少符号非等概无记忆H_14.03N25一阶马尔可夫H_23.32N31二阶马尔可夫H_33.10N33四阶马尔可夫H_51.65N61极限熵全部相关性H_\infty1.40N72需要最多符号直观结论符号相关性越强、极限熵越小传送同样多的信息所需要的信源符号数量越多冗余越大。2. 两个核心定义必考公式1信源效率相对熵\boldsymbol{\eta}定义为信源极限熵与最大熵之比\boldsymbol{\eta\frac{H_\infty}{H_0}}H_0\log Q等概无记忆信源的最大熵。含义反映符号携带信息的能力\boldsymbol{\eta}越大符号利用率越高。2信源剩余度冗余度\boldsymbol{\gamma}\boldsymbol{\gamma1-\eta1-\frac{H_\infty}{H_0}}即剩余度 1 − 信源效率。✅ 英文例题\eta\dfrac{1.40}{4.76}0.29\boldsymbol{\gamma0.71}解释英文文本中 71% 是冗余成分仅 29% 是有效信息这也是压缩编码的理论依据。3. 信源剩余度的性质H_0-H_\infty的差值越大剩余度\gamma越大。✅ 等概无记忆信源剩余度\boldsymbol{\gamma0}没有冗余。记忆长度越长、符号之间相关性越强H_\infty越小剩余度越大。4. 剩余度两大来源符号之间的相关性最主要前后字母互相依赖比如英文中的 the。符号概率分布不均匀有些字母出现概率很高有些很低。5. 剩余度的工程意义✅压缩编码有利剩余度大说明有很大压缩空间可以去掉冗余用更少的符号传递同样的信息对应第 5 章信源编码。✅抗干扰有利保留一定剩余度接收端可以纠错。比如电报有错字可以依靠上下文冗余猜出原文完全无冗余的信号一旦出错就很难纠正。一句话速记相关性越强H_\infty越小效率\eta越低剩余度\gamma越大可压缩空间越大。
