1. 先把这个公式抄在纸上C B log₂(1 S/N)做通信和电路的人没有一个不认识香农公式。不管是讨论信道容量、规划调制阶数、评估链路预算还是分析信号完整性对误码率的影响最后都会被这句话框住C B log₂(1 S/N)信道容量等于带宽乘以信噪比加一的对数。我最早接触它是在信号与系统的课堂当时只觉得是个平庸的函数关系带宽大一点容量就大一点信噪比高一点容量也大一点。后来工作了真的去调射频链路、算星座点、卡误码率指标的时候才发现这个公式根本不是指导性建议而是整个通信系统物理层的天花板。无论你用多贵的功放、多高性能的ADC、多复杂的均衡器只要带宽和信噪比定死了单位时间内能无误地传过去的数据量就有一个上限谁也绕不过去。这篇笔记想做的事情是把香农公式完整地推导一遍。标题里我标了暂记因为推导过程中有几处数学处理我用了偏工程化的简化先把逻辑通透的版本记下来方便后续补充严格化的细节。如果你是在校学生准备期末或者考研复试如果你是刚入行的硬件工程师想知道为什么16QAM比QPSK更快但更难调或者你就是对信息论好奇想弄明白这个公式到底凭什么成立——这篇笔记都适合你。先说清楚一件事香农公式不只是一个通信公式它是信息论里信道编码定理在加性高斯白噪声AWGN信道下的具体结果。消息可以从信源出发经过编码、调制、发送、传输、接收、解调、译码最后回到信宿这条链路上每一个环节的容量上界都用它来计算。所以理解了它就理解了整个数字通信系统的物理极限在哪里。下面我们一步步把证明拆开。2. 公式里每个符号都对应着一种物理约束2.1 C、B、S/N 各自代表的物理意义C信道容量单位比特每秒bit/s表示理论上无差错传输的最大信息速率。B信道带宽单位赫兹Hz反映了系统可用的频率资源范围。S接收端信号的平均功率。N接收端噪声的平均功率在AWGN信道下通常假设噪声功率谱密度为 N₀因此 N N₀B。这个公式最反直觉的地方在于它把两个看似独立的资源——频域上的带宽和能量域上的信噪比——统一到了一个对数关系里。带宽的贡献是线性的信噪比的贡献是对数的。也就是说增加10倍带宽容量大约增加10倍想把容量翻倍信噪比几乎要平方。这也是工程上经常用带宽换可靠性的根本原因扩频通信、跳频、重复编码本质上都是在把信道容量公式里的资源重新调配。2.2 不太容易察觉的三层含义第一层含义是极限性。它不是一个需要去实现的指标而是一个不可能超越的上界。任何调制、编码方案组合在一起误码率趋近于零的极限速率都不会超过 C。就算你的方案在某个信噪比下能做到接近 C这也是好方案如果有人说他的系统速率超过了 C 并且无误码那他不是没算对信噪比就是把噪声功率定义搞错了。第二层含义是可交换性。带宽和信噪比是可以互换的资源。同样的信道容量可以通过大带宽低信噪比实现也可以通过窄带高信噪比实现。深空通信信号极弱就把带宽拉到极宽电话线路带宽有限就把信噪比做高。这种互换在公式里清清楚楚。第三层含义是自由度。B 在这里不只是带宽它决定了信道每秒能提供多少个独立的自由度。如果一个信号占用的带宽是 B那么理论上每秒最多有 2B 个独立的采样自由度严格说是复数基带下的 B 个符号自由度。香农公式右边的 log₂(1 S/N) 本质上是在说每一个自由度能携带的比特数上限是 log₂(1 S/N)把它乘上每秒的自由度数就得到了容量。这个角度非常重要因为证明也是沿着这个思路走的。2.3 单位陷阱S/N 是倍数不是 dB很多人第一次掉进坑里就是没注意 S/N 的表示形式。5 dB 的信噪比代入公式之前必须先换算成倍数10^(5/10) ≈ 3.16。如果把 5 直接代入C 会被严重低估。工程日报里常说信噪比30 dB代入公式要用 1000 而不是 30。另外还要注意 N 是否随带宽变化。如果你说带宽翻倍所以容量翻倍那是默认了噪声功率不变。现实中最常见的是白噪声情形N N₀B噪声功率和带宽一起涨。这时候带宽从 B 增加到 2B信噪比从 S/N 变成 S/(2N)代入公式算出来容量增长远没有两倍。所以严格来说香农公式里 N 是频率区间 B 内的总噪声功率我们在推导过程中会显式地把这个依赖关系写出来。3. 证明的整体思路从互信息到信道容量3.1 信道容量到底是什么在信息论里信道容量不是能传多快而是能可靠地以多大的速率传递信息。严格定义是在所有可能的输入分布 p(x) 下输入 X 和输出 Y 之间的互信息 I(X;Y) 的最大值C max_{p(x)} I(X;Y)对 AWGN 信道 Y X Z其中 Z 是均值为 0、方差为 N 的高斯噪声X 受到平均功率约束 E[X²] ≤ S。我们要做的就是找到让 I(X;Y) 最大的输入分布并算出最大值。这个定义可能有点绕。简单解释一下互信息它衡量的是看到输出 Y 之后对输入 X 的不确定性减少了多少。通信的本质就是把信息通过 X 送到 Y互信息越大说明 Y 携带的关于 X 的信息越多。如果 X 和 Y 完全独立互信息为零信道等于没传如果 Y 能完全确定 X无噪声互信息就等于 X 本身的熵。3.2 为什么要用高斯分布作为输入有一个著名的结论在等方差条件下高斯分布具有最大的微分熵。换句话说在所有平均功率不超过 S 的随机变量里X ~ N(0, S) 时它的熵最大。同时高斯噪声 Z 本身也是高斯分布两个高斯变量相加Y 也还是高斯变量。高斯加高斯等于高斯这让计算变得干净。为什么高斯输入就能让互信息最大直觉是这样的为了让接收端尽量多地从 Y 中恢复出 X信源应该把自己的状态空间尽量充满。高斯分布功率集中但范围又足够宽这种特性让它在同样功率约束下能携带最多的信息量。对应到工程上OFDM 系统里信号幅度如果不做处理分布自然接近高斯这其实不是巧合——香农公式早就告诉你高斯分布是最划算的。3.3 微分熵工具推导的数学引擎这里的证明需要用到一个工具微分熵 h(·)它是离散熵在连续随机变量上的推广单位仍然是比特。高斯随机变量 X ~ N(μ, σ²) 的微分熵是h(X) ½ log₂(2πe σ²)两个关键性质加性高斯噪声信道中h(Y) ≤ ½ log₂(2πe (S N))等号在 X 为高斯分布时成立。噪声 Z 的熵 h(Z) ½ log₂(2πe N)与 X 无关。互信息的链式法则是I(X;Y) h(Y) - h(Y|X)。而 Y|X x 时Y 等于确定的 x 加上噪声 Z所以 h(Y|X) h(Z)。于是有I(X;Y) h(Y) - h(Z)直接把两个熵的表达式代进去I(X;Y) ≤ ½ log₂(2πe (S N)) - ½ log₂(2πe N) ½ log₂((S N) / N) ½ log₂(1 S/N)到这一步我们知道了每用一个信道自由度一次采样、一个符号周期最多能传递 ½ log₂(1 S/N) 比特信息。3.4 复基带和实信号下的自由度差异上面的推导是对实信号做的。实信号带宽 B每秒有 2B 个独立的采样点所以总容量是C 2B · ½ log₂(1 S/N) B log₂(1 S/N)如果你用等效复基带信号建模工程上更常见一个复自由度相当于两个实自由度符号速率是 B每秒 B 个复数符号每个符号有两个实自由度每个复符号能携带 log₂(1 S/N) 比特所以结果同样是 C B log₂(1 S/N)。两个视角殊途同归这也是为什么很多教材直接把这个公式当作带限AWGN信道容量的标准答案。这里要特别说一句S/N 在这两种建模里定义要一致。实信号模型里 S 是实信号的平均功率N 是实噪声在带宽 B 内的总功率复基带模型里 S 是复包络信号的平均功率N 同样是带内噪声总功率。只要定义统一公式形式不变。4. 几何视角的直观证明噪声球、可达速率与球堆积4.1 把信号看成高维空间里的点信息论的严格证明需要随机编码、联合典型序列这些工具数学门槛并不低。但是有一个非常漂亮的几何论证可以让你在几分钟内建立起对香农公式的直觉。这个论证也是我在工作后真正接受香农公式的转折点。假设我们观察一个持续时间为 T、带宽为 B 的信号。根据采样定理这个信号可以用 n 2BT 个采样值来完整描述。于是每个长度为 T 的信号都对应 n 维空间中的一个点。发送信号受到功率约束 S所以它的能量 E_S S·T对应到 n 维空间里它只能落在一个半径为 √(S·T) 的球内。加性高斯噪声的噪声功率是 N持续时间也是 T所以噪声能量 E_N N·T对应一个半径为 √(N·T) 的噪声球。接收信号是发送信号加上噪声所以它落在以发送信号为中心、半径为 √(N·T) 的噪声球内。为了保证译码不犯错我们要求不同的发送信号对应的接收噪声球互不重叠。问题就变成了在半径 √((SN)·T) 的大球内能放下多少个小球4.2 高维空间球堆积的计算n 维空间中两个同心球的体积比等于半径比的 n 次方。所以大球内能容纳的小球数量上限大约是M ≈ [√((SN)T) / √(NT)]^n (1 S/N)^(n/2)每个小球代表一个可分辨的发送信号这个数量 M 就是在时间 T 内可区分的信号个数。信息量是它的对数I log₂ M ≈ (n/2) log₂(1 S/N) BT log₂(1 S/N)单位时间的信息速率R I / T B log₂(1 S/N)这就是香农公式。这个论证巧妙在哪儿它把抽象的信息变成了有多少个能区分的球把信道容量问题变成了几何空间里的球堆积问题。虽然它不是一个完全严格的证明细节上还需要考虑球堆积效率因子、维度趋于无穷时边界效应消失等但它把核心逻辑讲得明明白白信噪比决定了每个自由度上能区分多少个电平带宽决定了每秒有多少个自由度。4.3 为什么工程直觉和这个几何论证如此吻合做调制的时候高阶QAM的信噪比门限就是这么来的。QPSK每个符号携带2比特相当于在一个二维复数平面上把信号点分成4份16QAM分成16份每个符号4比特64QAM分成64份每个符号6比特。信号点越多每个点之间在噪声干扰下越容易混淆所以要更高的信噪比才能维持同样的误码率。香农公式用球堆积给出了一个终极极限就算你把信号点排布得再聪明一个符号能可靠区分的状态数也不会超过 (1 S/N) 个量级。4.4 从球堆积到工程设计的实际意义这个几何视角在实际中有几个直接推论。第一个推论是扩频增益的来源如果你用 1 MHz 带宽传 100 kbps 的数据信噪比只需要 3 dB 左右如果你把带宽扩展到 10 MHz同样速率下信噪比要求会大幅下降。这不是某种新技术而是香农公式天然自带的性质。第二个推论是编码增益的边界Turbo码和LDPC码能把系统性能推到距香农限零点几分贝以内但永远不可能突破这个限。设计通信系统时看一眼离香农限还有多远就知道当前方案的改进空间还有多大。5. 从简化证明到严格证明还差哪些环节5.1 上面推导的局限性你可能会问既然上面已经推出了公式为什么还要把严格的证明拎出来说因为上面两种推导微分熵上限和球堆积都有一个隐含假设我们讨论了 AWGN 信道、平均功率约束下的容量上界但并没有证明这个上界是可以达到的。信道编码定理的完整内容包含两部分可达性和上界。上界告诉我们不可能超过 C可达性告诉我们任何 R C 的速率都存在一种编码方案使得误码率可以任意小。香农的伟大之处正在于证明了可达性这不仅是一个理论天花板而且这个天花板是可以通过足够长的编码够到的。球堆积论证给出了可达速率的概念随机编码论证则实操性地证明了通过随机产生足够多的码字接收端用联合典型译码误码率随码长增加而指数衰减到零。5.2 随机编码论证的骨架随机编码证明的思路大致如下取 M 2^(TR) 个码字每个码字的 n 个分量独立同分布地取自 N(0, S) 分布。发送端随机选一个码字发出接收端收到有噪声污染的版本后在所有码字里找与接收序列联合典型的那个作为译码结果。联合典型joint typicality的意思是这个码字和接收序列在统计上像是由一个联合分布产生的。由于码字是随机独立产生的两个不同码字同时与接收序列联合典型的概率极低。用大数定律和大偏差定理可以证明只要 R C错误概率会随着 n 增大而以指数速度衰减。n 越大需要检查的码字指数增多但错误率同样指数下降。这就是足够长的码可以逼近香农限的理论基础。5.3 为什么要花力气理解严格证明工程中没有人会真的用随机编码——译码复杂度是天文数字。但理解严谨证明的意义不在算法本身而在于确认公式的边界条件。比如带宽无限大时容量趋于有限值这个结论从公式可以直接看出但严格的证明还会告诉你这个极限是在功率受限下成立的如果功率不受限整个问题就要重新模型化。再比如只有 AWGN 信道下高斯输入才是最优的如果噪声是脉冲性的、信道是衰落性的最优输入分布和容量表达式都会变。理解了严格证明的骨架你就不会被某个延伸公式的变体绕晕。5.4 证明中的几处关键条件需要记牢输入功率约束E[X²] ≤ S这是容量有限的根源。没有功率约束信噪比可以无限大容量没有上界。信道是记忆无的AWGN噪声是白噪声、信道没有码间干扰。如果信道存在记忆公式要用带功率谱计算容量表达式要改写为积分形式。带宽是理想带限的实际滤波器不可能做到矩形幅频响应但滚降系数、带外泄漏等因素会让等效带宽和理论带宽有偏差。6. 极限情况与实际应用从公式外推工程边界6.1 带宽趋于无穷大时容量会怎样很多人第一次算这个极限时都会吃惊固定信号功率 S噪声功率谱密度 N₀ 不变带宽 B 增大时总噪声功率 N N₀B 也跟着增大于是C B log₂(1 S/(N₀B))当 B → ∞ 时令 x S/(N₀B)x → 0利用 ln(1x) ≈ x 的泰勒展开C ≈ B · (1/ln2) · S/(N₀B) (1/ln2) · S/N₀ ≈ 1.4427 · S/N₀也就是说带宽无限增大容量并不会无限增大而是趋于一个有限值。这在直觉上揭示了功率是最稀缺的资源想用无限带宽换容量是换不来的因为带宽越大收集到的噪声也越多。深空通信、光通信这些场景中这个极限经常被拿来评估把带宽拉到极限能赚多少增益。6.2 低信噪比和高信噪比两种极端行为低信噪比S/N ≪ 1log₂(1 S/N) ≈ S/(N ln2)容量和信噪比成正比每增加 3 dB 信噪比容量几乎翻倍。高信噪比S/N ≫ 1log₂(1 S/N) ≈ log₂(S/N)容量随信噪比对数增长。想让容量翻倍信噪比要平方。这两种极端行为解释了为什么在低信噪比下编码增益特别值钱而在高信噪比下堆信噪比非常不划算。卫星通信和深空通信常年工作在负十几 dB 的低信噪比区所以 LDPC 码、Turbo 码这类接近香农限的编码方案对它们意义巨大而短距离高速铜缆、PCB 走线这种高信噪比场景往往是带宽和串扰在限制容量编码的空间相对有限。6.3 用香农公式评估 QAM 系统的效率差距拿 64QAM 举例。理想情况下64QAM 在加性高斯白噪声下要达到 1e-7 误码率大约需要约 26~27 dB 的信噪比理论误码率曲线对应 Eb/N0 折算。64QAM 的频谱效率是 6 bit/s/Hz但在 27 dB 信噪比下香农容量是 log₂(110^(27/10)) ≈ 8.97 bit/s/Hz。换句话说64QAM 离香农限还差大约 3 bit/s/Hz。这就是高阶调制编码方案的潜在收益空间。实际系统中用 256QAM 甚至更高阶调制配合强纠错编码就是为了往这个 9 bit/s/Hz 的上界靠近。6.4 信号完整性场景里的香农公式再往电路层面说。高速数字设计里信号完整性SI问题本质上就是在某种等效信道上挤压容量。PCB 走线的插入损耗、反射、串扰、电源噪声这些会共同劣化接收端的等效信噪比。你在仿真软件里看到的眼图、浴盆曲线本质上就是递归地在问同一个问题这个信道的等效信噪比和可用带宽能支撑起当前速率吗从信号完整性视角理解香农公式有一个重要启发单纯加大发送幅度并不能解决所有问题因为信号功率增加伴随的非线性失真、串扰增加可能反而让等效信噪比下降。反过来做好阻抗匹配、减少反射、优化过孔stub每提升一点点等效信噪比容量提升都是对数级别的在高速率系统里可能正好是能不能收敛眼图的分界线。7. 常见误区与排查心得这些坑我基本都踩过7.1 把 S/N 换算错误最常见的问题。30 dB 的信噪比代入公式一定要先变成 1000而不是 30。我用 MATLAB 写过一次容量对比脚本因为忘了换算算出来的容量曲线比实际低了整整 15 倍当时还以为是公式写错了。排查方法很简单所有公式里只要出现 S/N一律先用 10^(dB/10) 换算成倍数再代入。7.2 噪声带宽与信号带宽不一致公式里的 B 是信道带宽N 是这 B 宽度内的噪声总功率。实际系统里如果接收滤波器带宽远大于信号带宽那么等价的 N 会包含大量带外噪声等效信噪比变差。很多人计算链路预算时习惯把信号的 3 dB 带宽当作 B但噪声是按接收机等效噪声带宽累积的这两个实例上会有差别。在窄带系统里这个差别可能不大宽带系统里能差好几个 dB直接影响容量评估。7.3 误以为扩大带宽就能线性提升容量前面推过B 增大的同时 N N₀B 也增大所以容量对 B 不是线性的。只有在噪声功率固定比如干扰受限、而非噪声受限的场景下增大带宽才有接近线性的收益。宽带系统中常用扩频增益这个概念也正是基于低信噪比区的容量近似而不是简单地把带宽乘进去。7.4 混淆 Eb/N0 和 S/NEb/N0 是每比特能量与噪声功率谱密度之比S/N 是平均信号功率与总噪声功率之比。两者的关系是S/N (R/B) · (Eb/N0)R 是实际数据速率。香农公式用 Eb/N0 表达时通常写成 R/B ≤ log₂(1 (R/B)·(Eb/N0))。很多文献里的香农限 -1.59 dB指的就是当 R/B 趋近于 0 时可靠通信所需的最小 Eb/N0 是 ln2 ≈ -1.59 dB。这里如果直接拿 S/N 去套 -1.59 dB 的结论方向就完全反了。7.5 把香农公式用于非 AWGN 或衰落信道香农公式是针对 AWGN 信道、瞬时信道状态的容量公式。在衰落信道下严格来说要根据信道状态做平均表达式变成积分形式。工程上常说衰落信道下容量低于 AWGN 信道指的是平均容量变小而不是公式本身不成立。如果在做移动通信链路仿真时直接套香农公式且不考虑衰落余量算出来的链路预算会偏乐观这种问题通常在实测阶段才会暴露。7.6 误以为接近香农限是一件容易的事Turbo 码和 LDPC 码在加了 5G LDPC 之后很多场景能做到距香农限 0.2~1 dB 以内的性能但这是在码长、译码迭代次数、计算复杂度换来的结果。短码场景、低时延场景、高移动性场景里实际系统距香农限还很远。规划方案时先把目标和香农限对比一下如果目标速率在容量的 80% 以下常规方案有戏如果目标是容量的 95% 以上那要非常认真地评估编码和均衡方案甚至需要重新审视链路预算。8. 一个随手就能跑的小实验验证公式与仿真8.1 用互信息拟合 AWGN 信道容量写一个简单的仿真脚本可以直观验证香农公式。思路如下在给定信噪比下生成高斯分布的信源 X通过 AWGN 信道得到 Y用直方图法估计 X 与 Y 的互信息观察结果是否等于 C/B。这个实验不需要复杂的编码只是验证公式本身。import numpy as np from sklearn.metrics import mutual_info_score def estimate_capacity(snr_db, n_samples200000, n_bins64): snr_linear 10 ** (snr_db / 10) # 信道容量每符号比特 c_per_symbol 0.5 * np.log2(1 snr_linear) x np.random.randn(n_samples) * np.sqrt(snr_linear) z np.random.randn(n_samples) y x z # 离散化估计互信息 c_hist_x, _ np.histogram(x, binsn_bins) c_hist_y, _ np.histogram(y, binsn_bins) c_hist_xy, _, _ np.histogram2d(x, y, binsn_bins) mi mutual_info_score( np.digitize(x, np.histogram_bin_edges(x, binsn_bins)), np.digitize(y, np.histogram_bin_edges(y, binsn_bins)) ) return c_per_symbol, mi for snr in [-10, -5, 0, 5, 10, 15, 20]: theory, estimated estimate_capacity(snr) print(fSNR {snr:3d} dB, theory {theory:.4f} bit/sym, estimated {estimated:.4f} bit/sym)用直方图估计互信息的绝对误差会随着 bin 数量变化大信噪比下误差会大一些但趋势和理论值基本吻合。你还可以把 x 换成均匀分布、二项分布BPSK每个符号 1 bit会看到香农公式给出的确实是最大容量而 BPSK 这类离散输入的互信息在高信噪比下会封顶在 1 bit充分说明输入分布最大化这个操作不是可有可无的。8.2 一个基于公式的链路容量快速评估模板在实际工程里我习惯用这样的三步评估法来判断一个链路预算方案是否合理确定接收端信号功率。根据发射功率、链路频率、距离和收发天线增益通过自由空间路径损耗公式算出到达接收机的信号功率 S。确定噪声功率。根据接收机噪声系数 F 和带宽 B用 N k·T₀·F·B 算出总噪声功率其中 k 是玻尔兹曼常数T₀ 取 290 K换算成 dBm 后 N(dBm) -174 10log₁₀(B) NF(dB)把 S/N 换算成倍数代入香农公式得容量 C。再对比业务需求速率 R。如果 R/C 小于 0.3方案余量很足0.3~0.7 需要认真优化编码调制超过 0.7 就要警惕系统会非常敏感任何一个实现非理想都会导致显著性能损失。这套评估方法虽然粗糙但能在方案阶段快速筛掉不靠谱的链路设计。真正的链路仿真当然需要更精细的模型但香农公式给的那个大概上限至少能帮你少走一半弯路。8.3 高频高速系统中瓶颈到底是带宽还是信噪比做高速接口SerDes、DDR、PCIe的朋友常问为什么频率越高走线越难走从香农公式角度可以看得很清楚信号速率提升意味着基带信号占用的有效带宽变宽但 PCB 走线在介质里的损耗随频率显著上升等效信噪比下降。两边同时恶化容量自然提不上去。这时候单纯增加发送幅值收益有限反而需要预加重、均衡器CTLE、DFE来提升高频分量等价于在频率域上补偿信噪比。理解了这一层你再看高速链路设计里各种均衡电路的作用就会豁然开朗。9. 用一段个人心得把公式内化最后说点题外的体会。我刚学这个公式的时候总觉得它太简单了一条对数曲线黑板上几十秒就能画完感觉配不上它信息论基石的名头。直到自己做系统设计发现所有性能曲线爬到某个位置就再也上不去了回去一算恰好就是香农公式画的那条线才真正意识到它的分量。这个公式的真正价值不只是算容量而是给我们一种评估任何通信方案的标尺。看到一个调制编码方案第一反应不应该是这方案多先进而是它离这条极限线还有多远。如果已经很近了那剩下的全是实现复杂度的问题如果差得很远说明方案本身还有理论上的优化空间。这种思维习惯在信号完整性问题、射频链路优化、基带算法设计里都是通用的。如果你想继续深入建议从两个方向扩展一是把 AWGN 信道换成频率选择性信道用注水定理理解功率在频域上的最优分配这个方向直接通往现代通信系统的功率分配机制二是研究信道编码原理搞清楚 Turbo 码、LDPC 码是怎么逼近香农限的在速率、时延和复杂度之间做权衡。等到你能从编码构造的角度反过来解释香农公式的每个细节这些东西基本就内化成一整套体系了。香农公式不复杂但它值得你用很长的时间去反复咀嚼。每过一个阶段你可能都会从里面读出新的东西来。这篇笔记先记到这里后续如果再整理出更严格的证明细节再补进来。
