1 选题背景与研究意义信息论研究的核心问题之一是在存在噪声和干扰的信道中信息能否被可靠传输如果可以其最高可靠传输速率是多少香农在信息论中给出了一个极具颠覆性的结论只要通信速率低于信道容量就存在某种编码方法可以使误码率任意小如果速率超过信道容量则无论采用怎样的编码方法都无法保证可靠通信。这个结论把“通信能否可靠”从经验问题转化为严格的数学问题。在实际通信中手机网络、WiFi、卫星通信、光纤传输等系统都必须面对噪声、衰落、干扰和带宽限制。工程师在设计系统时需要回答给定带宽和信噪比理论上最高能达到多少传输速率某种编码方案距离理论极限还有多远这些问题都绕不开信道容量。因此选择“信道容量与香农极限”作为调研主题既能覆盖信息论课程中的基础理论又能与通信工程实际应用联系起来。本文选择二元对称信道和AWGN信道作为两个典型对象。前者形式简单适合展示离散信道容量推导后者是通信系统中最经典的连续信道模型适合展示香农容量公式与信噪比之间的关系。通过“理论推导 仿真实现”的方式可以更直观地理解抽象公式背后的含义。2 信息论基础概念2.1 信息量与熵信息量反映事件发生后所消除的不确定性。如果一个事件越不容易发生那么当它真的发生时带来的信息量就越大。对于概率为 p(x) 的事件 x其自信息量通常定义为I(x) −log₂ p(x)熵是随机变量平均不确定性的度量。对于离散随机变量 X其概率分布为 p(x)熵定义为H(X) − Σ p(x) log₂ p(x)当所有结果等可能时随机变量的不确定性最大熵也最大。例如一个均匀的二进制随机变量 X ∈ {0,1} 的熵为 1 bit这意味着一次观察最多能提供 1 bit 的信息。2.2 条件熵与互信息条件熵 H(Y|X) 表示在已知 X 的情况下Y 仍然剩余的不确定性。通信系统中X 可以理解为发送端输入Y 可以理解为接收端输出。若信道噪声很大即使知道发送了什么接收结果仍然不确定则条件熵较大。H(Y|X) − Σ p(x,y) log₂ p(y|x)互信息 I(X;Y) 衡量接收端 Y 中包含了多少关于发送端 X 的信息。它可以写成I(X;Y) H(Y) − H(Y|X)这个公式的直观含义是接收结果 Y 原本有 H(Y) 的不确定性当知道发送端输入 X 后其中由信道噪声造成的剩余不确定性是 H(Y|X)两者之差就是真正由输入传递到输出的信息量。2.3 信道容量给定一个信道后互信息 I(X;Y) 不仅取决于信道本身也取决于输入 X 的概率分布。信道容量 C 定义为在所有可能输入分布下互信息的最大值C maxₚ₍ₓ₎ I(X;Y)也就是说信道容量是该信道在最优输入分布下能够可靠传输的最大信息量。对于不同信道容量公式不同但本质都是在寻找“输入如何分布时输出携带的信息最多”。3 二元对称信道容量推导3.1 二元对称信道模型二元对称信道BSC是最简单、最经典的离散信道模型。它的输入和输出都只有两个符号 0 和 1。发送符号在传输过程中可能被翻转发送 0 可能被接收为 1发送 1 也可能被接收为 0。设翻转概率为 p则保持正确的概率为 1 − p。由于两个方向的错误概率相同所以称为“对称”信道。P(Y ≠ X) pP(Y X) 1 − p当 p 0 时信道完全无噪声当 p 0.5 时输出完全像随机猜测接收端无法获得关于输入的有效信息。因此BSC容量应当随 p 从 0 增大到 0.5 而从 1 bit逐渐下降到 0 bit。3.2 容量公式推导BSC的互信息为I(X;Y) H(Y) − H(Y|X)由于信道错误概率为 p对于任意给定输入 X输出 Y 的不确定性都只来自“是否翻转”这个二元事件。因此H(Y|X) H₂(p) −p log₂ p − (1−p)log₂(1−p)另一方面Y 是一个二元随机变量其熵 H(Y) 最大不超过 1 bit且当 Y 均匀分布时达到最大值 1。由于BSC是对称信道当输入 X 服从均匀分布时输出 Y 也服从均匀分布因此 H(Y) 1。于是BSC容量为C max I(X;Y) 1 − H₂(p)这个推导说明BSC容量由两部分决定理想情况下一个二进制符号最多承载 1 bit 信息但信道错误会引入不确定性 H₂(p)这部分相当于被噪声“吃掉”的信息量。图1 二元对称信道容量随交叉概率变化从图1可以看到当 p 接近0时容量接近1 bit/次使用当 p 接近0.5时容量下降到0。这与直观认识一致如果信道错误概率达到一半接收端无法区分输出来自哪一个输入信道就失去了可靠传输能力。4 AWGN信道容量与香农极限4.1 AWGN信道模型AWGN信道是连续信道中最常用的模型。接收信号 Y 由发送信号 X 与加性高斯白噪声 N 相加得到Y X N其中 N 服从均值为0、方差为 σ² 的高斯分布。AWGN模型虽然忽略了多径、衰落等复杂因素但它能很好地刻画热噪声对通信系统的基本影响因此常被用作通信系统分析的理论基准。4.2 AWGN容量公式的直观推导AWGN信道容量推导的关键思想是在平均功率受限的条件下高斯分布具有最大的微分熵。若发送信号功率为 P噪声功率为 N则接收信号总功率为 P N。互信息可写为I(X;Y) h(Y) − h(Y|X) h(Y) − h(N)因为给定 X 后Y 的剩余不确定性只来自噪声 N所以 h(Y|X)h(N)。在功率约束下为了最大化互信息应使接收信号 Y 的微分熵尽可能大而高斯分布在相同方差下熵最大。因此可以得到带宽为 B 的AWGN信道容量公式C B log₂(1 S/N)其中 S/N 是信噪比C 的单位为 bit/s。若用单位带宽容量表示则为C/B log₂(1 SNR)公式表明提高带宽 B 或提高信噪比 SNR 都可以提升容量但二者作用方式不同容量与带宽成正比而与信噪比是对数关系。因此单纯提高发射功率会遇到收益递减的问题。图2 AWGN信道归一化容量与信噪比关系图2展示了AWGN信道单位带宽容量随SNR变化的趋势。当SNR从低到高增加时容量持续上升但曲线逐渐变缓。这说明在高信噪比区域继续增加发射功率容量提升并不会线性增加。4.3 香农极限的意义香农极限并不是某一种具体编码方法而是可靠通信可以达到的理论边界。它告诉我们只要传输速率低于信道容量理论上就存在足够好的编码方案使误码率趋近于零如果速率超过容量则再复杂的编码也无法从根本上解决可靠通信问题。在现代通信系统中Turbo码、LDPC码、Polar码等信道编码技术的发展实际上都可以理解为不断逼近香农极限的过程。课程中学习信道容量不仅是为了推导公式更是为了理解通信系统中“速率、功率、带宽、可靠性”之间的根本矛盾。5 仿真实现设计与结果分析5.1 BSC互信息的蒙特卡洛估计为了验证BSC容量公式可以用随机仿真生成大量输入比特 X再按给定交叉概率 p 随机翻转得到输出 Y。随后统计 X 与 Y 的联合分布并根据互信息公式计算 I(X;Y)。如果输入比特服从均匀分布那么估计得到的互信息应当接近理论容量 1 − H₂(p)。随机生成 N 个0/1输入比特令 P(X0)P(X1)0.5。对每个比特以概率 p 发生翻转得到输出 Y。统计联合概率 P(X,Y)、边缘概率 P(X)、P(Y)。代入 I(X;Y)Σp(x,y)log₂[p(x,y)/(p(x)p(y))] 计算互信息。改变 p 的取值绘制仿真结果与理论曲线。图3 BSC仿真估计值与理论容量对比图3中散点为蒙特卡洛仿真估计值曲线为理论容量。可以看到二者基本重合说明BSC容量公式能够准确描述该信道在均匀输入下的最大可靠传输能力。少量偏差来自随机采样误差增大样本数量后偏差会进一步减小。5.2 AWGN容量曲线仿真AWGN部分的仿真不需要模拟具体编码而是直接根据容量公式计算不同SNR下的单位带宽容量。设 SNR(dB) 在 −10 dB 到 30 dB 之间变化将其转换为线性信噪比后代入 C/B log₂(1SNR)即可得到容量曲线。该仿真可以帮助理解“信噪比越高容量越大”这一结论同时也能看出对数增长导致的收益递减。实际系统中提高功率会带来能耗、干扰和硬件成本问题因此往往需要在编码、调制、带宽利用和功率控制之间综合权衡。5.3 Python核心代码import numpy as npimport matplotlib.pyplot as plt# BSC理论容量p np.linspace(1e-6, 0.5, 400)H2 -(p*np.log2(p) (1-p)*np.log2(1-p))C_bsc 1 - H2# AWGN单位带宽容量snr_db np.linspace(-10, 30, 400)snr 10 ** (snr_db / 10)C_awgn np.log2(1 snr)plt.plot(p, C_bsc)plt.xlabel(交叉概率p)plt.ylabel(BSC容量bit/use)plt.show()plt.plot(snr_db, C_awgn)plt.xlabel(SNR/dB)plt.ylabel(C/B bit/s/Hz)plt.show()6 与课程知识点的联系本报告内容与信息论课程中的多个知识点直接相关。首先BSC容量推导用到了熵、条件熵、互信息和最大化输入分布等概念是离散信道容量计算的典型例题。其次AWGN容量推导涉及连续随机变量的微分熵以及“高斯分布在相同方差下熵最大”这一重要性质。再次香农极限定理连接了信道容量和可靠通信说明编码理论不是单纯为了降低误码率而是在逼近一个由信道本身决定的理论上限。从应用角度看容量公式可以解释许多工程现象。例如弱信号环境下视频通话会降码率是因为SNR下降导致容量下降无线通信中需要信道编码是为了在有限容量内尽可能可靠传输5G/6G系统强调频谱效率是因为单位带宽容量决定了频谱资源的利用上限。这些现象都可以用信息论语言进行统一解释。7 总结与展望本文围绕信道容量与香农极限进行了调研重点推导了二元对称信道和AWGN信道的容量公式并通过Python仿真验证了理论曲线。BSC容量 C 1 − H₂(p) 表明信道错误概率越大噪声引入的不确定性越强可可靠传输的信息越少AWGN容量 C B log₂(1S/N) 表明带宽和信噪比共同决定连续信道的传输上限。通过本次调研可以体会到信息论的价值不在于给出某个具体通信系统的实现细节而在于提供判断系统性能极限的理论工具。后续若进一步深入可以结合具体信道编码方案进行仿真例如比较汉明码、卷积码、LDPC码在不同SNR下的误码率表现并观察它们距离香农极限的差距。也可以进一步研究多输入多输出信道、衰落信道和有限码长信息论等更接近现代无线通信的内容。参考文献1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948.2. Cover, T. M., Thomas, J. A. Elements of Information Theory. 2nd ed. Wiley, 2006.3. MacKay, D. J. C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.4. Proakis, J. G. Digital Communications. 5th ed. McGraw-Hill, 2007.5. 《信息论与编码》相关课程教材与课堂讲义。