1. 信息论基础与通信系统架构
通信系统的核心问题可以抽象为一个信息传输模型：信息源S通过信道C向接收端D发送消息。这个过程中，信号会经历编码、传输、解码三个关键阶段。现代通信系统的基本架构包含五个核心组件：
- 信息源（Source）：产生待传输的原始消息集合{U}
- 编码器（Encoder）：将原始消息转换为适合信道传输的形式{A}
- 信道（Channel）：传输信号的物理介质，会引入噪声和失真
- 解码器（Decoder）：从失真信号{A*}中恢复原始消息的估计{U*}
- 信宿（Destination）：接收并解释最终消息
关键提示：在实际系统设计中，编码器和解码器需要协同工作。例如在4G/5G系统中，Turbo码和LDPC码的选择直接影响最终通信质量。
信道噪声是导致信息失真的主要因素。当信道特性理想时，接收消息{U*}应与发送消息{U}完全一致。但现实中存在两类主要干扰：
- 加性噪声：如高斯白噪声，会直接叠加在信号上
- 乘性干扰：如多径效应导致的信号衰减
为量化分析这些影响，信息论引入了概率模型。假设信息源使用包含M个符号的字母表{X}，每个符号xi出现的概率为p(xi)，则必须满足概率归一化条件：
$$ \sum_{i=1}^{M} p(x_i) = 1 \quad \text{且} \quad 0 \leq p(x_i) \leq 1 $$
2. 信息度量：从自信息到熵
2.1 自信息的定义与性质
单个符号xi的自信息(self-information)定义为：
$$ I(x_i) = -\log_b p(x_i) $$
其中对数底b决定信息单位：
- 以2为底：比特(bit)，最常用
- 以e为底：奈特(nat)
扫一扫
160
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
