21、信息论安全与密码学中的熵

信息论安全与密码学中的熵

1. 熵的基本概念

信息论安全是密码学领域的重要概念，而熵则是衡量信息不确定性的关键指标。我们先通过一个简单的例子来理解熵的概念。假设 $X$ 是某个问题的答案，答案只有“是”或“否”两种情况。
- 情况一：答案确定 ：如果你知道我总是回答“是”，那么我的回答没有给你带来任何新信息，此时 $X$ 所包含的信息为零，即 $H(X) = 0$。这是因为没有不确定性，也就不存在信息，进而没有熵。
- 情况二：答案等概率 ：如果你不知道我会回答什么，且我回答“是”和“否”的概率相等，那么我就揭示了 1 比特的信息，此时 $H(X) = 1$。

需要注意的是，熵并不取决于实际消息的长度。在上述例子中，消息长度最多为三个字母，但信息最多只有 1 比特。下面我们正式给出熵的定义。

定义 9.5（熵） ：设 $X$ 是一个随机变量，它取值于有限集合 ${x_i}$，其中 $1 \leq i \leq n$，且具有概率分布 $p_i = p(X = x_i)$。按照约定，若 $p_i = 0$，则 $p_i \log_2 p_i = 0$。$X$ 的熵定义为：
[H(X) = -\sum_{i = 1}^{n} p_i \cdot \log_2 p_i]

我们再回到前面“是”或“否”的问题，验证这个定义与我们的直观理解是一致的。
- 若你知道我总是回答“是”，则 $p_1 = 1$，$p_2 = 0$。计算可得 $H(X) = -1 \cdot \log_2 1 - 0 \cdot \log_2 0