52、后缀数组与后缀树：高效字符串处理的数据结构与算法

后缀数组与后缀树：高效字符串处理的数据结构与算法

在字符串处理领域，后缀数组和后缀树是两种强大的数据结构，它们在解决许多字符串相关问题时具有显著的效率优势。本文将深入探讨这两种数据结构的原理、应用以及线性时间复杂度的构造算法。

1. 后缀数组与字符串比较的复杂度问题

在处理英文小说等字符串时，虽然可以在几秒内构建后缀数组，但基于比较次数的 $O(N log N)$ 复杂度隐藏了一个事实：字符串 $s1$ 和 $s2$ 的比较时间取决于它们的最长公共前缀 $LCP(s1, s2)$。在自然语言处理中，大多数比较能快速结束，但在存在大量长公共子串的应用场景中，比较操作会变得非常昂贵。

例如，在 DNA 模式搜索中，DNA 字符串由四个字符（A、C、G、T）组成，且长度可能非常大。人类 22 号染色体的 DNA 字符串大约有 3500 万个字符，最大 $LCP$ 约为 20 万个字符，平均 $LCP$ 接近 2000 个字符。即使是 JDK 1.3 的 HTML/Java 分布（比当前版本小得多）也接近 7000 万个字符，最大 $LCP$ 约为 37000 个字符，平均 $LCP$ 约为 14000 个字符。在极端情况下，一个仅包含一个字符重复 $N$ 次的字符串，每次比较需要 $O(N)$ 时间，总复杂度为 $O(N^2 log N)$。

2. 后缀树的原理与应用

后缀数组可以通过二分查找进行高效搜索，但二分查找本身具有 $log T$ 的成本。为了更高效地找到匹配的后缀，可以将后缀存储在字典树（Trie）中。

2.1 字典树的基本原理

字典树的基本思想是将后缀存储在树中。根节点为每个可能的首字