RAG 安全与隐私：形式化威胁模型与攻击面

大家读完觉得有帮助记得关注和点赞！！！

摘要​

检索增强生成（RAG）是自然语言处理中的一种新兴方法，它将大语言模型（LLM）与外部文档检索相结合，以产生更准确和基于事实的响应。虽然 RAG 在减少幻觉和提高事实一致性方面显示出巨大潜力，但它也引入了不同于传统 LLM 所面临的新隐私和安全挑战。现有研究表明，LLM 可能通过训练数据记忆或对抗性提示泄露敏感信息，而 RAG 系统继承了许多这些漏洞。同时，RAG 对外部知识库的依赖开辟了新的攻击面，包括可能泄露有关检索文档存在或内容的信息，或者注入恶意内容以操纵模型行为。尽管存在这些风险，但目前尚无正式框架来定义 RAG 系统的威胁格局。在本文中，我们通过提出（据我们所知）第一个用于检索-RAG 系统的正式威胁模型，来弥补文献中的关键空白。我们根据对手对模型组件和数据的访问权限，引入了对手类型的结构化分类法，并正式定义了关键威胁向量，例如文档级成员推理和数据投毒，这些在现实世界部署中构成了严重的隐私和完整性风险。通过建立正式的定义和攻击模型，我们的工作为更严格和原则性地理解 RAG 系统中的隐私和安全奠定了基础。

​I 引言​

大语言模型（LLM）在大量数据上进行训练，旨在理解和生成人类语言[1]。它们被广泛应用于不同领域，例如聊天机器人。然而，LLM 的问题在于其性能受限于其训练数据的质量和范围。例如，如果向聊天机器人询问一个实时或特定领域的问题，其支持的 LLM 可能会生成一个看似合理但实际上不正确的答案，这种现象称为幻觉。

检索增强生成（RAG）是自然语言处理和生成式 AI 中的一种新兴范式，它将 LLM 的生成能力与对外部知识库的动态访问相结合[2]。在典型的 RAG 架构中，检索器首先根据输入查询从知识库或在线源中识别相关文档或段落，然后生成器以查询和检索到的内容为条件来产生响应[3]。通过将检索集成到生成过程中，RAG 系统在一系列应用中提高了生成输出的事实准确性[4]、连贯性[5]和上下文基础。这种集成已被证明在诸如事实核查[6]和信息检索[3]等复杂任务中特别有益，在这些任务中，准确和及时地访问外部信息至关重要。

RAG 的实际影响在工业环境中日益明显：主要的搜索引擎，如 Google Search 和 Microsoft Bing，正在探索整合基于 RAG 的系统，通过利用精选知识库和实时网络内容来提高其响应质量[7, 8]。通过缓解经常影响独立 LLM 的幻觉[9]、事实不一致和有限泛化[10]等问题，RAG 架构为构建更可靠和知识感知的 AI 系统提供了一个有前景的基础。

虽然 RAG 系统在事实准确性和上下文基础方面有所改进，但其基础——LLM——在训练和推理期间仍然容易受到一系列隐私和安全威胁。在训练期间，LLM 可能记忆并无意中暴露训练语料库中的敏感数据[11]。在推理时，对手可能利用漏洞，如提示注入[12]、模型未对齐[13]或梯度反转[14]，导致产生有偏见、有害或非预期的输出。这些威胁破坏了基于 LLM 系统的可靠性、公平性和安全性，特别是在敏感或受监管的领域（例如医疗保健）。

RAG 系统建立在 LLM 之上，因此继承了这些漏洞。此外，由于其架构设计，它们引入了一类新的隐私和安全风险。与将所有知识内化在模型参数内的传统 LLM 不同，RAG 系统将部分知识卸载到外部知识库[2]。这种转变开辟了新的攻击面。对手可以精心构造查询，以推断知识库中是否存在特定文档，或者提取关于其内容、结构或作者的间接线索，即使这些文档从未被明确返回[15]。例如，在医疗保健环境中，攻击者可以查询由 RAG 驱动的医疗助手，以确定特定诊断是否出现在检索索引中，从而可能泄露有关指名患者的信息。在金融背景下，恶意用户可能探测模型以验证特定公司的机密审计报告或投资策略是否存在。这些场景突显了保护 RAG 系统需要的不仅仅是保护 LLM 的内部表示；它还必须保护影响系统响应的外部文档的机密性和存在性。

图 1：RAG 系统架构

虽然最近几项研究探索了 RAG 系统中的特定漏洞，例如隐私泄露[15]和检索操纵[16]，但据我们所知，尚无现有工作正式定义这些威胁。为了弥补这一空白，本研究做出了两个核心贡献。首先，我们提出了一个 RAG 系统的威胁模型，包括一个对手类型的分类法，这些类型在访问模型组件、文档和训练数据方面有所不同。其次，我们提供了对 RAG 中尤其相关的关键隐私和安全威胁的形式化定义，例如文档级成员推理、文档重建攻击和投毒攻击。这些威胁反映了文献中和实践中提出的最突出的担忧。虽然本研究并不旨在详尽列举所有可能的攻击向量，但它试图形式化分析和减轻基于 RAG 系统的关键风险所必需的基础概念。我们希望这项工作有助于不断努力，以建立对检索增强生成中安全性和隐私的严格和原则性理解。

​II 预备知识​

在本节中，我们形式化了 RAG 系统模型，并介绍了将在全文中使用的关键概念和工具。

​II-A 系统模型​

RAG 系统模型如图 1 所示。一个标准的 RAG 管道包括以下组件：

• 一个知识库 𝒟 包含从各种来源（公共和私人）收集的所有文档，总共有 n 个文档。公共知识可能来自诸如维基百科、Reddit 或其他网站等来源，而私人语料库可能包括，例如，医院的患者记录或其医务人员先前编写的笔记。形式上：

𝒟 = {d₁, …, dₙ}，

其中 dᵢ 是 RAG 知识库中的第 i 个文档。

• 一个检索器 ℛ，它将用户查询 q 映射到从知识库 𝒟 中检索到的一组 top-k 文档，

Dq = {d₁, …, dₖ}。

著名的检索模型是 ColBERT/ColBERT2 [17] 和 Contriever [18]。

• 一个生成器 𝒢，通常是一个大语言模型，它以 q 和 Dq 为条件生成响应 y，例如 GPT-4 [19] 和 Llama [20]。

基于图 1 所示的步骤，RAG 管道如下：

步骤 1：用户通过提交查询 q 与系统交互。

步骤 2：用户查询 q 通过系统的编码过程转换为嵌入向量。嵌入向量是数值向量，使系统能够捕获 q 的语义属性，并促进后续的数学操作。

步骤 3：知识库 𝒟 中的每个文档 dᵢ 类似地转换为嵌入向量。这些向量存储在一个专用的向量数据库中。

步骤 4：查询 q 的嵌入向量与存储在向量数据库中的文档嵌入集合一起作为输入提供给检索器 ℛ。

步骤 5：检索器 ℛ 使用相似性度量将查询 q 的嵌入向量与知识库的嵌入向量进行比较。这些度量量化每个文档与查询的相似程度。基于结果，检索器 ℛ 收集一个子集 Dq ⊆ 𝒟，其中

Dq = {d₁, d₂, …, dₖ}。

这里，Dq 表示来自 𝒟 的与查询 q 最相关的 top-k 文档。相关性由相似性分数决定，该分数可以通过所采用嵌入技术的各种方法计算。此步骤的输出可以表示为：

ℛ(q, 𝒟) ↦ Dq。

步骤 6：选定的 top-k 文档与初始提示 q 组合以构建一个增强查询 q′。

步骤 7：q′ 作为系统生成组件 𝒢 的输入，用检索到的上下文信息 Dq 丰富了原始的 q。

步骤 8：在接收到增强查询 q′ 后，LLM 生成器 𝒢 通过利用其参数化知识（在 LLM 训练期间获得）和由检索器 ℛ 提供的上下文信息来产生响应。系统的输出随后表示为

y = 𝒢(q′)，

其中 q′ = (q, Dq) 表示由原始用户查询和检索到的文档集组成的增强查询。

步骤 2 到步骤 5 构成了检索阶段，在此期间系统收集与用户查询 q 对应的所有相关外部文档；步骤 6 到步骤 8 构成了生成阶段，其中 LLM 合成最终响应 y 并交付给用户。

LLM 是深度学习系统，旨在通过复杂的计算机制处理和生成人类语言。它们的架构可以通过以下组件大致描述[21]：

• 数据收集：

LLM 在大型文本语料库上训练

𝒦 = {(x⁽¹⁾, x⁽²⁾, …, x⁽ᴺ⁾)}，

其中每个 x⁽ⁱ⁾ 是一个词或句子的序列。模型的整体质量、泛化能力和鲁棒性直接受此训练语料库的大小、多样性和代表性的影响。

• 标记化和嵌入：一个标记化函数

φ: 𝒳 → V∗

将原始文本映射到标记序列 (t₁, …, tₙ)，其中 tᵢ ∈ V（词汇表）。然后使用嵌入函数将每个标记映射到一个密集向量，允许模型操作捕捉语义和句法关系的连续表示。

• 预测和生成：LLM 通过估计给定输入和先前生成标记的条件下标记的概率来生成输出：

其中 θ 表示模型参数，𝒢θ 是网络的生成组件。训练涉及优化 θ 以最小化预测误差并最大化观测数据的可能性。

• 微调：训练后，LLM 通常通过微调适应特定的下游任务。这可能包括诸如从人类反馈中进行强化学习（RLHF）等技术，它使模型的输出与人类偏好对齐，并提高了安全性、连贯性和任务性能[22]。

虽然 LLM 在从广泛领域抽取的海量数据集上进行训练，但它们仍然从根本上受到其训练数据静态性质的限制。当提示特定领域或时间敏感的问题时，例如“2024 年的 COVID-19 病例数是多少？”或“今天纳斯达克的股价是多少？”，一个独立的 LLM 可能由于过时或缺失的知识而产生自信但不准确的响应。RAG 系统通过集成外部、最新的知识源来增强 LLM 性能，已成为解决此限制的一种方案。

差分隐私（DP）已成为缓解 AI 中隐私风险（特别是由 LLM 记忆敏感训练数据引起的风险）的广泛采用的框架。DP 提供了可量化的保证，即单个数据点对模型输出的影响有限。最近的研究已将差分隐私的使用扩展到 RAG 系统[23]，其中外部文档存储的存在引入了额外的隐私风险[24]。鉴于其在保护隐私的 AI 中的核心地位，我们正式定义差分隐私如下。

定义 1（差分隐私 [25]）

一个随机机制 ℳ: 𝔻 → ℛ 被称为满足 (ε, δ)-差分隐私，如果对于任何相邻数据集 X, X′ ∈ 𝔻，以及对于每个可测量子集 𝒮 ⊆ ℛ，以下成立：

这里，数据集之间的邻接关系由关系 X ∼ X′ 定义，表示两个数据集恰好在一个数据点上不同。

这个定义表明，数据集中任何单个个体数据的存在或缺失对 𝒜 的输出分布只有有限的影响。参数 ε 控制隐私损失，较小的值提供更强的保证，而 δ 允许小的失败概率。

​III 威胁模型与攻击面​

RAG 系统由于其混合架构引入了新的隐私和安全漏洞攻击向量，该架构结合了访问外部知识库 𝒟 数据的检索器 ℛ 和 LLM 生成器 𝒢。

在 RAG 架构中，攻击可能出现在过程的不同阶段。在第 3 步，对手可能试图破坏知识库的完整性，而第 8 步则由于检索到的逐字内容的泄露而带来隐私风险。

为了形式化地推理 RAG 中的安全性和隐私性，我们首先定义对手能力。我们沿着两个正交维度来表征对手：（1）对手的模型访问权限和（2）对手知识。

​III-1 模型访问权限​

授予对手的模型访问级别反映了 RAG 系统的部署设置，范围从受限访问 API 到完全可观察的内部环境。

• 黑盒对手：可以向 RAG 系统发出查询并观察其输出。无法访问模型参数或内部嵌入。

• 白盒对手：拥有对模型内部的全部或部分访问权限，包括检索器权重、文档嵌入和生成器参数。

黑盒对手在公共 RAG 服务（例如 API）中很常见，而白盒对手则模拟内部威胁或部署泄漏。

​III-2 对手知识​

对手知识是指对手事先对 LLM 训练数据和/或 RAG 系统使用的外部文档知识库的访问程度。

• 普通对手：无法事先访问训练语料库或检索文档。仅依赖观察到的系统行为。

• 知情对手：拥有训练数据和/或文档存储的部分知识。例如，他们可能知道 𝒟 的一个子集、泄露的预训练语料库、嵌入分布或先前生成的输出。

知情对手反映了现实的攻击场景，例如数据集重叠、内部人员泄漏或跨类似 RAG 部署的转移攻击。

图 2：对手类型分类法

基于对手的模型访问级别以及他们对 LLM 训练数据和 RAG 知识库的了解程度，我们识别了四类对手：不知情观察者 (𝒜I)、知情观察者 (𝒜II)、知情内部人员 (𝒜III) 和不知情内部人员 (𝒜IV)。这四种类型及其各自的能力如图 2 所示。

其中，𝒜I 代表最弱的对手，对模型内部结构或底层数据（训练数据和/或知识库）都没有先验知识。此类对手以黑盒方式与系统交互，在没有指导的情况下发出查询，仅依赖观察到的输出。在光谱的另一端，𝒜III 是最强的，结合了完全的模型访问权限和对训练和/或知识库的部分或全部知识。

其余两种类型介于这两个极端之间。𝒜II 拥有底层数据的部分或全部知识，但无法访问模型内部结构，而 𝒜IV 可以检查模型组件，但对训练数据或知识库没有直接知识。𝒜II 和 𝒜IV 的相对强度取决于对手的目标和进行攻击的背景。

这个分类法（如图 2 所示）为评估以下各节中的具体攻击场景提供了基础，包括成员推理、检索内容泄漏和数据投毒。

​IV 形式化隐私与安全概念​

RAG 系统引入了新的隐私和安全挑战，这些挑战超出了 AI 中的传统关注点。这些挑战源于检索和生成组件之间的独特交互，通过检索到的文档和生成的输出暴露敏感信息。为了系统地应对这些风险，我们定义并分析了针对 RAG 管道量身定制的形式化隐私和安全概念，包括文档级成员推理、内容泄漏和投毒攻击。

​IV-A 文档级成员推理攻击​

针对 RAG 系统的文档级成员推理攻击（DL-MIA）旨在仅根据系统的可观察输出来确定特定文档是否包含在系统的检索知识库中。这在底层文档包含敏感或专有信息的情况下构成了重大的隐私风险，因为它允许对手在没有直接访问知识库的情况下推断文档的包含情况。例如，在医疗保健环境中，对手可以通过分析模型对诊断查询的响应方式，来推断某个患者的记录是否包含在某个治疗计划中（即他们的记录是系统内部文档的一部分）。

我们为 RAG 系统定义 DL-MIA，其中对手旨在确定特定文档 d∗ 是否是 RAG 系统用于生成给定响应的私有知识库 𝒟 的一部分。

定义 2（RAG 的文档级成员推理）

设 𝒟total 为可能文档的全集。设 ℛ 和 𝒢 是定义 RAG 管道的检索器和生成器。

1. 挑战者 𝒞 抛一枚公平硬币 b ∈ {0, 1}。

   • 如果 b = 1：挑战者选择一个知识库 𝒟 ⊂ 𝒟total 并采样一个文档 d∗ ∈ 𝒟。

   • 如果 b = 0：挑战者选择 𝒟 ⊂ 𝒟total 并采样 d∗ ∈ 𝒟total \ 𝒟。

2. 对手 𝒜 ∈ {𝒜I, 𝒜II, 𝒜III, 𝒜IV} 提交一个查询 q ∈ 𝒬，其中 𝒬 表示查询分布。收到查询后，挑战者 𝒞 计算

   Dq = ℛ(q, 𝒟; k),

   y = 𝒢(q, Dq)。

3. 𝒞 然后向对手提供 (q, y, d∗)。

4. 对手输出一个猜测 b^ ∈ {0, 1}，试图确定 d∗ 是否是用于产生 y 的 RAG 系统的一部分。

   如果 b^ = b，则对手获胜。

这个定义捕捉了对手通过观察所选查询的生成输出来推断特定文档是否存在于 RAG 系统检索知识库中的能力。它形式化了当基于系统行为可以区分单个文档的包含或排除时出现的隐私风险，突显了在检索增强生成中需要文档级隐私保证。

如果对于所有多项式时间对手 𝒜，RAG 系统满足文档级成员隐私，则：

对于可忽略的 δ。

通过差分隐私防止 DL-MIA：为了防止定义 2 中的 DL-MIA，RAG 系统必须确保知识库 𝒟 中任何单个文档 d∗ ∈ 𝒟total 的包含或排除不会显著影响任何查询 q 的生成输出 y 的分布。

检索器级差分隐私 [23]：一种原则性方法是设计检索器 ℛ 以满足关于其输入文档集的差分隐私。具体来说，我们要求：

ℛ(q, 𝒟) ≈_{ϵ,δ} ℛ(q, 𝒟 \ {d∗})

对于所有 q ∈ 𝒬 和 d∗ ∈ 𝒟。

这可以通过将 DP 机制应用于检索步骤来实现。特别是：

• 检索器为每个文档 dᵢ ∈ 𝒟 计算相关性分数 s(dᵢ, q)。

• 向每个分数添加噪声，例如，使用拉普拉斯或高斯机制：s~(dᵢ, q) = s(dᵢ, q) + ηᵢ，其中 ηᵢ ∼ Lap(1/ϵ)。

• 基于噪声分数选择 top-k 文档：Dq = Topk({s~(dᵢ, q)})。

在这种构造下，检索器满足关于 𝒟 中单文档修改的 (ϵ, δ)-差分隐私。在仅差一个文档的相邻文档存储上，检索集 Dq 以及因此响应 y = 𝒢(q, Dq) 的输出分布将在统计上接近。

对成员推理攻击的影响：根据差分隐私的后处理属性，生成器 𝒢 不能放大超出检索器范围的隐私泄漏[26, 27]。因此，对于任何操作在 (q, y, d∗) 上的对手 𝒜：

一个差分隐私的检索器确保任何特定文档 d∗ 在 RAG 系统中的包含不会显著影响系统的可观察行为，从而提供了针对文档级成员推理攻击的形式化保证。

​IV-B 输出中泄露检索内容​

RAG 系统中另一个更关键的隐私风险出现在对手可以重建检索知识库中的敏感内容时。在这种情况下，生成器 𝒢 可能发出检索器 ℛ 检索到的文档的逐字或近乎逐字的片段，暴露私人或专有信息。例如，一个基于 RAG 的医疗助手可能被询问关于放射疗法常见副作用的问题，但无意中包含了从机密文档中检索到的可识别患者特定细节。这种泄漏在医疗保健等受监管领域尤其成问题。

定义 3（RAG 系统中的泄漏攻击）

设 𝒟 表示 RAG 系统的知识库，并设 S ⊆ 𝒟 代表敏感内容的子集。如果发生逐字泄漏：

∃ s ∈ S 使得 s ⊆ y，

其中 y 是生成的响应。即，模型在其响应中发出了部分敏感内容。

典型的泄漏攻击被分类为 𝒜I 攻击或 𝒜II 攻击，并且可以重复查询系统[28]。攻击进行如下：

1. 对手构建一个复合查询 q = qᵢ + qc，其中：

   • qᵢ 是一个特定领域的锚定查询，旨在使检索器 ℛ 偏向目标主题或文档簇[29]。

   • qc 是一个类似命令的提示，旨在强制生成器 𝒢 逐字发出检索到的内容。

2. 检索器计算 top-k 相关文档：

   

   这些被组合成一个增强查询：

   

   然后传递给生成器。

3. 生成器 𝒢 处理 q′ 并可能重现检索到的文档的部分内容。攻击的成功可以使用相似性函数来衡量：

   

   其中 y 是生成的响应，τ 是相似性阈值。

   防止泄漏攻击：一个基本的缓解方法是提示生成器不要逐字重现源文档。然而，先前的研究表明，这种提示的效果有限。更强大的防御将前述解决方案与位置偏差消除和对抗训练等技术相结合。这些方法旨在减少生成器优先处理或重现高排名文档的倾向，并帮助区分恶意制作的查询和合法查询[29]。在更高层次上，差分策略训练和提示注入抵抗可以进一步提高针对诱导泄漏查询的鲁棒性[30, 31]。

​IV-C 数据投毒​

RAG 系统中的投毒攻击旨在通过修改知识库的内容来影响生成的输出[32, 33, 34]。具体来说，对手将少量精心制作的文档注入知识库，使得这些文档在响应特定触发查询时被检索到。

投毒攻击的目标分为两类。第一类是诱导 RAG 系统生成有害、误导性或事实不正确的输出，从而促进错误信息、有偏见的叙述或不安全指令的传播。第二类是强制在系统的响应中存在特定内容，例如推广特定品牌或短语，即使注入的内容与用户的查询无关。我们在下面形式化地描述了特定于 RAG 设置的数据投毒概念。

定义 4（RAG 系统中的数据投毒）

设 𝒟 表示原始知识库，并设 𝒟poi 为一组对手精心制作的中毒文档。注入后，修改后的知识库变为 𝒟′ = 𝒟 ∪ 𝒟poi。

给定一个触发查询 q∗，如果满足以下条件，则认为投毒攻击成功：

其中 ℛ 表示 RAG 系统的检索器模块。

一旦被检索到，中毒文档被传递给生成器 𝒢，后者以它们为条件产生响应。对手的目标可能包括导致系统发出有害、误导或不安全的响应，或强制包含特定内容，例如目标短语、品牌提及或捏造的主张。该攻击不需要修改检索器或生成器组件，完全通过向检索知识库注入文档来执行。

我们现在形式化这些攻击的一个常见子类，其中对手通过查询触发器激活投毒。

定义 5（基于触发的 RAG 投毒）

设 Q 为所有可能用户查询的集合。对手定义一组触发标记

其中每个 tᵢ 是一个与对手预期主题或目标相关联的高频标记。这些标记定义了触发查询的子集：

对于传入的查询 q ∈ Q：

• 如果 q ∉ Qᴛ，检索正常进行，系统生成 y = 𝒢(q, Dq)，其中 𝒟q 是检索到的上下文。

• 如果 q ∈ Qᴛ，则攻击被激活。对手构建一个嵌入 pₐ，使得：

其中 E(⋅) 是嵌入函数，sim(⋅,⋅) 是检索器的相似性度量。相应的对抗性文档被插入知识库并被 q 检索，影响生成输出。

防止投毒攻击：缓解 RAG 系统中的投毒攻击需要在检索级别进行防御，因为对手不修改检索器或生成器参数。现有研究（例如，[35, 36]）提出了旨在检测、抑制或过滤检索期间或之前的对抗性文档的方法。一般方法包括修改检索器的评分机制、分析文档嵌入中的异常，或设计语料库级过滤器以减少注入内容的影响。

例如，Tan 等人[36]提出了一种基于评分的过滤方法，该方法识别并抑制几乎仅针对一小部分触发查询检索的文档。他们的关键见解是对抗性文档通常在嵌入空间中具有高特异性，并在狭窄的查询区域激活。通过计算查询样本上的激活分布并移除支持度窄的文档，他们降低了中毒内容的可检索性。Xue 等人[35]提出的另一种方法利用了基于检索评分正则化的防御机制。他们惩罚在检索器评分表面产生尖锐梯度的文档，基于对抗性嵌入倾向于以不自然的锐度主导基于相似性的排名这一观察。他们的方法平滑了检索器分数分布，使其对局部投毒更加鲁棒。

总之，这些缓解策略说明，有效防御 RAG 中的投毒需要嵌入感知过滤和查询-响应分析，而不是重新训练或模型修改。未来的工作可以将这些想法与对抗训练、信任加权的文档评分或外部知识验证相结合。

​V 结论​

随着 RAG 系统日益部署在医疗保健和金融等高风险领域，严格理解其独特的安全和隐私风险至关重要。与传统的 LLM 不同，RAG 架构通过依赖外部知识库暴露了新的攻击面，使对手能够操纵、提取或推断来自检索内容和生成内容的信息。这项工作为 RAG 系统中的关键隐私和安全威胁提供了基础形式化。我们根据对手的访问级别引入了对手分类法，并定义了几个关键的攻击类别，包括文档级成员推理、内容泄漏和数据投毒。对于每一个，我们都提出了形式化定义和代表性的攻击模型，阐明了 RAG 系统可能无法保持机密性和完整性的方式。

我们的发现强调需要在所有 RAG 组件（包括检索器和知识库）中进行原则性防御。虽然诸如检索器级差分隐私、对抗性过滤和提示注入抵抗等技术显示出前景，但需要进一步研究来评估它们在实践中的有效性。我们希望这种形式化支持未来设计安全和保护隐私的 RAG 系统的努力，特别是在它们成为企业和面向用户的应用程序不可或缺的一部分时。