Honey Badger BFT共识协议详解

阅读建议

Honey Badger BFT应用了很多前人的研究，进行了巧妙的构造和优化，初次学习往往难以理解。在阅读时可以先大致了解各个构造块的基本作用，再了解总体的共识过程。之后回过头来深入研究各个构造块的原理，特别是BA算法，是整个协议的核心内容。

背景知识

FLP定理指出，在异步网络中，不可能存在一个确定性的共识协议。在FLP定理的指导下，共识协议设计往往需要作出妥协——要么弱化网络条件的限制，要么引入随机性。我们常见的PBFT、Raft等，就是在半同步网络下实现了一致性，但这类共识在网络条件变化时，其吞吐量会显著降低。而以往的异步共识协议同样效率低下，完全无法满足实际需求。本文介绍的Honey Badger BFT则是第一个具备可行性的异步共识协议。

基本构造块

阈值加密（threshold encryption）

传统的非对称加密算法包含一对密钥（公钥$pk$和私钥$sk$），其中$pk$用于消息加密，$sk$用于解密。
而门限加密则将私钥$sk$分为$n$份（$s{k}_i,i\in (1,...,n)$），对于$pk$加密的密文$C$，每个子密钥$s{k}_i$都可以生成一个解密块${\sigma }_i$，至少$t$个解密块合成后才能最终解密得到原始消息$m$。阈值签名算法类似，只是把加密改成了签名。

可靠广播协议（RBC，Reliable broadcast）

由于在分布式系统中，并不存在这样的广播信道，使得节点只需要发送一次消息，就能使网络中的所有节点都接收到，消息任然需要系统成员之间通过点对点的通信来传播。
而 RBC协议则是用来保证消息传播的一致性，各节点遵循RBC协议进行通信，最终能达到广播消息的效果，即网络中的所有节点都能以相同的顺序接收到相同的消息。
Honey Badger论文中使用了基于纠删码的可靠广播协议（Reliable broadcast with erasure codes）。
如图所示，消息发送方$P_i$发送消息$v$的步骤如下：

• $P_i$用纠删码将消息$v$分为$N$块，每块以$s_j$表示；
• $P_i$以$s_j$为叶子节点构造Merkle树，$h$为Merkle根，$b_j$为$s_j$的验证路径；
• $P_i$将$s_j$和对应的Merkle树验证信息分别发送给其他所有节点，表示为$\text{VAL}(h,b_j,s_j)$；
• 收到$\text{VAL}$消息后，将其广播$\text{ECHO}(h,b_j,s_j)$；
• 收到$\text{ECHO}(h,b_j,s_j)$消息，验证Merkle树对应的路径是否正确，若不正确则忽略；
• 收到$N-f$个不同的$\text{ECHO}$消息后，从中选择%N-2f%个，重新计算Merkle根$h^{\prime }$，判断是否满足$h^{\prime }=h$，若等式成立则广播$\text{READY}(h)$；
• 收到$f+1$个$\text{READY}(h)$消息后，如果没有发送过$\text{READY}(h)$，那么广播$\text{READY}(h)$；
• 收到$2f+1$个$\text{READY}(h)$消息后，待接收到$N-2f$个$\text{ECHO}(h,b_j,s_j)$消息后，即可解码出消息$v$。

说明：

• RBC协议的核心在于通过$\text{Echo}$传递消息，通过$\text{Reday}$表明消息已经发送完毕。
• 在基于纠删码的RBC协议中，$s_j$的$N$个消息中有$2f$个是冗余消息，用于防止恶意和失效节点。该协议通过调动全网节点发送消息分块$s_j$来代替单个leader直接向全网广播消息，避免了leader的带宽瓶颈。
• 论文中的算法表述容易造成误导，比如图中红框部分，实际含义是：在节点$P_i$构造出$\text{VAL}(h,b_j,s_j)$后，将其作为RBC协议的输入，“upon receiving”是指RBC协议收到$\text{VAL}$后，相当于$P_i$调用了RBC协议，而不是说将$\text{VAL}$发送给了其他人，后续的算法也要注意这种表述。
• • 该协议的复杂度为$O\left(N|v|+\lambda N^2\log N\right)$，当消息本身足够大时（$|v|\gg \lambda N^2\log N$ ），复杂度可以表示为$O(N|v|)$，等价于发送方向所有节点一对一直接发送消息的复杂度，因此说是渐进最优的。
    

二进制共识（BA，Binary Agreement）和公共硬币（Common Coin）

BA算法使全网节点对一个二进制比特的值达成共识，即全网共同生成0或1。BA算法满足以下属性：

• 一致性（Agreement）：如果任何正确的节点输出比特$b$，那么每个正确的节点都会输出$b$。
• 中止性（Termination）：如果所有正确的节点都接收到了输入，则每个正确的节点都能产生输出。
• 有效性（Validity）：如果有任何正确的节点输出了$b$，则至少有一个正确的节点接收$b$作为输入。

BA算法流程如下：

• 接收输入$b_{input}$后，设置${\text{est}}_0:=b_{input}$，并在后续每轮中进行如下操作（以第$r$轮为例）：
  • 广播${\text{BVAL}}_r(b)$
  • 设置bin_valuesr(b):={}\texttt{bin{\_}values}_r(b):=\{\}bin_valuesr​(b):={}
  • 从$f+1$个节点接收到${\text{BVAL}}_r(b)$后，如果还没有发送过${\text{BVAL}}_r(b)$，那么广播${\text{BVAL}}_r(b)$
  • 从$2f+1$个节点接收到${\text{BVAL}}_r(b)$后，设置bin_valuesr(b)=bin_valuesr∪{b}\texttt{bin{\_}values}_r(b)=\texttt{bin{\_}values}_r\cup\{b\}bin_valuesr​(b)=bin_valuesr​∪{b}
  • 当${\text{bin\_values}}_r(b)\ne \varnothing$时
    • 广播 ${\text{AUX}}_r(w)$，其中$w\in {\text{bin\_values}}_r$
    • 等至少接收到$N-f$个${\text{AUX}}_r$消息后，此时这些消息中包含的$b$值的集合$\text{vals}$为${\text{bin\_values}}_r$的子集（因为在本步骤运行的时候，可能还会收到其他的${\text{BVAL}}_r$加入${\text{bin\_values}}_r$）
    • $s\leftarrow {\text{Coin}}_r\cdot \text{GetCoin}()$
    • 如果vals={b}\texttt{vals}=\{b\}vals={b}，则
      • ${\text{est}}_{r+1}:=b$
      • 如果$(b=s\%2)$则输出$b$
    • 否则${\text{est}}_{r+1}:=s\%2$
• 继续循环，直到在某一轮输出值$b$，且对于$r^{\prime }>r$，有${\text{Coin}}_{r^{\prime }}=b$。
  
  论文中使用了基于阈值签名的公共硬币方案实现BA算法（即上述的$\text{GetCoin}()$）。
  算法中$\text{sid}$是一个唯一的随机数，可以看做是$\text{coin}$的名字
• 可信设置环节：由一个可信的分发方运行pk,{ski}←ThresholdSetuppk,\{sk_i\} \leftarrow \texttt{ThresholdSetup}pk,{ski​}←ThresholdSetup来生成公共公钥和私钥碎片{ski}\{sk_i\}{ski​}，$s{k}_i$对应发放给$P_i$
• 当调用$\text{GetCoincoin}$时，广播${\text{ThresholdSign}}_{pk}(s{k}_i,\text{sid})$
• 在接收到至少$f+1$个签名碎片后，将其合成为完整签名：$\text{sig}\leftarrow {\text{ThresholdCombine}}_{pk}(s{k}_i,\text{sid})$，并用公钥验证${\text{ThresholdVerify}}_{pk}(\text{sid})$，若合法，则生成签名
  
  说明：
• 各方首先生成一个同样的一个二进制数$b$
• 之后通过一个公共的硬币来判断是否要取这个$b$作为最终的输出，如果不满足判断条件，那就进入下一轮，重复上述步骤

异步公共子集（ACS，Asynchronous Common Subset）

简而言之，网络中的各节点通过各自的输入，最终能经过ACS达成共识，生成一个一致的结果。ACS满足以下属性：

1. Validity（有效性）：如果一个正确的节点输出了集合$\text{v}$，那么$|\text{v}|>N-f$，且$\text{v}$至少包含$N-2f$个正确节点的输入
2. Agreement（一致性）：如果一个正确的节点输出了集合$\text{v}$，那么每个节点都会输出集合$\text{v}$。
3. Totality（全局性）：如果$N-f$个正确节点收到了输入，那么所有正确节点都会产生输出。

而ACS又是基于上述的RBC协议和BA算法来实现的。各个节点通过RBC协议广播自己对BA算法的输入，即所有节点并发地运行BA算法，最终形成一个长度为$N$的二进制值列表，由这个二进制列表来决定最终提交哪些交易。
ACS流程如下：

• 以{RBCi}N\{\texttt{RBC}_i\}_N{RBCi​}N​来表示RBC协议的$N$个实例，$P_i$对应为{RBCi}\{\texttt{RBC}_i\}{RBCi​}的发送方。{BAi}N\{\texttt{BA}_i\}_N{BAi​}N​代表BA算法的$N$个实例。
• 接收到输入$v_i$后，将其输入到${\text{RBC}}_i$广播
• 在收到从${\text{RBC}}_j$发送的$v_j$后，如果给${\text{BA}}_i$输入，那么对${\text{BA}}_i$输入1
• 如果已经接收到了至少$N-f$个$\text{BA}$实例传递的值 1 ，那么后续所有还未输入的$\text{BA}$实例都输入为0
• 一旦所有的$\text{BA}$实例都完成，令$C\subset [1,...,N]$表示为每个生成 1 的BA 实例的索引。等待每个${\text{RBC}}_j$的输出$v_j$，其中$j\in C$。最终输出$U_{j\in C^{v_j}}$。

论文对ACS的具体执行给出了图例解释：
从节点0的角度，他会收到来自节点$1\sim 3(N=4,f=1)$的RBC广播，图中给出了三种不同的情况

• 正常情况下，节点0收到了节点1的广播${\text{RBC}}_1$，则对${\text{BA}}_1$输入1（1等价于yes）
• 节点0接收到${\text{RBC}}_2$时已经收到了$N-f$个$\text{BA}$输出1，因此他对${\text{BA}}_2$输入0，但由于其他节点已经收到了${\text{RBC}}_2$并为${\text{BA}}_2$输入1，因此最终${\text{BA}}_2$仍然输出1
• ${\text{RBC}}_3$还未完成，${\text{BA}}_3$就已经被输入0，且由于其他节点也没有为${\text{BA}}_3$投票，因此最终${\text{BA}}_3$输出0

说明

• 各方用RBC广播将自己的值$v_i$，也会从RBC中接收其他节点的值$v_j$，同时运行$N$个$BA$算法，如果接收到了$v_j$，那对应的${\text{BA}}_j$输入1
• 如果在$N-f$个$\text{BA}$算法中都已经输入了1，那后续其他的$\text{BA}$算法都输出0
• $N$个$BA$算法完成后，节点选择那些输出为1的BA算法所对应的$v_k$消息，由于$BA$算法的一致性，网络中所有节点都会作出相同的选择，即最终所有节点都选择了相同的消息$v_k$

共识流程

在了解了上述的构建块后，下面以节点$P_i$的角度，阐述Honey Badger BFT的共识流程。其中$B$是系统设定参数，$r$表示在第$r$轮。

• 节点$P_i$从自己的交易池的前$B$个交易中随机选择$\lfloor B/N\rfloor$个作为提案（$\text{proposed}$）
• 将提案加密$x:=\text{TPKE.Enc(PK,proposed)}$
• 将$x$作为$\text{ACS}[r]$的输入
• 从$\text{ACS}[r]$中接收{vj}j∈S\{v_j\}_{j \in S}{vj​}j∈S​，其中$S\subset [1,...,N]$，
• 对于所有$j\in S$：
  • 令$e_j:=\text{TPKE.DecShare}(S{K}_i,v_j)$
  • 广播$\text{DEC}(r,j,i,e_j)$
  • 从$\text{DEC}(r,j,i,e_{(}j,k))$接收至少$f+1$个消息
  • 解码yj:=TPKE.Dec(PKi,{k,ej,k})y_j:=\texttt{TPKE.Dec}(PK_i,\{k,e_{j,k}\})yj​:=TPKE.Dec(PKi​,{k,ej,k​})
• 令${\text{block}}_r:=\text{sorted}(U_{j\in C^{v_j}})$，$\text{sorted}$即对收集的交易排序，组成为区块${\text{block}}_r$
• 设置$\text{buf}:={\text{buf-block}}_r$
  
  说明：
• 第一步中，随机选择交易是为了各个节点选择的交易尽可能不同（同一笔交易可能被发给了不同节点拿来构造区块）
• 将提案加密是为了防止审查攻击，以防止一些恶意节点在ACS中故意不给包含特定交易的节点投票
• 最终通过ACS生成一个共识列表（即在ACS中，BA输出为1的节点），各节点对成功共识的提案进行解密，生成解密碎片（share），收集到足够的碎片即可解密出交易内容
• 将交易构造成一个区块后即可上链，同时各节点将已经成功共识的交易从自己的交易池中删去。