15、Dropout原理以及其TF/Torch/Numpy源码实现

1. 伯努利分布

伯努利分布也叫0,1分布，为1的概率为p，为0的概率为1-p

• 期望E(x)：
  $$\begin{array}{c}\mathrm{E}(x)=0\cdot (1-p)+1\cdot p=p\end{array}$$
• 期望E(x^2)：
  $$\begin{array}{c}\mathrm{E}(x^2)=0^2\cdot (1-p)+1^2\cdot p=p\end{array}$$
• 方差 D(x):
  $$\begin{array}{c}\mathrm{D}(x)=\mathrm{E}(x^2)-[\mathrm{E}(x){]}^2=p-p^2\end{array}$$
• python

import numpy as np

np.set_printoptions(suppress=True, precision=3)
np.random.seed(335435)

if __name__ == "__main__":
    run_code =