贝叶斯神经网络的 MCMC 训练 MCMC Training of Bayesian Neural Networks

from:
http://www.fields.utoronto.ca/talks/MCMC-Training-Bayesian-Neural-Networks

一、贝叶斯神经网络模型 Bayesian neural network models

1.多层感知器神经网络

我将讨论利用多层感知器神经网络的回归和分类模型。
网络使用一定数量的隐藏单元层从输入 $x_1,...,x_p$ 计算输出 $o_1,\dots \dots \dots ,O_q$。
例如，具有 $N$ 和 $M$ 个单元的两个隐藏层：

$$o_k(x)=c_k+\sum _{j=1}^M{w}_{jk}{g}_j(x)，g_k(x)=G(b_k+\sum _{j=1}^N{v}_{ik}{h}_j(x))，h_k(x)=F(a_x+\sum _{j=1}^p{u}_{jk}{x}_j)is：X\to H\to G\to O$$

$F$ 和 $G$ 是层的激活函数。 我将使用 $tanh$ 或 $softplus(s)=log(1+exp(s))$ 作为激活函数。
该网络的参数是权重 $u、v$ 和 $w$，以及偏差 $a、b$ 和 cc