超参数优化之贝叶斯优化（Bayesian Optimization)

Ⅰ.Grid Search/Random Search

Grid Search:神经网络训练由许多超参数决定，例如网络深度、学习率、卷积核大小等等。为了找到一个最好的超参数组合，最直观的想法就是Grid Search, 其实也就是穷举搜索。

Random Search:为了提高搜索效率，提出随机搜索。虽然随机搜索得到的结果互相之间差异较大，但是实验证明随机搜索的确比网格搜索效果要好

Ⅱ.Bayesian Optimization

贝叶斯优化的大体思路：

假设一组超参数组合是 $X=x_1,x_2,...,x_n$, 贝叶斯优化假设超参数与需要优化的损失函数存在一个函数关系。

假设函数$f：x\to R，我们需要在x\subset X内找到$
$$x^{\ast }=\underset{x\in X}{\mathrm{argmin}}f(x)（1）$$
详细算法:
Sequential model-based optimization(SMBO)
$Input:f,X,S,M$
$D\leftarrow InitSamples(f,X)$
$fori\leftarrow |D|toTdo:$
$p(y|x,D)\leftarrow FitModel(M,D)$
$x_i\leftarrow \underset{x\in X}{\mathrm{argmax}}S(x,p(y|x,D))$
$y_i\leftarrow f(x_i)▹Expensivestep$
D ← D ∪ ( x i , y i ) \qquad D \leftarrow D\cup (x_i,y_i) </