Markov Chain Monte Carlo方法总结

来源：MCMC In practice第一章introducing Markov chain monte carlo
下午看bayesian computation with R 的第六章的时候一头雾水，搞不清楚bayesian, MCMC ，M-H，以及Gibbs sampling这些概念之间的关系是什么
后来看了这本书的第一章，总算搞清楚了，下面总结下这些概念之间的关系：
1. MCMC方法主要是为了解决有些baysian推断中参数期望E(f(v)|D)不能直接计算得到的问题的。
  其中v是要估计的参数，D是数据观察值
2. Markov chain monte carlo概念包含了两部分：markov chain 和monte carlo integration。
  2.1. 首先是monte carlo integration： monte carlo integration是利用采样的方法解决参数期望不能直接计算解决的问题的：即根据v的后验概率密度函数对v进行n次随机采样，计算n个f(v)，然后将这n个值求平均。根据大数定理当n足够大并且采样服从独立原则的时候，该值趋向于期望的真实值。但是当v的后验概率函数很难得到的时候该方法并不适用。
  2.2 而在此基础上产生的 Markov chain monte carlo，虽然也是通过采样的方法进行的，却将马尔科夫链的概念引进来。它的想法是这样的：如果某条马尔科夫链具有irreducible 和aperiodic的特性的时候，该马尔科夫链具有一个唯一的静态点，即Pt=Pt-1;因此当马尔科夫链足够长后（设为N），产生的值会收敛到一个恒定的值（m）。这样对f（v）产生马尔科夫链，在N次之后f（v）的值收敛于恒定的值m，一般假设n>N后，f(v)服从N(m,scale)的正态分布。
   即当n足够大的时候，用马尔科夫链产生的f(v)相当于在N(m,scale)独立抽样产生的值。

3. 如何产生具有这样特性的马尔科夫链：主要的方法是M-H算法
   M-H算法有两部分组成：1. 根据条件概率密度函数，抽样得到下一个时间点的参数值Vt+1；2计算产生的这个值的接受概