数学建模|前馈神经网络优化之模拟退火算法（解决初值依赖）

目录

1 模拟退火算法原理

[爬山算法]局部搜索更优解
[模拟退火]
名字起源：将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。
特点：

• 搜索过程引入随机因素（以一定的概率来接受一个比当前解要差的解）
• 并不一定能找到全局的最优解，但可以比较快的找到问题的近似最优解

2 算法步骤

模拟退火算法的基本思想是：由初始解和控制参数初值开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减控制参数值，算法终止时，当前解的值即为近似最优解，这便是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。

• 常用的终止条件：即上一个最优解与最新的一个最优解的之差小于某个容差，即可停止此次马尔可夫链的迭代；连续若干个新解都没有被接受时终止算法
• Metropolis准则：系统从一个能量状态变化到另一个状态时，相应的能量从E1变化到E2，在温度T时趋于平衡的概率，其中E为温度T时的内能，dE为内能的变化量，k为Boltzmann常数，exp表示自然指数。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到解组合优化问题的模拟退火算法，计算当前解与新解所对应的目标函数差：
  (1) 若Δt′= f(X(i+1)) - f(X(i)) < 0 (即移动后得到更优解)，则总是接受该移动，将新解S′作为当前解S。
  (2) 若Δt′= f(X(i+1)) - J(X(i)) > 0 (即移动后的解比当前解要差)，则以一定的概率接受移动，而且这个概率随着时间推移逐渐降低（逐渐降低才能趋向稳定）。
  此公式表明：温度越高，出现一次能量差为dE的降温的概率就越大；温度越低，则出现降温的概率就越小。随着温度T的降低，P(dE)会逐渐降低。又由于-dE/kT < 0，所以P(dE)的函数取值范围是(0,1)。在无限高温时，系统立即均匀分布，接受所有提出的变换。T的衰减越小，T到达终点的时间越长；但可使马可夫链越小，到达准平衡分布的时间越短
• 补充：模拟退火算法与初始值无关，算法求得的解与初始解状态S(是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率l 收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。

3 代码实现

算法流程：

参考文献和网址

[1]模拟退火算法blog