算法学习(四)——alphago模型

本文解析了AlphaGo如何结合深度学习与蒙特卡洛树搜索(MCTS)评估围棋局势,介绍了其六个关键技术点,包括策略网络与价值网络所使用的49种特征描述。

模型推荐看原文:

https://xueshu.baidu.com/usercenter/paper/show?paperid=a7600bdc74f5a07ed65256035cd15c6b&site=xueshu_se

自己的理解:

MCTS解决的是算力分配的问题,alphago主要解决了五个问题:

一是把深度学习和蒙特卡洛法相结合,取得一个准确和速度的平衡,用于评估当前局面。

二是使用监督数据,防止强化学习网络陷入策略循环,然后通过自博弈再提升自己。

三是网络训练方法,在监督学习阶段,将人类数据按照前后步切片,这样一局可以产生大量的训练数据,并且和输赢奖励联系起来,避免奖励稀疏。

四是使用策略网络模拟对手的落子,算是一种对minimax预测对手落子的一种改进吧?

五是工程上使用分布式计算,但是不知道怎么实现的,分布式mcts?

六.特征工程

如上图所示,AlphaGo的策略网络和价值网络用于描述棋局当前局势的49个特征,棋盘上的361个点每个点都可以用这49个特征进行描述,下面将一一进行解读:

1、Stonecolour:

这个点放的黑子、白子还是空点。

2、Ones

赋值为常量1,具体作用不详。

3、Turns since

在周围的八个点中,这一步棋有多少变化。

4、Liberties

环绕这个点的八个点中,有几个空点。

5、

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值