PyTorch深度学习实战（61）——使用Optuna搜索最优超参数

0. 前言

在自动机器学习一节中，我们完成了对 Auto-PyTorch 的探索。我们成功地在没有指定模型架构和超参数的情况下，通过使用 Auto-PyTorch 自动化构建了 MNIST 数字分类模型。接下来，我们将重点讨论 Optuna——这是一个专注于寻找最优超参数组合、且与 PyTorch 兼容良好的工具。该工具采用的树结构 Parzen 估计器 (Tree-Structured Parzen Estimation, TPE) 和协方差矩阵自适应进化策略 (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) 等先进搜索策略。
除了超参数搜索方法外，该工具还提供了简洁易用的 API 接口。在本节中，我们将再次构建和训练 MNIST 手写数字识别模型，但本节将重点介绍如何使用 Optuna 来确定最优的超参数配置。

1. 定义模型架构

首先，我们将定义一个兼容 Optuna 的模型对象，在模型定义代码中加入 Optuna