[论文阅读] Neural Architecture Search: Insights from 1000 Papers

题目：Neural Architecture Search: Insights from 1000 Papers
链接：https://arxiv.org/pdf/2301.08727

1. Introduction

NAS在众多领域有着广泛应用，近两年来有超过1000篇相关文章。

1.1 A Brief History of NAS and Relation to Other Fields

神经网络结构搜索（neural architecture search, NAS）起源于自动机器学习（automated machine learning，AutoML）。AutoML是一种自动化学习框架，包括数据清洗、特征工程与选择、参数与结构搜索等一些列流程。
NAS可以被视为参数优化（hyperparameter optimization, HPO）的一个子集。与HPO不同，NAS只优化与模型相关的参数。

一般而言，学习率、batch size等通用参数不在NAS的考虑范围内

HPO优化的参数，（例如学习率、batch size等），这些参数通常是独立的、互不相关的。NAS优化的参数，往往是互相关联的。

现有NAS主要包括强化方法（reinforcement learning），进化方法（evolutionary algorithms），贝叶斯优化方法（Bayesian optimization）和权重共享的技术（？weight sharing）。近年来，最为流行的是one-shot类方法，相比于黑盒优化模型，此类方法带来了显著加速。

此外，近年来领域内较为重要的是出现了NAS-Bench-101这样的评价基准，使得NAS方法的性能可以相对公平地比较。

1.2 Background and Definitions

• Search space: 所有可供搜索的架构的集合
• Search strategy: 优化策略，主要包含black-bos optimization & onr-shot optimization
• Performance estimation strategy: 快速估计架构表现的策略（通常避免完整的训练）
  关于NAS的形式化定义：
  
  其中$A$是搜素空间，