NLP学习笔记27-优化Optimization

最新推荐文章于 2026-06-19 08:57:00 发布

原创

最新推荐文章于 2026-06-19 08:57:00 发布 · 1.6k 阅读

标签

#优化 #凸函数 #最优解 #非凸函数优化 #机器学习

本文深入探讨了机器学习中的优化问题，强调了优化算法在AI模型选择和实现过程中的核心地位。文章介绍了优化算法的分类，如线性回归、逻辑回归、SVM和协同过滤，并通过股票量化投资的例子展示了优化的重要性。接着，作者详细阐述了目标函数的分类，特别是凸函数的性质，包括凸集和凸函数的定义及判别方法。文中通过最大流问题和集合覆盖问题举例，解释了凸函数和非凸函数在实际问题中的应用。最后，讨论了如何将非凸问题转化为线性问题以寻找近似最优解。

一序

本文属于贪心NLP训练营学习笔记系列。视频151 变分推断先跳过。

二为啥要关注优化

通常有关AI的问题可以分解为：模型+优化

模型就是如何选择模型：逻辑回归、深度学习等，然后进行模型的实例化,例如选择深度学习,有几层，每层的参数等。

实例化完毕之后，我们总是可以找到一个与实例化之后的模型相对应的objective function（目标函数），接下来就进入了优化的阶段。

优化有很多算法，见截图，有了objective function之后，就是要归类，再选择合适的优化算法解决。

公式下面的，认为是条件。

Optimization is the Core of Machine Learning

线性回归（Linear Regression）： $minimize_w ||Xw-y||^2_F$
逻辑回归（Logistic Regresssion）： $minimize_{w,b} =\sum^n_{i=1}y_ilog(\sigma(w^Tx_i+b)) +(1-y_i)log[1-\sigma(w^Tx_i+b)] +\lambda||w||^2_2$
SVM（Support Vector Machine）： $||w||^2 +c\sum^n_{i=1} \epsilon_i \;\;\;\; s.t. \epsilon \geq 1-y_ix_i^Tw,\;\; \epsilon_i \geq 0$
协同过滤（Collaborative Filtering）：矩阵分解
K均值（K-means）： $minimize_{\mu_1,...,\mu_k} \sum^K_{j=1}\sum^n_{i=1} ||x_i^{(j)} - \mu_j||^2$