线性规划和非线性规划是什么？

线性规划和非线性规划

基本概念

If both the objective function and the constraint functions are linear, the problem is a linear programming problem; otherwise, it is a nonlinear programming problem. All points that satisfy the constraints are called feasible points, and they constitute a feasible set. If the feasible set of a problem fills the entire space, we call it an unconstrained programming problem.

如果目标函数和约束函数都是线性的，那么该问题是一个线性规划问题；否则，它是一个非线性规划问题。所有满足约束条件的点称为可行点，它们构成可行集。如果一个问题的可行集填满了整个空间，我们称其为无约束规划问题。

1. 线性规划问题（Linear Programming, LP）：
   $$\begin{array}{rl}& \text{minimize}{c}^{T}x\\ & \text{subject to}Ax\le b,\\ & x\ge 0\end{array}$$
   其中：

   • $c,x\in {\mathbb{R}}^n$，
   • $A\in {\mathbb{R}}^{m\times n}$，
   • $b\in {\mathbb{R}}^m$。

2. 非线性规划问题（Nonlinear Programming, NLP）：
   $$\begin{array}{rl}& \text{minimize}f(x)\\ & \text{subject to}{g}_i(x)\le 0,i=1,\dots ,m\\ & h_j(x)=0,j=1,\dots ,p\end{array}$$
   其中 $f,g_i,h_j$ 中至少有一个是非线性的。

3. 可行集（Feasible Set）：
   F = { x ∈ R n ∣ g i ( x ) ≤ 0 ,    h j ( x ) = 0 } \mathcal{F} = \{ x \in \mathbb{R}^n \mid g_i(x) \leq 0, \; h_j(x) = 0 \} F={x∈Rn∣gi​(x)≤0,hj​(x)=0}

4. 无约束规划问题（Unconstrained Programming）：
   $$\text{minimize}f(x),x\in {\mathbb{R}}^n$$
   此时可行集 $\mathcal{F}={\mathbb{R}}^n$。

优化问题

The optimization problem can be divided into two categories: constrained optimization and unconstrained optimization. The fundamental concept in optimization theory is the extremum of a function, namely $\min f(x)$, where $x\in {\mathbb{R}}^n$ is called the decision variable, and $f(x)\in \mathbb{R}$ is called the objective function. The point $x^{\ast }$, which makes $f(x)$ attain the extremum, is called the optimal solution. If the problem must satisfy certain constraints, it becomes a constrained optimization problem.

优化问题可分为两类：约束优化和无约束优化。优化理论的核心是函数的极值问题，即 $\min f(x)$。其中 $x\in {\mathbb{R}}^n$ 称为决策变量，$f(x)\in \mathbb{R}$ 称为目标函数。使 $f(x)$ 达到极值的点 $x^{\ast }$ 称为最优解。如果问题必须满足某些约束条件，则成为约束优化问题。

数学公式与概念扩充 (Mathematical Formulas and Concept Expansion)

以下将分别阐述两类问题的标准数学形式及其关键原理。

1. 无约束优化 (Unconstrained Optimization)

数学形式 (Mathematical Form):
$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
其中 $f:{\mathbb{R}}^n\to \mathbb{R}$ 是一个可微 (differentiable) 的目标函数。

一阶必要条件 (First-Order Necessary Condition):
如果 $x^{\ast }$ 是一个局部极小点 (local minimizer) 且 $f$ 在 $x^{\ast }$ 处可微，则梯度必须为零：
$$\nabla f(x^{\ast })=0$$
满足此式的点称为驻点 (stationary point)。

二阶条件 (Second-Order Conditions):

• 二阶必要条件 (Necessary Condition): 若 $x^{\ast }$ 是局部极小点，则其 Hessian 矩阵 (Hessian matrix) 是半正定的：
  $${\nabla }^{2}f(x^{\ast })⪰0$$
• 二阶充分条件 (Sufficient Condition): 如果 $\nabla f(x^{\ast })=0$ 且 Hessian 矩阵是正定的，则 $x^{\ast }$ 是一个严格的局部极小点：
  $${\nabla }^{2}f(x^{\ast })\succ 0$$

关键算法 (Key Algorithms):

• 梯度下降法 (Gradient Descent): 沿负梯度方向迭代更新。
  $$x_{k+1}=x_k-{\alpha }_k\nabla f(x_k)$$
• 牛顿法 (Newton’s Method): 利用梯度和 Hessian 矩阵信息进行二阶更新。
  $$x_{k+1}=x_k-[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)$$

2. 约束优化 (Constrained Optimization)

一般数学形式 (General Mathematical Form):
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ \text{s.t.}& g_i(x)\le 0,i=1,\dots ,m\text{(不等式约束)}\\ & h_j(x)=0,j=1,\dots ,p\text{(等式约束)}\end{array}$$
其中 s.t. 是 “subject to”（受限于）的缩写。满足所有约束的 $x$ 的集合称为可行域 (feasible set)。

拉格朗日函数 (Lagrangian Function):
为求解此问题，引入拉格朗日乘子 ${\lambda }_i(\ge 0)$ 和 ${\nu }_j$，构造拉格朗日函数：
$$\mathcal{L}(x,\lambda ,\nu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^p{\nu }_j{h}_j(x)$$

KKT 条件 (Karush-Kuhn-Tucker Conditions):
对于可微函数，若 $x^{\ast }$ 是一个局部最优解，并且在 $x^{\ast }$ 处满足一定的约束规范性条件 (constraint qualification)，则存在乘子 ${\lambda }^{\ast }$, ${\nu }^{\ast }$ 使得以下 KKT 条件 成立：
$$\begin{array}{rlr}& {\nabla }_x\mathcal{L}(x^{\ast },{\lambda }^{\ast },{\nu }^{\ast })=0& \text{(平稳性/Stationarity)}\\ & g_i(x^{\ast })\le 0,h_j(x^{\ast })=0& \text{(原始可行性/Primal Feasibility)}\\ & {\lambda }_i^{\ast }\ge 0& \text{(对偶可行性/Dual Feasibility)}\\ & {\lambda }_i^{\ast }{g}_i(x^{\ast })=0& \text{(互补松弛性/Complementary Slackness)}\end{array}$$
对于凸优化问题，KKT条件通常是充分必要条件 (necessary and sufficient conditions)。

线性规划 (Linear Programming) 特例: 当目标函数和所有约束均为线性时：
$$\begin{array}{rl}\underset{x}{\min }& c^{T}x\\ \text{s.t.}& Ax\le b\\ & x\ge 0\end{array}$$

3. 对偶理论简介 (Introduction to Duality Theory)

每一个优化问题（原问题 / Primal Problem）都有一个相伴的对偶问题 (Dual Problem)。

拉格朗日对偶函数 (Lagrangian Dual Function):
$$d(\lambda ,\nu )=\underset{x\in {\mathbb{R}}^n}{\inf }\mathcal{L}(x,\lambda ,\nu )$$
这个函数给出了原问题最优值 $p^{\ast }$ 的一个下界 (lower bound)。

对偶问题 (Dual Problem):
$$\begin{array}{rl}\underset{\lambda ,\nu }{\max }& d(\lambda ,\nu )\\ \text{s.t.}& \lambda \ge 0\end{array}$$
其对偶最优值记为 $d^{\ast }$。

弱对偶与强对偶 (Weak and Strong Duality):

• 弱对偶 (Weak Duality): 总是成立， $d^{\ast }\le p^{\ast }$。
• 强对偶 (Strong Duality): 若 $d^{\ast }=p^{\ast }$，则强对偶成立。对于凸优化问题且在满足 Slater 条件 (存在严格可行内点) 时，通常成立强对偶。此时，原问题与对偶问题的最优值相等。