KKT条件

等式约束的优化问题：使用拉格朗日乘数法构建拉格朗日函数，利用求取极值的必要性，转换为无约束优化问题，可以使用梯度下降法、牛顿法，共轭梯度法等方法进行迭代求解。
带有不等式约束的优化问题：构建广义拉格朗日函数，然后使用KKT条件进行求解。

1. 基本原理

对于带约束的优化问题（不一定是凸问题）测试：

$$ \begin{array}{ll} \min & f_0(\boldsymbol{x}), \boldsymbol{x} \in \mathbb{R}^n \\ & f_i(\boldsymbol{x}) \leq 0 \text {, 其中 } \mathrm{i}=1,2,3 \ldots \mathrm{m} \\ \text { s.t. } & h_i(\boldsymbol{x})=0 \text {, 其中 } \mathrm{i}=1,2,3 \ldots q \end{array} $$

1.1 首先构建拉格朗日函数，将原问题进行等价转换：

问题：为什么拉格朗日乘子$\lambda \geq 0$？答：为了使得原函数 $f_{0}(x)$ 等价为极大的拉格朗日函数。也就是上面的当 x 在可行域和不在可行域时需要满足的条件，从而将原问题等价为极小极大拉格朗日问题。

1.2 将原问题转换为对偶问题，就是最大最小过程进行交换：

这里，对偶问题进行进一步转化：

$$ \begin{array}{ll} 对偶问题: &\max _{\lambda, v} L(x,\lambda, v) \\ \text { s.t. } & \nabla_{\boldsymbol{x}} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{v})=\mathbf{0} \\ & \boldsymbol{\lambda} \geq \mathbf{0} \end{array} $$

注意对偶函数 $g(\lambda,v)$的变量为 $\lambda,v$ ，然后分析对偶函数：