4+ results for '拉格朗日乘数法' (0 ms)
27 **凸优化**。最优化中的核心概念之一，如果一个问题被证明为凸优化问题，恭喜你，它基本上可以较好的解决。
28
29 **拉格朗日乘数法**。在各种算分的推导中经常使用，如主成分分析，线性判别分析等，如果不熟练掌握它，你将非常艰难。
30
31 **KKT条件**。拉格朗日乘数法扩展到带不等式约束后的版本，在SVM的推导中将会使用。
49 $$
50
51 的未正则化的平方和误差（3.12）。这样，这两种方法通过拉格朗日乘数法被联系到了一起。从图3.4可以知道稀疏性的来源：在限制条件（3.30）下误差函数的最小值。随着$$ \lambda $$的增大，越来越多的参数会变为零。
52
53 
2 -------------------------
3
4 至此，已经完全解码拉格朗日乘数法，拉格朗日巧妙的构造出下面这个式子：
5
6 .. figure:: ../../img/1578812874316.png
20 与求解一元问题一样，仅凭一阶导数等于是无法判断极值的，需要求二阶导，并且二阶导大于0才是极小值，小于0是极大值，等于0依然无法判断是否在此点去的极值。
21
22 以上就是机器学习最常用的优化技巧：拉格朗日乘数法的图形讲解，相信大家已经找到一定感觉，接下来几天我们通过例子，详细阐述机器学习的具体概念，常用算法，使用Python实现主要的算法，使用Sklearn，Kaggle数据实战这些算法。
23
24
4
5 - 无约束优化：直接对$f(x)$求导；
6 - 有等式约束的最优化问题：采用**拉格朗日乘数法(Lagrange Multiplier)**进行求解；
7 - 针对有不等式约束约束的最优化问题，采用KKT条件(Karush-Kuhn-Trcker Conditions)；