最优化问题目前在机器学习数据挖掘等领域应用非常广泛，因为机器学习简单来说主要做的就是優化问题，先初始化一下权重参数然后利用优化方法来优化这个权重，直到准确率不再是上升迭代停止，那到底什么是最优化问题呢
第一个为优化的目标，即最小化目标函数f(x),而带大于号或小于号的则是约束条件。我们希望找到一个满足约束条件的x?x?,使得对于任意嘚zz满足约束条件：
而x?x?就是我们所求的最后结果
相当于你要从上海去北京，你可以选择搭飞机或者火车，动车但只给你500块钱，要求你以最快的时间到达其中到达的时间就是优化的目标，500块钱是限制条件选择动车，火车或者什么火车都是x。
满足所有约束条件的點集称为可行域记为X，又可以写为：
在优化问题中应用最广泛的是凸优化问题：
若可行域X是一个凸集：即对于任给的x,y∈Xx,y∈X,总有
并且目標函数是一个凸函数：即
我们称这样的优化问题为凸优化问题。
最小二乘问题是无约束的优化问题通常可以理解为测量值与真实值之间嘚误差平方和：
其中A∈Rk x n（k>n），aTi为A的第i行向量x就是我们的优化目标。A∈Rk x n（k>n）aiT为A的第i行，向量x就是我们的优化目标
这个问题既然没有约束条件，那应该怎么求解呢我们的目标是求解出最好的x，观察这个式子可以发现这个式子一定是大于等于0的，所以这样的最优化问题我们可以把它转成线性方程来求解：
ATAT为A的转置，因此根据矩阵的逆：
权值均为正数代表每一个aTix?biaiTx?bi对结果的影响程度。
正则化的最小②乘问题：
另一类重要的优化问题是线性规划它的目标函数和约束条件都是线性的：
用画图的方法，就是根据条件画出可行域，然后將目标函数在可行域上移动直到得到最大值。
