凸优化第二章凸集 2.4广义不等式

个人博客地址 Glooow，欢迎光临~~~ 文章目录1. 正常锥2. 推广不等式3. 最小元与极小元3.1 最小元(minimum)3.2 极小元(minimal)4. 对偶锥5. 最小元与极小元(应用对偶锥定义)5.1 最小元5.2 极小元 1. 正常锥 正常锥(proper cone) K⊆RnK\subseteq R^nK⊆Rn 需要满足 KKK is closed (contains...

2.4 广义不等式 正常锥与广义不等式 最小元和极小元 正常锥 一个锥K是正常锥需要满足以下几个条件： K是凸的 K是闭的 K是实的，具有非空内部 K是尖的，不包含直线 广义不等式 用正常锥可以定义广义不等式，即上的偏序关系。 严格偏序关系: 当时，这种偏序关系也就是R上实际的 例子：分量不等式： 矩阵不等式:，半正定。 广义不等式的性质： 对于加法保序： 传递性： 非负数乘保序性： 自反的： 反对称的： 极限运算保序： 最小元和极小元 在介绍极小元和最小元之

本节主要讲凸集的概念以及保凸运算，这对于判断优化问题是否是凸的非常有帮助。这一节有一部分概念比较抽象，需要仔细研读。 凸集（Convex Set） 凸集 通过集合的任意两个点的线段还在集合中，即 仿射集（Affine Set） 通过集合的任意两个点的直线还在集合中 线性方程组的解集是一个仿射集。 凸组合(Convex Combination) 凸包(...

凸集之广义不等式 广义不等式（Generalized inequalities） 1. 正锥体和广义不等式（Proper cones and generalized inequalities） （1）正锥体（Proper cones） 定义：若K为正锥体 应满足以下条件： ①K是凸的； ②K是闭合的； ③K是固体的，这意味着它的内部是非空的。 ④K是指向的，这意味着它不包含线（或等价地，x∈K，−x∈K=⇒x=0）。 一个正锥体K可以用来定义一个广义不等式，它是Rn上的部分排序，它具有R上标准顺序的许多性质

时为直线，时为线段。扩展：为空间中的不共线的三个点，那么对于，其中当仅满足条件而对没有其他限制时，是过三点无限延申的平面，当对加一个条件时，y为三点连线形成的三角区域。1.1.1.2自我理解为：（1）仿射集：集合中任意点之间组成向量张成的空间即是这个集合。举个例子，一维情况下只有直线是仿射集（至少两个点确定），二维情况下只有无限延申的平面是仿射集（至少三个点确定），三维情况下只有整个三维空间是仿射集（至少四个点确定）。（2）仿射集与向量空间：当不再限制时，

目录第一章 绪论第二章 模型评估与选择1.评估方法2.评估指标3.泛化误差期望 = 偏差+方差+噪声4.归一化5.正则化Q：L1比L2更稀疏（1）梯度值（2）先验概率（3）等高线图形方法（4）函数叠加方法Q：为什么权重变小可以缓解过拟合6.过拟合与欠拟合（1）降低过拟合：（2）降低欠拟合：第三章 线性模型1.线性模型的优点2.一元线性回归3.多元线性回归4.对数几率回归（LR）（1） 二分类，广义线性模型，用Sigmoid（2）优点（3）缺点（4）对数损失函数==极大似然函数取对数（5）极大似然法求解w和b

5.9广义不等式 Lagrange对偶 最优性条件 Lagrange对偶 其中是正常锥。 对于问题中的每个广义不等式，引入Lagrange乘子向量，，并定义相关的Lagrange函数： 对偶函数： 弱对偶性：如果，即广义不等式的Lagrange乘子必须是对偶非负的，则 对偶问题： 弱对偶性始终成立。 在广义不等式的情况下，强对偶性成立的条件：原问题是凸的且满足约束...

线性分数函数是仿射映射函数和透视变换的复合函数，依然还是保凸运算，凸集在线性分数函数下的像和逆像都是凸的。支撑超平面不完全逆定理：如果一个集合是闭的，具有非空内部并且其边界上每个点均存在支撑超平面，那么它是凸的。仿射映射：凸集的仿射映射也是凸的。（函数形式为f=Ax+b，则称函数是仿射的，即线性函数加常数的形式。是有限多个线性不等式和等式的解集，也是有限数量的半空间和超平面的交集。支撑超平面：如果C是凸的，那么在C的每个边界点都存在一个支持超平面。交运算：（任意数量的）凸集的交集是凸的。

4.6广义不等式约束 锥形式问题 半定规划 例子 广义不等式约束 将不等式约束函数扩展为向量，并使用广义不等式，得到： 其中，为正常锥，为凸的。则称此问题为广义不等式意义下的凸优化问题。 结论： 可行集、任意下水平集和最优集都是凸的。 上述问题的任意局部最优解都是全局最优解。 可微函数的最优性条件都成立。 锥形式问题 锥形式问题也称锥规划，有线性目标函数和一个不等式约束函数...

3.6关于广义不等式的凸性 定义 设是一个正常锥，对应的广义不等式，函数是K-凸的，如果 矩阵凸性 设函数f是对称矩阵值函数，即，称函数f关于矩阵的不等式是凸的如果，这种凸性为矩阵凸性。 其等价的定义是对任意的向量z，标量函数都是凸函数。 例子 函数是凸的 证明： 现证的凸性 因为故上式 所以函数是凸的，所以  ...

参考资料：http://wenku.baidu.com/view/df00e592551810a6f5248682.html?from=search 广义不等式的性质： 广义不等式的性质（续）：

本节介绍了保凸运算和广义不等式。介绍了如何用保凸运算通过简单的凸集构造复杂的凸集。还介绍了极小值和最小值的概念。

2.6对偶锥与广义不等式 对偶锥 广义不等式的对偶 对偶不等式定义的最小元和极小元 对偶锥 锥K的对偶锥是集合 如上图左图的y是K的对偶锥的一个元素，右图z不是K的对偶锥的元素，几何上看当且仅当-y是K在原点的一个支撑超平面的法向量。 广义不等式的对偶 如果K是正常锥，则K可导出一个广义不等式，并且K的对偶也是正常锥，其对偶也可以导出一个广义不等式。 定义：广义不等式为广义不等...

2.6 对偶锥与广义不等式 对偶锥 广义不等式的对偶 对偶不等式定义的最小元和极小元 对偶锥 锥K的对偶锥是集合 如上图左图的y是K的对偶锥的一个元素，右图z不是K的对偶锥的元素，几何上看当且仅当-y是K在原点的一个支撑超平面的法向量。 广义不等式的对偶 如果K是正常锥，则K可导出一个广义不等式，并且K的对偶也是正常锥，其对偶也可以导出一个广义不等式。 定义：广义不等式为广义不等式的对偶。 对偶不等式定义的最小元和极小元 x是集合S上关于广义不等式的最小元的充要条件是，，x是在上

首先来区分一下全序关系和偏序关系； 全序关系： 设集合X上有一全序关系，如果我们把这种关系用 ≤ 表述，则下列陈述对于 X 中的所有 a, b 和 c 成立： 如果 a ≤ b 且 b ≤ a 则 a = b (反对称性) 如果 a ≤ b 且 b ≤ c 则 a ≤ c (传递性) a ≤ b 或 b ≤ a (完全性) 完全性包括自反性 偏序关系： 设R是集合A上的一个二元关系，若R满...

2.5分离与支撑超平面 超平面分离定理 支撑超平面 超平面分离定理 假设C和D是两个不相交的凸集，即，那么存在和b，使得 为集合C和D的分离超平面。 支撑超平面定理 支撑超平面：假设集合，是其边界bdC上的一点，如果，并且，则超平面为集合C在点处的支撑超平面。 支撑超平面定理：如果集合C是凸集，那么在C的每一个边界点，均存在支撑超平面。  ...

02.凸集 目录 2.1.仿射集合和凸集 2.2.重要的例子 2.3.保凸运算 2.4.广义不等式 2.5.分离与支撑超平面 2.6.对偶锥与广义不等式 2.1.仿射集合和凸集 2.1.2 仿射集合 2.1.1直线与线段的定义、几何含义 Def 1 仿射集合的定义 （一）仿射组合&仿射包 Def 2 仿射组合&仿射包的定义 引理1：一个仿射集包含其中任意两点的仿射组合[定义]...

AI菌由于凸优化在机器学习中还是很重要链接：http://pan.baidu.com/s/1eS3vuLk 密码：3epx理论部分由4章构成，不仅涵盖了凸优化的所有基本概...

本节介绍了分离和支撑超平面，并且给出了对偶锥的概念。在对偶锥的条件下对极小值和最小值的条件进行了探讨。