l1范数正则化（l-1范数正则化问题如何用matlab计算）

本文目录

• l-1范数正则化问题如何用matlab计算
• L1正则化及推导
• L1、L2正则化知识详解
• 什么是L1 范数
• 正则化项L1和L2的直观理解及L1不可导处理
• bp神经网络回归过拟合，如何处理用L1正则化还是dropout
• L1正则化和L2正则化
• L1和L2损失函数与正则的区别
• 概率似然函数正则条件是什么

l-1范数正则化问题如何用matlab计算

答：%X为向量，求欧几里德范数，即 。 n = norm(X,inf) %求 无穷-范数，即 。 n = norm(X,1) %求1-范数，即 。 n = norm(X,-inf) %求向量X的元素的绝对值的最小值，即 。 n = norm(X, p) %求p-范数，即 ，所以norm(X,2) = norm(X)。

L1正则化及推导

想必大家对L1正则化已经是再熟悉不过了，而且大家也都知道L1正则化是可以得到稀疏解的，即具有特征选择的功能。本文就从几何和数学两个角度来复习以下L1正则化。

大部分的正则化方法是在经验损失的基础上增加一个结构化损失，用来限制模型的学习能力，提升模型的泛化能力。L1正则化方法即在经验损失的基础上增加参数的一范数作为结构损失。数学表达如下：

我们都知道在模型损失中加入L1正则化可以获得参数的稀疏解，接下来，我们从几何和数学两个角度进行以下解释，不过重点还是在数学推导上。

几乎所有解释L1正则化的文章中都会出现这张图，图中等值线是L的等值线，黑色方形是正则项的图形L1。在图中，当L等值线与
图形L1首次相交的地方就是最优解。上图中L与L1在L1的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)。可以直观想象，因为L1正则项的图形L1是棱形，有很多突出的角（二维情况下四个，多维情况下更多），L等值线与这些角接触的机率会远大于与L1其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

前方高能，非战斗人员请迅速撤离！！！

以下的部分从word中粘贴而来。

***隐藏网址***
***隐藏网址***

L1、L2正则化知识详解

正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。

如果随机变量的概率密度函数分布为:

还有涉及极大似然估计、概率论相关的先验和后验相关概率， 为了控制篇幅， 本文就不详细介绍， wiki百科和百度百科都讲得很清楚。

正则化通过降低模型的复杂性， 达到避免过拟合的问题。 正则化是如何解决过拟合的问题的呢？从网上找了很多相关文章， 下面列举两个主流的解释方式。

如果发生过拟合， 参数θ一般是比较大的值， 加入惩罚项后， 只要控制λ的大小，当λ很大时，θ1到θn就会很小，即达到了约束数量庞大的特征的目的。

原因二：从贝叶斯的角度来分析， 正则化是为模型参数估计增加一个先验知识，先验知识会引导损失函数最小值过程朝着约束方向迭代。 L1正则是拉普拉斯先验，L2是高斯先验。整个最优化问题可以看做是一个最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计。
给定训练数据, 贝叶斯方法通过最大化后验概率估计参数θ：

下面我们从最大后验估计(MAP)的方式， 推导下加入L1和L2惩罚项的Lasso和岭回归的公式。
首先我们看下 最小二乘公式的推导 （公式推导截图来自知乎大神）

为了帮助理解，我们来看一个直观的例子：假定x仅有两个属性，于是无论岭回归还是Lasso接触的w都只有两个分量，即w1,w2，我们将其作为两个坐标轴，然后在图中绘制出两个式子的第一项的”等值线”，即在(w1,w2)空间中平方误差项取值相同的点的连线。再分别绘制出L1范数和L2范数的等值线，即在(w1,w2)空间中L1范数取值相同的点的连线，以及L2范数取值相同的点的连线(如下图所示)。

岭回归与Lasso的解都要在平方误差项与正则化项之间折中，即出现在图中平方误差项等值线与正则化项等值线相交处。而由上图可以看出，采用L1范数时平方误差项等值线与正则化项等值线的交点常出现在坐标轴上，即w1或w2为0，而在采用L2范数时，两者的交点常出现在某个象限中，即w1或w2均非0。

这说明了岭回归的一个明显缺点：模型的可解释性。它将把不重要的预测因子的系数缩小到趋近于 0，但永不达到 0。也就是说，最终的模型会包含所有的预测因子。但是，在 Lasso 中，如果将调整因子 λ 调整得足够大，L1 范数惩罚可以迫使一些系数估计值完全等于 0。因此，Lasso 可以进行变量选择，产生稀疏模型。注意到w取得稀疏解意味着初始的d个特征中仅有对应着w的非零分量的特征才会出现在最终模型中，于是求解L1范数正则化的结果时得到了仅采用一部分初始特征的模型；换言之，基于L1正则化的学习方法就是一种嵌入式特征选择方法，其特征选择过程和学习器训练过程融为一体，同时完成。

什么是L1 范数

L1范数是向量中各个元素绝对值之和，L1范数可以进行特征选择，即让特征的系数变为0。

L2范数是向量各元素的平方和然后求平方根，L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大)。

例如2维空间中，向量(3,4)的长度是5，那么5就是这个向量的一个范数的值，更确切的说，是欧式范数或者L2范数的值。

扩展资料：

注意事项：

1、当P=0时，也就是L0范数，由此可知L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。

2、在实际应用中，由于L0范数本身不容易有一个好的数学表示形式，给出上面问题的形式化表示是一个很难的问题，故被人认为是一个NP难问题。所以在实际情况中，L0的最优问题会被放宽到L1或L2下的最优化。

3、由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。

正则化项L1和L2的直观理解及L1不可导处理

正则化（Regularization）

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm 和 ℓ2-norm ，中文称作 L1正则化 和 L2正则化 ，或者 L1范数 和 L2范数 。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。

下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22即为L2正则化项。

一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。 L1正则化和L2正则化的说明如下：

L1正则化是指权值向量w中各个元素的 绝对值之和 ，通常表示为||w||1

L2正则化是指权值向量w中各个元素的 平方和然后再求平方根 （可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2

一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示。这个系数需要用户指定。

那添加L1和L2正则化有什么用？ 下面是L1正则化和L2正则化的作用 ，这些表述可以在很多文章中找到。

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择

L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

稀疏模型与特征选择

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0.

通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

L1和L2正则化的直观理解

这部分内容将解释 为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的） ，以及 为什么L2正则化可以防止过拟合 。

L1正则化和特征选择

假设有如下带L1正则化的损失函数：

J=J0+α∑w|w|(1)

其中J0是原始的损失函数，加号后面的一项是L1正则化项，α是正则化系数。注意到L1正则化是权值的 绝对值之和 ，J是带有绝对值符号的函数，因此J是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们在原始损失函数J0后添加L1正则化项时，相当于对J0做了一个约束。令L=α∑w|w|，则J=J0+L，此时我们的任务变成 在L约束下求出J0取最小值的解 。考虑二维的情况，即只有两个权值w1和w2，此时L=|w1|+|w2|对于梯度下降法，求解J0的过程可以画出等值线，同时L1正则化的函数L也可以在w1w2的二维平面上画出来。如下图：

图1  L1正则化

图中等值线是J0的等值线，黑色方形是L函数的图形。在图中，当J0等值线与L图形首次相交的地方就是最优解。上图中J0与L在L的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)。可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

而正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框）；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)中的w可以取到很小的值。

类似，假设有如下带L2正则化的损失函数：

J=J0+α∑ww2(2)

同样可以画出他们在二维平面上的图形，如下：

图2  L2正则化

二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0与L相交时使得w1或w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。

L2正则化和过拟合

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

那为什么L2正则化可以获得值很小的参数？

以线性回归中的梯度下降法为例。假设要求的参数为θ，hθ(x)是我们的假设函数，那么线性回归的代价函数如下：

J(θ)=12m∑i=1m(hθ(x(i))−y(i))(3)

那么在梯度下降法中，最终用于迭代计算参数θ的迭代式为：

θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(4)

其中α是learning rate. 上式是没有添加L2正则化项的迭代公式，如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子：

θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(5)

其中 λ就是正则化参数 。从上式可以看到，与未添加L2正则化的迭代公式相比，每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

正则化参数的选择

L1正则化参数

通常越大的λ可以让代价函数在参数为0时取到最小值。下面是一个简单的例子，这个例子来自 Quora上的问答 。为了方便叙述，一些符号跟这篇帖子的符号保持一致。

假设有如下带L1正则化项的代价函数：

F(x)=f(x)+λ||x||1

其中x是要估计的参数，相当于上文中提到的w以及θ. 注意到L1正则化在某些位置是不可导的，当λ足够大时可以使得F(x)在x=0时取到最小值。如下图：

图3 L1正则化参数的选择

分别取λ=0.5和λ=2，可以看到越大的λ越容易使F(x)在x=0时取到最小值。

L2正则化参数

从公式5可以看到，λ越大，θj衰减得越快。另一个理解可以参考图2，λ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。

Reference

过拟合的解释：

***隐藏网址***

正则化的解释：

***隐藏网址***

正则化的解释：

***隐藏网址***

正则化的数学解释（一些图来源于这里）：

***隐藏网址***
原文参考：blog.csdn.net/jinping_shi/article/details/52433975

***隐藏网址***

bp神经网络回归过拟合，如何处理用L1正则化还是dropout

BP神经网络的过拟合问题是神经网络训练中常见的问题之一。针对这个问题，可以采取许多方法来解决，例如使用L1正则化和dropout方法。这两种方法都可以用于控制神经网络的复杂性，防止过拟合。
L1正则化是通过在损失函数中添加权重的L1范数来实现的。这个方法可以减少权重的数量，并且可以将一些权重降为0，从而实现特征的选择。这个方法适用于需要进行特征选择的情况。
Dropout方法是一种随机失活技术。它通过在训练过程中随机关闭一些神经元来减少网络的复杂度，从而防止过拟合。这个方法适用于需要提高网络的泛化能力的情况。
针对BP神经网络回归过拟合问题，建议尝试使用L1正则化和dropout方法来解决。如果需要进行特征选择，则可以使用L1正则化。如果需要提高网络的泛化能力，则可以使用dropout方法。在使用这些方法时，需要进行参数调优，以找到最佳的超参数组合，以便在控制过拟合的同时保持模型的预测能力。

L1正则化和L2正则化

在这里我们首先需要明白 结构风险最小化 原理：

我们所谓的正则化，就是在原来 Loss Function 的基础上，加了一些正则化项，或者叫做模型复杂度惩罚项。以我们的线性回归为例子。

优化目标（损失函数）：

加上L1正则项（lasso回归）：

加上L2正则项（Ridge回归）：

下面我们需要理解加了正则化项之后，对于目标函数求解的时候，最终解有什么变化。

我们从图像角度来理解：

假设X是一个二维样本，那么要求解的参数也 也是二维的。下图叫做原函数曲线等高线图。目标函数在图中的等高线（同颜色）每一组 , ​ 带入值都想同，这里代表着多组解。

下面看L1和L2正则项加入后的函数图像：

对比两幅图我们可以看出来：

下面看这几步：

L2正则化（岭回归）的证明类似。不过结论是L1正则化比L2正则化更加容易获得稀疏解。

我们总结一下，正则化之所以能够降低的原因在于，正则化是结构风险最小化的一种策略实现。

给 loss function 加上正则项，新得到的目标函数 h = f+normal，需要在 f 和 normal 中做一个 trade-off。如果还是像原来只优化 f，那么normal就比较大， h 就不能得到最优解。因此可以看出加正则项可以让解更加简单，符合奥卡姆剃刀理论；同时也符合在偏差和方差（方差表示模型的复杂度）分析中，通过降低模型复杂度，得到更小的泛化误差，降低过拟合。

看一下L1正则化和L2正则化的区别：

L1正则化就是在 loss function 后面加上L1范数，这样比较容易求到稀疏解。L2 正则化是在 LF 后面加 L2范数 平方，相比L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（不等0）的维度比较多，降低模型的复杂度。

L1和L2损失函数与正则的区别

作为损失函数：
L1 也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。它是使目标值与预测值的绝对值总和最小化

L2范数损失函数，也被称为最小平方误差（LSE）。它是目标值和预测值平方差的最小化。

作为损失函数 L1和L2的区别如下：
作为正则化：
在机器学习中，正规化是防止过拟合的一种重要技巧。从数学上讲，它会增加一个正则项，防止系数拟合得过好以至于过拟合。L1与L2的区别只在于，L2是权重的平方和，而L1就是权重的和。如下：

他们的性质和区别：

内置特征选择是L1范数被经常提及的有用的性质，而L2范数并不具备。这是L1范数的自然结果，它趋向于产生稀疏的系数（在后面会解释）。假设模型有100个系数，但是仅仅只有其中的10个是非零的，这实际上是说“其余的90个系数在预测目标值时都是无用的”。L2范数产生非稀疏的系数，因此它不具备这个性质。
  稀疏性指的是一个矩阵（或向量）中只有少数的项是非零的。L1范数具备性质：产生许多0或非常小的系数和少量大的系数。
  计算效率。L1范数没有一个解析解，但是L2范数有。这就允许L2范数在计算上能高效地计算。然而，L1范数的解具备稀疏性，这就允许它可以使用稀疏算法，以使得计算更加高效。

概率似然函数正则条件是什么

正则化项和正则化系数。
1、概率似然函数的正则条件可以指的是正则化项或正则化系数，其作用是在最大化似然函数时对模型进行约束，以避免过拟合等问题。
2、L1正则化是指在似然函数中添加权重向量的L1范数，即λΣ|w|，其中λ是正则化系数，w是权重向量。