机器学习正则化？因此机器学习中经常使用L1、L2正则化。L1正则化项也称为Lasso,L2正则化参数也称为Ridge。 L1范数:权值向量w中各个元素的绝对值之和,L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择。那么，机器学习正则化？一起来了解一下吧。

通过正则化解决过拟合问题

机器学习模型需要拥有很好地泛化能力来适应训练集中没有出现过的新样本。在机器学习应用时，我们经常会遇到过度拟合(over-fitting)的问题，可能会导致训练出来的模型效果很差。接下来，我们将谈论的正则化(regularization)技术，它可以改善或者减少过度拟合问题，以使学习算法更好实现。

机器学习中一个重要的话题便是模型的泛化能力，泛化能力强的模型才是好模型，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合（under fitting）导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合（over fitting）导致的，过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释，欠拟合会导致高 Bias ，过拟合会导致高 Variance ，所以模型需要在 Bias 与 Variance 之间做出一个权衡。

使用简单的模型去拟合复杂数据时，会导致模型很难拟合数据的真实分布，这时模型便欠拟合了，或者说有很大的 Bias， Bias 即为模型的期望输出与其真实输出之间的差异 ；有时为了得到比较精确的模型而过度拟合训练数据，或者模型复杂度过高时，可能连训练数据的噪音也拟合了，导致模型在训练集上效果非常好，但泛化性能却很差，这时模型便过拟合了，或者说有很大的 Variance，这时模型在不同训练集上得到的模型波动比较大， Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异 。

L1正则与L2正则是机器学习中常用技巧，但是我们什么场景下用L2， 什么时候场景下用L1？

L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；

L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小

在实际使用中，如果特征是高维稀疏的，则使用L1正则；如果特征是低维稠密的，则使用L2正则。

最后，附一张示意图。

右侧是L1正则，最优解位于坐标轴上，意味着某些参数是0。

机器学习模型训练：如何避免过拟合？

正则化项参数对结构风险的影响主要体现在它能够控制模型的复杂度，从而避免过拟合现象，降低模型在未知数据上的泛化误差。

正则化是机器学习中常用的一种技术，它通过在损失函数中添加一个与模型复杂度相关的惩罚项，来达到约束模型复杂度、防止过拟合的目的。结构风险最小化是正则化技术的理论基础，它要求在经验风险最小化的基础上，加上一个表示模型复杂度的正则化项，以权衡模型的经验风险和复杂度。

正则化项参数，通常表示为λ（拉姆达），控制着正则化项在损失函数中的权重。λ越大，正则化项对损失函数的影响越大，模型复杂度受到的约束越强，模型越倾向于选择简单的假设空间，从而避免过拟合；反之，λ越小，正则化项的影响越小，模型复杂度受到的约束越弱，模型可能更倾向于拟合训练数据中的噪声，导致过拟合。

例如，在线性回归模型中，使用L2正则化（也称为岭回归）时，正则化项为模型权重的平方和。当λ增加时，模型权重会被压缩得更接近零，这意味着模型更倾向于选择较少的特征进行预测，从而降低了模型的复杂度。这种权重的压缩效应有助于减少模型在未知数据上的泛化误差，因为简单的模型往往具有更好的泛化能力。

总之，正则化项参数对结构风险的影响主要体现在它能够通过控制模型复杂度来平衡经验风险和泛化能力。

机器学习中L1正则化和L2正则化的区别

L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；

L2正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。

正则化项L1和L2的直观理解及L1不可导处理

在机器学习模型训练中，过拟合是一个常见的问题。本文将介绍几种避免过拟合的方法，帮助读者更好地训练模型。