正则化模型怎么求？正则表达式与模型正则化

正则化模型怎么求？正则表达式与模型正则化items正则化是求解不适定问题的普遍方法。即用一组与原不适定问题相"邻近"的适定问题的解去逼近原问题的解 这种方法称为正则化方法。文本正则化的目的是将文本转换成一种更方便使用、更标准的表达形式。正则表达式是一个其中的一个强有力的工具。对于大部分语言的处理，通常第一步需要做分词，这一类任务叫做 Tokenization；另一个很重要的步骤是 Lemmatization（词形还原，例如英文中 is are am 都是 be，对于中文这一步，主要是简繁转换等，主要用于处理词法复杂的语言）；第三就是Stemming（词干提取，通常是分离后缀）；第四，文本正则化还包含句子分割，例如以句号或者感叹号分割。正则化，或者“模型正则化”，就是给损失函数加一个正则化项，相当于给它一个惩罚。

正则表达式与模型正则化，傻傻分不清楚

正则表达式，Regular Expressions，又称规则表达式。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

给定一个正则表达式和另一个字符串，可以达到如下的目的:

1. 给定的字符串是否符合正则表达式的过滤逻辑(称作"匹配"):
2. 可以通过正则表达式，从字符串中获取我们想要的特定部分。

文本正则化是与正则表达式密切关联的

一般情况下提“正则化”，默认指的是模型函数正则化，用于深度学习、机器学习、人工智能的场合；“文本正则化”的提法特别容易混淆“正则化”这个词的基本内涵，导致情况越来越混乱。

文本正则化的目的是将文本转换成一种更方便使用、更标准的表达形式。正则表达式是一个其中的一个强有力的工具。

对于大部分语言的处理，通常第一步需要做分词，这一类任务叫做 Tokenization；另一个很重要的步骤是 Lemmatization（词形还原，例如英文中 is are am 都是 be，对于中文这一步，主要是简繁转换等，主要用于处理词法复杂的语言）；第三就是Stemming（词干提取，通常是分离后缀）；第四，文本正则化还包含句子分割，例如以句号或者感叹号分割。

正则化，或者“模型正则化”，就是给损失函数加一个正则化项，相当于给它一个惩罚。

正则化是求解不适定问题的普遍方法。即用一组与原不适定问题相"邻近"的适定问题的解去逼近原问题的解 这种方法称为正则化方法。

items	正则表达式	正则化
English.exp	Regular Expressions	Regularization
alias	规则表达式
紧密关联概念	文本正则化	模型正则化、函数正则化
概念引入渊源	数学方式来描述神经网络的新方法	解决函数过拟合问题，完善分类器
应用场合	字符搜索、匹配、搜索算法	深度学习、机器学习、人工智能
处理对象	字符串、文本	表层：函数；中层：分类器；底层：模式识别
深层次表述	将文本转换成一种更方便使用、更标准的表达形式；分词/词形还原/词干提取/句子分割	求解阿达马意义下的不适定问题; 给损失函数加一个正则化项，即惩罚因子
举例说明	\b\d{1 3}\.\d{1 3}\.\d{1 3}\.\d{1 3}\b	J(w b)=avg(L(y y')) 惩罚因子(λ/2m) * sum(w^2)
与人工智能AI的关系	AI初级——用于人工智能中的广义匹配和搜索算法中，过滤逻辑	AI中级——用于深度学习、机器学习，建立逻辑、独立生成逻辑 AI高级——产生自主思维
目前的技术水平状态	理论成形，算法待优化，待开发出专用物理芯片之后，整体完工。	理论待完善，效果待验证，AI瓶颈之一。

不适定问题是相对适定问题而言的；适定问题是指满足下列三个要求的问题:①解是存在的;②解是唯一的;③解连续依赖于初边值条件。这三个要求中，只要有一个不满足，则称之为不适定问题。特别，如果条件③不满足，那么就称为阿达马意义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。

不适定问题的解决：由于这些问题的数据常常是通过测量给出的近似值，问题通常没有精确解。因此，人们就去寻找满足方程但只是近似地适合定解条件的所谓近似解，或者近似地满足方程的近似解。当然，这些近似解一般是没有唯一性的，但是若对近似解所在的函数类加以适当的限制，例如紧性的限制，便可以保证近似解对数据的连续依赖性。

正则化举例，假设损失函数 J(w b)=avg(L(y y'))

avg来表示求所有训练样本损失的平均值， 正则化项一般采用L2正则化，也就是给J加上一个 (λ/2m) * sum(w^2) 即所有w的平方和，再乘以λ/2m，m是样本量。 综合起来就是：J(w b)=avg(L(y y')) (λ/2m) * sum(w^2)

这样一来，用梯度下降的时候，求J对w的偏导，会发现dw变大了，而我们的更新法则为w-->w-α·dw，因此最终选择的 参数w会变得更小；参数更小，对于模型来说，就意味着更加简单，于是我们的目的就达到了。

对模型加入规则的Regularization方法集合

“正则化”英文为Regularization，直译应为规则化。

下图中，左侧图欠拟合，右侧图过拟合，中间图适度拟合；适度拟合图中，测试集中我们得到的准确率是最高的，同时泛化能力也是最强的；泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。

1. 欠拟合：泛化能力差，训练样本集准确率低，测试样本集准确率低。
2. 过拟合：泛化能力差，训练样本集准确率高，测试样本集准确率低。
3. 合适的拟合程度：泛化能力强，训练样本集准确率高，测试样本集准确率高

欠拟合原因：

1. 训练样本数量少
2. 模型复杂度过低
3. 参数还未收敛就停止循环

欠拟合的解决办法：

1. 增加样本数量
2. 增加模型参数，提高模型复杂度
3. 增加循环次数
4. 查看是否是学习率过高导致模型无法收敛

过拟合原因：

1. 数据噪声太大
2. 特征太多
3. 模型太复杂

过拟合的解决办法：

1. 降维：减少特征数量，把模型多项式阶数降低，这样高阶项就少了，模型曲线就不会那么复杂；降维手段包括：清洗数据、减少模型参数以降低模型复杂度
2. 增加惩罚因子（正则化），保留所有的特征，但是减少参数的大小（magnitude）。

对于过拟合的情况，正则化方法最有用。简单来说就是对模型加入规则，加入我们的先验知识，如果觉得正则化太难理解，可以按照规则化来理解记忆。

正则化对模型引入额外信息来防止模型过拟合与提高模型泛化性能的方法统称。一般是对模型复杂程度加以惩罚，目标是降低模型的复杂度（模型的结构化风险），根据奥卡姆剃刀原理，精度靠谱的情况下越简单的模型是越值得选择的模型。

从贝叶斯角度来看，正则化是对模型加了一个先验概率，常用的L1正则化属于拉普拉斯分布先验，L2正则化属于正态分布先验。

L1正则化与L2正则化的联系及区别

L1 正则化：LASSO 回归，相当于为模型添加了这样一个先验知识：权重服从零均值拉普拉斯分布。

L2 正则化：Ridge 回归，相当于为模型添加了这样一个先验知识：w 服从零均值正态分布。

随着海量数据处理的兴起，工程上对于模型稀疏化的要求也随之出现了。这时候，L2正则化已经不能满足需求，因为它只是使得模型的参数值趋近于0，而不是等于0，这样就无法丢掉模型里的任何一个特征，因此无法做到稀疏化。

L1的作用随之显现。L1正则化的作用是使得大部分模型参数的值等于0，这样一来，当模型训练好后，这些权值等于0的特征可以省去，从而达到稀疏化的目的，也节省了存储的空间，因为在计算时，值为0的特征都可以不用存储了。

L1在确实需要稀疏化模型的场景下，才能发挥很好的作用并且效果远胜于L2。在模型特征个数远大于训练样本数的情况下，如果我们事先知道模型的特征中只有少量相关特征（即参数值不为0），并且相关特征的个数少于训练样本数，那么L1的效果远好于L2。然而，需要注意的是，当相关特征数远大于训练样本数时，无论是L1还是L2，都无法取得很好的效果。

其他的正则化方法：

除了加一个惩罚项，其实正则化还有多种多样的方法，但是总体的思想是一样的，就是想办法使得我们的模型不要那么复杂。下面简单介绍两种方法：

（1）dropout 丢弃法

dropout丢弃法在神经网络中常用。就是在训练过程中，随机地“丢弃”一些神经元，强行简化模型！ 具体的操作方法通常是：在一层神经网络之后，随机按照一定概率“敲掉”一部分神经元，然后再将激活值传给下一层，下一层如果有必要，再敲掉一些，再传给下一层... ...

这种方法为什么有效？因为训练模型实际上就是学习参数，参数就是每个神经元的权重；现在每个神经元都有可能被丢掉，因此模型训练的时候，模型不敢给任何神经元过大的参数，因此这样风险太大，万一给某个神经元的权重很大，结果下一回这个神经元就被敲掉了，那这个模型肯定会表现很差。因此，在dropout机制下，每个神经元最后的参数都会比较小。

这里注意，在训练的时候采用dropout敲掉神经元，但是并不是真的把它敲没了，而是暂时“失活”；等训练完毕，在预测的时候，我们又会使用它们；dropout只是让我们在训练的时候让参数变小。

（2）early-stopping方法

这个方法很简单，就是不要训练太久了，适可而止。

（3）集成化方法（通过训练多个不同的模型，并让所有模型一起表决测试集的输出）：

（4）bagging，即放回采样方法

（5）交叉验证，无放回模型平均方法

神经网络存在过拟合问题，相较于添加数据量的难度及开销，正则化是目前首选方法

正则化是一个通用的算法和思想。 在经验风险最小化的基础上(也就是训练误差最小化)，尽可能采用简单的模型，可以有效提高泛化预测精度。 如果模型过于复杂，变量值稍微有点变动，就会引起预测精度问题。 正则化之所以有效，就是因为其降低了特征的权重，使得模型更为简单。 正则化一般会采用L1 范式或者 L2 范式，其形式分别为 和 。

数学语言谈论“正则化”

从数学的角度而言，正则化衡量了函数光滑的程度，正则化程度越高，函数越光滑。而光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导。

由高等数学知识得知，任何一个函数f(X)都可以通过多项式的模拟得到，即f(X)=θ0 θ1X1 ··· θnXn

正则化方法会自动削弱不重要的特征变量，自动从许多的特征变量中”提取“重要的特征变量，减小特征变量的数量级。

当我们有很多特征变量时，其中每一个变量都能对预测产生一点影响。正如在房价预测的例子中看到的那样，我们可以有很多特征变量，其中每一个变量都是有用的，因此我们不希望把它们删掉，这就导致了正则化概念的发生。

正则化主要解决的问题

正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识(如一般的l-norm先验，表示原问题更可能是比较简单的，这样的优化倾向于产生参数值量级小的解，一般对应于稀疏参数的平滑解)。

同时，正则化解决了逆问题的不适定性，产生的解是存在，唯一同时也依赖于数据的，噪声对不适定的影响就弱，解就不会过拟合，而且如果先验(正则化)合适，则解就倾向于是符合真解(更不会过拟合了)，即使训练集中彼此间不相关的样本数很少。

神经网络学习模型的选择和正则化操作方法

可以将数据集拆分成30%-70%比例，或者详细分为：训练集，交叉集，验证集。

使用交叉集cv误差来选择模型。使用train训练模型，通过梯度下降之后，得到较好的参数；再使用cv数据集将这个参数代入，求出cv误差。

正则化后的函数对比：当参数λ \lambdaλ 很小的时候，会发生过拟合现象，所以训练集的误差会很小，但是交叉验证的误差会很大；当参数很大的时候，会出现欠拟合现象，训练集的误差会变得很大，同时交叉验证的误差也会变大。

引入了学习曲线，学习曲线用于检查我们的算法是否正常？是出于偏差bias还是方差variance。

• 参数越多的时候，交叉验证会越好，但是训练集的误差会变大。
  高偏差：随着我们增加m，交叉误差不会减少，同时交叉误差和训练误差间距很小；导致算法无错误，结果无意义。
• 高方差：训练误差和交叉误差之间的间距很大，当参数越多的时候，会改善这个情况。随着参数个数的增加交叉验证的误差远大于训练集（下降）的误差。
  
  

正则表达式不low，模型正则化也不是很“高大上”

表面上看，正则表达式从通常的应用来看，的确不难，比如电话，邮箱等验证。语法，逻辑都算不上复杂，正则表达式给人感觉，也算不上什么高大上的技术。

将一串数字从后向前每隔三位打点，例如“100000000000000”；

建议使用在线工具——https://regex101.com/r/0eTu6m/1

regex101: build test and debug regex

这个题是百度某年校招的最后一个题，20分。

其他解法就算答案正确，基本上都只给了3~5分；得到答案并不是编程的“结果”，编程的核心价值应该是效率。

正则表达式在基础应用领域的确不难，但是在实际解决问题的时候能用正则表达式化繁为简，才是正则表达式的精髓和艺术之境。

“正则化"这个词听起来十分的高大上 但可简单理解为"约束”

正则化是对参数的一种约束，在训练的过程中，特别是深度神经网络，本身网络层中的参数很多了、 如果每个参数的取值域也很大 那么会对训练造成一些麻烦(训练久之后，可能进入过拟合的状态)，所以我们通过对参数的约束来显式的控制模型的复杂度，从而在一定程度上避免过拟合现象的产生。

所以正则化就是通过对网络层的参数加以限制，从而减少过拟合现象的产生。

L0范数，向量中非零元素的个数：

L1范数，为绝对值之和:

L2范数，就是通常意义上的模:

无穷范数，就是取向量的最大值:

以上都是常用的向量范数，除此之外还有矩阵范数；总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数和 3 ，这样我们就变为比较这两个点了。所以，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。

从使用正则化的目的角度：正则化是为了防止过拟合

特征变量过多会导致过拟合，为了防止过拟合会选择一些比较重要的特征变量，而删掉很多次要的特征变量。但是，如果我们实际上却希望利用到这些特征信息，所以可以添加正则化项来约束这些特征变量，使得这些特征变量的权重很小，接近于0，这样既能保留这些特征变量，又不至于使得这些特征变量的影响过大。

红色线就是过拟合情形，给它添加规则，即添加一个限制；规则化就是说给需要训练的目标函数加上一些规则（限制），使其不要自我膨胀。

正则化这 3 个字听起来挺高大上的，其实就是一种解决机器学习过拟合问题的技术，使用这项技术可以让我们在训练集上训练的模型对未知的数据也能很好地拟合。从这一点来说，正则化也不是很“高大上”。

机器学习模型对未知数据的拟合能力又称为泛化能力。

泛化能力比较好的模型，对未知数据拟合的也比较不错，如果对训练数据产生过拟合（over-fitting）问题，那泛化能力也会变差。

正则化及正则表达式_两个鼻孔的猪的博客-CSDN博客_正则化表达式

二、正则表达式、文本正则化、编辑距离_dfsj66011的博客-CSDN博客_文本正则化

一篇文章完全搞懂正则化（Regularization）_见见大魔王的博客-CSDN博客_正则化

机器学习—吴恩达_ 第8周_学结_魔芋小灰菜的博客-CSDN博客_吴恩达机器学习第八周

正则表达式基于JavaScript的入门详解 - 他乡踏雪 - 博客园

【知识】正则化 Regularization - 大胖子球花 - 博客园

【从 0 开始机学习】正则化技术原理与编程!_zenRRan的博客-CSDN博客