ai 数据比对：一文归纳AI数据增强之法
ai 数据比对：一文归纳AI数据增强之法单(图像)样本增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法，可参见imgaug开源库。样本变换数据增强即采用预设的数据变换规则进行已有数据的扩增，包含单样本数据增强和多样本数据增强。如经典的机器学习例子--哈士奇误分类为狼：通过可解释性方法，可发现错误分类是由于图像上的雪造成的。通常狗对比狼的图像里面雪地背景比较少，分类器学会使用雪作为一个特征来将图像分类为狼还是狗，而忽略了动物本体的特征。此时，可以通过数据增强的方法，增加变换后的数据(如背景换色、加入噪声等方式)来训练模型，帮助模型学习到本体的特征，提高泛化能力。需要关注的是，数据增强样本也有可能是引入片面噪声，导致过拟合。此时需要考虑的是调整数据增强方法，或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集，以提高模型的泛化能力。常用数据增强方法可分为：基于样本变换的数据增强及基于深度学习的数据增强。
来源丨算法进阶
编辑丨极市平台
数据、算法、算力是人工智能发展的三要素。数据决定了Ai模型学习的上限，数据规模越大、质量越高，模型就能够拥有更好的泛化能力。然而在实际工程中，经常有数据量太少(相对模型而言)、样本不均衡、很难覆盖全部的场景等问题，解决这类问题的一个有效途径是通过数据增强（Data Augmentation），使模型学习获得较好的泛化性能。
数据增强（Data Augmentation）是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。
如经典的机器学习例子--哈士奇误分类为狼：通过可解释性方法，可发现错误分类是由于图像上的雪造成的。通常狗对比狼的图像里面雪地背景比较少，分类器学会使用雪作为一个特征来将图像分类为狼还是狗，而忽略了动物本体的特征。此时，可以通过数据增强的方法，增加变换后的数据(如背景换色、加入噪声等方式)来训练模型，帮助模型学习到本体的特征，提高泛化能力。
需要关注的是，数据增强样本也有可能是引入片面噪声，导致过拟合。此时需要考虑的是调整数据增强方法，或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集，以提高模型的泛化能力。
常用数据增强方法可分为：基于样本变换的数据增强及基于深度学习的数据增强。
2 基于样本变换的数据增强样本变换数据增强即采用预设的数据变换规则进行已有数据的扩增，包含单样本数据增强和多样本数据增强。
2.1 单样本增强单(图像)样本增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法，可参见imgaug开源库。
多样本增强是通过先验知识组合及转换多个样本，主要有Smote、SamplePairing、Mixup等方法在特征空间内构造已知样本的邻域值。
- Smote
Smote(Synthetic Minority Over-sampling Technique)方法较常用于样本均衡学习，核心思想是从训练集随机同类的两近邻样本合成一个新的样本，其方法可以分为三步：
1、 对于各样本X_i，计算与同类样本的欧式距离，确定其同类的K个(如图3个)近邻样本；
2、从该样本k近邻中随机选择一个样本如近邻X_ik，生成新的样本:
Xsmote_ik = Xi rand(0 1) ∗ ∣X_i − X_ik∣
3、重复2步骤迭代N次，可以合成N个新的样本。
# SMOTE
from imblearn.over_sampling import SMOTE
print("Before OverSampling counts of label\n{}".format(y_train.value_counts()))
smote = SMOTE()
x_train_res y_train_res = smote.fit_resample(x_train y_train)
print("After OverSampling counts of label\n{}".format(y_train_res.value_counts()))
- SamplePairing
SamplePairing算法的核心思想是从训练集随机抽取的两幅图像叠加合成一个新的样本（像素取平均值），使用第一幅图像的label作为合成图像的正确label。
