python实现数据异常检测：使用PythonPycaret进行异常检测
python实现数据异常检测：使用PythonPycaret进行异常检测pip3installpycaret导入必要的库在你的 jupyter notebook 中安装最新版本的 Pycaret 并开始使用！PyCaret 提供了一些的功能包括：学习目标PyCaret 安装
异常检测提供了在数据中发现模式、偏差和异常的途径，这些模式、偏差和异常不限于模型的标准行为。随着数据呈指数级增长，分析数据并得出形成重要业务决策基础的见解已成为一种普遍趋势。我们不仅需要分析数据，还需要准确地解释数据。找出异常并确定异常行为可以让我们找到最佳解决方案。
概述- 通过探索性异常检测分析了解异常
- 设置 PyCaret 环境并尝试准备任务的各种数据
- 比较性能并可视化不同的异常检测算法
异常检测可以应用于各种领域。下面列出了其中一些。
- 网络安全 — 监控网络流量并确定异常值
- 欺诈检测—— 可以识别信用卡欺诈
- IT 部门 —发现并应对意外风险
- 银行业务—— 确定异常交易行为
为什么是 PyCaret？
PyCaret是一个开源、低代码的 Python 机器学习库，支持多种功能，例如在几行代码中就可以为部署建模的数据准备。
PyCaret 提供了一些的功能包括：
- 它是一个灵活的低代码库，可以提高生产力，从而节省时间和精力。
- PyCaret 是一个简单易用的机器学习库，使我们能够在几分钟内执行 ML 任务。
- PyCaret 库允许自动化机器学习步骤，例如数据转换、准备、超参数调整和标准模型比较。
学习目标
- 执行探索性异常检测分析
- PyCaret 环境介绍
- 创建和选择最佳模型
- 比较模型中的异常
- 可视化和解释模型
PyCaret 安装
在你的 jupyter notebook 中安装最新版本的 Pycaret 并开始使用！
pip3installpycaret
导入必要的库
首先，导入整个项目所需的必要库。
importmatplotlib.pyplotasplt
importseabornassns
importpandasaspd
importnumpyasnp
导入数据集
frompycaret.datasetsimportget_data
all_datasets=get_data(‘index’)
现在我们可以看到所有列出的具有默认机器学习任务的数据集。
我们只需要访问通过get_data()函数可以获得的异常数据。
df=get_data(‘anomaly’)
df.head()
探索和描述此数据集以查找缺失值并获得统计分布。
df.describe()
df.info()
探索性异常检测分析
现在我们可以使用各种可视化方法来解释数据集中的异常值和异常。
Swarm 图
使用melt()函数获取数据集的Swarm图。
plt.rcParams["figure.figsize"]=(10 8)
sns.swarmplot(x="variable" y="value" data=pd.melt(df))
plt.show()
这是我们所有列的Swarm图
箱形图
通过箱形图可视化数据集，这让我们清楚地了解大部分数据所在的位置。
sns.boxplot(x="variable" y="value" data=pd.melt(df))
plt.show()
这些图将帮助我们感知我们的模型是否能够跟踪它们。
散点图
我们可以通过散点图确定两个特征之间的线性关系。此处明确定义了Col1和Col2之间的关系。
sns.scatterplot(data=df x="Col1" y='Col2')
我们也可以尝试不同的特征。探索各种特征如何相互关联。
sns.scatterplot(data=df x="Col3" y='Col4')
这些图表明数据之间没有线性关系。现在让我们使用 Seaborn 成对分析所有特征之间的关系。
sns.pairplot(df)
该成对图确定了不同列之间的关系以及它们如何与直方图一起以多种方式区分值。
通过这种方式，我们可以为我们的模型解释多个维度的边界。
df1=df.melt(‘Col1’ var_name=’cols’ value_name=’vals’)
g=sns.factorplot(x=”Col1" y=”vals” hue=’cols’ data=df1)
异常检测
为异常检测设置 PyCaret 环境。为此，我们可以使用 Pycaret 的异常检测模块，这是一个无监督的机器学习模块，用于识别数据中可能导致异常情况的异常值。
frompycaret.anomalyimport*
setup=setup(df session_id=123)
指定会话 id，这会导致执行后进行处理。它会自动解释多种类型的变量，并允许我们通过按ENTER进行确认。观察我们的数据集由 10 个特征组成，每个特征 1000 行。我们可以执行各种插补——数字和分类或归一化数据。但是我们不需要在我们的数据集中进行这样的转换，所以让我们继续！
模型创建
从模型库中选择最佳模型并创建用于异常检测的模型。我们可以使用**model()**函数显示模型列表。
models()
我们可以看到列出了许多流行的算法，例如隔离森林和 k 最近邻。
隔离森林
使用create_model()函数创建隔离森林模型。隔离森林算法通过随机选择一个特征，然后随机选择最大值和最小值之间的分割值来区分观察。
iforest=create_model('iforest')
print(iforest)
因此，异常分数被确定为分离给定观察所需的条件数量。
局部异常因子
它是一种无监督异常检测方法的算法，计算数据点相对于其邻居的局部密度偏差。
lof=create_model('lof')
print(lof)
K最近邻
KNN 是一种非参数惰性学习算法，用于根据相似性和各种距离度量对数据进行分类。它提供了一种简单而可靠的方法来检测异常。
knn=create_model('knn')
print(knn)neighbours
比较模型中的异常
继续我们的任务，我们现在可以观察模型确定的异常情况。传统上，我们必须手动设置不同的参数。但是通过使用 PyCaret，我们可以通过分配的模型函数来分配结果。我们将从隔离森林模型开始。
iforest_results=assign_model(iforest)
iforest_results.head()
assign_model()函数返回一个检测异常的数据帧，异常值的存在标记为 1，非异常值标记为 0，以及异常分数。
同样，我们也可以分配其他模型。所以可以进行比较。
lof_results=assign_model(lof)
lof_results.head()
比较上述模型我们可以看到，隔离森林已经将第二行视为异常，但局部异常因子并未将其视为异常。但不同算法的异常得分不同。对于 k 个最近邻，预测分数与隔离森林的预测分数非常相似。
knn_results=assign_model(knn)
knn_results.head()
按每个模型过滤异常，这表明 iforest 模型将 1000 行中的 50 行视为异常。
iforest_anomaly=iforest_results[iforest_results['Anomaly']==1]
iforest_anomaly.shape
同样，检查LOF和KNN，我们可以看到它们都考虑了50个异常。必须使用不同的计算方法来查找异常值。
lof_anomaly=lof_results[lof_results['Anomaly']==1]
lof_anomaly.shape
knn_anomaly=knn_results[knn_results['Anomaly']==1]
knn_anomaly.shape
根据以上结果，我们可以得出结论，1000 个异常中最有可能有 50 个。验证的一种方法是分析它们中的哪一个更适合于对模型标记为离群值的数据进行分析，并比较它们对测试数据的影响，或者进行分析，看看它们是否位于决策边界内。
解释和可视化
可视化是以创造性和独立的方式解释手头信息的最便捷方式。让我们首先从 PyCaret 库外部创建视觉效果，这将突出 PyCaret 库的好处，并使我们能够了解plot_model函数如何更具交互性。
fromyellowbrick.featuresimportManifold
dfr=iforest_results['Anomaly']
viz=Manifold(manifold="tsne")
viz.fit_transform(df dfr)
viz.show()
我们可以看到，隔离森林在多个维度上确定的大多数异常通常来自不同的集群。现在在PyCaret 中KNN使用plot_model() 函数，它将为异常值创建一个 3D 图，在其中我们可以看到为什么某些特征被视为异常。
plot_model(knn)
我们可以在任何维度上移动它以查看和指出异常。这个 3D 绘图有助于我们更好地查看它。KNN 图显示大多数异常值是那些不属于任何集群的异常值。所以这很好！其他两个模型也可以这样做。
plot_model(iforest)
很明显，数据集被分成了四个不同的集群，所以这些组之外的任何东西都肯定是异常的。
异常并不总是坏兆头！有时它们在解释结果或数据分析方面非常有用。这些可用于解决不同的数据科学用例。
接下来是第三种模式。线性离群因子，我们可以用一个不同的图来实验，创造一个2D图。
我们可以放大这个二维图来查看哪些点被认为是异常值。可以再次为配对图创建另一个视觉效果，现在使用异常来查看哪些点将被视为异常。
sns.pairplot(lof_results hue="Anomaly")
最后，我们可以保存模型。可以保存任何合适的模型。这里我们保存了 iforest 模型。
save_model(iforest 'IForest_Model')
这标志着我们关于异常检测的动手项目的结束。我们已经讨论了 PyCaret 库的用例和实现，以及它如何用于异常检测。PyCaret 是一个快速可靠的机器学习库，通常被数据科学家用来解决复杂的业务问题。在创建可部署模型的同时，可以扩展该项目进行进一步的实验和探索。
