数据挖掘干货总结与反思（数据挖掘干货总结）
数据挖掘干货总结与反思（数据挖掘干货总结）三、聚类算法基础知识文本聚类、图像聚类和商品聚类，便于发现规律，以解决数据稀疏问题将数据划分到不同的类里，使相似的数据在同一类里，不相似的数据在不同类里 二、分类算法用来解决什么问题
本文共计2680字，预计阅读时长七分钟
聚类算法
一、本质
将数据划分到不同的类里，使相似的数据在同一类里，不相似的数据在不同类里
二、分类算法用来解决什么问题
文本聚类、图像聚类和商品聚类，便于发现规律，以解决数据稀疏问题
三、聚类算法基础知识
1. 层次聚类 vs 非层次聚类
– 不同类之间有无包含关系
2. 硬聚类 vs 软聚类
– 硬聚类：每个对象只属于一个类
– 软聚类：每个对象以某个概率属于每个类
3. 用向量表示对象
– 每个对象用一个向量表示，可以视为高维空间的一个点
– 所有对象形成数据空间（矩阵）
– 相似度计算：Cosine、点积、质心距离
4. 用矩阵列出对象之间的距离、相似度
5. 用字典保存上述矩阵（节省空间）
D={(1 1):0 (1 2):2 (1 3):6...(5 5):0}
6. 评价方法
– 内部评价法（Internal Evalution）：
• 没有外部标准，非监督式
• 同类是否相似，跨类是否相异
DB值越小聚类效果越好，反之，越不好
– 外部评价法（External Evalution）：
• 准确度（accuracy）: (C11 C22) / (C11 C12 C21 C22)
• 精度（Precision）: C11 / (C11 C21 )
• 召回（Recall）: C11 / (C11 C12 )
• F值（F-measure）：
β表示对精度P的重视程度，越大越重视，默认设置为1，即变成了F值，F较高时则能说明聚类效果较好。
四、有哪些聚类算法
参考来源：清华大学数据科学研究院
链接：https://www.zhihu.com/question/34554321/answer/233489816
主要分为层次化聚类算法，划分式聚类算法，基于密度的聚类算法，基于网格的聚类算法，基于模型的聚类算法等。
4.1 层次化聚类算法
又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法 Between groups average算法 Furthest neighbor算法 Neares neighbor算法等。
凝聚型层次聚类：
先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。
算法流程：
1. 将每个对象看作一类，计算两两之间的最小距离；
2. 将距离最小的两个类合并成一个新类；
3. 重新计算新类与所有类之间的距离；
4. 重复2、3，直到所有类最后合并成一类。
特点：
1. 算法简单
2. 层次用于概念聚类（生成概念、文档层次树）
3. 聚类对象的两种表示法都适用
4. 处理大小不同的簇
5. 簇选取步骤在树状图生成之后
4.2 划分式聚类算法
预先指定聚类数目或聚类中心，反复迭代逐步降低目标函数误差值直至收敛，得到最终结果。K-means K-modes-Huang K-means-CP MDS_CLUSTER Feature weighted fuzzy clustering，CLARANS等
经典K-means：
算法流程：
1. 随机地选择k个对象，每个对象初始地代表了一个簇的中心；
2. 对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇；
3. 重新计算每个簇的平均值，更新为新的簇中心；
4. 不断重复2、3，直到准则函数收敛。
特点：
1.K的选择
2.中心点的选择
– 随机
– 多轮随机：选择最小的WCSS
3.优点
– 算法简单、有效
– 时间复杂度：O(nkt)
4.缺点
– 不适于处理球面数据
– 密度、大小不同的聚类，受K的限制，难于发现自然的聚类
4.3 基于模型的聚类算法
为每簇假定了一个模型，寻找数据对给定模型的最佳拟合，同一”类“的数据属于同一种概率分布，即假设数据是根据潜在的概率分布生成的。主要有基于统计学模型的方法和基于神经网络模型的方法，尤其以基于概率模型的方法居多。一个基于模型的算法可能通过构建反应数据点空间分布的密度函数来定位聚类。基于模型的聚类试图优化给定的数据和某些数据模型之间的适应性。
SOM神经网络算法：
该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质 与实际的大脑处理有很强的理论联系。
SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。
算法流程：
1. 网络初始化，对输出层每个节点权重赋初值；
2. 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；
3. 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；
4. 提供新样本、进行训练；
5. 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。
4.4 基于密度聚类算法
只要邻近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类，擅于解决不规则形状的聚类问题，广泛应用于空间信息处理 SGC GCHL，DBSCAN算法、OPTICS算法、DENCLUE算法。
DBSCAN：
对于集中区域效果较好，为了发现任意形状的簇，这类方法将簇看做是数据空间中被低密度区域分割开的稠密对象区域；一种基于高密度连通区域的基于密度的聚类方法，该算法将具有足够高密度的区域划分为簇，并在具有噪声的空间数据中发现任意形状的簇。
4.5 基于网格的聚类算法
基于网格的方法把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构（即量化空间）上进行。这种方法的主要优点是它的处理 速度很快，其处理速度独立于数据对象的数目，只与量化空间中每一维的单元数目有关。但这种算法效率的提高是以聚类结果的精确性为代价的。经常与基于密度的算法结合使用。代表算法有STING算法、CLIQUE算法、WAVE-CLUSTER算法等。
