Machine Learning 简明教程

Machine Learning - Hierarchical Clustering

层次聚类是另一种无监督学习算法，用于将具有相似特征的未标记数据点分组在一起。层次聚类算法分为以下两类：

  1. Agglomerative hierarchical algorithms − 在凝聚层次算法中，每个数据点都被视为一个单一簇，然后依次合并或凝聚（自下而上方法）簇对。簇的层次结构表示为树状图或树结构。

  2. Divisive hierarchical algorithms − 另一方面，在分裂层次算法中，所有数据点都被视为一个大簇，而聚类过程涉及将一个大簇分割（自上而下方法）为多个小簇。

Steps to Perform Agglomerative Hierarchical Clustering

我们将解释最常用、最重要的层次聚类，即凝聚。执行此操作的步骤如下 −

  1. Step 1 − 将每个数据点视为单一簇。因此，最初我们将拥有 K 个簇。最初数据点的数量也将为 K。

  2. Step 2 − 现在，在此步骤中，我们需要通过连接两个最接近的数据点来形成一个大簇。这将导致总共 K-1 个簇。

  3. Step 3 − 现在，为了形成更多的簇，我们需要连接两个最接近的簇。这将导致总共 K-2 个簇。

  4. Step 4 − 现在，为了形成一个大簇，重复上述三个步骤，直到 K 变为 0，即没有更多数据点可以连接。

  5. Step 5 − 最后，在形成一个单个大簇之后，将使用树状图根据问题将其划分为多个簇。

Role of Dendrograms in Agglomerative Hierarchical Clustering

正如我们在最后一步中讨论的那样，一旦形成大簇，树状图的作用就开始了。树状图将根据我们的问题将簇分割为多个相关数据点的簇。可以通过以下示例理解它 −

Example 1

为了理解，我们从导入所需的库开始，如下所示 −

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np

接下来，我们将绘制我们为此示例获取的数据点 −

X = np.array([[7,8],[12,20],[17,19],[26,15],[32,37],[87,75],[73,85],
[62,80],[73,60],[87,96],])
labels = range(1, 11)
plt.figure(figsize=(10, 7))
plt.subplots_adjust(bottom=0.1)
plt.scatter(X[:,0],X[:,1], label='True Position')

for label, x, y in zip(labels, X[:, 0], X[:, 1]):
   plt.annotate(label,xy=(x, y), xytext=(-3, 3),textcoords='offset points', ha='right', va='bottom')
plt.show()

执行此代码时，它将生成以下绘图作为输出 −

random dots

从上图可以很容易地看出，我们的数据点有两个簇，但在现实世界的数据中，可能有数千个簇。

接下来，我们将使用 Scipy 库绘制我们数据点的树状图 −

from scipy.cluster.hierarchy import dendrogram, linkage
from matplotlib import pyplot as plt
linked = linkage(X, 'single')
labelList = range(1, 11)
plt.figure(figsize=(10, 7))

dendrogram(linked, orientation='top',labels=labelList,
distance_sort='descending',show_leaf_counts=True)

plt.show()

它将生成以下图表 −

building

现在，一旦形成大簇，就会选择最长的垂直距离。然后，如以下图表所示，通过它绘制一条垂直线。由于水平线在两点交叉蓝色线，因此簇的数量为两个。

red building

接下来，我们需要导入聚类类并调用其 fit_predict 方法来预测簇。我们正在导入 AgglomerativeClustering 库的 sklearn.cluster 类 −

from sklearn.cluster import AgglomerativeClustering

cluster = AgglomerativeClustering(n_clusters=2, affinity='euclidean',
linkage='ward')

cluster.fit_predict(X)

接下来，使用以下代码绘制簇 −

plt.scatter(X[:,0],X[:,1], c=cluster.labels_, cmap='rainbow')

下图显示了我们数据点中的两个簇。

random red dots

Example 2

由于我们从上述简单示例中了解了树状图的概念，让我们举一个另一个示例，在该示例中，我们使用层次聚类创建 Pima 印第安人糖尿病数据集中数据点的簇 −

import matplotlib.pyplot as plt
import pandas as pd
%matplotlib inline
import numpy as np

from pandas import read_csv
path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

patient_data = data.iloc[:, 3:5].values
import scipy.cluster.hierarchy as shc
plt.figure(figsize=(10, 7))
plt.title("Patient Dendograms")

dend = shc.dendrogram(shc.linkage(data, method='ward'))

from sklearn.cluster import AgglomerativeClustering
cluster = AgglomerativeClustering(n_clusters=4, affinity='euclidean', linkage='ward')
cluster.fit_predict(patient_data)

plt.figure(figsize=(7.2, 5.5))
plt.scatter(patient_data[:,0], patient_data[:,1], c=cluster.labels_,
cmap='rainbow')

运行此代码时，它会生成以下两个图表作为输出 −

green building
brown