如何使用Python語(yǔ)言實(shí)現(xiàn)K-Means聚類算法

這篇文章給大家分享的是有關(guān)如何使用Python語(yǔ)言實(shí)現(xiàn)K-Means聚類算法的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

1 概述

1.1 無(wú)監(jiān)督學(xué)習(xí)

      在一個(gè)典型的監(jiān)督學(xué)習(xí)中，我們有一個(gè)有標(biāo)簽的訓(xùn)練集，我們的目標(biāo)是找到能夠區(qū)分正
樣本和負(fù)樣本的決策邊界，在這里的監(jiān)督學(xué)習(xí)中，我們有一系列標(biāo)簽，我們需要據(jù)此擬合一
個(gè)假設(shè)函數(shù)。與此不同的是，在非監(jiān)督學(xué)習(xí)中，我們的數(shù)據(jù)沒(méi)有附帶任何標(biāo)簽，我們拿到的
數(shù)據(jù)就是這樣的：

在這里我們有一系列點(diǎn)，卻沒(méi)有標(biāo)簽。因此，我們的訓(xùn)練集可以寫成只有：

 我們沒(méi)有任何標(biāo)簽?。因此，圖上畫的這些點(diǎn)沒(méi)有標(biāo)簽信息。也就是說(shuō)，在非監(jiān) 督學(xué)習(xí)中，我們需要將一系列無(wú)標(biāo)簽的訓(xùn)練數(shù)據(jù)，輸入到一個(gè)算法中，然后我們告訴這個(gè)算法，快去為我們找找這個(gè)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)給定數(shù)據(jù)。我們可能需要某種算法幫助我們尋找一 種結(jié)構(gòu)。圖上的數(shù)據(jù)看起來(lái)可以分成兩個(gè)分開(kāi)的點(diǎn)集（稱為簇）， 一個(gè)能夠找到我圈出的這 些點(diǎn)集的算法，就被稱為聚類算法 。
       這將是我們介紹的第一個(gè)非監(jiān)督學(xué)習(xí)算法。當(dāng)然，此后我們還將提到其他類型的非監(jiān)督
學(xué)習(xí)算法，它們可以為我們找到其他類型的結(jié)構(gòu)或者其他的一些模式，而不只是簇。

我們將先介紹聚類算法。此后，我們將陸續(xù)介紹其他算法。那么聚類算法一般用來(lái)做什
么呢？

       比如市場(chǎng)分割。也許你在數(shù)據(jù)庫(kù)中存儲(chǔ)了許多客戶的信息，而你希望將他們分成不同的客戶群，這樣你可以對(duì)不同類型的客戶分別銷售產(chǎn)品或者分別提供更適合的服務(wù)。社交網(wǎng)絡(luò)分析：事實(shí)上有許多研究人員正在研究這樣一些內(nèi)容，他們關(guān)注一群人，關(guān)注社交網(wǎng)絡(luò)，例如 Facebook ， Google+，或者是其他的一些信息，比如說(shuō)：你經(jīng)常跟哪些人聯(lián)系，而這些人又經(jīng)常給哪些人發(fā)郵件，由此找到關(guān)系密切的人群。因此，這可能需要另一個(gè)聚類算法，你希望用它發(fā)現(xiàn)社交網(wǎng)絡(luò)中關(guān)系密切的朋友。 研究這個(gè)問(wèn)題，希望使用聚類算法來(lái)更好的組織計(jì)算機(jī)集群，或者更好的管理數(shù)據(jù)中心。因?yàn)槿绻阒罃?shù)據(jù)中心中，那些計(jì)算機(jī)經(jīng)常協(xié)作工作。那么，你可以重新分配資源，重新布局網(wǎng)絡(luò)。由此優(yōu)化數(shù)據(jù)中心，優(yōu)化數(shù)據(jù)通信。
     最后，我實(shí)際上還在研究如何利用聚類算法了解星系的形成。然后用這個(gè)知識(shí)，了解一
些天文學(xué)上的細(xì)節(jié)問(wèn)題。好的，這就是聚類算法。這將是我們介紹的第一個(gè)非監(jiān)督學(xué)習(xí)算法,接下來(lái)，我們將開(kāi)始介紹一個(gè)具體的聚類算法。

1.2 聚類

1.3 K-Mean均值算法

2 K-Mean均值算法 

2.1 引入

K- 均值 是最普及的聚類算法，算法接受一個(gè)未標(biāo)記的數(shù)據(jù)集，然后將數(shù)據(jù)聚類成不同的
組

步驟：

• 設(shè)定 K 個(gè)類別的中心的初值；

• 計(jì)算每個(gè)樣本到 K個(gè)中心的距離，按最近距離進(jìn)行分類；

• 以每個(gè)類別中樣本的均值，更新該類別的中心；

• 重復(fù)迭代以上步驟，直到達(dá)到終止條件（迭代次數(shù)、最小平方誤差、簇中心點(diǎn)變化率）。

下面是一個(gè)聚類示例： 

K-means聚類算法：

K-均值算法的偽代碼如下：

Repeat {
for i = 1 to m
c(i) := index (form 1 to K) of cluster centroid closest to x(i)
for k = 1 to K
μk := average (mean) of points assigned to cluster k
}

算法分為兩個(gè)步驟，第一個(gè) for 循環(huán)是賦值步驟，即：對(duì)于每一個(gè)樣例 i ，計(jì)算其應(yīng)該屬
于的類。第二個(gè) for 循環(huán)是聚類中心的移動(dòng)，即：對(duì)于每一個(gè)類K ，重新計(jì)算該類的質(zhì)心。

from sklearn.cluster import KMeans  # 導(dǎo)入 sklearn.cluster.KMeans 類
import numpy as np
 
X = np.array([[1,2], [1,4], [1,0], [10,2], [10,4], [10,0]])
kmCluster = KMeans(n_clusters=2).fit(X)  # 建立模型并進(jìn)行聚類，設(shè)定 K=2
print("聚類中心坐標(biāo):",kmCluster.cluster_centers_)  # 返回每個(gè)聚類中心的坐標(biāo)
print("分類結(jié)果:",kmCluster.labels_)  # 返回樣本集的分類結(jié)果
print("顯示預(yù)測(cè)判斷:",kmCluster.predict([[0, 0], [12, 3]]))  # 根據(jù)模型聚類結(jié)果進(jìn)行預(yù)測(cè)判斷

聚類中心坐標(biāo): [[10.  2.]
 [ 1.  2.]]
分類結(jié)果: [1 1 1 0 0 0]
顯示預(yù)測(cè)判斷: [1 0]
 
Process finished with exit code 0

2.2 針對(duì)大樣本集的改進(jìn)算法：Mini Batch K-Means 

對(duì)于樣本集巨大的問(wèn)題，例如樣本量大于 10萬(wàn)、特征變量大于100，K-Means算法耗費(fèi)的速度和內(nèi)存很大。SKlearn 提供了針對(duì)大樣本集的改進(jìn)算法Mini Batch K-Means，并不使用全部樣本數(shù)據(jù)，而是每次抽樣選取小樣本集進(jìn)行 K-Means聚類，進(jìn)行循環(huán)迭代。Mini Batch K-Means 雖然性能略有降低，但極大的提高了運(yùn)行速度和內(nèi)存占用?！?/p>

from sklearn.cluster import MiniBatchKMeans # 導(dǎo)入 .MiniBatchKMeans 類
import numpy as np
X = np.array([[1,2], [1,4], [1,0], [4,2], [4,0], [4,4],
              [4,5], [0,1], [2,2],[3,2], [5,5], [1,-1]])
# fit on the whole data
mbkmCluster = MiniBatchKMeans(n_clusters=3,batch_size=6,max_iter=10).fit(X)
print("聚類中心的坐標(biāo):",mbkmCluster.cluster_centers_) # 返回每個(gè)聚類中心的坐標(biāo)
print("樣本集的分類結(jié)果:",mbkmCluster.labels_)  # 返回樣本集的分類結(jié)果
print("顯示判斷結(jié)果：樣本屬于哪個(gè)類別:",mbkmCluster.predict([[0,0], [4,5]]))  # 根據(jù)模型聚類結(jié)果進(jìn)行預(yù)測(cè)判斷

聚類中心的坐標(biāo): [[ 2.55932203  1.76271186]
 [ 0.75862069 -0.20689655]
 [ 4.20588235  4.5       ]]
樣本集的分類結(jié)果: [0 0 1 0 0 2 2 1 0 0 2 1]
顯示判斷結(jié)果：樣本屬于哪個(gè)類別: [1 2]
 
Process finished with exit code 0

2.3 圖像

from sklearn.cluster import kmeans_plusplus
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
 
# Generate sample data
n_samples = 4000
n_components = 4
 
X, y_true = make_blobs(
    n_samples=n_samples, centers=n_components, cluster_std=0.60, random_state=0
)
X = X[:, ::-1]
 
# Calculate seeds from kmeans++
centers_init, indices = kmeans_plusplus(X, n_clusters=4, random_state=0)
 
# Plot init seeds along side sample data
plt.figure(1)
colors = ["#4EACC5", "#FF9C34", "#4E9A06", "m"]
 
for k, col in enumerate(colors):
    cluster_data = y_true == k
    plt.scatter(X[cluster_data, 0], X[cluster_data, 1], c=col, marker=".", s=10)
 
plt.scatter(centers_init[:, 0], centers_init[:, 1], c="b", s=50)
plt.title("K-Means++ Initialization")
plt.xticks([])
plt.yticks([])
plt.show()

3 案例1 

3.1 代碼

#  -*- coding: utf-8 -*-
import numpy as np
import pandas as pd
from sklearn.cluster import KMeans, MiniBatchKMeans
 
def main():
    # 讀取數(shù)據(jù)文件
    file = pd.read_excel('K-Means.xlsx', header=0)  # 首行為標(biāo)題行
    file = file.dropna()  # 刪除含有缺失值的數(shù)據(jù)
    # print(file.dtypes)  # 查看 df 各列的數(shù)據(jù)類型
    # print(file.shape)  # 查看 df 的行數(shù)和列數(shù)
    print(file.head())
 
    # 數(shù)據(jù)準(zhǔn)備
    z_scaler = lambda x:(x-np.mean(x))/np.std(x)  # 定義數(shù)據(jù)標(biāo)準(zhǔn)化函數(shù)
    dfScaler = file[['D1','D2','D3','D4','D5','D6','D7','D8','D9','D10']].apply(z_scaler)  # 數(shù)據(jù)歸一化
    dfData = pd.concat([file[['地區(qū)']], dfScaler], axis=1)  # 列級(jí)別合并
    df = dfData.loc[:,['D1','D2','D3','D4','D5','D6','D7','D8','D9','D10']]  # 基于全部 10個(gè)特征聚類分析
    # df = dfData.loc[:,['D1','D2','D7','D8','D9','D10']]  # 降維后選取 6個(gè)特征聚類分析
    X = np.array(df)  # 準(zhǔn)備 sklearn.cluster.KMeans 模型數(shù)據(jù)
    print("Shape of cluster data:", X.shape)
 
    # KMeans 聚類分析(sklearn.cluster.KMeans)
    nCluster = 4
    kmCluster = KMeans(n_clusters=nCluster).fit(X)  # 建立模型并進(jìn)行聚類，設(shè)定 K=4
    print("Cluster centers:\n", kmCluster.cluster_centers_)  # 返回每個(gè)聚類中心的坐標(biāo)
    print("Cluster results:\n", kmCluster.labels_)  # 返回樣本集的分類結(jié)果
 
    # 整理聚類結(jié)果(太棒啦！)
    listName = dfData['地區(qū)'].tolist()  # 將 dfData 的首列 '地區(qū)' 轉(zhuǎn)換為 list
    dictCluster = dict(zip(listName,kmCluster.labels_))  # 將 listName 與聚類結(jié)果關(guān)聯(lián)，組成字典
    listCluster = [[] for k in range(nCluster)]
    for v in range(0, len(dictCluster)):
        k = list(dictCluster.values())[v]  # 第v個(gè)城市的分類是 k
        listCluster[k].append(list(dictCluster.keys())[v])  # 將第v個(gè)城市添加到 第k類
    print("\n聚類分析結(jié)果(分為{}類):".format(nCluster))  # 返回樣本集的分類結(jié)果
    for k in range(nCluster):
        print("第 {} 類：{}".format(k, listCluster[k]))  # 顯示第 k 類的結(jié)果
 
    return
 
if __name__ == '__main__':
    main()

3.2 結(jié)果 

地區(qū)    D1   D2   D3    D4   D5   D6     D7    D8    D9    D10
0  北京  5.96  310  461  1557  931  319  44.36  2615  2.20  13631
1  上海  3.39  234  308  1035  498  161  35.02  3052  0.90  12665
2  天津  2.35  157  229   713  295  109  38.40  3031  0.86   9385
3  陜西  1.35   81  111   364  150   58  30.45  2699  1.22   7881
4  遼寧  1.50   88  128   421  144   58  34.30  2808  0.54   7733
Shape of cluster data: (30, 10)
Cluster centers:
 [[-3.04626787e-01 -2.89307971e-01 -2.90845727e-01 -2.88480032e-01
  -2.85445404e-01 -2.85283077e-01 -6.22770669e-02  1.12938023e-03
  -2.71308432e-01 -3.03408599e-01]
 [ 4.44318512e+00  3.97251590e+00  4.16079449e+00  4.20994153e+00
   4.61768098e+00  4.65296699e+00  2.45321197e+00  4.02147595e-01
   4.22779099e+00  2.44672575e+00]
 [ 1.52987871e+00  2.10479182e+00  1.97836141e+00  1.92037518e+00
   1.54974999e+00  1.50344182e+00  1.13526879e+00  1.13595799e+00
   8.39397483e-01  1.38149832e+00]
 [ 4.17353928e-01 -6.60092295e-01 -5.55528420e-01 -5.50211065e-01
  -2.95600461e-01 -2.42490616e-01 -3.10454580e+00 -2.70342746e+00
   1.14743326e+00  2.67890118e+00]]
Cluster results:
 [1 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 0 0]
 
聚類分析結(jié)果(分為4類):
第 0 類：['陜西', '遼寧', '吉林', '黑龍江', '湖北', '江蘇', '廣東', '四川', '山東', '甘肅', '湖南', '浙江', '新疆', '福建', '山西', '河北', '安徽', '云南', '江西', '海南', '內(nèi)蒙古', '河南', '廣西', '寧夏', '貴州', '青海']
第 1 類：['北京']
第 2 類：['上海', '天津']
第 3 類：['西藏']
 
Process finished with exit code 0

4 案例2

4.1 案例——數(shù)據(jù)

（1）數(shù)據(jù)介紹：

現(xiàn)有1999年全國(guó)31個(gè)省份城鎮(zhèn)居民家庭平均每人全年消費(fèi)性支出的八個(gè)主要變量數(shù)據(jù)，這八個(gè)變量分別是：食品、衣著、家庭設(shè)備用品及服務(wù)、醫(yī)療保健、交通和通訊、娛樂(lè)教育文化服務(wù)、居住以及雜項(xiàng)商品和服務(wù)。利用已有數(shù)據(jù)，對(duì)31個(gè)省份進(jìn)行聚類。

（2）實(shí)驗(yàn)?zāi)康模?/strong>

通過(guò)聚類，了解 1999 年各個(gè)省份的消費(fèi)水平在國(guó)內(nèi)的情況

1999年全國(guó)31個(gè)省份城鎮(zhèn)居民家庭平均每人全年消費(fèi)性支出數(shù)據(jù)：

4.2 代碼

#*========================1. 建立工程，導(dǎo)入sklearn相關(guān)包======================================**
 
import numpy as np
from sklearn.cluster import KMeans
 
#*======================2. 加載數(shù)據(jù)，創(chuàng)建K-means算法實(shí)例，并進(jìn)行訓(xùn)練，獲得標(biāo)簽====================**
 
def loadData(filePath):
    fr = open(filePath, 'r+')            #r+：讀寫打開(kāi)一個(gè)文本文件
    lines = fr.readlines()           #.readlines() 一次讀取整個(gè)文件（類似于 .read() ) .readline() 每次只讀.readlines() 慢得多。
    retData = []                     #retData：用來(lái)存儲(chǔ)城市的各項(xiàng)消費(fèi)信息
    retCityName = []                 #retCityName：用來(lái)存儲(chǔ)城市名稱
    for line in lines:
        items = line.strip().split(",")
        retCityName.append(items[0])
        retData.append([float(items[i]) for i in range(1, len(items))])
    return retData, retCityName      #返回值：返回城市名稱，以及該城市的各項(xiàng)消費(fèi)信息
 
def main():
    data, cityName = loadData('city.txt')    #1.利用loadData方法讀取數(shù)據(jù)
    km = KMeans(n_clusters=4)                #2.創(chuàng)建實(shí)例
    label = km.fit_predict(data)             #3.調(diào)用Kmeans（）fit_predict()方法進(jìn)行計(jì)算
    expenses = np.sum(km.cluster_centers_, axis=1)
    # print(expenses)
    CityCluster = [[], [], [], []]          #將城市按label分成設(shè)定的簇
    for i in range(len(cityName)):
        CityCluster[label[i]].append(cityName[i])   #將每個(gè)簇的城市輸出
    for i in range(len(CityCluster)):              #將每個(gè)簇的平均花費(fèi)輸出
        print("Expenses:%.2f" % expenses[i])
        print(CityCluster[i])
 
if __name__ == '__main__':
    main()
 
#*=============3. 輸出標(biāo)簽，查看結(jié)果========================================**
 
#將城市按照消費(fèi)水平n_clusters類，消費(fèi)水平相近的城市聚集在一類中
#expense：聚類中心點(diǎn)的數(shù)值加和，也就是平均消費(fèi)水平

4.3 結(jié)果 

（1）聚成2類：km = KMeans(n_clusters=2)

（2）聚成3類：km = KMeans(n_clusters=3)

（3）聚成4類：km = KMeans(n_clusters=4)  

從結(jié)果可以看出消費(fèi)水平相近的省市聚集在了一類，例如消費(fèi)最高的“北京”“上海”“廣東”
聚集在了消費(fèi)最高的類別。聚4類時(shí)，結(jié)果可以比較明顯的看出消費(fèi)層級(jí)。

 4.4 拓展&&改進(jìn)

計(jì)算兩條數(shù)據(jù)相似性時(shí)，Sklearn 的K-Means默認(rèn)用的是歐式距離。雖然還有余弦相似度，馬氏距離等多種方法，但沒(méi)有設(shè)定計(jì)算距離方法的參數(shù)。

（1）如果想要自定義計(jì)算距離的方式時(shí)，可以更改此處源碼。
（2）建議使用 scipy.spatial.distance.cdist 方法。

使用形式：scipy.spatial.distance.cdist(A, B, metric=‘cosine’)：

重要參數(shù)：

A：A向量
B：B向量
metric: 計(jì)算A和B距離的方法，更改此參數(shù)可以更改調(diào)用的計(jì)算距離的方法

感謝各位的閱讀！關(guān)于“如何使用Python語(yǔ)言實(shí)現(xiàn)K-Means聚類算法”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！