Canopy聚類

Canopy聚類是一種非常簡單、快速、準(zhǔn)確地把對象劃分成聚類的方法。所有的對象都用多維特征空間中的一個點(diǎn)表示，此算法使用一種快速近似度量法，其兩個距離閾值為T1>T2。

算法的基本思想是一開始有一個點(diǎn)集，先從其中選取一個點(diǎn)，并把此點(diǎn)移除此點(diǎn)集，接著創(chuàng)建一個包含此點(diǎn)的Canopy并對點(diǎn)集中剩余的點(diǎn)進(jìn)行迭代，對于每一點(diǎn)，如果它與第一個點(diǎn)的距離小于T1，就把它添加到此Canopy中;如果它與第一個點(diǎn)的距離小于T2，先把此添加到Canopy中并把它從點(diǎn)集中刪除。這種方式避免了對那些距中心點(diǎn)距離小于T2的點(diǎn)做進(jìn)一步的處理。

此算法不斷地迭代直到初始點(diǎn)集為空為止，最終的結(jié)果是產(chǎn)生了一個Canopy的集合，每一個Canopy都包含了一個或多個點(diǎn)，每個點(diǎn)都可能出現(xiàn)在一個或多個Canopy中。Canopy集群經(jīng)常用做更加嚴(yán)格的聚類技術(shù)(如k-Means聚類)的初始階段。

1)并行策略

● 把數(shù)據(jù)轉(zhuǎn)換為恰當(dāng)?shù)妮斎敫袷健?/p>

● 每個mapper對輸入集中的點(diǎn)執(zhí)行Canopy聚類，并輸出Canopy的中心。

● reducer收集Canopy的中心，然后計算產(chǎn)生最終的Canopy中心。

● 最后，將各個點(diǎn)劃分到最終的Canopy中。

2)設(shè)計實(shí)現(xiàn)

此實(shí)現(xiàn)把包含多維點(diǎn)的序列文件作為Hadoop輸入，點(diǎn)可用密集型矢量來表示，也可以用稀疏型矢量來表示。處理過程分為兩個階段，即Canopy生成階段和聚類階段(可選)。

(1)Canopy生成階段

在Map階段，每個mapper處理一個點(diǎn)的子集，并且使用已選的距離度量和閾值來產(chǎn)生Canopy。mapper根據(jù)已知的距離度量和閾值把各個點(diǎn)添加到Canopy中，接著產(chǎn)生此Canopy的中心即為輸出，reducer收集所有的初始中心，然后再次應(yīng)用距離度量和閾值來產(chǎn)生最終的Canopy中心的集合即為輸出。reducer的輸出格式為SequenceFile(Text,Canopy)，關(guān)鍵字是Canopy標(biāo)識符。

(2)聚類階段

在聚類階段中，每一個mapper都讀取由第一階段產(chǎn)生的Canopy作為輸入，因?yàn)樗械膍apper都由相同的Canopy定義，它們的輸出都在shuffle階段會產(chǎn)生合并，這樣每一個reducer都會看到所有的點(diǎn)屬于一個或多個Canopy。輸出是SequenceFile(IntWritable, WeightedVectorWritable)，關(guān)鍵字是CanopyId。WeightedVectorWritable有兩個段，即一個double型的weight和一個VectorWritable的矢量，其表示了一個矢量屬于一個給定Canopy的可能性。