大數(shù)據(jù)分享常用的數(shù)據(jù)挖掘技術(shù),新人學(xué)起來(lái)就可以用

對(duì)大數(shù)據(jù)開(kāi)發(fā)技術(shù)感興趣的小伙伴對(duì)數(shù)據(jù)挖掘技術(shù)有多少了解呢?本篇文章大數(shù)據(jù)小編就給喜歡大數(shù)據(jù)開(kāi)發(fā)的小伙伴分享一下常用的數(shù)據(jù)挖掘技術(shù)，希望對(duì)小伙伴們有所幫助。

1、統(tǒng)計(jì)技術(shù)

數(shù)據(jù)挖掘涉及的科學(xué)領(lǐng)域和技術(shù)很多，如統(tǒng)計(jì)技術(shù)。統(tǒng)計(jì)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行挖掘的主要思想是：統(tǒng)計(jì)的方法對(duì)給定的數(shù)據(jù)集合假設(shè)了一個(gè)分布或者概率模型(例如一個(gè)正態(tài)分布)然后根據(jù)模型采用相應(yīng)的方法來(lái)進(jìn)行挖掘。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開(kāi)發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開(kāi)發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開(kāi)發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開(kāi)發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。

2、關(guān)聯(lián)規(guī)則

數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類(lèi)重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之I司存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫(kù)中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。

3、基于歷史的MBR(Memory-based Reasoning)分析

先根據(jù)經(jīng)驗(yàn)知識(shí)尋找相似的情況，然后將這些情況的信息應(yīng)用于當(dāng)前的例子中。這個(gè)就是MBR(Memory Based Reasoning)的本質(zhì)。MBR首先尋找和新記錄相似的鄰居，然后利用這些鄰居對(duì)新數(shù)據(jù)進(jìn)行分類(lèi)和估值。使用MBR有三個(gè)主要問(wèn)題，尋找確定的歷史數(shù)據(jù);決定表示歷史數(shù)據(jù)的最有效的方法;決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。

4、遺傳算法GA(Genetic Algorithms)

基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。主要思想是：根據(jù)適者生存的原則，形成由當(dāng)前群體中最適合的規(guī)則組成新的群體，以及這些規(guī)則的后代。典型情況下，規(guī)則的適合度(Fitness)用它對(duì)訓(xùn)練樣本集的分類(lèi)準(zhǔn)確率評(píng)估。

5、聚集檢測(cè)

將物理或抽象對(duì)象的集合分組成為由類(lèi)似的對(duì)象組成的多個(gè)類(lèi)的過(guò)程被稱為聚類(lèi)。由聚類(lèi)所生成的簇是一組數(shù)據(jù)對(duì)象的集合，這些對(duì)象與同一個(gè)簇中的對(duì)象彼此相似，與其它簇中的對(duì)象相異。相異度是根據(jù)描述對(duì)象的屬眭值來(lái)計(jì)算的，距離是經(jīng)常采用的度量方式。

6、連接分析

連接分析，Link analysis，它的基本理論是圖論。圖論的思想是尋找一個(gè)可以得出好結(jié)果但不是完美結(jié)果的算法，而不是去尋找完美的解的算法。連接分析就是運(yùn)用了這樣的思想：不完美的結(jié)果如果是可行的，那么這樣的分析就是一個(gè)好的分析。利用連接分析，可以從一些用戶的行為中分析出一些模式;同時(shí)將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。

7、決策樹(shù)

決策樹(shù)提供了一種展示類(lèi)似在什么條件下會(huì)得到什么值這類(lèi)規(guī)則的方法。