LR和SVM的聯(lián)系與區(qū)別是什么

1、LR和SVM都可以處理分類問題，且一般都用于處理線性二分類問題（在改進的情況下可以處理多分類問題） 

2 如果不考慮核函數(shù)，LR和SVM都是線性分類算法，也就是說他們的分類決策面都是線性的。

這里要先說明一點，原始的LR和SVM都是線性分類器，這也是為什么通常沒人問你決策樹和LR什么區(qū)別，決策樹和SVM什么區(qū)別，你說一個非線性分類器和一個線性分類器有什么區(qū)別？

3 LR和SVM都是監(jiān)督學習算法。

4 LR和SVM都是判別模型。

判別模型會生成一個表示P(Y|X)的判別函數(shù)（或預測模型），而生成模型先計算聯(lián)合概率p(Y,X)然后通過貝葉斯公式轉(zhuǎn)化為條件概率。簡單來說，在計算判別模型時，不會計算聯(lián)合概率，而在計算生成模型時，必須先計算聯(lián)合概率?；蛘哌@樣理解：生成算法嘗試去找到底這個數(shù)據(jù)是怎么生成的（產(chǎn)生的），然后再對一個信號進行分類。基于你的生成假設，那么那個類別最有可能產(chǎn)生這個信號，這個信號就屬于那個類別。判別模型不關心數(shù)據(jù)是怎么生成的，它只關心信號之間的差別，然后用差別來簡單對給定的一個信號進行分類。

常見的判別模型有：KNN、SVM、LR，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。

5 LR和SVM在學術界和工業(yè)界都廣為人知并且應用廣泛。

講完了LR和SVM的相同點，你是不是也認為有必要將他們進行比較一下了呢？而且比較LR和SVM，是不是比讓你比較決策樹和LR、決策樹和SVM、樸素貝葉斯和LR、樸素貝葉斯和SVM更能考察你的功底呢？

區(qū)別

1、LR是參數(shù)模型，SVM是非參數(shù)模型。 

2、從目標函數(shù)來看，邏輯回歸采用的是Logistical Loss，SVM采用的是hinge loss. 這兩個損失函數(shù)的目的都是增加對分類影響較大的數(shù)據(jù)點的權重，減少與分類關系較小的數(shù)據(jù)點的權重。

SVM的處理方法是只考慮Support Vectors，也就是和分類最相關的少數(shù)點，去學習分類器。而邏輯回歸通過非線性映射，大大減小了離分類平面較遠的點的權重，相對提升了與分類最相關的數(shù)據(jù)點的權重。 

3、邏輯回歸相對來說模型更簡單，好理解，特別是大規(guī)模線性分類時比較方便。而SVM的理解和優(yōu)化相對來說復雜一些，SVM轉(zhuǎn)化為對偶問題后,分類只需要計算與少數(shù)幾個支持向量的距離。在解決非線性問題時，支持向量機采用核函數(shù)的機制，而LR通常不采用核函數(shù)的方法。

5、SVM的損失函數(shù)就自帶正則（損失函數(shù)中的1/2||w||^2項），這就是為什么SVM是結構風險最小化算法的原因。而LR必須另外在損失函數(shù)上添加正則項。