【機(jī)器學(xué)習(xí)】（3）擬合度與最大似然估計(jì)

在大致了解了機(jī)器學(xué)習(xí)的算法分類（監(jiān)督式、非監(jiān)督式以及增強(qiáng)學(xué)習(xí)）和梯度算法后，今天我們來了解下擬合度和最大似然估計(jì)的相關(guān)問題。

一、最小二乘法的擬合度

    監(jiān)督式學(xué)習(xí)中一類典型的應(yīng)用就是回歸問題，基本的就是線性回歸，即用一條直線去逼近訓(xùn)練集合。最小二乘法就是根據(jù)已有的訓(xùn)練集樣本來確定擬合度最好的函數(shù) 曲線。但是由于選擇一個(gè)什么樣的曲線是人工決定的，而不同的曲線又具有不同的性質(zhì)，從而導(dǎo)致不同函數(shù)模型使用最小二乘法的擬合度是不同的。以一個(gè)m個(gè)樣本 的房屋價(jià)格和大小數(shù)據(jù)M為例，我們可以選擇線性回歸（用一條直線模擬），也可以選擇使用一個(gè)三次曲線來模擬（存在上下峰值），但是最好的擬合或許是一個(gè)二 次曲線（拋物線）。對(duì)于一個(gè)本身分布近似拋物線的訓(xùn)練集來說，線性擬合明顯是“欠擬合”的，而三次曲線則是“過擬合”的，效果都不如拋物線要來的好。所以 說，即便是監(jiān)督式學(xué)習(xí)的回歸問題，也存在一個(gè)擬合度的把握，而這非常依賴于研究人員自身的經(jīng)驗(yàn)。這類函數(shù)模型確定后運(yùn)用最小二乘法擬合的方法稱作參數(shù)學(xué) 習(xí)，其要點(diǎn)是在訓(xùn)練學(xué)習(xí)前已經(jīng)有了關(guān)于函數(shù)模型的一個(gè)判斷（參數(shù)的個(gè)數(shù)是確定的）；但是還有一類情況，訓(xùn)練集很復(fù)雜，我們很難直接假設(shè)一個(gè)模型，因此參數(shù) 的個(gè)數(shù)也許是隨著樣本集動(dòng)態(tài)變化的，這類問題稱作非參數(shù)學(xué)習(xí)。我們的方法是采用局部加權(quán)回歸。

二、局部加權(quán)回歸

    對(duì)于線性回歸問題LR來說，對(duì)于給定的假設(shè)函數(shù)H(X,θ)，我們的目標(biāo)是找到θ使得(H(X,θ)-Y)的平方最小，其實(shí)也就是要求針對(duì)已知訓(xùn)練集M來說H(X,θ)與樣本的偏差最小，最后返回θ。

    對(duì)于局部加權(quán)回歸LWR來說，找到θ使得的值最小，其中的權(quán)值的意義在于，當(dāng)我們測試一個(gè)新的樣本值的時(shí)候，距離測試屬性最近的一些樣本訓(xùn)練集將發(fā)揮作用，權(quán)重較大，而距離該位置較遠(yuǎn)的樣本值的影響則較小。因此局部加權(quán)回歸的做法就是每次只使用新的數(shù)值位置附近的訓(xùn)練樣本來進(jìn)行擬合，每次計(jì)算都需要針對(duì)所有的訓(xùn)練集進(jìn)行擬合。

三、最大似然概率

    上述算法可以用最大似然概率進(jìn)行推導(dǎo)，由于涉及較多的數(shù)學(xué)公式，這里不再證明。借著這個(gè)機(jī)會(huì)來復(fù)習(xí)下最大似然概率的知識(shí)。最大似然概率可以用來解決非參數(shù)模型的回歸。其主要的思想就是，將含參數(shù)的概率函數(shù)H(X,θ)看作是θ的函數(shù)，當(dāng)X已知的時(shí)候，就意味著從全體樣本中隨機(jī)抽出了m個(gè)樣本，假設(shè)它們都是獨(dú)立的，那么我從一個(gè)樣本集中隨機(jī)抽出這m個(gè)樣本的概率應(yīng)該是它們的概率乘積P（θ）；若存在一個(gè)這樣的函數(shù)假設(shè)模型，則這個(gè)模型中的參數(shù)θ應(yīng)當(dāng)使得P的值最大，即重新抽出這m個(gè)樣本的可能最大。然后用這個(gè)似然估計(jì)去代替真實(shí)的θ。

    這里講的未免過于簡單，詳細(xì)的內(nèi)容可以參考CSDN博友的文章：最大似然估計(jì)總結(jié)