如何用最大似然估計(jì)求邏輯回歸參數(shù)

這篇文章將為大家詳細(xì)講解有關(guān)如何用最大似然估計(jì)求邏輯回歸參數(shù)，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

一.最大似然估計(jì)

    選擇一個(gè)(一組)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率。

A. 如果分布是離散型的，其分布律,是待估計(jì)的參數(shù)，這里我們假設(shè)為已知量，則：設(shè)X1,
X2, ... , Xn 是來(lái)自于X的樣本,X1,X2,...Xn的聯(lián)合分布律為：

           （1）

     設(shè)x1,x2,...xn是X1,X2,..Xn的一個(gè)樣本值，則可知X1,..Xn取x1,..,x2的概率，即事件{X1 = x1,...,Xn=xn}發(fā)生的概率為：

            （2）

     這里，因?yàn)闃颖局凳且阎模?2)是的函數(shù)，稱為樣本的似然函數(shù)。

     最大似然估計(jì)：已知樣本值x1,...xn,選取一組參數(shù),使概率達(dá)到最大值，此時(shí)的為最大估計(jì)值。即取使得：

     與x1,...,xn有關(guān)，記為并稱其為參數(shù)的極大似然估計(jì)值。

B.如果分布X是連續(xù)型，其概率密度的形式已知，為待估計(jì)參數(shù)，則事件X1,...Xn的聯(lián)合密度為：

          (3)

     設(shè)x1,..xn為相應(yīng)X1,...Xn的一個(gè)樣本值，則隨機(jī)點(diǎn)(X1,...,Xn)落在(x1,..xn)的領(lǐng)域內(nèi)的概率近似為：

            (4)

       最大似然估計(jì)即為求值，使得(4)的概率最大。由于

               不隨而變，故似然函數(shù)為：

                (5)

C. 求最大似然估計(jì)參數(shù)的步驟：

      (1) 寫出似然函數(shù)：

                (6)

               這里，n為樣本數(shù)量，似然函數(shù)表示n個(gè)樣本(事件)同時(shí)發(fā)生的概率。

         (2) 對(duì)似然函數(shù)取對(duì)數(shù)：

          (3) 將對(duì)數(shù)似然函數(shù)對(duì)各參數(shù)求偏導(dǎo)數(shù)并令其為0，得到對(duì)數(shù)似然方程組。

          (4) 從方程組中解出各個(gè)參數(shù)。

D. 舉例：

        設(shè);為未知參數(shù)，x1,...xn為來(lái)自X的一個(gè)樣本值。求的極大似然估計(jì)值。

       解：X的概率密度為：

           似然函數(shù)為：

            令  即：

             解得：   帶入解得

二.邏輯回歸

     邏輯回歸不是回歸，而是分類。是從線性回歸中衍生出來(lái)的分類策略。當(dāng)y值為只有兩個(gè)值時(shí)(比如0，1)，線性回歸不能很好的擬合時(shí)，用邏輯回歸來(lái)對(duì)其進(jìn)行二值分類。

     這里邏輯函數(shù)(S型函數(shù))為：

       (7)

     于是，可得估計(jì)函數(shù)：

         （8）

      這里，我們的目的是求出一組值，使得這組可以很好的模擬出訓(xùn)練樣本的類值。

      由于二值分類很像二項(xiàng)分布，我們把單一樣本的類值假設(shè)為發(fā)生概率，則：

            （9）

       可以寫成概率一般式：

              (10)

       由最大似然估計(jì)原理，我們可以通過(guò)m個(gè)訓(xùn)練樣本值，來(lái)估計(jì)出值，使得似然函數(shù)值最大：

          （11）

        這里，為m個(gè)訓(xùn)練樣本同時(shí)發(fā)生的概率。對(duì)求log，得：

           （12）

         我們用隨機(jī)梯度上升法，求使最大化時(shí)的值，迭代函數(shù)為：

              （13）

         這里對(duì)每個(gè)分量進(jìn)行求導(dǎo)，得：

           （14）

         于是，隨機(jī)梯度上升法迭代算法為：

         repeat until convergence{

               for i = 1 to m{

                              (15)

               }

         }

思考：

      我們求最大似然函數(shù)參數(shù)的立足點(diǎn)是步驟C，即求出每個(gè)參數(shù)方向上的偏導(dǎo)數(shù)，并讓偏導(dǎo)數(shù)為0，最后求解此方程組。由于中參數(shù)數(shù)量的不確定，考慮到可能參數(shù)數(shù)量很大，此時(shí)直接求解方程組的解變的很困難。于是，我們用隨機(jī)梯度上升法，求解方程組的值。

備注：

        (a) 公式(14)的化簡(jiǎn)基于g(z)導(dǎo)函數(shù)，如下：

                 （16）

       (b) 下圖為邏輯函數(shù)g(z)的分布圖：

關(guān)于如何用最大似然估計(jì)求邏輯回歸參數(shù)就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。