如何解決多元函數(shù)求極值問題

如何解決多元函數(shù)求極值問題，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

今天來討論多元函數(shù)求極值問題，在Logistic回歸用牛頓迭代法求參數(shù)會用到，所以很有必要把它研究清楚。

回想一下，一元函數(shù)求極值問題我們是怎樣做的？比如對于凹函數(shù)，先求一階導(dǎo)數(shù)，得，

由于極值處導(dǎo)數(shù)一定為零，但是導(dǎo)數(shù)等于零的點(diǎn)不一定就有極值，比如。所以還需要進(jìn)一步判斷，對

函數(shù)繼續(xù)求二階導(dǎo)得到，因?yàn)樵隈v點(diǎn)處二階導(dǎo)數(shù)成立，所以

在處取得極小值，二階導(dǎo)數(shù)在這里的意義就是判斷函數(shù)局部的凹凸性。

在多元函數(shù)中求極值的方法類似，只是在判斷凹凸性這里引入了一個(gè)矩陣，叫做Hessian矩陣。

如果實(shí)值多元函數(shù)在定義域內(nèi)二階連續(xù)可導(dǎo)，那么我們求它的極值，首先對所有求偏導(dǎo)，即

得到個(gè)方程如下

通過這個(gè)方程可以解得駐點(diǎn)，這個(gè)駐點(diǎn)是一個(gè)長度為的一維向量。但是我們僅僅得到這個(gè)駐點(diǎn)，其實(shí)在這

個(gè)駐點(diǎn)有3種情況，分別是：局部極大值，局部極小值和非極值。

所以接下來要做的事就是判斷這個(gè)駐點(diǎn)屬于這3個(gè)中的哪一個(gè)。所以就引入了Hessian矩陣，也就是說它用來

判斷在多元函數(shù)的凹凸性問題。

Hessian矩陣是一個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的方陣，描述了函數(shù)的局部曲率，常用于牛頓迭代法解決優(yōu)化問題。

例如對于上面的多元函數(shù)，如果它的二階偏導(dǎo)數(shù)都存在，那么Hessian矩陣如下

如果函數(shù)在定義域內(nèi)二階連續(xù)可導(dǎo)，那么的Hessian矩陣在定義域內(nèi)為對稱矩陣，因?yàn)槿绻瘮?shù)連

續(xù)，則二階偏導(dǎo)數(shù)的求導(dǎo)順序沒有區(qū)別，即

有了Hessian矩陣，我們就可以判斷上述極值的3種情況了，結(jié)論如下

  （1）如果是正定矩陣，則臨界點(diǎn)處是一個(gè)局部極小值

  （2）如果是負(fù)定矩陣，則臨界點(diǎn)處是一個(gè)局部極大值

  （3）如果是不定矩陣，則臨界點(diǎn)處不是極值

接下來繼續(xù)學(xué)習(xí)如何判斷一個(gè)矩陣是否是正定的，負(fù)定的，還是不定的。

一個(gè)最常用的方法就是順序主子式。實(shí)對稱矩陣為正定矩陣的充要條件是的各順序主子式都大于零。

由于這個(gè)方法涉及到行列式的計(jì)算，比較麻煩！ 對于實(shí)二次型矩陣還有一個(gè)方法，描述如下

實(shí)二次型矩陣為正定二次型的充要條件是的矩陣的特征值全大于零。為負(fù)定二次型的充要條

件是的矩陣的特征值全小于零，否則是不定的。

看完上述內(nèi)容，你們掌握如何解決多元函數(shù)求極值問題的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！