怎么進(jìn)行AutoML算法分析

今天就跟大家聊聊有關(guān)怎么進(jìn)行AutoML算法分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

AutoML是什么

顧名思義，Auto：Automated自動的；ML：Machine Learning機器學(xué)習(xí). 因此AutoML即為自動機器學(xué)習(xí)。

對于機器學(xué)習(xí)的算法工程師而言，設(shè)計適用于特定問題的機器學(xué)習(xí)模型是一個非常復(fù)雜的任務(wù)。需要選擇相應(yīng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)、訓(xùn)練過程、正則化方法、超參等，這些都對最終的性能有很大的影響，需要不斷嘗試。因此深度學(xué)習(xí)算法工程師也被稱為調(diào)（煉）參（丹）工程師。

AutoML的目標(biāo)就是使用自動化的、數(shù)據(jù)驅(qū)動方式來做出上述的決策。用戶只要提供數(shù)據(jù)，通過足夠的算力，系統(tǒng)自動決定最佳的方案。各個領(lǐng)域?qū)＜也辉傩枰鄲烙趯W(xué)習(xí)各種機器學(xué)習(xí)算法。

在AutoML領(lǐng)域，當(dāng)前引起學(xué)者關(guān)注最多的便是NAS（Neural Architecture Search，網(wǎng)絡(luò)結(jié)構(gòu)搜索），對應(yīng)的算法也非常之多。在automl.org上已經(jīng)列出了兩百多篇相關(guān)論文：

https://www.automl.org/automl/literature-on-neural-architecture-search/

對應(yīng)的算法大致可以分為三類：

1. 基于RL(Reinforcement Learning, 強化學(xué)習(xí))的離散搜索算法：NASNet，ENAS

2. 基于進(jìn)化算法（如遺傳算法，蟻群算法，模擬退火等）的離散搜索算法：CARS，EENA

3. 基于梯度下降的連續(xù)可微搜索算法：DARTS，F(xiàn)BNet

本文主要介紹第一類，基于RL的離散搜索算法。

基于RL的NAS算法

這類算法中較優(yōu)秀的是Google Brain 2018年在Learning Transferable Architectures for Scalable Image Recognition中提出的NASNet，流程如下圖所示。整個結(jié)構(gòu)由controller和validator兩部分組成，算法迭代步驟：

• controller負(fù)責(zé)采樣child網(wǎng)絡(luò)

• 采樣結(jié)果交給validator評估accuracy

• 評估的accuracy作為reward去訓(xùn)練controller

• 返回第一步進(jìn)行循環(huán)，直到達(dá)到結(jié)束條件（達(dá)到采樣個數(shù)或者accuracy達(dá)標(biāo)）

最終花費了2000 GPU hours搜索得到了一系列的結(jié)構(gòu)，表現(xiàn)優(yōu)異，在相同參數(shù)量/計算量下，accuracy能達(dá)到當(dāng)時的最好水平，超越了Inception，ResNet，MobileNet，SENet等一系列優(yōu)秀網(wǎng)絡(luò)。

 最終的搜索到的網(wǎng)絡(luò)結(jié)構(gòu)：

其中，normal cell和reductioncell分別為：

看完上述內(nèi)容，你們對怎么進(jìn)行AutoML算法分析有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。