如何使用Flow forecast進(jìn)行時(shí)間序列預(yù)測(cè)和分類的遷移

本篇內(nèi)容介紹了“如何使用Flow forecast進(jìn)行時(shí)間序列預(yù)測(cè)和分類的遷移”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

ImageNet首次發(fā)表于2009年，在接下來的四年里，它成為了大多數(shù)計(jì)算機(jī)視覺模型的基礎(chǔ)。到目前為止，無論您是在訓(xùn)練一個(gè)模型來檢測(cè)肺炎還是對(duì)汽車模型進(jìn)行分類，您都可能從在ImageNet或其他大型(和一般圖像)數(shù)據(jù)集上預(yù)先訓(xùn)練的模型開始。

最近的一些論文，如ELMO和BERT(2018)利用轉(zhuǎn)移學(xué)習(xí)來有效地提高幾個(gè)NLP任務(wù)的表現(xiàn)。這些模型創(chuàng)建了有效的與上下文相關(guān)的單詞表示。然后，這些表示可以用于各種任務(wù)，如回答問題、命名實(shí)體識(shí)別等。

此外，在宏觀層面上，轉(zhuǎn)移學(xué)習(xí)為所有數(shù)據(jù)有限的領(lǐng)域的進(jìn)展鋪平了道路。通過幫助數(shù)據(jù)有限的研究小組和公司有效利用這種技術(shù)，它幫助了深度學(xué)習(xí)的大眾化。因此，能夠在時(shí)間序列領(lǐng)域(其中有許多有限時(shí)間歷史的事件)中利用遷移學(xué)習(xí)是至關(guān)重要的。

時(shí)間序列

目前，時(shí)間序列的遷移學(xué)習(xí)還沒有模式，也沒有可去的地方。而且，對(duì)這一課題的研究相對(duì)較少。Fawaz el的一篇論文（https://arxiv.org/pdf/1811.01533.pdf）。他討論了時(shí)間序列分類的遷移學(xué)習(xí)。他們的結(jié)論是:

這些實(shí)驗(yàn)表明，遷移學(xué)習(xí)可以改善或降低模型預(yù)測(cè)，但是取決于用于遷移的數(shù)據(jù)集。

由此我們了解到，對(duì)于時(shí)間序列，源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間的相似性在許多方面比CV或NLP更為重要。然后，作者選擇發(fā)展一種技術(shù)，形成時(shí)間序列表示，以尋找最相似的時(shí)間序列用于遷移。雖然這是一個(gè)有趣的初步探索，但它仍然有許多未解的問題。那么多變量時(shí)間序列的情況又如何呢?(作者只關(guān)注單一變量)一個(gè)不同的架構(gòu)會(huì)幫助促進(jìn)不同時(shí)間序列之間的轉(zhuǎn)移嗎?同樣地，一些其他的文章探索了有限的案例，在這些案例中遷移可以在時(shí)間序列領(lǐng)域有效，但是沒有一個(gè)用于遷移學(xué)習(xí)的一般框架，特別是在多元情況下。

遷移學(xué)習(xí)在其他領(lǐng)域如何工作

在深入探討關(guān)于時(shí)間序列預(yù)測(cè)的遷移學(xué)習(xí)的挑戰(zhàn)之前，讓我們先看看它在其他領(lǐng)域是如何工作的。在計(jì)算機(jī)視覺遷移學(xué)習(xí)中，一般采用分層模式進(jìn)行模型學(xué)習(xí);具體地說，模型中“早期”的層學(xué)習(xí)更多的一般模式(例如形狀、輪廓、邊緣)，而后期的層學(xué)習(xí)更多的具體任務(wù)特征(貓的胡須或汽車前燈的形狀)。在ImageNet上進(jìn)行預(yù)先訓(xùn)練后，這種能力甚至成功地使用轉(zhuǎn)移學(xué)習(xí)來幫助進(jìn)行醫(yī)學(xué)診斷和分期。

這在NLP中也普遍適用，但是，它需要一個(gè)不同的架構(gòu)。具體來說，BERT和ELMO等模型為從序列到序列域的遷移學(xué)習(xí)鋪平了道路。特別是transformer的架構(gòu)在遷移學(xué)習(xí)方面發(fā)揮了良好的作用。同樣的道理也適用于序列問題，比如時(shí)間序列。

時(shí)間序列預(yù)測(cè)的具體挑戰(zhàn)

時(shí)間序列預(yù)測(cè)有幾個(gè)特定的核心挑戰(zhàn)。最大的一個(gè)問題是，對(duì)于時(shí)間序列，很難找到一個(gè)有用的層次結(jié)構(gòu)或一組可以泛化到不同問題的中間表示。我們確實(shí)有一些組成部分，人們傳統(tǒng)上將時(shí)間序列分解為季節(jié)性，趨勢(shì)和余數(shù)。然而，開發(fā)一個(gè)有效學(xué)習(xí)中間解耦表示的模型仍然是難以捉摸的?！癛econstruction and Regression Loss for Time-Series Transfer Learning”的作者探索創(chuàng)建一個(gè)專門的損失函數(shù)，幫助促進(jìn)正遷移通過解耦過程。他們建議在使用特定時(shí)間序列模型進(jìn)行預(yù)測(cè)之前，先使用初始模型(與重建損失一起)提取一般特征。盡管本文僅限于單變量時(shí)間序列預(yù)測(cè)用例，但該技術(shù)似乎有助于提高性能。

第二個(gè)挑戰(zhàn)是多元時(shí)間序列預(yù)測(cè)，許多問題的特征時(shí)間序列數(shù)量不同。例如，對(duì)于COVID-19，我們可能有流動(dòng)性數(shù)據(jù)(3個(gè)特征)，新感染(1個(gè)特征)，天氣(3個(gè)特征)共7個(gè)特征。然而，對(duì)于像流感預(yù)測(cè)這樣的東西，我們可能只有新感染病例和總共四個(gè)特征的天氣數(shù)據(jù)(例如，沒有為流感收集移動(dòng)數(shù)據(jù))。在我們的實(shí)驗(yàn)中，我們通常發(fā)現(xiàn)使用一個(gè)模型特定的初始“embedding_layer”很有幫助，然后使用可轉(zhuǎn)移的中間層。

如何使用Flow forecast進(jìn)行遷移學(xué)習(xí)

Flow forecast是一個(gè)開源的系列深度學(xué)習(xí)框架(https://github.com/AIStream-Peelout/flow-forecast)

為了方便時(shí)間序列預(yù)測(cè)的遷移學(xué)習(xí)，F(xiàn)low forecast有幾個(gè)特點(diǎn)，使預(yù)訓(xùn)練和利用預(yù)訓(xùn)練的時(shí)間序列模型變得容易。在模型參數(shù)部分，您可以使用一個(gè)名為excluded_layers的參數(shù)。這意味著，當(dāng)您加載一個(gè)預(yù)先訓(xùn)練好的模型時(shí)，這些層的權(quán)重將不會(huì)被加載，而會(huì)被實(shí)例化為fresh(如果它們存在于新模型中)。

"excluded_layers":["embedding_layer.weight", "embedding_lay.bias", "dense_shape.weight", "dense_shape.bias"]

這使得在多個(gè)層可能不存在或與形狀不匹配的情況下，可以很容易地利用模型的權(quán)重。看看這個(gè)筆記本的例子(https://colab.research.google.com/drive/169NO9B_il-E34Kdos1hxunuDFuD6rjuW#scrollTo=dx-tmLRain2Z)。

其次，通過Flow forecast，我們可以很容易地跟蹤訓(xùn)練前的數(shù)據(jù)集。這意味著您可以輕松地跟蹤您的模型所訓(xùn)練的其他時(shí)間序列數(shù)據(jù)的完整歷史。這可以幫助找到最好的訓(xùn)練前數(shù)據(jù)集。

最后，F(xiàn)low forecast正在努力增加額外的特性，例如使它容易使用不同的學(xué)習(xí)率和選擇性凍結(jié)不同的層，以及設(shè)計(jì)自動(dòng)編碼器模塊，以找到最相似的時(shí)間數(shù)據(jù)集。我們認(rèn)為簡單的遷移學(xué)習(xí)是我們框架中最優(yōu)先考慮的一類特性。

在研究中發(fā)現(xiàn)了什么

到目前為止，我們發(fā)現(xiàn)廣義轉(zhuǎn)移學(xué)習(xí)對(duì)于像COVID-19預(yù)測(cè)這樣的小數(shù)據(jù)集是有用的。我們還沒有在大數(shù)據(jù)集上對(duì)其進(jìn)行足夠廣泛的測(cè)試，因此無法就此得出結(jié)論。我們還相信，在將元數(shù)據(jù)納入預(yù)測(cè)時(shí)，遷移學(xué)習(xí)是非常有效的。例如，模型需要查看許多不同類型的元數(shù)據(jù)和時(shí)態(tài)數(shù)據(jù)，以學(xué)習(xí)如何有效地合并它們。我們還可以設(shè)計(jì)了一種轉(zhuǎn)移學(xué)習(xí)協(xié)議，我們首先掃描以找到最佳的靜態(tài)超參數(shù)。然后，在對(duì)非靜態(tài)參數(shù)(如批大小、學(xué)習(xí)率等)進(jìn)行最后的超參數(shù)掃描之前，我們使用這些參數(shù)對(duì)模型進(jìn)行預(yù)訓(xùn)練(如預(yù)測(cè)長度、層數(shù))。

總結(jié)

時(shí)間序列的遷移學(xué)習(xí)取得了一定的進(jìn)展，但還沒有得到廣泛的應(yīng)用。這可能是由于特征數(shù)量、中間表示的有用性和季節(jié)性差異(例如更多的負(fù)遷移)方面的問題造成的。但是像Flow forecast這種框架的出現(xiàn)，為我們提供更多易于使用的模塊，以便在時(shí)域成功地利用轉(zhuǎn)移學(xué)習(xí)變得簡單。我們相信遷移學(xué)習(xí)將在時(shí)間序列中發(fā)揮更大的作用。

“如何使用Flow forecast進(jìn)行時(shí)間序列預(yù)測(cè)和分類的遷移”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！