怎么把PyTorch Lightning模型部署到生產(chǎn)中

這篇文章主要講解了“怎么把PyTorch Lightning模型部署到生產(chǎn)中”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么把PyTorch Lightning模型部署到生產(chǎn)中”吧！

部署PyTorch Lightning模型進行推理的每種方法

有三種方法可以導(dǎo)出PyTorch Lightning模型進行投放：

• 將模型另存為PyTorch檢查點

• 將模型轉(zhuǎn)換為ONNX

• 將模型導(dǎo)出到Torchscript

我們可以通過Cortex為這三個服務(wù)。

1.直接打包和部署PyTorch Lightning模塊

從最簡單的方法開始，讓我們部署一個沒有任何轉(zhuǎn)換步驟的PyTorch Lightning模型。

PyTorch Lightning Trainer是一個抽象樣板訓(xùn)練代碼（思考訓(xùn)練和驗證步驟）的類，它具有內(nèi)置的save_checkpoint（）函數(shù)，該函數(shù)會將您的模型另存為.ckpt文件。要將模型保存為檢查點，只需將以下代碼添加到訓(xùn)練腳本中：

現(xiàn)在，在我們開始為該檢查點提供服務(wù)之前，需要注意的是，雖然我一直說“ PyTorch Lightning模型”，但PyTorch Lightning是PyTorch的包裝器-項目的README字面意思是“ PyTorch Lightning只是有組織的PyTorch?！?nbsp;因此，導(dǎo)出的模型是普通的PyTorch模型，可以相應(yīng)地使用。

有了保存的檢查點，我們可以在Cortex中輕松地為模型提供服務(wù)。如果您不熟悉Cortex，可以 在這里快速熟悉一下，但是Cortex部署過程的簡單概述是：

• 我們使用Python為我們的模型編寫了一個預(yù)測API

• 我們在YAML中定義我們的API基礎(chǔ)結(jié)構(gòu)和行為

• 我們使用CLI中的命令部署API

我們的預(yù)測API將使用Cortex的Python Predictor類定義一個init（）函數(shù)來初始化我們的API并加載模型，并使用一個define（）函數(shù)在查詢時提供預(yù)測：

很簡單 我們從訓(xùn)練代碼中重新調(diào)整了一些代碼的用途，添加了一些推理邏輯，僅此而已。需要注意的一件事是，如果將模型上傳到S3（推薦），則需要添加一些邏輯來訪問它。

接下來，我們在YAML中配置基礎(chǔ)架構(gòu)：

再次，簡單。我們給我們的API起個名字，告訴Cortex我們的預(yù)測API在哪里，并分配一些CPU。

接下來，我們部署它：

請注意，我們還可以部署到集群，由Cortex加速和管理：

在所有部署中，Cortex都會容器化我們的API并將其公開為Web服務(wù)。通過云部署，Cortex可以配置負載平衡，自動擴展，監(jiān)視，更新和許多其他基礎(chǔ)架構(gòu)功能。

就是這樣！現(xiàn)在，我們有一個實時Web API，可根據(jù)要求提供模型預(yù)測。

2.導(dǎo)出到ONNX并通過ONNX運行時進行投放

現(xiàn)在，我們已經(jīng)部署了一個普通的PyTorch檢查點，讓事情復(fù)雜一些。

PyTorch Lightning最近添加了一個方便的抽象，用于將模型導(dǎo)出到ONNX（以前，您可以使用PyTorch的內(nèi)置轉(zhuǎn)換功能，盡管它們需要更多樣板）。要將模型導(dǎo)出到ONNX，只需將以下代碼添加到您的訓(xùn)練腳本中：

請注意，您的輸入樣本應(yīng)模仿實際模型輸入的形狀。

導(dǎo)出ONNX模型后，就可以使用Cortex的ONNX Predictor為其提供服務(wù)。代碼基本上看起來是相同的，并且過程是相同的。例如，這是一個ONNX預(yù)測API：

基本上一樣。唯一的區(qū)別是，我們不是通過直接初始化模型，而是通過onnx_client訪問該數(shù)據(jù)，這是Cortex為服務(wù)于我們的模型而啟動的ONNX運行時容器。

我們的YAML看起來也很相似：

我在此處添加了一個監(jiān)視標志，目的只是為了顯示配置的簡便程度，并且有一些ONNX特定字段，但其他方面都是相同的YAML。

最后，我們使用與之前相同的$ cortex deploy命令進行部署，并且我們的ONNX API已啟用。

3.使用Torchscript的JIT編譯器進行序列化

對于最終部署，我們將把PyTorch Lightning模型導(dǎo)出到Torchscript并使用PyTorch的JIT編譯器提供服務(wù)。要導(dǎo)出模型，只需將其添加到您的訓(xùn)練腳本中：

用于此目的的Python API與原始PyTorch示例幾乎相同：

YAML保持與以前相同，并且CLI命令當然是一致的。如果需要的話，我們實際上可以更新我們以前的PyTorch API來使用新模型，只需將新的舊的dictor.py腳本替換為新的腳本，然后再次運行$ cortex部署：

Cortex在此處自動執(zhí)行滾動更新，在該更新中，新的API會被啟動，然后與舊的API交換，從而避免了模型更新之間的任何停機時間。

這就是全部?，F(xiàn)在，您已經(jīng)具有用于實時推理的完全可操作的預(yù)測API，可根據(jù)Torchscript模型提供預(yù)測。

感謝各位的閱讀，以上就是“怎么把PyTorch Lightning模型部署到生產(chǎn)中”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對怎么把PyTorch Lightning模型部署到生產(chǎn)中這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！