Windows環(huán)境下老顯卡跑PyTorch GPU版本方示例分析

Windows環(huán)境下老顯卡跑PyTorch GPU版本方示例分析，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

Windows環(huán)境下老顯卡跑PyTorch GPU版本

從pytorch 1.3開始 不再支持GPU的算力在3.5及其以下的顯卡。這時，你只能安裝1.2版本的官方Pytorch。如果夠用就安裝它吧，省心省力。但是如果你要用其它包需要更高版本的torch支持，比如：torch geometric需要至少1.4版本。你只能使用官方的CPU版本，因為官方的版本不再直接支持GPU算力3.5以下版本，簡化版本的分發(fā)（Torch已經很大了）。到了Torch 1.7時，GPU算力至少要達到5.2。  這時，我們需要在Windows上重新編譯Pytorch 源碼，得到適合自己顯卡的Torch。在編譯時，系統會自動把GPU算力下限設為當前機器顯卡的算力，比如GT 730M 1G 顯卡算力為3.5。

下面以Torch 1.7為例來說明整個操作過程。

1. 編譯工具和第三方庫

1.1 Visual studio 2019

原帖子上說最新的VS 2019有點問題，我并沒有去證實。但是個人認為，原理上應該不會這樣的，或者說不是關鍵問題。但是我還是按帖子上的說法，安裝了16.6.5版本Professional版本。

https://docs.microsoft.com/en-us/visualstudio/releases/2019/history 里面的16.6.5版本。

只需要安裝 C++桌面開發(fā)即可。

1.2 Cuda toolkit

去Nvidia官網下 https://developer.nvidia.com/cuda-toolkit

下載的版本選擇cuda 10.1，cuda_10.1.105_418.96_win10.exe

需要安裝NVCC，與Visual Studio相關的插件部分。

1.3 cudnn

這個的安裝可以參考windows_cudnn_install. ( https://github.com/pytorch/pytorch/blob/master/.circleci/scripts/windows_cudnn_install.sh)

可以看到對應cuda10.1為v7.6.4.38，即cudnn-10.1-windows10-x64-v7.6.4.38.zip（不斷地更新中）

https://developer.nvidia.com/compute/machine-learning/cudnn/secure/7.6.4.38/Production/10.1_20190923/cudnn-10.1-windows10-x64-v7.6.4.38.zip

將文件解壓出來后，移動到Cuda toolkit安裝路徑中。（只是為了簡化配置過程中的目錄的設定）

1.4 mkl

這個的安裝可以參考install_mkl

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_mkl.bat

根據目前的官方文檔下載：

https://s3.amazonaws.com/ossci-windows/mkl_2020.0.166.7z

1.5 magma

參考install_magma

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_magma.bat

需要注意的是，要注意區(qū)別release和debug版本，如果你想下載cuda110的release版本，就xxx_cuda110_release,否則就是xxx_cuda110_debug。編譯的時候release就用release版本，debug就用debug版本

根據目前的官方文檔下載：

https://s3.amazonaws.com/ossci-windows/magma_2.5.4_cuda101_release.7z

1.6 sccache

參考install_sccache

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_sccache.bat

根據官方文檔下載：

https://s3.amazonaws.com/ossci-windows/sccache.exe

https://s3.amazonaws.com/ossci-windows/sccache-cl.exe

1.7 ninja

下載：ninja-win.zip

https://github.com/ninja-build/ninja/releases

mkl, magma, sccache 和ninja下載解壓后最好放在同一個目錄下。

Nvcc和randomtemp.exe先不管它們，后面再說。

1.8 安裝Ananconda 或者 miniconda

Torch官方文檔推薦使用conda環(huán)境。這里我還是使用pip。實踐證明沒有問題。

1.9 安裝python 包

Pip install numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing_extensions future six requests dataclasses

2. 設置環(huán)境變量

生成一個批處理文件進行環(huán)境變量的設置。

set -x

set BUILD_TYPE=release
set USE_CUDA=1
set DEBUG=
rem set DEBUG=1 for debug version

set USE_DISTRIBUTED=0
set CMAKE_VERBOSE_MAKEFILE=1

set TMP_DIR_WIN=D:\pytorch\needed\
set CMAKE_INCLUDE_PATH=%TMP_DIR_WIN%\mkl\include
set LIB=%TMP_DIR_WIN%\mkl\lib;%LIB
set MAGMA_HOME=%TMP_DIR_WIN%\magma

rem version transformer, for example 10.1 to 10_1.
set CUDA_SUFFIX=cuda10_1
set CUDA_PATH_V%VERSION_SUFFIX%=%CUDA_PATH%

set CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set CUDNN_LIB_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\lib\x64
set CUDA_TOOLKIT_ROOT_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set CUDNN_ROOT_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set NVTOOLSEXT_PATH=C:\Program Files\NVIDIA Corporation\NvToolsExt
set CUDNN_INCLUDE_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include
set NUMBAPRO_CUDALIB=%CUDA_PATH%\bin
set NUMBAPRO_LIBDEVICE=%CUDA_PATH%\nvvm\libdevice
set NUMBAPRO_NVVM=%CUDA_PATH%\nvvm\bin\nvvm64_33_0.dll

set PATH=%CUDA_PATH%\bin;%CUDA_PATH%\libnvvp;%PATH%

set DISTUTILS_USE_SDK=1

set TORCH_CUDA_ARCH_LIST=3.5
set TORCH_NVCC_FLAGS=-Xfatbin -compress-all

set PATH=%TMP_DIR_WIN%\bin;%PATH%
set SCCACHE_IDLE_TIMEOUT=0
sccache --stop-server
sccache --start-server
sccache --zero-stats
set CC=sccache-cl
set CXX=sccache-cl

set CMAKE_GENERATOR=Ninja
if "%USE_CUDA%"=="1" (
  copy %TMP_DIR_WIN%\bin\sccache.exe %TMP_DIR_WIN%\bin\nvcc.exe

  :: randomtemp is used to resolve the intermittent build error related to CUDA.
  :: code: https://github.com/peterjc123/randomtemp
  :: issue: https://github.com/pytorch/pytorch/issues/25393
  ::
  :: Previously, CMake uses CUDA_NVCC_EXECUTABLE for finding nvcc and then
  :: the calls are redirected to sccache. sccache looks for the actual nvcc
  :: in PATH, and then pass the arguments to it.
  :: Currently, randomtemp is placed before sccache (%TMP_DIR_WIN%\bin\nvcc)
  :: so we are actually pretending sccache instead of nvcc itself.
  :: curl -kL https://github.com/peterjc123/randomtemp/releases/download/v0.3/randomtemp.exe --output %TMP_DIR_WIN%\bin\randomtemp.exe
  set RANDOMTEMP_EXECUTABLE=%TMP_DIR_WIN%\bin\nvcc.exe
  set CUDA_NVCC_EXECUTABLE=%TMP_DIR_WIN%\bin\randomtemp.exe
  set RANDOMTEMP_BASEDIR=%TMP_DIR_WIN%\bin
)
set CMAKE_GENERATOR_TOOLSET_VERSION=14.26
set CMAKE_GENERATOR=Visual Studio 16 2019

"C:\Program Files (x86)\Microsoft Visual Studio\2019\Professional\VC\Auxiliary\Build\vcvarsall.bat" x64 -vcvars_ver=14.26

注意幾點：

1）如果編譯的是Cuda10的話，原帖上說：“set TORCH_CUDA_ARCH_LIST=3.7+PTX;5.0;6.0;6.1;7.0;7.5;8.”TORCH_CUDA_ARCH_LIST要去掉 8.0。

我這里直接設定為3.5。這里設定的就是算力下限。

2）編譯debug/release版本是，下載對應的Magma debug/release版本包

3） 如果只編譯CPU版本的話，設置USE_CUDA=0

4）這里將randomtemp.exe直接下載到本地。

5）腳本會自動復制nvcc.exe到設定目錄。它是編譯gpu代碼的工具。

6）關閉了分布式訓練的功能。set USE_DISTRIBUTED=0

3. 準備Torch源碼

根據Torch官方文檔：

Get the PyTorch Source
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
# if you are updating an existing checkout
git submodule sync
git submodule update --init –recursive

這里—recursive是遞歸下載Torch依賴的第三方git庫。這里存在的問題是，在國內連接github的速度并不穩(wěn)定，為了以免下載的源碼出問題，我選擇下載zip打包后的源碼。

注：直接在github上進行下載是最方便的。 只是需要幾個小時的時間，下載的速度只有20~50k/s，下載整個項目需要數個小時時間。（項目有600M以上，我沒有堅持下載完全。中途斷線了）

性子急的，才用下面的方法?？?，但需要細心。

重要的地方是，這種打包下載是不能自動下載Torch所依賴的第三方庫。只能自己手動下載與Torch版本所對應的第三方庫。（與當前準備編譯Torch版本所對應的第三方庫，這很重要，淚?。?/p>

通過Tag標簽，找到自己準備編譯的1.7版本。

下載打包后的源碼。

https://github.com/pytorch/pytorch/archive/v1.7.0.zip

這個也可以到國內的Gitee鏡像站下載?？梢灾苯釉趪鴥菺itee上使用指令git clone –recursive（我沒有實驗過，但是原理上是可行的。但是下載第三方庫時，依然會訪問github上的庫）

https://gitee.com/mirrors/pytorch?_from=gitee_search

然后，進入Torch 1.7.0 分支的third_party。下載它所依賴的第三方庫。

https://github.com/pytorch/pytorch/tree/v1.7.0/third_party

一共36個庫文件。我全部下載的打包zip源碼。

• 其中fbgemm庫是一個關鍵庫，它又依賴了三個其它的第三方庫。

請注意它們之間版本對應關系（到github上看清楚上面的版本鏈接）。

對于Torch，FBGEMM不一定對應是最新版本。不同版本函數接口不一樣，會導致編譯的失敗。

另外，ideep也依賴于自己的第三方庫mkl-dnn @ 5ef631a。這也是一個關鍵的庫。

最后，把全部源碼根據Git上的形式整合到一起。這時源碼全部準備好了。

（注意：由于手動整合源碼，主要問題是確保各個第三方庫版本與當前的Torch版本是配合的。是配合的。是配合的。）如果直接在網上git下載源碼，就不會存在版本不對的問題，但是有可能下載不動，或者殘缺的風險。

自己動手，豐衣足食！

4. 開始編譯

請使用Powershell terminal, 而不要使用cmd。（在cmd中，中文的顯示有問題。萬一編譯出錯，你都不知道它在說什么）。也不需要管理員權限。給它也行。

進入Powershell terminal，首先運行前面生成批處理文件./set_env.bat，進行環(huán)境變量的設置。

然后，編譯libtorch。

python tools\build_libtorch.py

我只進行了庫文件的編譯。在i5-4200M的機器上，整個編譯過程近6個小時，生成12G左右的臨時文件和編譯文件。

（注意：不要嘗試在VS環(huán)境下直接cmake和編譯庫，因為官方腳本還做了其它事情）

5. 移花接木

到官方網站下載 1.7 GPU cu101版本。

安裝后，用自己編譯生成的兩個庫文件，替換掉官方提供的。下面官方的cuda有600M。

自己生成的只有它的八分之一。當然，也沒有了分布式訓練功能，因為前面沒有選擇它。

再進行一下測試。

看完上述內容，你們掌握Windows環(huán)境下老顯卡跑PyTorch GPU版本方示例分析的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業(yè)資訊頻道，感謝各位的閱讀！