如何進(jìn)行TensorFlow與PyTorch對(duì)比

如何進(jìn)行TensorFlow與PyTorch對(duì)比，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

用TensorFlow還是PyTorch？從TensorFlow開(kāi)始學(xué)起還是PyTorch？在一年前，這個(gè)問(wèn)題毫無(wú)爭(zhēng)議，當(dāng)然是TensorFlow. 但時(shí)過(guò)境遷，現(xiàn)在的情況大不一樣了，下面就來(lái)分析對(duì)比一下這兩個(gè)主流框架。

首先看一下最近的統(tǒng)計(jì)數(shù)據(jù)，下圖的數(shù)據(jù)是從arxiv論文中統(tǒng)計(jì)得到的。上面的黃線是TensorFlow的使用比例，下面的紅線是PyTorch的使用比例，可以看出，最近的數(shù)據(jù)兩者已經(jīng)不差上下，甚至紅線PyTorch在2019.6要略勝一籌。

右邊的條形圖是從1月到6月的累計(jì)數(shù)據(jù)，TensorFlow占比還是要略高一點(diǎn)，但是23%的增長(zhǎng)率明顯要低于PyTorch的194%.也就是說(shuō)，現(xiàn)在TensorFlow和PyTorch在學(xué)術(shù)界的使用率上來(lái)說(shuō)已經(jīng)不差上下了。

來(lái)源：https://www.oreilly.com/ideas/one-simple-graphic-researchers-love-pytorch-and-tensorflow

決定一個(gè)框架的使用率有哪些因素呢？我總結(jié)有以下四個(gè)方面：

1. 易用性

2. 速度

3. 算子數(shù)量

4. 開(kāi)源模型

第一是易用性。PyTorch自從2018年12月PyTorch 1.0 stable版本正式發(fā)布以來(lái)，只有半年多的時(shí)間，能迅速增長(zhǎng)易用性功不可沒(méi)。PyTorch的易用性一方面是debug簡(jiǎn)單，可以直接設(shè)置斷點(diǎn)查看各個(gè)tensor的值，另一方面tensor可以和numpy格式互相轉(zhuǎn)換調(diào)用，可以使用python的控制流，大大擴(kuò)充了其靈活性（TensorFlow推出的eager模式有類(lèi)似目的和效果）。

第二是速度。訓(xùn)練是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程，用GPU訓(xùn)練一兩天是正常，甚至有的大模型大數(shù)據(jù)量需要十天半個(gè)月（例如BERT large），因此訓(xùn)練速度也是大家比較關(guān)心的一個(gè)指標(biāo)。PyTorch雖然提供了非常靈活的接口，采用動(dòng)態(tài)圖機(jī)制，但是也做了非常多的優(yōu)化，比如異步調(diào)用，盡量流水執(zhí)行等方式，使得其速度和TensorFlow相當(dāng)，甚至一些場(chǎng)景優(yōu)于TensorFlow.

第三是算子數(shù)量。這一點(diǎn)TensorFlow無(wú)疑是最大的贏家，提供的python API達(dá)到8000多個(gè)（參見(jiàn)https://tensorflow.google.cn/api_docs/python），基本上不存在用戶(hù)找不到的算子，所有的算法都可以用TensorFlow算子拼出來(lái)。不過(guò)API過(guò)多也是個(gè)負(fù)擔(dān)，又是low level又是high level，容易把用戶(hù)整暈。PyTorch由于起步較晚，數(shù)量少有劣勢(shì)，但質(zhì)量上有優(yōu)勢(shì)。

第四是開(kāi)源模型。這點(diǎn)其實(shí)也非常重要，試想一下，現(xiàn)在你要用BERT，這個(gè)是由Google研究發(fā)布，基于TensorFlow開(kāi)源的，那自然只能選TensorFlow上手了。雖然后續(xù)有人開(kāi)源PyTorch的版本，但畢竟時(shí)間上要晚一些，而且非官方的，質(zhì)量不能得到100%的保證，關(guān)注度會(huì)大打折扣。不過(guò)PyTorch這方面也非常重視，之前把何凱明挖過(guò)去，構(gòu)建了自己的圖像檢測(cè)、分割開(kāi)源庫(kù)Detectron，對(duì)提升PyTorch的使用率起了很大作用。

總得來(lái)說(shuō)，這兩種框架是都需要必備的，掌握各自的使用技巧，多看新的模型，才能立于不敗之地~

附錄：

TensorFlow models:

bert

boosted_trees

mnist

resnet

transformer

wide_deep

adversarial_crypto

adversarial_text

attention_ocr

audioset

autoencoder

brain_coder

cognitive_mapping_and_planning

compression

cvt_text

deep_contextual_bandits

deep_speech

deeplab

delf

differential_privacy

domain_adaptation

fivo

gan

im2txt

inception

keypointnet

learning_to_remember_rare_events

learning_unsupervised_learning

lexnet_nc

lfads

lm_1b

lm_commonsense

maskgan

namignizer

neural_gpu

neural_programmer

next_frame_prediction

object_detection

pcl_rl

ptn

marco

qa_kg

real_nvp

rebar

resnet

seq2species

skip_thoughts

slim

street

struct2depth

swivel

syntaxnet

tcn

textsum

transformer

vid2depth

video_prediction

PyTorch models

AlexNet

VGG

ResNet

SqueezeNet

DenseNet

Inception v3

GoogLeNet

ShuffleNet v2

MobileNet v2

ResNeXt

FCN ResNet101

DeepLabV3 ResNet101

Faster R-CNN ResNet-50 FPN

Mask R-CNN ResNet-50 FPN

Keypoint R-CNN ResNet-50 FPN

關(guān)于如何進(jìn)行TensorFlow與PyTorch對(duì)比問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。