溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

python中怎么使用tensorflow實現(xiàn)數(shù)據(jù)下載與讀取

發(fā)布時間:2022-07-01 10:33:39 來源:億速云 閱讀:222 作者:iii 欄目:開發(fā)技術(shù)

本篇內(nèi)容介紹了“python中怎么使用tensorflow實現(xiàn)數(shù)據(jù)下載與讀取”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠?qū)W有所成!

一、mnist數(shù)據(jù)

深度學習的入門實例,一般就是mnist手寫數(shù)字分類識別,因此我們應該先下載這個數(shù)據(jù)集。

tensorflow提供一個input_data.py文件,專門用于下載mnist數(shù)據(jù),我們直接調(diào)用就可以了,代碼如下:

import tensorflow.examples.tutorials.mnist.input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

執(zhí)行完成后,會在當前目錄下新建一個文件夾MNIST_data, 下載的數(shù)據(jù)將放入這個文件夾內(nèi)。下載的四個文件為:

python中怎么使用tensorflow實現(xiàn)數(shù)據(jù)下載與讀取

input_data文件會調(diào)用一個maybe_download函數(shù),確保數(shù)據(jù)下載成功。這個函數(shù)還會判斷數(shù)據(jù)是否已經(jīng)下載,如果已經(jīng)下載好了,就不再重復下載。

下載下來的數(shù)據(jù)集被分三個子集:5.5W行的訓練數(shù)據(jù)集(mnist.train),5千行的驗證數(shù)據(jù)集(mnist.validation)和1W行的測試數(shù)據(jù)集(mnist.test)。因為每張圖片為28x28的黑白圖片,所以每行為784維的向量。

每個子集都由兩部分組成:圖片部分(images)和標簽部分(labels), 我們可以用下面的代碼來查看 :

print mnist.train.images.shape
print mnist.train.labels.shape
print mnist.validation.images.shape
print mnist.validation.labels.shape
print mnist.test.images.shape
print mnist.test.labels.shape

如果想在spyder編輯器中查看具體數(shù)值,可以將這些數(shù)據(jù)提取為變量來查看,如:

val_data=mnist.validation.images
val_label=mnist.validation.labels

二、CSV數(shù)據(jù) 

除了mnist手寫字體圖片數(shù)據(jù),tf還提供了幾個csv的數(shù)據(jù)供大家練習,存放路徑為:

/home/xxx/anaconda3/lib/python3.5/site-packages/tensorflow/contrib/learn/python/learn/datasets/data/text_train.csv

如果要將這些數(shù)據(jù)讀出來,可用代碼:

import tensorflow.contrib.learn.python.learn.datasets.base as base
iris_data,iris_label=base.load_iris()
house_data,house_label=base.load_boston()

前者為iris鳶尾花卉數(shù)據(jù)集,后者為波士頓房價數(shù)據(jù)。

三、cifar10數(shù)據(jù)

tf提供了cifar10數(shù)據(jù)的下載和讀取的函數(shù),我們直接調(diào)用就可以了。執(zhí)行下列代碼:

import tensorflow.models.image.cifar10.cifar10 as cifar10
cifar10.maybe_download_and_extract()
images, labels = cifar10.distorted_inputs()
print images
print labels

就可以將cifar10下載并讀取出來。

“python中怎么使用tensorflow實現(xiàn)數(shù)據(jù)下載與讀取”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI