python腳本如何生成caffe train_list.txt

這篇文章主要介紹了python腳本如何生成caffe train_list.txt，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

首先給出代碼：

import os
    
path = "/home/data//"
path_exp = os.path.expanduser(path)
classes = [int(p) for p in os.listdir(path_exp)]
classes.sort()
# nrof_classes一個(gè)數(shù)據(jù)集下有多少個(gè)文件夾,就是說(shuō)有多少個(gè)人,多少個(gè)類別
nrof_classes = len(classes)
count=0
files = open("train_list.txt",'w')
filets = open("test_list.txt",'w')
count_u=0
for i in range(nrof_classes):
  class_name = str(classes[i])
  count=count+1
  count_u=count_u+1
  facedir = os.path.join(path_exp, class_name)
  prefix1 = path+class_name+"/"

  if os.path.isdir(facedir):
    images = os.listdir(facedir)
    #print(images[0])
    image_paths = [(prefix1+img+" "+class_name+"\n") for img in images]
    #print(image_paths[0])
    if count < 0.8*nrof_classes:
      if len(image_paths)>4:
        test_path=[]
        for x in range(2):
          test_path.append(image_paths[0])
          del image_paths[0]
        filets.writelines(test_path)
    files.writelines(image_paths)
    #if count==2:
    #  break
    #imgae_pathses = []
    #防止圖像大小為0
    #for x in image_paths:
    #  if os.path.getsize(x)>0:
    #    imgae_pathses.append(x)
    #if len(imgae_pathses)==0:
    #  os.rmdir(facedir)
files.close()
filets.close()

python下os模塊的一下有用的用法：

0 重命名：文件和文件夾都是一個(gè)命令：

os.rename(original_dir,new_dir)

1 文件操作：

os.mknod("test.txt")        創(chuàng)建空文件
fp = open("test.txt",w)     直接打開(kāi)一個(gè)文件，如果文件不存在則創(chuàng)建文件

關(guān)于open 模式：

w     以寫(xiě)方式打開(kāi)，
a     以追加模式打開(kāi) (從 EOF 開(kāi)始, 必要時(shí)創(chuàng)建新文件)
r+     以讀寫(xiě)模式打開(kāi)
w+     以讀寫(xiě)模式打開(kāi) (參見(jiàn) w )
a+     以讀寫(xiě)模式打開(kāi) (參見(jiàn) a )
rb     以二進(jìn)制讀模式打開(kāi)
wb     以二進(jìn)制寫(xiě)模式打開(kāi) (參見(jiàn) w )
ab     以二進(jìn)制追加模式打開(kāi) (參見(jiàn) a )
rb+    以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) r+ )
wb+    以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) w+ )
ab+    以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) a+ )

fp.read([size])                     #size為讀取的長(zhǎng)度，以byte為單位

fp.readline([size])                 #讀一行，如果定義了size，有可能返回的只是一行的一部分

fp.readlines([size])                #把文件每一行作為一個(gè)list的一個(gè)成員，并返回這個(gè)list。其實(shí)它的內(nèi)部是通過(guò)循環(huán)調(diào)用readline()來(lái)實(shí)現(xiàn)的。如果提供size參數(shù)，size是表示讀取內(nèi)容的總長(zhǎng)，也就是說(shuō)可能只讀到文件的一部分。

fp.write(str)                      #把str寫(xiě)到文件中，write()并不會(huì)在str后加上一個(gè)換行符

fp.writelines(seq)            #把seq的內(nèi)容全部寫(xiě)到文件中(多行一次性寫(xiě)入)。這個(gè)函數(shù)也只是忠實(shí)地寫(xiě)入，不會(huì)在每行后面加上任何東西。

fp.close()                        #關(guān)閉文件。python會(huì)在一個(gè)文件不用后自動(dòng)關(guān)閉文件，不過(guò)這一功能沒(méi)有保證，最好還是養(yǎng)成自己關(guān)閉的習(xí)慣。  如果一個(gè)文件在關(guān)閉后還對(duì)其進(jìn)行操作會(huì)產(chǎn)生ValueError

fp.flush()                                      #把緩沖區(qū)的內(nèi)容寫(xiě)入硬盤(pán)

fp.fileno()                                      #返回一個(gè)長(zhǎng)整型的”文件標(biāo)簽“

fp.isatty()                                      #文件是否是一個(gè)終端設(shè)備文件（unix系統(tǒng)中的）

fp.tell()                                         #返回文件操作標(biāo)記的當(dāng)前位置，以文件的開(kāi)頭為原點(diǎn)

fp.next()                                       #返回下一行，并將文件操作標(biāo)記位移到下一行。把一個(gè)file用于for … in file這樣的語(yǔ)句時(shí)，就是調(diào)用next()函數(shù)來(lái)實(shí)現(xiàn)遍歷的。

fp.seek(offset[,whence])              #將文件打操作標(biāo)記移到offset的位置。這個(gè)offset一般是相對(duì)于文件的開(kāi)頭來(lái)計(jì)算的，一般為正數(shù)。但如果提供了whence參數(shù)就不一定了，whence可以為0表示從頭開(kāi)始計(jì)算，1表示以當(dāng)前位置為原點(diǎn)計(jì)算。2表示以文件末尾為原點(diǎn)進(jìn)行計(jì)算。需要注意，如果文件以a或a+的模式打開(kāi)，每次進(jìn)行寫(xiě)操作時(shí)，文件操作標(biāo)記會(huì)自動(dòng)返回到文件末尾。

fp.truncate([size])                       #把文件裁成規(guī)定的大小，默認(rèn)的是裁到當(dāng)前文件操作標(biāo)記的位置。如果size比文件的大小還要大，依據(jù)系統(tǒng)的不同可能是不改變文件，也可能是用0把文件補(bǔ)到相應(yīng)的大小，也可能是以一些隨機(jī)的內(nèi)容加上去。

也可以直接打開(kāi)式的新建文件：

  with open('path0.txt','ab') as f:
    for d in arr:
      np.savetxt(f,d,fmt='%5f')

path0.txt將直接在python腳本所在目錄新建

arr是shape是height x width x channel的numpy數(shù)組，注意，這里這么寫(xiě)是因?yàn)閚umpy一次只能夠保存一個(gè)height x width維度的數(shù)據(jù)

2 新建、刪除文件夾

新建：os.makedirs()

比如windows下新建E:\\dir\\subdir\\

os.makedirs('E:\\dir\\subdir\\') 或者 os.makedirs('E:/dir/subdir/')

ubuntu下新建就是os.makedirs('/home/dir/subdir/')

復(fù)制文件：

shutil.copyfile("oldfile","newfile")   oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile")oldfile只能是文件夾，newfile可以是文件，也可以是目標(biāo)目錄

復(fù)制文件夾：

shutil.copytree("olddir","newdir")olddir和newdir都只能是目錄，且newdir必須不存在

重命名文件（目錄）

os.rename("oldname","newname")   文件或目錄都是使用這條命令

移動(dòng)文件（目錄）

shutil.move("oldpos","newpos")  

刪除文件

os.remove("file")

刪除目錄

os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir")空目錄、有內(nèi)容的目錄都可以刪

轉(zhuǎn)換目錄

os.chdir("path")   換路徑

獲取文件大?。簅s.path.getsize（filename）

3   需要注意的是，在ubuntu下有可能路徑包括~，因此需要展開(kāi)，展開(kāi)使用：

path_exp = os.path.expanduser(nam)

4  還有一種情況，路徑相連，需要將一級(jí)一級(jí)的目錄連接起來(lái)，os會(huì)自動(dòng)處理層級(jí)目錄之間的/,比如，將目錄/home 和 數(shù)據(jù) 1之間連接起來(lái)：

os.path.join('/home', str(1))，

后面也可以為文件名，是一樣的用法

5  路徑存在:用于判斷目錄是否存在

a = os.path.exists(dir)

存在返回True，否則False

6   獲取目錄列表，就是給出的目錄下的文件或目錄列表：

classes = os.listdir(path_exp)

獲得的是path_exp下的所有文件的列表，包含目錄和文件，

os.path.dirname(path) #返回文件路徑，或者是給定路徑去掉最后一個(gè)目錄后的路徑，

還有一種使用方式是用在文件中：

os.path.dirname(__file__)用于獲取所在文件的路徑

7  運(yùn)行shell命令: os.system()：

ubuntu下：os.system(‘pwd')

Python腳本工作的目錄路徑: os.getcwd()

讀取和設(shè)置環(huán)境變量:os.getenv() 與os.putenv()

給出當(dāng)前平臺(tái)使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'

指示你正在使用的平臺(tái)：os.name 對(duì)于Windows，它是'nt'，而對(duì)于Linux/Unix用戶，它是'posix'

創(chuàng)建多級(jí)目錄：os.makedirs（r“c：\python\test”）

創(chuàng)建單個(gè)目錄：os.mkdir（“test”）

獲取文件屬性：os.stat（file）

修改文件權(quán)限與時(shí)間戳：os.chmod（file）

終止當(dāng)前進(jìn)程：os.exit（）

更全面的os.path用法：

os.path.abspath(path) #返回絕對(duì)路徑
os.path.basename(path) #返回文件名

os.path.basename(‘E:a\b\c.jpg')

'c.jpg'

os.path.commonprefix(list) #返回list(多個(gè)路徑)中，所有path共有的最長(zhǎng)的路徑。
os.path.dirname(path) #返回文件路徑
os.path.exists(path)  #路徑存在則返回True,路徑損壞返回False
os.path.lexists  #路徑存在則返回True,路徑損壞也返回True
os.path.expanduser(path)  #把path中包含的"~"和"~user"轉(zhuǎn)換成用戶目錄
os.path.expandvars(path)  #根據(jù)環(huán)境變量的值替換path中包含的”$name”和”${name}”
os.path.getatime(path)  #返回最后一次進(jìn)入此path的時(shí)間。
os.path.getmtime(path)  #返回在此path下最后一次修改的時(shí)間。
os.path.getctime(path)  #返回path的大小
os.path.getsize(path)  #返回文件大小，如果文件不存在就返回錯(cuò)誤
os.path.isabs(path)  #判斷是否為絕對(duì)路徑
os.path.isfile(path)  #判斷路徑是否為文件
os.path.isdir(path)  #判斷路徑是否為目錄
os.path.islink(path)  #判斷路徑是否為鏈接
os.path.ismount(path)  #判斷路徑是否為掛載點(diǎn)（）
os.path.join(path2[, path3[, ...]])  #把目錄和文件名合成一個(gè)路徑
os.path.normcase(path)  #轉(zhuǎn)換path的大小寫(xiě)和斜杠
os.path.normpath(path)  #規(guī)范path字符串形式
os.path.realpath(path)  #返回path的真實(shí)路徑
os.path.relpath(path[, start])  #從start開(kāi)始計(jì)算相對(duì)路徑
os.path.samefile(path2, path3)  #判斷目錄或文件是否相同
os.path.sameopenfile(fp1, fp2)  #判斷fp1和fp2是否指向同一文件
os.path.samestat(stat1, stat2)  #判斷stat tuple stat1和stat2是否指向同一個(gè)文件

os.path.split(path)  #把路徑分割成dirname和basename，返回一個(gè)元組：
os.path.split(‘E:a\b\c.jpg')

'E:\\a\\b','c.jpg'
os.path.splitdrive(path)   #一般用在windows下，返回驅(qū)動(dòng)器名和路徑組成的元組
os.path.splitext(path)  #分割路徑，返回路徑名和文件擴(kuò)展名的元組

os.path.split(‘E:a\b\c.jpg')

'E:\\a\\b\\c','.jpg'

os.path.splitunc(path)  #把路徑分割為加載點(diǎn)與文件
os.path.walk(path, visit, arg)  #遍歷path，進(jìn)入每個(gè)目錄都調(diào)用visit函數(shù)，visit函數(shù)必須有

3個(gè)參數(shù)(arg, dirname, names)，dirname表示當(dāng)前目錄的目錄名，names代表當(dāng)前目錄下的所有
文件名，args則為walk的第三個(gè)參數(shù)

os.path.supports_unicode_filenames  #設(shè)置是否支持unicode路徑名

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“python腳本如何生成caffe train_list.txt”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!