使用 Python 實(shí)現(xiàn)文件遞歸遍歷的 3 種方式

今天有個(gè)腳本需要遍歷獲取某指定文件夾下面的所有文件，我記得很早前也實(shí)現(xiàn)過(guò)文件遍歷和目錄遍歷的功能，于是找來(lái)看一看，嘿，不看不知道，看了嚇一跳，原來(lái)之前我竟然用了這么搓的實(shí)現(xiàn)。

先發(fā)出來(lái)看看：

def getallfiles(dir):
"""遍歷獲取指定文件夾下面所有文件"""
    if os.path.isdir(dir):
        filelist = os.listdir(dir)
        for ret in filelist:
            filename = dir + "\\" + ret
            if os.path.isfile(filename):
                print filename

def getalldirfiles(dir, basedir):
"""遍歷獲取所有子文件夾下面所有文件"""
    if os.path.isdir(dir):
        getallfiles(dir)
        dirlist = os.listdir(dir)
        for dirret in dirlist:
            fullname = dir + "\\" + dirret
            if os.path.isdir(fullname):
                getalldirfiles(fullname, basedir)

我是用了 2 個(gè)函數(shù)，并且每個(gè)函數(shù)都用了一次 listdir，只是一次用來(lái)過(guò)濾文件，一次用來(lái)過(guò)濾文件夾，如果只是從功能實(shí)現(xiàn)上看，一點(diǎn)問(wèn)題沒(méi)有，但是這…太不優(yōu)雅了吧。

開(kāi)始著手優(yōu)化，方案一：

def getallfiles(dir):
"""使用listdir循環(huán)遍歷"""
    if not os.path.isdir(dir):
        print dir
        return
    dirlist = os.listdir(dir)
    for dirret in dirlist:
        fullname = dir + "\\" + dirret
        if os.path.isdir(fullname):
            getallfiles(fullname)
        else:
            print fullname

從上圖可以看到，我把兩個(gè)函數(shù)合并成了一個(gè)，只調(diào)用了一次 listdir，把文件和文件夾用 if~else~ 進(jìn)行了分支處理，當(dāng)然，自我調(diào)用的循環(huán)還是存在。

有木有更好的方式呢？網(wǎng)上一搜一大把，原來(lái)有一個(gè)現(xiàn)成的 os.walk() 函數(shù)可以用來(lái)處理文件(夾)的遍歷，這樣優(yōu)化下就更簡(jiǎn)單了。

方案二：

def getallfilesofwalk(dir):
"""使用listdir循環(huán)遍歷"""
    if not os.path.isdir(dir):
        print dir
        return
    dirlist = os.walk(dir)
    for root, dirs, files in dirlist:
        for file in files:
            print os.path.join(root, file)

只是從代碼實(shí)現(xiàn)上看，方案二是最優(yōu)雅簡(jiǎn)潔的了，但是再翻看 os.walk() 實(shí)現(xiàn)的源碼就會(huì)發(fā)現(xiàn)，其實(shí)它內(nèi)部還是調(diào)用的 listdir 完成具體的功能實(shí)現(xiàn)，只是它對(duì)輸出結(jié)果做了下額外的處理而已。

附上os.walk()的源碼：

from os.path import join, isdir, islink

# We may not have read permission for top, in which case we can't
# get a list of the files the directory contains.  os.path.walk
# always suppressed the exception then, rather than blow up for a
# minor reason when (say) a thousand readable directories are still
# left to visit.  That logic is copied here.

try:
    # Note that listdir and error are globals in this module due
    # to earlier import-*.
    names = listdir(top)
except error, err:
    if onerror is not None:
        onerror(err)
    return

dirs, nondirs = [], []
for name in names:
    if isdir(join(top, name)):
        dirs.append(name)
    else:
        nondirs.append(name)

if topdown:
    yield top, dirs, nondirs
for name in dirs:
    path = join(top, name)
    if followlinks or not islink(path):
        for x in walk(path, topdown, onerror, followlinks):
            yield x
if not topdown:
    yield top, dirs, nondirs

至于 listdir 和 walk 在輸出時(shí)的不同點(diǎn)，主要就是 listdir 默認(rèn)是按照文件和文件夾存放的字母順序進(jìn)行輸出，而 walk 則是先輸出頂級(jí)文件夾，然后是頂級(jí)文件，再輸出第二級(jí)文件夾，以及第二級(jí)文件，以此類(lèi)推，具體大家可以把上面腳本拷貝后自行驗(yàn)證。

以上，如果覺(jué)得有用，請(qǐng)幫忙轉(zhuǎn)發(fā)分享，不甚感激。