您好,登錄后才能下訂單哦!
本篇內(nèi)容主要講解“python如何實(shí)現(xiàn)MD5進(jìn)行文件去重”,感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“python如何實(shí)現(xiàn)MD5進(jìn)行文件去重”吧!
前言
工作原理
代碼
工作中偶爾會(huì)遇到文件去重的事情,收到一大堆文件,名稱各不相同,分析文件的時(shí)候發(fā)現(xiàn)有不少重復(fù)的文件,導(dǎo)致工作效率低下,那么,這里就寫了一個(gè)python腳本實(shí)現(xiàn)文件去重功能
腳本會(huì)檢查你給出的文件路徑下的所有文件,然后計(jì)算每個(gè)文件的MD5值,并將其加入到一個(gè)列表中。
如果某文件的MD5值不在列表中,就認(rèn)定其是我們需要的文件,腳本會(huì)在桌面新建一個(gè)名為“去重結(jié)果”的文件夾,并將其復(fù)制到里面去。
如果某文件的MD5值在列表中,就認(rèn)定其不是我們需要的文件,不對(duì)其做任何處理。
代碼可以直接運(yùn)行,無(wú)需做任何修改(除了安裝可能缺少的庫(kù)文件)
import os import shutil import hashlib # 對(duì)文件去重 # 計(jì)算每個(gè)文件的md5值,據(jù)此進(jìn)行去重 def only_one(test_path): md5_list = [] count = 0 for current_folder, list_folders, files in os.walk(test_path): for file in files: file_path = current_folder + '\\' + file # 獲取每個(gè)文件的路徑 f = open(file_path, 'rb') # 開始計(jì)算每個(gè)文件的md5值 md5obj = hashlib.md5() md5obj.update(f.read()) get_hash = md5obj.hexdigest() f.close() md5_value = str(get_hash).upper() # 開始去重 if md5_value in md5_list: # 如果這個(gè)文件的md5值曾經(jīng)出現(xiàn)過,就不對(duì)它做任何處理 count += 1 print('\033[31m[-] 發(fā)現(xiàn)重復(fù)文件:\033[0m' + str(file)) else: md5_list.append(md5_value) # 如果這個(gè)文件的md5值不存在列表中,就添加進(jìn)列表中 shutil.copy(file_path, path2) print('\033[31m[-] 共發(fā)現(xiàn)重復(fù)文件:{}個(gè)\033[0m'.format(count)) if __name__ == '__main__': print('\033[4;33m[+] 此腳本會(huì)檢查指定路徑下的所有文件,通過計(jì)算文件的MD5值進(jìn)行去重\033[0m') print('\033[4;33m[+] 去重后的文件會(huì)復(fù)制到桌面新文件夾中,源文件不會(huì)丟失\033[0m') path = input('\033[34m[+] 請(qǐng)輸入文件夾地址:\033[0m') os.chdir(path) # path2 用來(lái)存放所有的去重結(jié)果 desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop') # 獲取桌面路徑 path2 = os.path.join(desktop_path, '去重結(jié)果') os.makedirs(path2) only_one(path) print('\033[32m[-] 現(xiàn)有非重復(fù)文件共計(jì):{}個(gè)\033[0m'.format(len(os.listdir(path2))))
到此,相信大家對(duì)“python如何實(shí)現(xiàn)MD5進(jìn)行文件去重”有了更深的了解,不妨來(lái)實(shí)際操作一番吧!這里是億速云網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。