您好,登錄后才能下訂單哦!
這篇文章主要介紹Pytorch中如何使用ImageFolder讀取數(shù)據(jù)集時忽略特定文件,文中介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們一定要看完!
如果事先知道需要忽略哪些文件,當(dāng)然直接從數(shù)據(jù)集里刪除就行了。但如果需要在程序運行時動態(tài)確認(rèn),或者篩選規(guī)則比較復(fù)雜,人工不好做,就需要讓ImageFolder
在讀取時使用自定義的篩選規(guī)則。
ImageFolder有一個可選參數(shù)為is_valid_file
,參數(shù)類型為可調(diào)用的函數(shù),該函數(shù)傳入一個str參數(shù),返回一個bool值。當(dāng)返回值為True時保留該文件,否則忽略。
例如,讀取時想要忽略所有文件名帶‘invalid’的文件,
代碼如下:
import platform from torchvision.datasets import ImageFolder class Check(object): def __init__(self, key_word: str): self.key_word = key_word self.separator = '\\' if platform.system() == 'Windows' else '/' def __call__(self, file_name: str) -> bool: folders = file_name.split(self.separator) return folders[-1].find(self.key_word) < 0 dataset = ImageFolder('./data', is_valid_file=Check('invalid'))
這里定義了一個實現(xiàn)了__call__
方法的Check類,相比于直接定義函數(shù)的好處在于可以在構(gòu)造函數(shù)里指定想要忽略的字符,并且能夠根據(jù)操作系統(tǒng)的不同把文件目錄分隔符給確定了。
更加復(fù)雜的功能可以自行修改代碼邏輯實現(xiàn),但是要注意如果某個類別的所有文件都被篩選掉了,ImageFolder
會報FileNotFoundError
錯誤。
如果想要忽略整個類別可以使用下面方法?。。?/p>
直接繼承并且重寫ImageFolder
類的find_classes
方法即可
from torchvision.datasets.folder import * from typing import * class FilterableImageFolder(ImageFolder): def __init__( self, root: str, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, loader: Callable[[str], Any] = default_loader, is_valid_file: Optional[Callable[[str], bool]] = None, valid_classes: List = None ): self.valid_classes = valid_classes super(FilterableImageFolder, self).__init__(root, transform, target_transform, loader, is_valid_file) def find_classes(self, directory: str) -> Tuple[List[str], Dict[str, int]]: classes = sorted(entry.name for entry in os.scandir(directory) if entry.is_dir()) #增加了這下面這句 classes = [valid_class for valid_class in classes if valid_class in self.valid_classes] if not classes: raise FileNotFoundError(f"Couldn't find any class folder in {directory}.") class_to_idx = {cls_name: i for i, cls_name in enumerate(classes)} return classes, class_to_idx
使用時,例如有mouse
、cat
、dog
三個類別的數(shù)據(jù)集文件夾,只想讀取cat
和dog
,
代碼如下:
dataset = FilterableImageFolder('./data', valid_classes=['cat', 'dog'])
以上是“Pytorch中如何使用ImageFolder讀取數(shù)據(jù)集時忽略特定文件”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。