scrapy框架怎么運(yùn)行python爬蟲并下載數(shù)據(jù)

發(fā)布時(shí)間：2020-11-23 09:54:30 來源：億速云閱讀：133 作者：小新欄目：編程語言

小編給大家分享一下scrapy框架怎么運(yùn)行python爬蟲并下載數(shù)據(jù)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

在項(xiàng)目文件夾內(nèi)打開cmd運(yùn)行下列命令：

scrapy crawl douban_top250 -o douban.csv

注意此處的douban_movie_top250即為我們剛剛寫的爬蟲的name, 而-o douban.csv是scrapy提供的將item輸出為csv格式的快捷方式，第一次輸出后是亂碼，這時(shí)候我們要在settings.py設(shè)置一些編碼格式：

FEED_EXPORT_ENCODING = 'GBK'

另外，在python包下面exporters.py里面CsvItemExporter 類中io.TextIOWrapper添加參數(shù)newline=''，取消csv的自動(dòng)換行

scrapy框架怎么運(yùn)行python爬蟲并下載數(shù)據(jù)

再次運(yùn)行上述命令，我們想要的信息都被下載到douban.scv文件夾里了：

scrapy框架怎么運(yùn)行python爬蟲并下載數(shù)據(jù)

以上是scrapy框架怎么運(yùn)行python爬蟲并下載數(shù)據(jù)的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！

向AI問一下細(xì)節(jié)

猜你喜歡