您好,登錄后才能下訂單哦!
小編給大家分享一下java多線程爬蟲爬取百度圖片的方法,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
Java的特點(diǎn)有哪些 1.Java語言作為靜態(tài)面向?qū)ο缶幊陶Z言的代表,實(shí)現(xiàn)了面向?qū)ο罄碚?,允許程序員以優(yōu)雅的思維方式進(jìn)行復(fù)雜的編程。 2.Java具有簡(jiǎn)單性、面向?qū)ο?、分布式、安全性、平臺(tái)獨(dú)立與可移植性、動(dòng)態(tài)性等特點(diǎn)。 3.使用Java可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等。
在網(wǎng)絡(luò)爬蟲中,python爬蟲和java爬蟲都有多線程,python雖然代碼簡(jiǎn)單易操作,但是在多線程操作中,python 不及java。如果想要加快爬蟲速度,可以采用java多線程網(wǎng)絡(luò)爬蟲的方法。本文介紹java爬蟲使用多線程的方法爬取百度圖片。
一、java多線程
線程是指一個(gè)任務(wù)從頭至尾的執(zhí)行流。
線程提供了運(yùn)行一個(gè)任務(wù)的機(jī)制。
對(duì)于Java而言,可以在一個(gè)程序中并發(fā)地啟動(dòng)多個(gè)線程。這些線程可以在多處理器系統(tǒng)上同時(shí)運(yùn)行。
二、使用java多線程網(wǎng)絡(luò)爬蟲:設(shè)計(jì)構(gòu)造器。
1、獲取想要的頁(yè)面
public class major { public static void main(String[] args) { int sum = 0; List<String> urlMains = new ArrayList<>(); List<String> imageUrls = new ArrayList<>(); //首先得到10個(gè)頁(yè)面 urlMains = CreateUrl.CreateMainUrl(); out.println(urlMains.size()); for(String urlMain : urlMains) { out.println(urlMain); }
2、使用Jsoup和FastJson解析出所有的圖片源鏈接
imageUrls = CreateUrl.CreateImageUrl(urlMains); for(String imageUrl : imageUrls) { out.println(imageUrl); }
3、創(chuàng)建出每個(gè)圖片所屬的文件夾,并對(duì)圖片源鏈接進(jìn)行下載(使用多線程進(jìn)行下載)創(chuàng)建進(jìn)程
ImageFile.createDir(); int average = imageUrls.size()/10; for(int i = 0; i < 10; i++){ int begin = sum; sum += average; int last = sum; Thread image = null; if(i < 9) { image = new Thread(new ImageFile(begin, last, (ArrayList<String>) imageUrls)); } else { image = new Thread(new ImageFile(begin, imageUrls.size(), (ArrayList<String>) imageUrls)); } image.start(); } } }
以上是“java多線程爬蟲爬取百度圖片的方法”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。