您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)如何使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁爬蟲,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
思路:
1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個(gè)1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個(gè)1.html。使用notepad++進(jìn)行編輯,編輯內(nèi)容為:
)
2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因?yàn)檫@里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達(dá)式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。
代碼:
import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 網(wǎng)頁爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù) * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.與網(wǎng)頁建立聯(lián)系。使用URL String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義 URL url=new URL(path); //2.獲取輸入流 InputStream is=url.openStream(); //加緩沖 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合郵箱的數(shù)據(jù) String regex="\\w+@\\w+(\\.\\w+)+"; //進(jìn)行匹配 //將正則規(guī)則封裝成對(duì)象 Pattern p=Pattern.compile(regex); //將提取到的數(shù)據(jù)放到一個(gè)集合中 List<String> list=new ArrayList<String>(); String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.將符合規(guī)則的數(shù)據(jù)存儲(chǔ)到集合中 list.add(m.group()); } } return list; } }
注意:在執(zhí)行前需要先開啟tomcat服務(wù)器
運(yùn)行結(jié)果:
上述就是小編為大家分享的如何使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁爬蟲了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。