怎么在hadoop中實(shí)現(xiàn)一個(gè)java爬蟲

今天就跟大家聊聊有關(guān)怎么在hadoop中實(shí)現(xiàn)一個(gè)java爬蟲，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

需要用到

Cygwin：一個(gè)在windows平臺(tái)上運(yùn)行的類UNIX模擬環(huán)境，直接網(wǎng)上搜索下載，并且安裝；

Hadoop：配置Hadoop環(huán)境，實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS，用來(lái)將收集的數(shù)據(jù)直接上傳保存到HDFS，然后用MapReduce分析；

Eclipse：編寫代碼，需要導(dǎo)入hadoop的jar包，以可以創(chuàng)建MapReduce項(xiàng)目；

Jsoup：html的解析jar包，結(jié)合正則表達(dá)式能更好的解析網(wǎng)頁(yè)源碼；

----->

目錄：

1、配置Cygwin

2、配置Hadoop黃靜

3、Eclipse開發(fā)環(huán)境搭建

4、網(wǎng)絡(luò)數(shù)據(jù)爬?。╦soup）

-------->

1、安裝配置Cygwin

從官方網(wǎng)站下載Cygwin 安裝文件，地址：https://cygwin.com/install.html

下載運(yùn)行后進(jìn)入安裝界面。

安裝時(shí)直接從網(wǎng)絡(luò)鏡像中下載擴(kuò)展包，至少需要選擇ssh和ssl支持包

安裝后進(jìn)入cygwin控制臺(tái)界面，

運(yùn)行ssh-host-config命令，安裝SSH

輸入：no，yes，ntsec，no，no

注意：win7下需要改為yes，yes，ntsec，no，yes，輸入密碼并確認(rèn)這個(gè)步驟

完成后會(huì)在windows操作系統(tǒng)中配置好一個(gè)Cygwin sshd服務(wù)，啟動(dòng)該服務(wù)即可。

然后要配置ssh免密碼登陸

重新運(yùn)行cygwin。

執(zhí)行ssh localhost，會(huì)要求使用密碼進(jìn)行登陸。

使用ssh-keygen命令來(lái)生成一個(gè)ssh密鑰，一直回車結(jié)束即可。

生成后進(jìn)入.ssh目錄，使用命令：cp id_rsa.pub authorized_keys 命令來(lái)配置密鑰。

之后使用exit退出即可。

重新進(jìn)入系統(tǒng)后，通過(guò)ssh localhost就可以直接進(jìn)入系統(tǒng)，不需要再輸入密碼了。

2、配置Hadoop環(huán)境

修改hadoop-env.sh文件，加入JDK安裝目錄的JAVA_HOME位置設(shè)置。

# The java implementation to use. Required.

export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_67 

如圖注意：Program Files縮寫為PROGRA~1

修改hdfs-site.xml，設(shè)置存放副本為1（因?yàn)榕渲玫氖莻畏植际椒绞剑?/span>

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

注意：此圖片多加了一個(gè)property，內(nèi)容就是解決可能出現(xiàn)的權(quán)限問題?。?！

HDFS：Hadoop 分布式文件系統(tǒng)

可以在HDFS中通過(guò)命令動(dòng)態(tài)對(duì)文件或文件夾進(jìn)行CRUD

注意有可能出現(xiàn)權(quán)限的問題，需要通過(guò)在hdfs-site.xml中配置以下內(nèi)容來(lái)避免：

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

修改mapred-site.xml，設(shè)置JobTracker運(yùn)行的服務(wù)器與端口號(hào)（由于當(dāng)前就是運(yùn)行在本機(jī)上，直接寫localhost 即可，端口可以綁定任意空閑端口）

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

配置core-site.xml，配置HDFS文件系統(tǒng)所對(duì)應(yīng)的服務(wù)器與端口號(hào)（同樣就在當(dāng)前主機(jī)）

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

配置好以上內(nèi)容后，在Cygwin中進(jìn)入hadoop目錄

在bin目錄下，對(duì)HDFS文件系統(tǒng)進(jìn)行格式化（第一次使用前必須格式化），然后輸入啟動(dòng)命令：

3、Eclipse開發(fā)環(huán)境搭建

這個(gè)在我寫的博客 大數(shù)據(jù)【二】HDFS部署及文件讀寫（包含eclipse hadoop配置）中給出大致配置方法。不過(guò)此時(shí)需要完善一下。

將hadoop中的hadoop-eclipse-plugin.jar支持包拷貝到eclipse的plugin目錄下，為eclipse添加Hadoop支持。

啟動(dòng)Eclipse后，切換到MapReduce界面。

在windows工具選項(xiàng)選擇showviews的others里面查找map/reduce locations。

在Map/Reduce Locations窗口中建立一個(gè)Hadoop Location，以便與Hadoop進(jìn)行關(guān)聯(lián)。

注意：此處的兩個(gè)端口應(yīng)為你配置hadoop的時(shí)候設(shè)置的端口?。?！

完成后會(huì)建立好一個(gè)Hadoop Location

在左側(cè)的DFS Location中，還可以看到HDFS中的各個(gè)目錄

并且你可以在其目錄下自由創(chuàng)建文件夾來(lái)存取數(shù)據(jù)。

下面你就可以創(chuàng)建mapreduce項(xiàng)目了，方法同正常創(chuàng)建一樣。

4、網(wǎng)絡(luò)數(shù)據(jù)爬取

現(xiàn)在我們通過(guò)編寫一段程序，來(lái)將爬取的新聞內(nèi)容的有效信息保存到HDFS中。

此時(shí)就有了兩種網(wǎng)絡(luò)爬蟲的方法：

其一就是利用heritrix工具獲取的數(shù)據(jù)；

其一就是java代碼結(jié)合jsoup編寫的網(wǎng)絡(luò)爬蟲。

方法一的信息保存到HDFS：

直接讀取生成的本地文件，用jsoup解析html，此時(shí)需要將jsoup的jar包導(dǎo)入到項(xiàng)目中。

package org.liky.sina.save;

//這里用到了JSoup開發(fā)包，該包可以很簡(jiǎn)單的提取到HTML中的有效信息
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class SinaNewsData {

  private static Configuration conf = new Configuration();

  private static FileSystem fs;

  private static Path path;

  private static int count = 0;

  public static void main(String[] args) {
    parseAllFile(new File(
        "E:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
  }

  public static void parseAllFile(File file) {
    // 判斷類型
    if (file.isDirectory()) {
      // 文件夾
      File[] allFile = file.listFiles();
      if (allFile != null) {
        for (File f : allFile) {
          parseAllFile(f);
        }
      }
    } else {
      // 文件
      if (file.getName().endsWith(".html")
          || file.getName().endsWith(".shtml")) {
        parseContent(file.getAbsolutePath());
      }
    }
  }

  public static void parseContent(String filePath) {
    try {
        //用jsoup的方法讀取文件路徑
      Document doc = Jsoup.parse(new File(filePath), "utf-8");
      //讀取標(biāo)題
      String title = doc.title();
      Elements descElem = doc.getElementsByAttributeValue("name",
          "description");
      Element descE = descElem.first();
      
      // 讀取內(nèi)容
      String content = descE.attr("content");

      if (title != null && content != null) {
        //通過(guò)Path來(lái)保存數(shù)據(jù)到HDFS中
        path = new Path("hdfs://localhost:9000/input/"
            + System.currentTimeMillis() + ".txt");

        fs = path.getFileSystem(conf);

        // 建立輸出流對(duì)象
        FSDataOutputStream os = fs.create(path);
        // 使用os完成輸出
        os.writeChars(title + "\r\n" + content);

        os.close();

        count++;

        System.out.println("已經(jīng)完成" + count + " 個(gè)!");
      }

    } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

看完上述內(nèi)容，你們對(duì)怎么在hadoop中實(shí)現(xiàn)一個(gè)java爬蟲有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。