如何用Java爬蟲爬取天貓、淘寶和京東等頁面的商品詳情

如何用Java爬蟲爬取天貓、淘寶和京東等頁面的商品詳情？這篇文章運用了實例代碼展示，代碼非常詳細(xì)，可供感興趣的小伙伴們參考借鑒，希望對大家有所幫助。

1.導(dǎo)包

<!-- 爬蟲相關(guān)Jar包依賴 -->
    <dependency>
      <groupId>org.apache.poi</groupId>
      <artifactId>poi-ooxml</artifactId>
      <version>3.10-FINAL</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.5.3</version>
    </dependency>
    <dependency>
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.11.3</version>
    </dependency>

    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <scope>provided</scope>
    </dependency>

2.封裝返回類型和常量

引入lombok 注入@Data 來避免寫get set toString等重復(fù)代碼

package java1024.xyz.vo;

import lombok.Data;

/**

• @author xivin
• @email 1250402127@qq.com
• @description

• @date 2020/1/3*/
  @Data
  br/>*/
  @Data<br/public class Product implements Serializable {

  private Long id;

  private Long number;

  private Float price;

  private Integer userId;

  private String url;

  private Integer platformId;

  private String title;

  private String describe;

  private Integer status;

  @JsonFormat( pattern="yyyy-MM-dd HH:mm:ss")
  private Timestamp createdAt;

  private Timestamp updatedAt;

}

## 3.前期工作做好后開始封裝 識別url工具 UrlUtils.java

/**

• @author xivin
• @email 1250402127@qq.com
• @description

• @date 2020/1/3
  */
  public class UrlUtils {

  public static UrlData analyseUrl(String url) {

  UrlData urlData = new UrlData();
  try {
  
      // 判空
      if (StringUtils.isEmpty(url)) {
          urlData.setStatus(0);
          return urlData;
      }
  
      //天貓
      if (url.contains(UrlConst.tmallUrlSign)) {
  
          urlData.setPlatform(UrlConst.tmallUrlSign);
          String numberStr = "";
  
          /**
           * 切分根路徑 和 參數(shù) 如：
           * https://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.8.27832a99AfoD5W&id=604433373792
           * 在 ？問號的地方切成兩部分
           *
           */
          String[] roudAndParams = url.split("\\?");
  
          if (roudAndParams.length < 2) {
              urlData.setStatus(0);
              return urlData;
          }
  
          /**
           * 獲取 參數(shù)字符串，通過&切開多個參數(shù)，提取以 id=開頭的即 商品id
           */
          String paramStr =  roudAndParams[1];
          String[] params = paramStr.split("&");
          for (int i = 0;i < params.length; i++) {
              if (params[i].startsWith("id=")) {
                  numberStr = params[i].split("id=")[1];
                  break;
              }
          }
  
          if (StringUtils.isEmpty(numberStr)) {
              urlData.setStatus(0);
              return urlData;
          }
  
          Long number = new Long(numberStr);
          urlData.setStatus(1);
          urlData.setNumber(number);
          return urlData;
  
      }
      //淘寶
      else if (url.contains(UrlConst.taobaoUrlSign)) {
  
          urlData.setPlatform(UrlConst.taobaoUrlSign);
          String numberStr = "";
  
          /**
           * 切分根路徑 和 參數(shù) 如：
           * https://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.8.27832a99AfoD5W&id=604433373792
           * 在 ？問號的地方切成兩部分
           *
           */
          String[] roudAndParams = url.split("\\?");
  
          if (roudAndParams.length < 2) {
              urlData.setStatus(0);
              return urlData;
          }
  
          /**
           * 獲取 參數(shù)字符串，通過&切開多個參數(shù)，提取以 id=開頭的即 商品id
           */
          String paramStr =  roudAndParams[1];
          String[] params = paramStr.split("&");
          for (int i = 0;i < params.length; i++) {
              if (params[i].startsWith("id=")) {
                  numberStr = params[i].split("id=")[1];
                  break;
              }
          }
  
          if (StringUtils.isEmpty(numberStr)) {
              urlData.setStatus(0);
              return urlData;
          }
  
          Long number = new Long(numberStr);
          urlData.setStatus(1);
          urlData.setNumber(number);
          return urlData;
      }
      //其他
      else if (url.contains(UrlConst.jingdongUrlSign)) {
  
          urlData.setPlatform(UrlConst.jingdongUrlSign);
          String numberStr = "";
          String[] roudAndParams = url.split("jd\\.com/");
  
          if (roudAndParams.length < 2) {
              urlData.setStatus(0);
              return urlData;
          }
  
          String paramStr =  roudAndParams[1];
          String[] params = paramStr.split(".html");
          numberStr = params[0];
  
          if (StringUtils.isEmpty(numberStr)) {
              urlData.setStatus(0);
              return urlData;
          }
  
          Long number = new Long(numberStr);
          urlData.setStatus(1);
          urlData.setNumber(number);
          return urlData;
      }
      else {
          urlData.setStatus(0);
          return urlData;
      }
  }catch (Exception e) {
      e.printStackTrace();
      urlData.setStatus(0);
      return urlData;
  }

  }

  public static void main(String[] args) {

  String tmallUrl = "https://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.8.27832a99AfoD5W&id=604433373792&skuId=4233630160968&user_id=1776477331&cat_id=2&is_b=1&rn=2eff85a6a504024ee62222a0045d9ded";
  UrlData tmall = analyseUrl(tmallUrl);
  System.out.println("tmall = " + tmall);
  
  String taobaoUrl =  "https://s.taobao.com/search?spm=a230r.1.14.7.ade0695abTrJ6k&type=samestyle&app=i2i&rec_type=1&uniqpid=69915374&nid=604733501729";
  UrlData taobao = analyseUrl(taobaoUrl);
  System.out.println("taobao = " + taobao);
  
  String jdUrl = "https://item.jd.com/100004250098.html#none";
  UrlData jd = analyseUrl(jdUrl);
  System.out.println("jd = " + jd);

  }

}

## 4.爬取天貓方法

> Java 爬蟲說明：創(chuàng)建HttpClient，設(shè)置請求頭，執(zhí)行請求，解析相應(yīng)！具體代碼也有相應(yīng)的解析

public Product soupTmallDetailById(Long number) {

    try {

        // 需要爬取商品信息的網(wǎng)站地址
        String url = "https://chaoshi.detail.tmall.com/item.htm?id=" + number;
        // 動態(tài)模擬請求數(shù)據(jù)
        CloseableHttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        // 模擬瀏覽器瀏覽（user-agent的值可以通過瀏覽器瀏覽，查看發(fā)出請求的頭文件獲?。?
        httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpGet);
        // 獲取響應(yīng)狀態(tài)碼
        int statusCode = response.getStatusLine().getStatusCode();
        try {
            HttpEntity entity = response.getEntity();
            // 如果狀態(tài)響應(yīng)碼為200，則獲取html實體內(nèi)容或者json文件
            if (statusCode == 200) {
                String html = EntityUtils.toString(entity, Consts.UTF_8);
                // 提取HTML得到商品信息結(jié)果
                Document doc = null;
                // doc獲取整個頁面的所有數(shù)據(jù)
                doc = Jsoup.parse(html);
                //輸出doc可以看到所獲取到的頁面源代碼
              //System.out.println(doc);
                // 通過瀏覽器查看商品頁面的源代碼，找到信息所在的div標(biāo)簽，再對其進行一步一步地解析
                Element item = doc.select("div[class='tb-wrap']").get(0);
                //Elements liList = ulList.select("div[class='product']");
                // 循環(huán)liList的數(shù)據(jù)（具體獲取的數(shù)據(jù)值還得看doc的頁面源代碼來獲取，可能稍有變動）
                //System.out.println("item = " + item);
                Product product = new Product();
                //for (Element item : ulList) {
                    // 商品ID
                try {
                    product.setNumber(number);
                    product.setPlatformId(1);
                    //String id = item.select("div[class='tb-detail-hd']").select("h2").attr("data-spm");
                    String title = item.select("div[class='tb-detail-hd']").select("h2").text();
                    product.setTitle(title);
                    product.setUrl(UrlConst.TMALL_PRODUCT_DETAIL+number);

                    System.out.println("商品title：" + title);
                    //String priceStr = item.select("div[class='tm-price-panel']").select("div[class='tm-promo-type']").select("span[class='tm-price']").text();

                    return product;
                }catch (Exception e) {
                    product.setId(0L);
                    product.setTitle("商品不存在");
                    return product;
                }
                // }
            }
        }catch (Exception e) {
            e.printStackTrace();
            Product product = new Product();
            product.setId(0L);
            product.setTitle("商品不存在");
            return product;
        }

    }catch (Exception e) {
        e.printStackTrace();
    }

    return null;
}

## 5.爬取京東商品詳情方法

public Product soupTaobaoDetailById(Long number) {

    try {

        // 需要爬取商品信息的網(wǎng)站地址
        String url = "https://item.taobao.com/item.htm?id=" + number;
        // 動態(tài)模擬請求數(shù)據(jù)
        CloseableHttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        // 模擬瀏覽器瀏覽（user-agent的值可以通過瀏覽器瀏覽，查看發(fā)出請求的頭文件獲?。?
        httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpGet);
        // 獲取響應(yīng)狀態(tài)碼
        int statusCode = response.getStatusLine().getStatusCode();
        try {
            HttpEntity entity = response.getEntity();
            // 如果狀態(tài)響應(yīng)碼為200，則獲取html實體內(nèi)容或者json文件
            if (statusCode == 200) {
                String html = EntityUtils.toString(entity, Consts.UTF_8);
                // 提取HTML得到商品信息結(jié)果
                Document doc = null;
                // doc獲取整個頁面的所有數(shù)據(jù)
                doc = Jsoup.parse(html);
                //輸出doc可以看到所獲取到的頁面源代碼
                //System.out.println(doc);
                // 通過瀏覽器查看商品頁面的源代碼，找到信息所在的div標(biāo)簽，再對其進行一步一步地解析
                Element item = doc.select("div[class='tb-item-info-r']").get(0);
                //Elements liList = ulList.select("div[class='product']");
                // 循環(huán)liList的數(shù)據(jù)（具體獲取的數(shù)據(jù)值還得看doc的頁面源代碼來獲取，可能稍有變動）
                //System.out.println("item = " + item);
                Product product = new Product();
                //for (Element item : ulList) {
                // 商品ID
                try {
                    product.setNumber(number);
                    product.setPlatformId(2);
                    //String id = item.select("div[class='tb-detail-hd']").select("h2").attr("data-spm");
                    String title = item.select("div[class='tb-title']").select("h4").text();
                    product.setTitle(title);
                    product.setUrl(UrlConst.TAOBAO_PRODUCT_DETAIL+number);

                    System.out.println("商品title：" + title);

                    return product;
                }catch (Exception e) {
                    product.setId(0L);
                    product.setTitle("商品不存在");
                    return product;
                }
                // }
            }
        }catch (Exception e) {
            e.printStackTrace();
            Product product = new Product();
            product.setId(0L);
            product.setTitle("商品不存在");
            return product;
        }

    }catch (Exception e) {
        e.printStackTrace();
    }

    return null;
}

## 6.天貓搜索功能

public List<Product> soupTaobaoByKeyWord(String keyword) {

    try {

        String input = "毛巾";
        // 需要爬取商品信息的網(wǎng)站地址 實際中把input改成 keyword
        String url = "https://list.tmall.com/search_product.htm?q=" + input;
        // 動態(tài)模擬請求數(shù)據(jù)
        CloseableHttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        // 模擬瀏覽器瀏覽（user-agent的值可以通過瀏覽器瀏覽，查看發(fā)出請求的頭文件獲?。?
        httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpGet);
        // 獲取響應(yīng)狀態(tài)碼
        int statusCode = response.getStatusLine().getStatusCode();
        try {
            HttpEntity entity = response.getEntity();
            // 如果狀態(tài)響應(yīng)碼為200，則獲取html實體內(nèi)容或者json文件
            if (statusCode == 200) {
                String html = EntityUtils.toString(entity, Consts.UTF_8);
                // 提取HTML得到商品信息結(jié)果
                Document doc = null;
                // doc獲取整個頁面的所有數(shù)據(jù)
                doc = Jsoup.parse(html);
                //輸出doc可以看到所獲取到的頁面源代碼
        //      System.out.println(doc);
                // 通過瀏覽器查看商品頁面的源代碼，找到信息所在的div標(biāo)簽，再對其進行一步一步地解析
                Elements ulList = doc.select("div[class='view grid-nosku']");
                Elements liList = ulList.select("div[class='product']");
                // 循環(huán)liList的數(shù)據(jù)（具體獲取的數(shù)據(jù)值還得看doc的頁面源代碼來獲取，可能稍有變動）
                for (Element item : liList) {
                    // 商品ID
                    String id = item.select("div[class='product']").select("p[class='productStatus']").select("span[class='ww-light ww-small m_wangwang J_WangWang']").attr("data-item");
                    System.out.println("商品ID：" + id);
                    // 商品名稱
                    String name = item.select("p[class='productTitle']").select("a").attr("title");
                    System.out.println("商品名稱：" + name);
                    // 商品價格
                    String price = item.select("p[class='productPrice']").select("em").attr("title");
                    System.out.println("商品價格：" + price);
                    // 商品網(wǎng)址
                    String goodsUrl = item.select("p[class='productTitle']").select("a").attr("href");
                    System.out.println("商品網(wǎng)址：" + goodsUrl);
                    // 商品圖片網(wǎng)址
                    String imgUrl = item.select("div[class='productImg-wrap']").select("a").select("img").attr("data-ks-lazyload");
                    System.out.println("商品圖片網(wǎng)址：" + imgUrl);
                    System.out.println("------------------------------------");
                }
                // 消耗掉實體
                EntityUtils.consume(response.getEntity());
            } else {
                // 消耗掉實體
                EntityUtils.consume(response.getEntity());
            }
        } finally {
            response.close();
        }
    }catch (Exception e) {
        e.printStackTrace();
    }

    return null;

}

關(guān)于Java爬蟲的使用就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。