利用Java+Selenium+OpenCV模擬如何實(shí)現(xiàn)網(wǎng)頁(yè)滑動(dòng)驗(yàn)證

本篇文章給大家分享的是有關(guān)利用Java+Selenium+OpenCV模擬如何實(shí)現(xiàn)網(wǎng)頁(yè)滑動(dòng)驗(yàn)證，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

目前很多網(wǎng)頁(yè)都有滑動(dòng)驗(yàn)證，目的就是防止不良爬蟲扒他們網(wǎng)站的數(shù)據(jù)，我這次本著學(xué)習(xí)的目的使用Java和selenium學(xué)習(xí)解決滑動(dòng)驗(yàn)證的問(wèn)題，前前后后花了一周時(shí)間（抄代碼），終于成功了某音的滑動(dòng)驗(yàn)證！

效果展示：

一、需求分析

要模擬滑動(dòng)驗(yàn)證總共就兩步：

1、找到小滑塊

2、按住小滑塊，滑動(dòng)一段距離

第一步很簡(jiǎn)單，直接通過(guò)xPath找到，比較重要和困難的是第二步中距離的問(wèn)題，我花了那么多的時(shí)間在這次學(xué)習(xí)中，主要是耗在計(jì)算需要滑動(dòng)的距離。

在面向百度編程的過(guò)程中看到了很多學(xué)習(xí)資料，大體上是同一個(gè)方法：使用opencv計(jì)算機(jī)視覺工具讓兩張?zhí)幚磉^(guò)的圖像進(jìn)行比對(duì)，從而計(jì)算出滑動(dòng)的距離。

二、模擬步驟

1、使用selenium打開某音網(wǎng)頁(yè)

直接打開

2、找到小滑塊以及小滑塊所在的背景圖

打開前端調(diào)式工具，F(xiàn)12，定位小滑塊和背景圖的位置，復(fù)制xpath，然后用selenium查找元素

eg: driver.findElement(By.xpath("小滑塊的xpath"));

3、計(jì)算小滑塊需要滑動(dòng)的距離

這一部分是最重要的，所以需要重點(diǎn)記錄，學(xué)習(xí)一次，以后遇到同樣的問(wèn)題就能馬上解決。

步驟：

1、保存小滑塊圖像和小滑塊背景圖

如圖，使用selenium可以很方便的獲取到這兩張圖片。

2、將背景圖進(jìn)行指定比例和區(qū)域的剪裁

在這一步中有兩個(gè)比較重要的參數(shù)：

1、小滑塊的top值

2、網(wǎng)頁(yè)當(dāng)前顯示的圖像和原圖像的大小比例，在計(jì)算滑動(dòng)距離需要用到

剪裁用的是 BufferedImage的getSubimage方法，一共有四個(gè)參數(shù)

image = image.getSubimage(x, y, width, height);

x和y 為截圖后圖片左上角的坐標(biāo)值，如果x和y都是0，那么就從原圖的左上角開始截起，width和height分別是截圖后圖片的長(zhǎng)和寬。

在某音的滑動(dòng)驗(yàn)證中，x設(shè)置成小滑塊的寬度，y設(shè)置為小滑塊的top，top也就是小滑塊距離背景圖上邊界的像素

width設(shè)置為背景圖原來(lái)的寬度-小滑塊的寬度

height設(shè)置為小滑塊的高度

最后截出來(lái)的圖片類似這樣，一定要把背景圖的缺口包含進(jìn)去

3、將小滑塊圖像二值化

從這里開始要用到opencv（開源計(jì)算機(jī)視覺庫(kù)）

首先將保存的小滑塊圖片轉(zhuǎn)灰度，然后將轉(zhuǎn)灰度的下滑快二值化，二值化就是非黑即白，了解過(guò)后才知道目前很多機(jī)器識(shí)別使用的原理和這個(gè)差不多。

代碼如下：

           //小滑塊Mat對(duì)象
           Mat s_mat = Imgcodecs.imread(sFile.getPath());
 
           // 轉(zhuǎn)灰度圖像
           Mat s_newMat = new Mat();
           Imgproc.cvtColor(s_mat, s_newMat, Imgproc.COLOR_BGR2GRAY);
           // 二值化圖像
           binaryzation(s_newMat);binaryzation是一個(gè)方法，在源碼中有
           Imgcodecs.imwrite(sFile.getPath(), s_newMat);

4、將二值化的小滑塊和剪裁的背景圖進(jìn)行比對(duì)

代碼我是抄的，看不懂，就不放在這了。

我研究了好久，因?yàn)闆]有學(xué)習(xí)過(guò)opencv，計(jì)算過(guò)程調(diào)用的幾個(gè)方法我還不是很懂，但是最后的返回值需要根據(jù)實(shí)際情況來(lái)調(diào)整，要不然驗(yàn)證成功率幾乎為0。

4、按住小滑塊并滑動(dòng)

滑動(dòng)過(guò)程不能讓程序一步走完，不然網(wǎng)頁(yè)會(huì)認(rèn)為你是爬蟲，即使能滑到指定位置也會(huì)驗(yàn)證失敗?；瑒?dòng)過(guò)程應(yīng)該盡量模擬人工操作。

     /**
     * 模擬移動(dòng)滑塊
     * @param driver
     * @param ele 小滑塊
     * @param distance 滑動(dòng)距離
     */
    public void move(ChromeDriver driver,WebElement ele,int distance) {
        int randomTime = 0;
        if (distance > 90) {
            randomTime = 250;
        } else if (distance > 80 && distance <= 90) {
            randomTime = 150;
        }
        List<Integer> track = getMoveTrack(distance - 2);
        int moveY = 1;
        try {
            Actions actions = new Actions(driver);
            actions.clickAndHold(ele).perform();
            Thread.sleep(200);
            for (int i = 0; i < track.size(); i++) {
                actions.moveByOffset(track.get(i), moveY).perform();
                Thread.sleep(new Random().nextInt(300) + randomTime);
            }
            Thread.sleep(200);
            actions.release(ele).perform();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    /**
     * 根據(jù)距離獲取滑動(dòng)軌跡
     * @param distance 需要移動(dòng)的距離
     * @return
     */
    public static List<Integer> getMoveTrack(int distance) {
        List<Integer> track = new ArrayList<>();// 移動(dòng)軌跡
        Random random = new Random();
        int current = 0;// 已經(jīng)移動(dòng)的距離
        int mid = distance * 4 / 5;// 減速閾值
        int a = 0;
        int move = 0;// 每次循環(huán)移動(dòng)的距離
        while (true) {
            a = random.nextInt(10);
            if (current <= mid) {
                move += a;// 不斷加速
            } else {
                move -= a;
            }
            if ((current + move) < distance) {
                track.add(move);
            } else {
                track.add(distance - current);
                break;
            }
            current += move;
        }
        return track;
    }

三、學(xué)習(xí)過(guò)程中比較棘手的問(wèn)題

1、截圖問(wèn)題

我一開始截出來(lái)的圖包含的小滑塊缺口總是不完整的，經(jīng)過(guò)一番截圖參數(shù)調(diào)試后，我發(fā)現(xiàn)某音小滑塊top的單位他丫的是em，這像素的大小用em???真不愧是某音，別家都是px，你偏偏要em......然后我又開始面向百度，最后得到的結(jié)論是默認(rèn)瀏覽器1em = 10px，我在top *10之后還是截不到完整的小滑塊缺口。

我這會(huì)直接上網(wǎng)頁(yè)調(diào)試工具，最終調(diào)式出來(lái)1em約等于100px，最后top *100截出來(lái)的圖片就對(duì)了。

2、返回結(jié)果與實(shí)際滑動(dòng)距離相差太多，甚至無(wú)規(guī)律可循

好不容易把代碼敲完，之后的測(cè)試卻一直是失敗的，無(wú)論在計(jì)算的結(jié)果加減乘除某個(gè)數(shù)值都不行。

導(dǎo)致原因：因?yàn)樵诰W(wǎng)頁(yè)上顯示的圖片和實(shí)際上圖片大小是不同的，依靠opencv比對(duì)計(jì)算出來(lái)的滑動(dòng)距離是按照原圖大小計(jì)算的。

解決辦法：只需要將返回值乘上顯示圖片與原圖寬度的比例即可。

注意：因?yàn)橹霸讷@取小滑塊圖像時(shí)，top的值為網(wǎng)頁(yè)顯示的大小，計(jì)算過(guò)程中是按照原圖大小計(jì)算的，所以獲取的top值乘以100后還要乘上原圖寬度與顯示圖像寬度的比例。

3、openCV的下載安裝

官網(wǎng)實(shí)在是太慢了，直接搜索安裝包下載了。

四、總結(jié)

這次學(xué)習(xí)經(jīng)歷前后共花了一周，恰逢考試周，考試科目大多沒有復(fù)習(xí)好，也不知是不是虧了，滑動(dòng)驗(yàn)證是網(wǎng)頁(yè)登錄或者搜索會(huì)經(jīng)常遇到的問(wèn)題，模擬滑動(dòng)解鎖主要能夠鍛煉我們解決問(wèn)題的能力。

圖像在計(jì)算機(jī)中實(shí)際是一個(gè)個(gè)像素組成的，每一個(gè)像素包含三個(gè)數(shù)值，所以才能夠?qū)D像進(jìn)行二值化、比對(duì)。比對(duì)過(guò)程是在看不懂，不過(guò)也不必每一行代碼都看懂，能夠解決問(wèn)題才是最重要的。

以下為源碼（僅用于學(xué)習(xí)交流）：

package indi.imitateslide;
 
import org.apache.commons.io.FileUtils;
import org.opencv.core.*;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.interactions.Actions;
 
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.File;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
 
 
/**
 * 自動(dòng)化模擬滑動(dòng)驗(yàn)證
 */
public class ImitateSlide {
    //驅(qū)動(dòng)
    private ChromeDriver driver;
 
    public ImitateSlide(ChromeDriver driver){
        this.driver = driver;
    }
 
    public void slide(String url,String sliderXpath) throws Exception {
        driver.get(url);
        Thread.sleep(2000);
 
        //獲取滑塊
        WebElement ele = waitWebElement(driver,By.xpath(sliderXpath),500);
 
        //獲取滑動(dòng)背景圖
        String bUrl = waitWebElement(driver,By.xpath("//*[@id=\"captcha-verify-image\"]"),500).getAttribute("src");
        //獲取小滑塊圖片
        String sUrl = waitWebElement(driver,By.xpath("//*[@id=\"captcha_container\"]/div/div[2]/img[2]"),500).getAttribute("src");
        //獲取高度
        String topStr = waitWebElement(driver,By.xpath("//*[@id=\"captcha_container\"]/div/div[2]/img[2]"),500).getAttribute("style").substring(16,20);
        System.out.println("字符串高度是： "+topStr);
        double dTop = Double.parseDouble(topStr);
        dTop *= 160;
        int top = (int) dTop;
        System.out.println("最終高度是： "+top);
 
        //計(jì)算移動(dòng)的距離
        double dDis = Double.parseDouble(getDistance(bUrl,sUrl,top));
        System.out.println("計(jì)算出的距離為： "+dDis);
        int distance = (int) dDis;
        System.out.println("最終移動(dòng)的距離為： "+distance);
        Thread.sleep(500);
        //滑動(dòng)
        move(driver,ele,distance);
        Thread.sleep(1000);
        driver.quit();
    }
 
    /**
     * 模擬移動(dòng)滑塊
     * @param driver
     * @param ele
     * @param distance
     */
    public void move(ChromeDriver driver,WebElement ele,int distance) {
        int randomTime = 0;
        if (distance > 90) {
            randomTime = 250;
        } else if (distance > 80 && distance <= 90) {
            randomTime = 150;
        }
        List<Integer> track = getMoveTrack(distance - 2);
        int moveY = 1;
        try {
            Actions actions = new Actions(driver);
            actions.clickAndHold(ele).perform();
            Thread.sleep(200);
            for (int i = 0; i < track.size(); i++) {
                actions.moveByOffset(track.get(i), moveY).perform();
                Thread.sleep(new Random().nextInt(300) + randomTime);
            }
            Thread.sleep(200);
            actions.release(ele).perform();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    /**
     * 根據(jù)距離獲取滑動(dòng)軌跡
     * @param distance 需要移動(dòng)的距離
     * @return
     */
    public static List<Integer> getMoveTrack(int distance) {
        List<Integer> track = new ArrayList<>();// 移動(dòng)軌跡
        Random random = new Random();
        int current = 0;// 已經(jīng)移動(dòng)的距離
        int mid = distance * 4 / 5;// 減速閾值
        int a = 0;
        int move = 0;// 每次循環(huán)移動(dòng)的距離
        while (true) {
            a = random.nextInt(10);
            if (current <= mid) {
                move += a;// 不斷加速
            } else {
                move -= a;
            }
            if ((current + move) < distance) {
                track.add(move);
            } else {
                track.add(distance - current);
                break;
            }
            current += move;
        }
        return track;
    }
 
    /**
     * 獲取滑塊移動(dòng)的距離
     * @param bUrl 滑動(dòng)背景圖
     * @param sUrl 小滑塊
     * @param top 高度
     * @return
     */
    public String getDistance(String bUrl, String sUrl, int top) {
        System.loadLibrary( Core.NATIVE_LIBRARY_NAME );
        File bFile = new File("D:\\douyin_b1.jpg");
        File sFile = new File("D:\\douyin_s1.jpg");
        try {
            //將圖片復(fù)制保存到指定路徑
            FileUtils.copyURLToFile(new URL(bUrl), bFile);
            FileUtils.copyURLToFile(new URL(sUrl), sFile);
 
            BufferedImage bgBI = ImageIO.read(bFile);
            BufferedImage sBI = ImageIO.read(sFile);
 
            // 裁剪
            System.out.println("背景圖片的寬度是： "+bgBI.getWidth());
            System.out.println("小圖片的高度是："+sBI.getHeight());
            bgBI = bgBI.getSubimage(sBI.getWidth(), top, bgBI.getWidth() - 110, sBI.getHeight());
            ImageIO.write(bgBI, "png", bFile);
 
            Mat s_mat = Imgcodecs.imread(sFile.getPath());
            Mat b_mat = Imgcodecs.imread(bFile.getPath());
 
            // 轉(zhuǎn)灰度圖像
            Mat s_newMat = new Mat();
            Imgproc.cvtColor(s_mat, s_newMat, Imgproc.COLOR_BGR2GRAY);
 
            // 二值化圖像
            binaryzation(s_newMat);
            Imgcodecs.imwrite(sFile.getPath(), s_newMat);
 
            //讓兩張圖片進(jìn)行比對(duì)
            int result_rows = b_mat.rows() - s_mat.rows() + 1;
            int result_cols = b_mat.cols() - s_mat.cols() + 1;
            Mat g_result = new Mat(result_rows, result_cols, CvType.CV_32FC1);
            Imgproc.matchTemplate(b_mat, s_mat, g_result, Imgproc.TM_SQDIFF); // 歸一化平方差匹配法
            // 歸一化相關(guān)匹配法
            Core.normalize(g_result, g_result, 0, 1, Core.NORM_MINMAX, -1, new Mat());
 
            //以下看不懂
            Point matchLocation = new Point();
            Core.MinMaxLocResult mmlr = Core.minMaxLoc(g_result);
            matchLocation = mmlr.maxLoc; // 此處使用maxLoc還是minLoc取決于使用的匹配算法
            Imgproc.rectangle(b_mat, matchLocation,
                    new Point(matchLocation.x + s_mat.cols(), matchLocation.y + s_mat.rows()), new Scalar(0, 255, 0, 0));
            //返回值就是要移動(dòng)的距離，在這里需要加上被裁剪掉的寬度再減去小滑塊的寬度，最后乘上相應(yīng)的比例。
            return "" + ((matchLocation.x + s_mat.cols()) / 1.62);
        } catch (Throwable e) {
            e.printStackTrace();
            return null;
        } finally {
            //刪除保存的滑塊以及背景圖片
            bFile.delete();
            sFile.delete();
        }
    }
 
    /**
     * 將圖像二值化，固定代碼
     * @param mat
     */
    public static void binaryzation(Mat mat) {
        int BLACK = 0;
        int WHITE = 255;
        int ucThre = 0, ucThre_new = 127;
        int nBack_count, nData_count;
        int nBack_sum, nData_sum;
        int nValue;
        int i, j;
        int width = mat.width(), height = mat.height();
        // 尋找最佳的闕值
        while (ucThre != ucThre_new) {
            nBack_sum = nData_sum = 0;
            nBack_count = nData_count = 0;
 
            for (j = 0; j < height; ++j) {
                for (i = 0; i < width; i++) {
                    nValue = (int) mat.get(j, i)[0];
 
                    if (nValue > ucThre_new) {
                        nBack_sum += nValue;
                        nBack_count++;
                    } else {
                        nData_sum += nValue;
                        nData_count++;
                    }
                }
            }
            nBack_sum = nBack_sum / nBack_count;
            nData_sum = nData_sum / nData_count;
            ucThre = ucThre_new;
            ucThre_new = (nBack_sum + nData_sum) / 2;
        }
        // 二值化處理
        int nBlack = 0;
        int nWhite = 0;
        for (j = 0; j < height; ++j) {
            for (i = 0; i < width; ++i) {
                nValue = (int) mat.get(j, i)[0];
                if (nValue > ucThre_new) {
                    mat.put(j, i, WHITE);
                    nWhite++;
                } else {
                    mat.put(j, i, BLACK);
                    nBlack++;
                }
            }
        }
        // 確保白底黑字
        if (nBlack > nWhite) {
            for (j = 0; j < height; ++j) {
                for (i = 0; i < width; ++i) {
                    nValue = (int) (mat.get(j, i)[0]);
                    if (nValue == 0) {
                        mat.put(j, i, WHITE);
                    } else {
                        mat.put(j, i, BLACK);
                    }
                }
            }
        }
    }
 
    /**
     * 元素延時(shí)加載，等到元素出現(xiàn)時(shí)返回該元素，超過(guò)500*0.05s后無(wú)響應(yīng)則拋出NOSuchElement異常
     * @param driver
     * @param by
     * @param count
     * @return WebElement
     * @throws Exception
     */
    private static WebElement waitWebElement(WebDriver driver, By by, int count) throws Exception {
        WebElement webElement = null;
        boolean isWait = false;
        for (int k = 0; k < count; k++) {
            try {
                webElement = driver.findElement(by);
                if (isWait)
                    System.out.println(" ok!");
                return webElement;
            } catch (org.openqa.selenium.NoSuchElementException ex) {
                isWait = true;
                if (k == 0)
                    System.out.print("waitWebElement(" + by.toString() + ")");
                else
                    System.out.print(".");
                Thread.sleep(50);
            }
        }
        if (isWait)
            System.out.println(" outTime!");
        return null;
    }
}

以上就是利用Java+Selenium+OpenCV模擬如何實(shí)現(xiàn)網(wǎng)頁(yè)滑動(dòng)驗(yàn)證，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。