python爬蟲之Appium如何爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢

這篇文章將為大家詳細(xì)講解有關(guān)python爬蟲之Appium如何爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

Appium

在前文的講解中，我們學(xué)會(huì)了如何安裝Appium，以及一些基礎(chǔ)獲取App元素內(nèi)容的方式。但認(rèn)真看過前文的讀者，肯定在博主獲取元素的時(shí)候觀察到了一個(gè)現(xiàn)象。

那就是手機(jī)App的內(nèi)容并不是一次性加載出來的，比如大多數(shù)Android手機(jī)列表ListView，都是異步加載，也就是你滑動(dòng)到那個(gè)位置，它才會(huì)顯示出它的內(nèi)容。

也就是說，我們前面爬取微博首頁全部信息的時(shí)候，如果你不滑動(dòng)先加載一定的微博內(nèi)容，也就如上圖所示，只能獲取2個(gè)微博內(nèi)容。

模擬操作

所以，我們要實(shí)戰(zhàn)獲取微博內(nèi)容的話，首先你需要學(xué)會(huì)如何模擬滑動(dòng)屏幕操作。下面，我們來一一介紹屏幕的互動(dòng)操作。

屏幕滑動(dòng)

在Python的Appium-Python-Client包中，我們通過swipe()函數(shù)模擬用戶手勢從A滑動(dòng)到B點(diǎn)，其具體的方法定義如下所示：

def swipe(self: T, start_x: int, start_y: int, end_x: int, end_y: int, duration: int = 0) -> T

start_x：開始位置的橫坐標(biāo)

start_y：開始位置的縱坐標(biāo)

end_x：結(jié)束位置的橫坐標(biāo)

end_y：結(jié)束位置的縱坐標(biāo)

duration：持續(xù)時(shí)間，也就是處于距離后生成滑動(dòng)速度

當(dāng)然，滑動(dòng)的方法還有一個(gè)：flick()，它只有4個(gè)參數(shù)，缺少duration參數(shù)，也就是快速從某個(gè)位置滑動(dòng)到指定的位置。

示例代碼：

from appium import webdriver
import time

server = "http://localhost:4723/wd/hub"
desired_caps = {
    "platformName": "Android",
    "deviceName": "liyuanjing",
    "appPackage": "com.sina.weibo",
    "appActivity": "com.sina.weibo.MainTabActivity",
}
driver = webdriver.Remote(server, desired_caps)
time.sleep(5)
el1 = driver.find_element_by_id("com.android.permissioncontroller:id/permission_allow_button")
el1.click()
time.sleep(5)
driver.swipe(500,500,500,2000,3000)

上面代碼實(shí)現(xiàn)的下拉屏幕刷新功能，下拉刷新其實(shí)也是一個(gè)滑動(dòng)的操作，是先滑動(dòng)一段距離然后松開。

當(dāng)然，如果你要實(shí)現(xiàn)上滑加載更多的微博，可以直接將坐標(biāo)顛倒過來即可，這里我們將方法替換成flick()，也就是只需要替換最后一行代碼。

driver.flick(487, 2085, 513, 257)

不過，這里有一個(gè)非常顯著的問題，手機(jī)的坐標(biāo)到底寬高都是多少呢？雖然說，我們程序員什么都通過代碼先解決不要一上來就用工具。

但博主想說，這種坐標(biāo)每個(gè)手機(jī)的像素分辨率都不同，比如上面swipe就是博主猜測的坐標(biāo)。而flick()博主試了半天，沒弄出來，最后還是借助Appium生成坐標(biāo)給我。

如上圖所示，我們先點(diǎn)擊藍(lán)色選框中像“一橫”的圖標(biāo)，然后記得點(diǎn)錄制“眼睛”按鈕。接著，在App上拉兩個(gè)點(diǎn)，這2個(gè)點(diǎn)就是滑動(dòng)的間距，最后生成如下圖所示的代碼。

這里就有2個(gè)坐標(biāo)，當(dāng)然上面的代碼是動(dòng)作鏈的知識(shí)后面我們會(huì)講解。這里我們需要copy這2個(gè)坐標(biāo)到flick()方法中，然后就可以下滑微博加載數(shù)據(jù)。

至于加載微博的動(dòng)圖與下滑微博的動(dòng)圖，大家都玩過微博，這里不需要演示。

屏幕點(diǎn)擊

以前的微博都是限制為140字，你不需要打開微博詳情，也能看到微博的所有數(shù)據(jù)。但是自從長微博出現(xiàn)之后，有些微博還必須點(diǎn)擊進(jìn)去才能看完整。

同樣，我們爬取這些數(shù)據(jù)，有時(shí)候也要點(diǎn)擊進(jìn)去才能完全獲取長微博的數(shù)據(jù)。所以，我們需要掌握如何點(diǎn)擊某個(gè)微博。

在Appium包中，我們點(diǎn)擊微博使用的是：tap()方法。該方法不僅支持單指點(diǎn)擊，而且最多可以支持5個(gè)手指，同時(shí)也可以設(shè)置點(diǎn)擊的時(shí)長。具體定義如下：

def tap(self: T, positions: List[Tuple[int, int]], duration: Optional[int] = None) -> T

positions：點(diǎn)擊的位置組成的列表，比如五個(gè)手指，那就是5個(gè)坐標(biāo)值的列表

duration：點(diǎn)擊持續(xù)的時(shí)間，時(shí)間短就是點(diǎn)擊操作，時(shí)間長就是長按操作

示例代碼如下：

el2 = driver.tap([(500,500)])
el2.click()

不過，這里有讀者肯定會(huì)問，每條微博的我難道用坐標(biāo)取定位？那是怎么區(qū)分你點(diǎn)的是哪條微博，畢竟一個(gè)頁面最少也有2條微博。這里，我們先來看張圖：

這里，博主點(diǎn)擊的是第2條微博數(shù)據(jù)，可以看到其id就是微博的內(nèi)容。所以，后面我們想要獲取微博的詳細(xì)內(nèi)容，可以直接通過獲取內(nèi)容后在點(diǎn)擊。

屏幕拖動(dòng)

看到這個(gè)小標(biāo)題，博主都有寫困惑。拖動(dòng)與滑動(dòng)是不是差不多的？

還別說，博主覺得還真差不多，不過這2個(gè)在Appium包中的方法卻不一樣，前文的滑動(dòng)時(shí)通過坐標(biāo)進(jìn)行定位的，這里的拖動(dòng)是通過元素定位的。

比如，你需要你滑動(dòng)的距離是一個(gè)按鈕到另一個(gè)按鈕的位置，我們可以直接獲取到這2個(gè)按鈕，然后使用scroll()方法實(shí)現(xiàn)滑動(dòng)操作。其定義如下：

def scroll(self: T, origin_el: WebElement, destination_el: WebElement, duration: Optional[int] = None) -> T

origin_el：被操作的元素

destination_el：目標(biāo)元素

duration：持續(xù)時(shí)間

這里就不演示了，就是獲取元素位置然后拖動(dòng)到指定元素的位置。與前文實(shí)現(xiàn)的效果差不多，只是將坐標(biāo)變成了2個(gè)元素的位置。

屏幕拖拽

同樣的，微博不好演示的還有拖拽操作。它的方法為drag_and_drop()，其定義如下：

def drag_and_drop(self: T, origin_el: WebElement, destination_el: WebElement) -> T

origin_el：被拖拽的元素

destination_el：目標(biāo)元素

這里的拖拽你可以理解為將一個(gè)按鈕元素拖動(dòng)到另一個(gè)按鈕的位置，這里拖拽的是元素本身，不是位置的滑動(dòng)。微博中暫時(shí)也沒有演示的操作，感興趣的可以測試其他App。

文本輸入

在模擬登錄或者說這里發(fā)微博的時(shí)候，用戶肯定需要模擬輸入文本。而且，在需要登錄的爬蟲場景之下，登錄都是必備步驟。比如微信朋友圈內(nèi)容的爬取，你不登陸看得到朋友圈嗎？

所以，我們需要掌握Appium的文本輸入操作。而它提供了2個(gè)方法進(jìn)行文本的輸入，一個(gè)是set_text()；一個(gè)是send_keys()。

現(xiàn)在我們模擬微博輸入賬號(hào)，示例代碼如下：

from appium import webdriver
import time
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec

server = "http://localhost:4723/wd/hub"
desired_caps = {
    "platformName": "Android",
    "deviceName": "liyuanjing",
    "appPackage": "com.sina.weibo",
    "appActivity": "com.sina.weibo.MainTabActivity",
}
driver = webdriver.Remote(server, desired_caps)
wait = WebDriverWait(driver, 20)
time.sleep(5)
el1 = driver.find_element_by_id("com.android.permissioncontroller:id/permission_allow_button")
el1.click()
el2 = wait.until(ec.presence_of_element_located((By.ID, 'com.sina.weibo:id/titleBack')))
el2.click()
el3 = wait.until(ec.presence_of_element_located((By.ID, 'com.sina.weibo:id/et_login_view_phone')))
el3.send_keys("liyuanjinglyj@163.com")

這里，我們只是模擬輸入文本，當(dāng)然登錄用戶名是手機(jī)，但手機(jī)屬于隱私。博主這里替換成郵箱。感興趣的可以自己替換手機(jī)試試。同時(shí)也可以替換為send_text()方法。

動(dòng)作鏈

動(dòng)作鏈顧名思義就是一系列操作動(dòng)作的組合。在Selenium中，動(dòng)作鏈?zhǔn)茿ctionChains，而Appium中，動(dòng)作鏈?zhǔn)荰ouchAction。

比如，我們執(zhí)行的下拉刷新其實(shí)就是一個(gè)動(dòng)作鏈。這里，我們會(huì)執(zhí)行2個(gè)動(dòng)作，一個(gè)是按壓，一個(gè)是從指定位置滑動(dòng)到另一個(gè)位置。這里，我們將2個(gè)動(dòng)作組合實(shí)現(xiàn)：

TouchAction(driver).press(x=380, y=2101).move_to(x=390, y=519).release()

實(shí)戰(zhàn)：爬取微博首頁信息

其實(shí)，Appium開始推出的時(shí)候，是為了自動(dòng)化測試準(zhǔn)備的工具，并不專用于爬蟲數(shù)據(jù)。而且Appium有一個(gè)缺陷，目前沒有直接的辦法獲取圖片。

如果你想下載App界面中的圖片，可以模擬用戶長按的操作進(jìn)行圖片的下載。也可以直接截圖。話不多說，我們來實(shí)現(xiàn)獲取微博的文字信息并保存到目錄。示例如下：

from appium import webdriver
import time
from selenium.webdriver.support.ui import WebDriverWait
import os


def mkdir(path):
    path = path.strip()
    path = path.rstrip("\\")
    isExists = os.path.exists(path)
    # 判斷結(jié)果
    if not isExists:
        # 如果不存在則創(chuàng)建目錄
        # 創(chuàng)建目錄操作函數(shù)
        os.makedirs(path)
        print(path + ' 創(chuàng)建成功')
        return True
    else:
        # 如果目錄存在則不創(chuàng)建，并提示目錄已存在
        print(path + ' 目錄已存在')
        return False


server = "http://localhost:4723/wd/hub"
desired_caps = {
    "platformName": "Android",
    "deviceName": "liyuanjing",
    "appPackage": "com.sina.weibo",
    "appActivity": "com.sina.weibo.MainTabActivity",
}
driver = webdriver.Remote(server, desired_caps)
wait = WebDriverWait(driver, 20)
time.sleep(5)
el1 = driver.find_element_by_id("com.android.permissioncontroller:id/permission_allow_button")
el1.click()
time.sleep(5)
mkdir("weiboFile")
for i in range(10):
    items = driver.find_elements_by_id("com.sina.weibo:id/contentTextView")
    for item in items:
        txt_text = item.get_attribute("content-desc")
        folder_output = 'weiboFile/%s.txt' % str(int(time.time()))
        with open(folder_output, "w", encoding='utf-8') as f:
            f.write(txt_text)
        f.close()
        print(txt_text)
    driver.swipe(487, 2085, 513, 257, 3000)

上面代碼主要的功能在for-in循環(huán)之中。這里，我們通過先獲取文本數(shù)據(jù)保存之后，在滑動(dòng)屏幕獲取其他的微博數(shù)據(jù)。

如果你想獲取更多的數(shù)據(jù)，可以把循環(huán)的次數(shù)設(shè)置的更大一些。因?yàn)锳pp的數(shù)據(jù)都是在滑動(dòng)之中進(jìn)行加載的。運(yùn)行之后，效果如下所示：

關(guān)于“python爬蟲之Appium如何爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。