python爬蟲入門需要了解的庫有哪些

小編給大家分享一下python爬蟲入門需要了解的庫有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

請求庫：

1. requests 這個庫是爬蟲最常用的一個庫

2. Selenium Selenium 是一個自動化測試工具，利用它我們可以驅(qū)動瀏覽器執(zhí)行特定的動作，如點擊、下拉等操作 對于一些用JS做誼染的頁面來說，這種抓取方式是非常有效的。

3.ChomeDrive 安裝了這個庫，才能驅(qū)動Chrome瀏覽器完成相應(yīng)的操作

4.GeckoDriver 使用W3C WebDriver兼容客戶端與基于Gecko的瀏覽器進行交互的代理。

5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎，它原生支持多種Web標準：Dom操作，css選擇器，json，Canvas以及SVG。

6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫，當我們發(fā)送一個請求后。程序會一直等待服務(wù)器響應(yīng)，直到服務(wù)器響應(yīng)后，程序才會最下一步處理。其實，這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情，如進行請求的調(diào)度，響應(yīng)的處理等，那么爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供異步web服務(wù)的庫。使用說這個庫用起來還是相當方便的。

解析庫：

1.lxml lxml是python的一個解析庫，這個庫支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受廣大程序員的熱愛

2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫，它可以很方便的懂網(wǎng)頁中提取數(shù)據(jù)，擁有強大的API和多種解析方式。

3.pyquery 同樣是一個強大的網(wǎng)頁解析工具，它提供了和 jQuery 類似的語法來解析HTML 文梢，

數(shù)據(jù)庫：

1.mysql 數(shù)據(jù)庫

2.MongoDB Mo goDB 是由 ＋＋語言編寫的非關(guān)系型數(shù)據(jù)庫， 是一個基于分布式文件存儲的開源數(shù)據(jù)庫系統(tǒng)內(nèi)容存儲形式類似 JSON 對象，它的字段值可以包含其他文檔、數(shù)組及文檔數(shù)組，非常靈活

3.Redis 是一個基于 存的高效的非關(guān)系型數(shù)據(jù)庫，

存儲庫：

1.PyMySOL

2.PyMongo

3.redis-py

4.RedisDump

web庫：

1.Flask 是一個輕量級的Web服務(wù)程序，它簡單，易用，靈活

2.Tornado 是一個支持異步的Web框架，通過使用非阻塞I/O流，可以支持成千上萬的開放式連接。

APP爬取相關(guān)庫：

1.Charles 是一個網(wǎng)絡(luò)抓包工具，相比 Fiddler，其功能更為強大 且跨平臺支持得更好。

2.mitmproxy 是一個支持HTTP和HTTPS的抓包工具，類似于Fiddler，Charles的功能，只不過它通過控制臺的形式操作。

3.Android

以上是“python爬蟲入門需要了解的庫有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！