python爬蟲urljoin()如何生成鏈接

這篇文章給大家分享的是有關(guān)python爬蟲urljoin()如何生成鏈接的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

urlunparse()和urlunsplit()方法，我們可以完成鏈接的合并，但前提是必須有一個(gè)特定長度的對象，鏈接的每個(gè)部分都應(yīng)該清晰地分開。除此之外還有urljoin()方法。

1、urljoin()可以實(shí)現(xiàn)生成鏈接。提供base_url(基本鏈接)作為第一個(gè)參數(shù)，以新鏈接作為第二個(gè)參數(shù)。

2、該方法將分析base_url的scheme、netloc和path，并補(bǔ)充新鏈接缺失的部分，最終返回結(jié)果。

實(shí)例

from urllib.parse import urljoin
 
print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

輸出

http://www.baidu.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html?question=2
https://cuiqingcai.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2

感謝各位的閱讀！關(guān)于“python爬蟲urljoin()如何生成鏈接”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！