如何使用python實現(xiàn)切割url得到域名、協(xié)議、主機(jī)名等各個字段的例子

這篇文章給大家分享的是有關(guān)如何使用python實現(xiàn)切割url得到域名、協(xié)議、主機(jī)名等各個字段的例子的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

實現(xiàn)代碼：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

功能: 對URL進(jìn)行分割，基于urlparse, publicsuffix, urllib編寫
'''
from urlparse import urlparse
import codecs
from publicsuffix import PublicSuffixList
from urllib import splitport
import re
 
 
def domain_split(server_domain):
  '''
  server_domain為網(wǎng)站所用服務(wù)名+域名
  分割域名, 得到前綴(服務(wù)名)、主機(jī)域名、后綴(頂級域名)
    輸入www.baidu.com，輸出'www', 'baidu', 'com'
    輸入172.31.137.240，輸出'', '172.31.137.240', ''
  '''
  PSL_FILE = codecs.open('public_suffix_list.dat', encoding='utf8')
  psl = PublicSuffixList(PSL_FILE)
  domain = psl.get_public_suffix(server_domain)
  # 取域名的第一個字段，即第一個'.'之前的為主機(jī)域名, 后面為頂級域名，前面為所使用的服務(wù)
  if '.' in domain:
    server = server_domain[:-len(domain)]
    host = domain[:domain.index('.')]
    top = domain[domain.index('.'):]
    hostname = server + host + top
  else: # 說明提取域名失敗，例如172.31.137.240等IP形式，此時全部當(dāng)作主機(jī)域名
    server = ''
    host = server_domain
    top = ''
    hostname = server_domain
  return server, host, top, hostname
 
 
def url_split_new(url):
  '''
  url分割
  '''
  if not url.startswith('http'): # 補(bǔ)全協(xié)議，否則urlparse出錯
    url = 'http://' + url
  parts = urlparse(url)
  # 服務(wù)+域名'www.baidu.api.com.cn'切分
  server, host, top, hostname = domain_split(parts.netloc)
  host, port = splitport(host)
  if port == None: port = ''
  return {'protocol': parts.scheme, 'hostname': hostname, 'path': parts.path}
 
 
if __name__ == '__main__':
  print url_split_new('http://www.baidu.com/')
  print url_split('http://www.baidu.com/')

感謝各位的閱讀！關(guān)于“如何使用python實現(xiàn)切割url得到域名、協(xié)議、主機(jī)名等各個字段的例子”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！