如何使用python實現(xiàn)字符串加密生成唯一固定長度字符串

這篇文章主要介紹了如何使用python實現(xiàn)字符串加密生成唯一固定長度字符串，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

背景

有時候爬蟲爬過的url需要進(jìn)行指紋核對，比如Scrapy就是進(jìn)行指紋核對，如果是指紋重復(fù)則不再爬取。當(dāng)然在入庫的時候我還是需要做一次核對，否則如果爬蟲有漏掉，進(jìn)入數(shù)據(jù)庫就不合適了。

思路

根據(jù)Scrapy的指紋生成方式，這次的指紋生成方式也是用hash的MD5對目標(biāo)URL進(jìn)行加密，生成固定長度的字符串，然后在數(shù)據(jù)庫里面將字段設(shè)置成unique，這樣的話在保證url固定長度的情況下還能夠保證入庫后的唯一性，進(jìn)最大努力避免出現(xiàn)重復(fù)的數(shù)據(jù)。

指紋生成代碼

新建一個文件，然后在里面編寫指紋生成的方法，在使用的時候from import進(jìn)來，調(diào)用方法即可。代碼為：

import hashlib
 
def get_md5(url):
 """
 由于hash不處理unicode編碼的字符串（python3默認(rèn)字符串是unicode）
  所以這里判斷是否字符串，如果是則進(jìn)行轉(zhuǎn)碼
  初始化md5、將url進(jìn)行加密、然后返回加密字串
 """
 if isinstance(url, str):
  url = url.encode("utf-8")
 md = hashlib.md5()
 md.update(url)
 return md.hexdigest()

為了驗證代碼的可用性，再加上代碼：

if __name__ == "__main__":
 urls = "http://www.baidus.com"
 print(get_md5(urls))

在本地運(yùn)行無誤，再把下面這串刪除。等到調(diào)用的時候from import get_md5把文件和方法引入，就可以使用了

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何使用python實現(xiàn)字符串加密生成唯一固定長度字符串”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!