詳解Python 字符串相似性的幾種度量方法

發(fā)布時間：2020-10-01 05:14:47 來源：腳本之家閱讀：434 作者：-牧野- 欄目：開發(fā)技術(shù)

字符串的相似性比較應(yīng)用場合很多，像拼寫糾錯、文本去重、上下文相似性等。

評價字符串相似度最常見的辦法就是：把一個字符串通過插入、刪除或替換這樣的編輯操作，變成另外一個字符串，所需要的最少編輯次數(shù)，這種就是編輯距離（edit distance）度量方法，也稱為Levenshtein距離。海明距離是編輯距離的一種特殊情況，只計算等長情況下替換操作的編輯次數(shù)，只能應(yīng)用于兩個等長字符串間的距離度量。

其他常用的度量方法還有 Jaccard distance、J-W距離（Jaro–Winkler distance）、余弦相似性（cosine similarity）、歐氏距離（Euclidean distance）等。

python-Levenshtein 使用

使用 pip install python-Levenshtein 指令安裝 Levenshtein

# -*- coding: utf-8 -*-
 
import difflib
# import jieba
import Levenshtein
 
str1 = "我的骨骼雪白 也長不出青稞"
str2 = "雪的日子 我只想到雪中去si"
 
# 1. difflib
seq = difflib.SequenceMatcher(None, str1,str2)
ratio = seq.ratio()
print 'difflib similarity1: ', ratio
 
# difflib 去掉列表中不需要比較的字符
seq = difflib.SequenceMatcher(lambda x: x in ' 我的雪', str1,str2)
ratio = seq.ratio()
print 'difflib similarity2: ', ratio
 
# 2. hamming距離，str1和str2長度必須一致，描述兩個等長字串之間對應(yīng)位置上不同字符的個數(shù)
# sim = Levenshtein.hamming(str1, str2)
# print 'hamming similarity: ', sim
 
# 3. 編輯距離，描述由一個字串轉(zhuǎn)化成另一個字串最少的操作次數(shù)，在其中的操作包括 插入、刪除、替換
sim = Levenshtein.distance(str1, str2)
print 'Levenshtein similarity: ', sim
 
# 4.計算萊文斯坦比
sim = Levenshtein.ratio(str1, str2)
print 'Levenshtein.ratio similarity: ', sim
 
# 5.計算jaro距離
sim = Levenshtein.jaro(str1, str2 )
print 'Levenshtein.jaro similarity: ', sim
 
# 6. Jaro–Winkler距離
sim = Levenshtein.jaro_winkler(str1 , str2 )
print 'Levenshtein.jaro_winkler similarity: ', sim

輸出：

difflib similarity1: 0.246575342466
difflib similarity2: 0.0821917808219
Levenshtein similarity: 33
Levenshtein.ratio similarity: 0.27397260274
Levenshtein.jaro similarity: 0.490208958959
Levenshtein.jaro_winkler similarity: 0.490208958959

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細節(jié)

詳解Python 字符串相似性的幾種度量方法

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽