溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python中Tf-idf怎么用

發(fā)布時間:2021-09-07 13:50:38 來源:億速云 閱讀:194 作者:小新 欄目:編程語言

這篇文章主要介紹了Python中Tf-idf怎么用,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

說明

1、TF-IDF是如果詞或詞組出現(xiàn)在文章中的概率較高,而在其他文章中很少出現(xiàn),那么它就被認為具有很好的類別區(qū)分能力,適合進行分類。

2、提取文本特征,用來評估字詞對文件集或某個語料庫中文件的重要性。

實例

def tfidf_demo():
    """
    用tfidf的方法進行文本特征提取
    :return:
    """
    # 1.將中文文本進行分詞
    data = ["一種還是一種今天很殘酷,明天更殘酷,后天很美好,但絕對大部分是死在明天晚上,所以每個人不要放棄今天。",
            "我們看到的從很遠星系來的光是在幾百萬年之前發(fā)出的,這樣當我們看到宇宙時,我們是在看它的過去。",
            "如果只用一種方式了解某樣事物,你就不會真正了解它。了解事物真正含義的秘密取決于如何將其與我們所了解的事物相聯(lián)系。"]
    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 2.實例化一個轉(zhuǎn)換器類
    transfer = TfidfVectorizer(stop_words=["一種", '因為'])
    # 3.調(diào)用fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特征名字:\n", transfer.get_feature_names())
    return None

感謝你能夠認真閱讀完這篇文章,希望小編分享的“Python中Tf-idf怎么用”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業(yè)資訊頻道,更多相關知識等著你來學習!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權內(nèi)容。

AI