Python的Tf-idf文本特征如何提取

本篇內(nèi)容主要講解“Python中Tf-idf文本特征如何提取”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Python中Tf-idf文本特征如何提取”吧!

說明

1、TF-IDF是如果詞或詞組出現(xiàn)在文章中的概率較高，而在其他文章中很少出現(xiàn)，那么它就被認(rèn)為具有很好的類別區(qū)分能力，適合進(jìn)行分類。

2、提取文本特征，用來評估字詞對文件集或某個語料庫中文件的重要性。

實(shí)例

def tfidf_demo():
    """
    用tfidf的方法進(jìn)行文本特征提取
    :return:
    """
    # 1.將中文文本進(jìn)行分詞
    data = ["一種還是一種今天很殘酷，明天更殘酷，后天很美好，但絕對大部分是死在明天晚上，所以每個人不要放棄今天。",
            "我們看到的從很遠(yuǎn)星系來的光是在幾百萬年之前發(fā)出的，這樣當(dāng)我們看到宇宙時，我們是在看它的過去。",
            "如果只用一種方式了解某樣事物，你就不會真正了解它。了解事物真正含義的秘密取決于如何將其與我們所了解的事物相聯(lián)系。"]
    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 2.實(shí)例化一個轉(zhuǎn)換器類
    transfer = TfidfVectorizer(stop_words=["一種", '因?yàn)?#39;])
    # 3.調(diào)用fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特征名字:\n", transfer.get_feature_names())
    return None

到此，相信大家對“Python中Tf-idf文本特征如何提取”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！