溫馨提示×

python如何對文本進(jìn)行分詞

小億
195
2024-05-25 16:58:09
欄目: 編程語言

在Python中，可以使用nltk（Natural Language Toolkit）或jieba庫來對文本進(jìn)行分詞。以下是使用這兩個庫對文本進(jìn)行分詞的示例代碼：

使用nltk庫：

import nltk
from nltk.tokenize import word_tokenize

text = "This is a sample text for tokenization."

tokens = word_tokenize(text)
print(tokens)

使用jieba庫：

import jieba

text = "這是一個用于分詞的示例文本。"

tokens = jieba.cut(text)
print(list(tokens))

以上代碼分別使用nltk和jieba庫對文本進(jìn)行分詞，并輸出分詞結(jié)果。根據(jù)文本的語言和需求，可以選擇合適的庫進(jìn)行分詞操作。

0 踩