在NLTK庫中，可以使用自帶的分詞器來實現(xiàn)文本分詞。以下是一個簡單的示例代碼：
import nltk
from nltk.tokenize import word_tokenize
# 定義文本
text = "Hello, how are you today?"
# 使用NLTK的word_tokenize函數(shù)進行分詞
tokens = word_tokenize(text)
# 打印分詞結(jié)果
print(tokens)
運行以上代碼，將會輸出以下結(jié)果：
['Hello', ',', 'how', 'are', 'you', 'today', '?']
在NLTK中還有其他不同類型的分詞器，可以根據(jù)需要選擇合適的分詞器來實現(xiàn)文本分詞。
億速云公眾號
手機網(wǎng)站二維碼