溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

在python中分句的方法

發(fā)布時間:2020-07-01 11:19:09 來源:億速云 閱讀:938 作者:清晨 欄目:編程語言

這篇文章將為大家詳細(xì)講解有關(guān)在python中分句的方法,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。

在處理文本時,會遇到需要將文本以 句子 為單位進(jìn)行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。

分句的關(guān)鍵是找到合適的結(jié)束符號,比如:中文里的 。,英文里的 . 等,而且,在這一點上中英也是有很大區(qū)分的。

這里介紹一種純用 Python 實現(xiàn)的分句函數(shù)。

def cut_sentences(content):
	# 結(jié)束符號,包含中文和英文的
	end_flag = ['?', '!', '.', '?', '!', '。', '…']
	
	content_len = len(content)
	sentences = []
	tmp_char = ''
	for idx, char in enumerate(content):
		# 拼接字符
		tmp_char += char

		# 判斷是否已經(jīng)到了最后一位
		if (idx + 1) == content_len:
			sentences.append(tmp_char)
			break
			
		# 判斷此字符是否為結(jié)束符號
		if char in end_flag:
			# 再判斷下一個字符是否為結(jié)束符號,如果不是結(jié)束符號,則切分句子
			next_idx = idx + 1
			if not content[next_idx] in end_flag:
				sentences.append(tmp_char)
				tmp_char = ''
				
	return sentences

content = '在處理文本時,會遇到需要將文本以 句子 為單位進(jìn)行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('\n\n'.join(sentences))

在處理文本時,會遇到需要將文本以 句子 為單位進(jìn)行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。

本文會介紹 Python 是如何處理 分句 的。

這個函數(shù)可以通過修改 end_flag (結(jié)束符號),來自定義特定的句子切分方式,比如加入 ; 等符號。

當(dāng)然,也可以用正則表達(dá)式來完成分句,使用 re.split 的方法。

import re

def cut_sentences(content):
	sentences = re.split(r'(\.|\!|\?|。|!|?|\.{6})', content)
	return sentences

content = content = '在處理文本時,會遇到需要將文本以 句子 為單位進(jìn)行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('\n\n'.join(sentences))

在處理文本時,會遇到需要將文本以 句子 為單位進(jìn)行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。

本文會介紹 Python 是如何處理 分句 的。

關(guān)于在python中分句的方法就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI