Python如何實(shí)現(xiàn)對(duì)中文文本分段分句

這篇文章主要介紹“Python如何實(shí)現(xiàn)對(duì)中文文本分段分句”的相關(guān)知識(shí)，小編通過實(shí)際案例向大家展示操作過程，操作方法簡(jiǎn)單快捷，實(shí)用性強(qiáng)，希望這篇“Python如何實(shí)現(xiàn)對(duì)中文文本分段分句”文章能幫助大家解決問題。

一、問題

實(shí)現(xiàn)對(duì)文本的分句，大致來說主要是以中文的句號(hào)、感嘆、問號(hào)等符號(hào)進(jìn)行分句。難點(diǎn)在于直接分句可能會(huì)造成人物說話的語句也被分開！

二、步驟

分段

首先讀取文本，文本讀取后整體是一個(gè)字符串，每一個(gè)段之間是空白，所以分段之間按照空白分開來即可，最后存入一個(gè)paragraph_list，注意該list的下標(biāo)就是段落的順序號(hào)！其他的這里就不再多贅述?。梢圆榭醋詈蟮恼w代碼）

分句

首先拿到上面分好的paragraph_list，循環(huán)拿到每一段，然后對(duì)每一段直接按照分句規(guī)則（正則表達(dá)式）進(jìn)行分句，參考該文章

import re

def cut_sent(para):
    para = re.sub('([。??？\?])([^”'])', r"\1\n\2", para)
    para = re.sub('(\.{6})([^”'])', r"\1\n\2", para)
    para = re.sub('(\…{2})([^”'])', r"\1\n\2", para)
    para = re.sub('([。！？\?][”'])([^，。??？\?])', r'\1\n\2', para)
    para = para.rstrip()
    return para.split("\n")

# 這一段文字分句后應(yīng)該有的結(jié)果
s = '今天天氣好??！' \
    '溫度高嗎？你好，很高興遇見你，真不錯(cuò)。' \
    '小明遇見小紅說："你的衣服這好看！"' \
    '小紅說："什么？衣服真好看？真的嗎？"' \
    '小明回答到："嗯，真的！我也想買。"'

for i in cut_sent(s):
    print(i)
    
#結(jié)果將人物語句也分開
"""
今天天氣好?。?
溫度高嗎？
你好，很高興遇見你，真不錯(cuò)。
小明遇見小紅說："你的衣服這好看！
"小紅說："什么？
衣服真好看？
真的嗎？
"小明回答到："嗯，真的！
我也想買。
"
"""

連接

這里解決辦法就是循環(huán)每一句，識(shí)別："和"

• 兩個(gè)符號(hào)均有，則該句直接就是一整句，直接就加入

• 兩個(gè)符號(hào)都沒有，則該句直接就是一整句，直接就加入

• 如果只有前面符號(hào)而無后面符號(hào)，則記錄有前面符號(hào)那一句，依次往下拼接，直到遇到字符最后有“，將上面拼接好的語句作為一整句放入

def connect(paragraph):
    sentence_before = []
    sentence_after = []
    for each_para in paragraph:
        sentence_before.append(cut(each_para))
    # 核心代碼！（將被錯(cuò)分的語句進(jìn)行連接）
    for each in sentence_before:
        list = []
        sentence = ""
        FLAG = True # 非常關(guān)鍵！判斷有'：“'的符號(hào)后面的語句是否繼續(xù)拼接
        for i in each:
            if i.find('：“') * i.find('”') >= 0 and FLAG:
                list.append(i + sentence)
            else:
                FLAG = False
                sentence = sentence + i
                if i.find('”') > 0:
                    list.append(sentence)
                    sentence = ""
                    FLAG = True
        sentence_after.append(list)
    return sentence_after

三、最后整體代碼

import re
import pandas as pd

# 將整篇文章進(jìn)行分段
def segments(url):
    raw = pd.read_csv(url,names=['txt'], sep='aaa', encoding="GBK" ,engine='python')

    def m_head(tem_str):
        return tem_str[:1]

    def m_mid(tmp_str):
        return tmp_str.find("回 ")
    raw['head'] = raw.txt.apply(m_head)
    raw['mid'] = raw.txt.apply(m_mid)
    raw['len'] = raw.txt.apply(len)
    chap_num = 0
    for i in range(len(raw)):
        if raw['head'][i] == "第" and raw['mid'][i] > 0 and raw['len'][i] < 30:
            chap_num += 1
        if chap_num >= 40 and raw['txt'][i] == "附錄一：成吉思汗家族":
            chap_num = 0
        raw.loc[i, 'chap'] = chap_num
    del raw['head']
    del raw['mid']
    del raw['len']
    tmp_chap = raw[raw['chap'] == 7].copy()
    tmp_chap.reset_index(drop=True, inplace=True)
    tmp_chap['paraidx'] = tmp_chap.index
    paragraph = tmp_chap['txt'].values.tolist()
    return paragraph

# 將每段進(jìn)行分句
def cut(para):
    # 相關(guān)規(guī)則
    pattern = ['([。??？\?])([^”'])','(\.{6})([^”'])','(\…{2})([^”'])','([。?。縗?][”'])([^，。?。縗?])']
    for i in pattern:
        para = re.sub(i, r"\1\n\2", para)
    para = para.rstrip()
    return para.split("\n")

# 將其中被錯(cuò)分的語句進(jìn)行連接(主要是針對(duì)話語)
def connect(paragraph):
    sentence_before = []
    sentence_after = []
    for each_para in paragraph:
        sentence_before.append(cut(each_para))
    # 核心代碼?。▽⒈诲e(cuò)分的語句進(jìn)行連接）
    for each in sentence_before:
        list = []
        sentence = ""
        FLAG = True # 非常關(guān)鍵！判斷有'：“'的符號(hào)后面的語句是否繼續(xù)拼接
        for i in each:
            if i.find('：“') * i.find('”') >= 0 and FLAG:
                list.append(i + sentence)
            else:
                FLAG = False
                sentence = sentence + i
                if i.find('”') > 0:
                    list.append(sentence)
                    sentence = ""
                    FLAG = True
        sentence_after.append(list)
    return sentence_after

# 將最后的結(jié)果保存到DataFrame
def toDataFrame(list3):
    df = pd.DataFrame(columns=["content","paragraph","sentence"])
    for para_num,i in enumerate(list3):
       for sentence_num,j in enumerate(i):
            df_ = pd.DataFrame({"content": j, "paragraph": para_num,"sentence":sentence_num+1},index=[para_num])
            df = df.append(df_,ignore_index=True)
    for i in df['content'].values.tolist():
        print(i)

def main():
    # URL = "/Users/dengzhao/Downloads/金庸-射雕英雄傳txt精校版.txt"
    URL = input("請(qǐng)輸入文件地址：")
    para = segments(URL)
    result = connect(para)
    print(result)
    flag = input("以DataFrame形式輸出數(shù)據(jù)(Y,N)：")
    if flag == 'Y':
        toDataFrame(result)
    elif flag == 'N':
        print("Thanks！?。?！")
    else:
        print("程序結(jié)束！請(qǐng)檢查的你的輸入！")

if __name__ == '__main__':
    main()

關(guān)于“Python如何實(shí)現(xiàn)對(duì)中文文本分段分句”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會(huì)為大家更新不同的知識(shí)點(diǎn)。