使用python怎么去除文件中的重復(fù)行

這篇文章給大家介紹使用python怎么去除文件中的重復(fù)行，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

python的五大特點是什么

python的五大特點：1.簡單易學(xué)，開發(fā)程序時，專注的是解決問題,而不是搞明白語言本身。2.面向?qū)ο螅c其他主要的語言如C++和Java相比, Python以一種非常強大又簡單的方式實現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無需修改就可以在各種平臺上運行。4.解釋性，Python語言寫的程序不需要編譯成二進制代碼,可以直接從源代碼運行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。

如下代碼：

# -*- coding: UTF-8 -*-
#程序功能是為了完成判斷文件中是否有重復(fù)句子
#并將重復(fù)句子打印出來
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要變?yōu)閟tr才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最終要變?yōu)閟tr類型
  file_dul.write(temp_str);       #將重復(fù)的存入到文件中
 else:
  res_list.append(line)

關(guān)于使用python怎么去除文件中的重復(fù)行就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。