使用python怎么篩選出兩個(gè)文件的重復(fù)行

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)使用python怎么篩選出兩個(gè)文件的重復(fù)行，文章內(nèi)容豐富且以專(zhuān)業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

具體內(nèi)容如下

'''
查找A文件中，與B文件中內(nèi)容不重復(fù)的內(nèi)容
'''
#!usr/bin/python

import sys
import os

'''
字符串查找函數(shù)，使用二分查找法在列表中進(jìn)行查詢
'''
def binarySearch(value, lines):
  right = len(lines) - 1
  left = 0
  a = value.strip()
  while left <= right:
    middle = int((right + left + 1)/2)
    b = lines[middle].strip()
    if a == b:
      return 1

    if a < b:
      right = middle - 1
    else:
      left = middle + 1

  return 0

DPT = 100000 # DPT 是Data Per File的意思

fileAName = sys.argv[1];
fileBName = sys.argv[2];

#STEP1：先拆掉B文件，作為比較基準(zhǔn)，臨時(shí)文件命名為temp1,temp2,...,tempN
print("拆分比對(duì)文件...\n")
fB = open(fileBName)
tempFileNo = 1
tempFileName = "temp{0}".format(tempFileNo)
fTemp = open(tempFileName, "w+")
line = fB.readline()
lineCount = 0
while line:
  if lineCount >= DPT:
    fTemp.flush()
    fTemp.close()
    tempFileNo = tempFileNo + 1
    tempFileName = "temp{0}".format(tempFileNo)
    fTemp = open(tempFileName, "w+")
    lineCount = 0
  fTemp.write(line)
  lineCount = lineCount + 1
  line = fB.readline()  

fTemp.flush()
fTemp.close()

fB.close()
print("拆分完成，一共{0}個(gè)臨時(shí)文件，{1}條數(shù)據(jù)。\n".format(tempFileNo, (tempFileNo-1)*DPT + lineCount))

#STEP2：把A文件與B文件拆出來(lái)的臨時(shí)文件逐個(gè)進(jìn)行比較，將結(jié)果輪流寫(xiě)入文件result0, result1
#    最后寫(xiě)入的result文件就是最終結(jié)果
fA = open(fileAName)
resultTempFile = {"result0", "result1"};
tempIndex = 0
fOut = open("repeat", "w+")
repeatCount = 0
for i in range(1, tempFileNo + 1):
  print("比較第{0}個(gè)臨時(shí)文件...\n".format(i))
  if 0 == tempIndex:
    resultTempFile = "result0"   
    tempIndex = 1
  else:
    resultTempFile = "result1"
    tempIndex = 0
  fResult = open(resultTempFile, "w+")

  fTemp = open("temp{0}".format(i))
  lineSet = fTemp.readlines()
  fTemp.close()
  lineList = list(lineSet)
  lineList.sort()

  line = fA.readline()
  while line:
    if 0 == binarySearch(line, lineList):
      fResult.write(line)
    else:
      fOut.write(line)
      repeatCount = repeatCount + 1
    line = fA.readline()
  fA.close()

  fResult.flush()
  fResult.close()

  fA = open(resultTempFile)

fA.close()
fOut.flush()
fOut.close()

print("比較完成，重復(fù)數(shù)據(jù){0}條".format(repeatCount))

os.rename(resultTempFile, "result")

#STEP3：結(jié)束后把臨時(shí)文件都刪掉
print("刪除臨時(shí)文件...\n")
while tempFileNo > 0:
  tempFileName = "temp{0}".format(tempFileNo)
  os.remove(tempFileName)
  tempFileNo = tempFileNo - 1

print("腳本結(jié)束。\n")

Python主要用來(lái)做什么

Python主要應(yīng)用于：1、Web開(kāi)發(fā)；2、數(shù)據(jù)科學(xué)研究；3、網(wǎng)絡(luò)爬蟲(chóng)；4、嵌入式應(yīng)用開(kāi)發(fā)；5、游戲開(kāi)發(fā)；6、桌面應(yīng)用開(kāi)發(fā)。

上述就是小編為大家分享的使用python怎么篩選出兩個(gè)文件的重復(fù)行了，如果剛好有類(lèi)似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。