如何快速用Python處理3萬(wàn)多條數(shù)據(jù)

這篇文章給大家介紹如何快速用Python處理3萬(wàn)多條數(shù)據(jù)，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

應(yīng)用場(chǎng)景：工作中經(jīng)常遇到大量的數(shù)據(jù)需要整合、去重、按照特定格式導(dǎo)出等情況。如果用 Excel 操作，不僅費(fèi)時(shí)費(fèi)力，還不準(zhǔn)確，有么有更高效的解決方案呢？

以17個(gè) txt 文本，3萬(wàn)多條數(shù)據(jù)為例，使用 Python 連接 MySQL 數(shù)據(jù)庫(kù)，實(shí)現(xiàn)快速操作。

別人加班干的活，我的 Python 小助手幾秒鐘就搞定了！

將數(shù)據(jù)寫(xiě)入 MySQL 數(shù)據(jù)庫(kù)

下圖所示文件是本文的數(shù)據(jù)源：

我們的設(shè)想是：編寫(xiě)一個(gè)小程序，扔在這個(gè)文件夾里，雙擊后就可以自動(dòng)讀取每個(gè) txt 文檔中的數(shù)據(jù)，并寫(xiě)入數(shù)據(jù)庫(kù)。

代碼如下：

import pymysql  import os  conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')  cur = conn.cursor()  cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY  (id));")  conn.commit()  path = os.getcwd()  files = os.listdir(path)  i = 0  for file in files:      f = open(file,'r',encoding = 'UTF-8')      next(f)      for line in f:          i += 1          #print(line)          sql = "insert into qq(qq) values(%s);"          cur.execute(sql,line)          print("插入第", i, "條數(shù)據(jù)！")          conn.commit()      f.close()  cur.close()  conn.close()

運(yùn)行效果：

重點(diǎn)代碼解釋?zhuān)?/strong>

這段代碼用到了 pymysql 和 os 兩個(gè)庫(kù)。

•  pymysql：用來(lái)操作 MySQL 數(shù)據(jù)庫(kù)；

•  os：用來(lái)遍歷所在文件夾下的所有文件。

現(xiàn)將主要代碼解釋如下：

1、遍歷任意文件夾下所有文件名稱(chēng)

程序?qū)懞煤?，使?pyinstaller 打包成 exe 程序，并放在要操作的文件夾下面。

通過(guò) path = os.getcwd()命令，獲取該 exe 文件所在目錄。

通過(guò) files = os.listdir(path)命令，獲取 exe 文件所在目錄下的所有文件名稱(chēng)，并存入 files 列表中。

這樣我們就獲得了所有的 txt 文件名稱(chēng)，你可以任意命名你的 txt 文件名，程序都能讀出來(lái)。

2、將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)

（1）連接數(shù)據(jù)庫(kù)，并在數(shù)據(jù)庫(kù)中創(chuàng)建新表

A. 連接到我的 qq 數(shù)據(jù)庫(kù)

conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')

B. 創(chuàng)建新表 qq

在 qq 數(shù)據(jù)庫(kù)中創(chuàng)建新表，表名稱(chēng)為 qq ，包含 2 個(gè)字段：id 字段為主鍵、自動(dòng)遞增；qq 字段為字符型，用于存儲(chǔ)數(shù)據(jù)。

cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")

（2）將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)

這里使用了兩層循環(huán)：

for file in files:      f = open(file,'r',encoding = 'UTF-8')      next(f)      for line in f:          i += 1          #print(line)          sql = "insert into qq(qq) values(%s);"          cur.execute(sql,line)          print("插入第", i, "條數(shù)據(jù)！")          conn.commit()      f.close()

第一層循環(huán)是用來(lái)依次打開(kāi)上述 17 個(gè) txt 文件。

第二層循環(huán)是依次讀取每個(gè) txt 文件的每一行，并將改行數(shù)據(jù)插入數(shù)據(jù)庫(kù)表 qq 的 qq字段。

至此就完成了數(shù)據(jù)的導(dǎo)入，總共32073條數(shù)據(jù)。

數(shù)據(jù)清洗

這里以去除重復(fù)值為例，簡(jiǎn)單介紹一下數(shù)據(jù)清洗。

1、創(chuàng)建一個(gè)新表，用來(lái)存儲(chǔ)清洗后的數(shù)據(jù)

可以在 cmd 窗口下登陸 MySQL，打開(kāi) qq 數(shù)據(jù)庫(kù)，執(zhí)行下列操作：

CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));

這樣就創(chuàng)建了新表 qq_dist ,用來(lái)存儲(chǔ)清洗后的數(shù)據(jù)，便于后期調(diào)用。

2、清洗數(shù)據(jù)

登陸 MySQL 后，執(zhí)行下列操作：

insert into qq_dis(qq) select distinct qq from qq;

將從 qq 表中查找出的不重復(fù)的 qq 字段內(nèi)容，插入到 qq_dist 表中的 qq 字段。

將數(shù)據(jù)按照特定格式導(dǎo)出

案例：將清洗后的數(shù)據(jù)的第101-200行導(dǎo)出到新的 txt 文本中。

代碼如下：

import pymysql  conn = pymysql.connect(host='localhost', user='root', password='123456', db='wxid', charset='utf8')  print("寫(xiě)入中，請(qǐng)等待……")  cur = conn.cursor()  sql = "select wxid from wd_dis limit 100,100;"  cur.execute(sql)  conn.commit()  alldata = cur.fetchall()  f = open('data101-200.txt','a')  i = 0  for data in alldata:      i += 1      f.write(data[0])      f.flush()  f.close  cur.close()  conn.close()  print("寫(xiě)入完成,共寫(xiě)入{}條數(shù)據(jù)！".format(i))

重點(diǎn)代碼解釋?zhuān)?/strong>

1、 limit

MySQL 中 limit m,n 函數(shù)的含義是：從第 m+1 行開(kāi)始讀取 n 行。

所以，本案例中讀取第101-200行，就是 limit 100,100

2、flush()

flush()函數(shù)一定要加上，它可以將緩沖區(qū)的數(shù)據(jù)寫(xiě)入文件中。否則就會(huì)出現(xiàn)生成的 txt 文檔為空白的錯(cuò)誤。

關(guān)于如何快速用Python處理3萬(wàn)多條數(shù)據(jù)就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。