您好,登錄后才能下訂單哦!
這篇文章給大家介紹利用pandas怎么表格數(shù)據(jù)進(jìn)行讀取,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
一個(gè)幾十萬(wàn)條數(shù)據(jù)的Excel表格,現(xiàn)在需要拼接其中某一列的全部數(shù)據(jù)為一個(gè)字符串,例如下面簡(jiǎn)短的幾行表格數(shù)據(jù):
id | code | price | num |
---|---|---|---|
11 | 22 | 33 | 44 |
22 | 33 | 44 | 55 |
33 | 44 | 55 | 66 |
44 | 55 | 66 | 77 |
55 | 66 | 77 | 88 |
66 | 77 | 88 | 99 |
現(xiàn)在需要將code的這一列用逗號(hào),拼接為字符串,并且每個(gè)單元格數(shù)據(jù)都用單引號(hào)包含,需要拼接成字符串'22','33','44','55','66','77',這樣的情況,我們需要怎么處理呢?當(dāng)然方式有很多……
有的時(shí)候,我們會(huì)遇到需要同時(shí)處理多行文本的情況,很多文本編輯器都支持批量操作多行文本,這里我主要說(shuō)一下Sublime Text,下面是操作的快捷鍵,有需要的可以嘗試用一下,確實(shí)挺方便的。
選中需要操作的多行,按下Ctr+Shift+L即可同時(shí)編輯這些行
鼠標(biāo)選中文本,反復(fù)按CTRL+D即可繼續(xù)向下同時(shí)選中下一個(gè)相同的文本進(jìn)行同時(shí)編輯
鼠標(biāo)選中文本,按下Alt+F3即可一次性選擇全部的相同文本進(jìn)行同時(shí)編輯
在工作中,可能會(huì)存在一些表格數(shù)據(jù)處理的情況,比如運(yùn)營(yíng)給你一個(gè)表格,表格里有類似:訂單號(hào)呀、產(chǎn)品ID啊、商品SKU等,需要你協(xié)助導(dǎo)出這些數(shù)據(jù)里的明細(xì)數(shù)據(jù)以便他們做分析用,一兩次,我們可以快速用上面的方式處理,但是這種方式對(duì)于大文本的處理可能會(huì)存在卡頓的情況,操作效率較低,如果小文本的話,那么還是很方便的。
如果多次遇到這種情況,是否想要做成一個(gè)工具來(lái)快速處理呢,也就是,這種批量拼接同樣格式的數(shù)據(jù),我們可以寫一個(gè)小工具來(lái)實(shí)現(xiàn),即快速又省事,可以大大減少重復(fù)的工作消耗。
這我們使用Python的pandas模塊來(lái)讀取表格指定某列的數(shù)據(jù),再按照我們的拼接格式進(jìn)行循環(huán)處理,最終把拼接的字符串寫入文本文件中,方便保留和使用拼接的數(shù)據(jù)。
sheet = pandas.read_excel(io=file_name, usecols=[line_num]) data = sheet.values.tolist() str_data = '' # 循環(huán)處理數(shù)據(jù) print_msg('已獲取列數(shù)據(jù)條數(shù)[' + str(len(data)) + '],開(kāi)始處理數(shù)據(jù)……') for x in range(len(data)): if str(data[x][0]) != 'nan': str_data += "'" + str(data[x][0]) + "',"
因?yàn)槟_本需要多次使用,并且針對(duì)不同文件的不同列,所以,我們采用接受關(guān)鍵參數(shù)的形式,可以不改動(dòng)任何代碼,就可以直接使用此腳本來(lái)完整我們的數(shù)據(jù)拼接,同時(shí),我們還可以使用pyinstaller模塊來(lái)將腳本進(jìn)行打包成exe的window可執(zhí)行文件,使其在無(wú)Python的運(yùn)行環(huán)境中也可以使用,打包命令為:pyinstaller -F -i favicon.ico join_excel_data.py
,我已有打包的上傳到交友網(wǎng)站Github上,大家有興趣的話,可以點(diǎn)擊查看哦,交個(gè)朋友地址:github.com/gxcuizy
#!/usr/bin/env python # -*- coding: utf-8 -*- """ 拼接Excel表格單行數(shù)據(jù),并寫入文本 author: gxcuizy time: 2021-03-01 """ import pandas import random import os import time def print_msg(msg=''): """打印信息""" now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) print('[' + now_time + '] ' + msg) # 程序主入口 if __name__ == "__main__": # 獲取傳入?yún)?shù) file_name = input('請(qǐng)輸入當(dāng)前目錄下的表格文件名(例如“01.xlsx”):') line_num = input('請(qǐng)輸入要拼裝的數(shù)據(jù)第幾列(例如“1”):') # 判斷文件是否存在 if os.path.exists(file_name) == False: print_msg('文件不存在') os.system("pause") exit(0) # 判斷輸入的行數(shù)是否為數(shù)字 if line_num.isdigit() == False: print_msg('請(qǐng)輸入列數(shù)的數(shù)字') os.system("pause") exit(0) try: # 獲取表格數(shù)據(jù) print_msg('開(kāi)始獲取文件[' + file_name + ']的第[' + str(line_num) + ']列數(shù)據(jù)') line_num = int(line_num) - 1 sheet = pandas.read_excel(io=file_name, usecols=[line_num]) data = sheet.values.tolist() str_data = '' # 循環(huán)處理數(shù)據(jù) print_msg('已獲取列數(shù)據(jù)條數(shù)[' + str(len(data)) + '],開(kāi)始處理數(shù)據(jù)……') for x in range(len(data)): if str(data[x][0]) != 'nan': str_data += "'" + str(data[x][0]) + "'," # 寫入文本文件 print_msg('數(shù)據(jù)處理完畢,開(kāi)始寫入……') random_num = random.randint(1000, 9999) with open('str_' + str(random_num) + '.txt', 'w') as f: f.write(str_data.strip(',')) print_msg('數(shù)據(jù)寫入完畢.') except Exception as err_info: # 異常信息 print_msg(str(err_info)) # 防止exe程序執(zhí)行結(jié)束閃退 os.system("pause")
關(guān)于利用pandas怎么表格數(shù)據(jù)進(jìn)行讀取就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。