您好,登錄后才能下訂單哦!
這期內(nèi)容當中小編將會給大家?guī)碛嘘PPandas使用小技巧有哪些,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
對于動輒就幾十或幾百個 G 的數(shù)據(jù),在讀取的這么大數(shù)據(jù)的時候,我們有沒有辦法隨機選取一小部分數(shù)據(jù),然后讀入內(nèi)存,快速了解數(shù)據(jù)和開展 EDA ?
使用 Pandas 的 skiprows 和 概率知識,就能做到。
下面解釋具體怎么做。
如下所示,讀取某 100 G 大小的 big_data.csv 數(shù)據(jù)
使用 skiprows 參數(shù),
x > 0 確保首行讀入,
np.random.rand() > 0.01 表示 99% 的數(shù)據(jù)都會被隨機過濾掉
言外之意,只有全部數(shù)據(jù)的 1% 才有機會選入內(nèi)存中。
import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",
skiprows =
lambda x: x>0 and np.random.rand() > 0.01)
print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))
使用這種方法,讀取的數(shù)據(jù)量迅速縮減到原來的 1% ,對于迅速展開數(shù)據(jù)分析有一定的幫助。上述就是小編為大家分享的Pandas使用小技巧有哪些了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注億速云行業(yè)資訊頻道。
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權內(nèi)容。