Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析

這篇文章主要介紹“Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”，在日常操作中，相信很多人在Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

         熟悉Python數(shù)據(jù)分析和跟各種數(shù)據(jù)存儲(chǔ)文件打交道的人可能都知道，就算是相同的數(shù)據(jù)內(nèi)容，但用Python從不同格式的載體中讀取數(shù)據(jù)的速度是不一樣的。為了驗(yàn)證這一結(jié)論，我特意測(cè)試了一下，分別用Python從Excel，MySQL和CSV中讀取數(shù)據(jù)的效率。

        工具：

        jupyter notebook（Python）,

        Navicat（MySQL）,

        Microsoft Excel 2016

        CSV（Excel按F12另存為）

        接著進(jìn)入正題，以下就是我的測(cè)試結(jié)果：

        聲明：使用的都是同一份數(shù)據(jù)源(除去表頭，總共有159727條數(shù)據(jù))！

        ① 直接用Python從Excel加載數(shù)據(jù)(29M)，第1次花了48秒，第2次花46.1秒；另外，計(jì)算結(jié)果只需花費(fèi)幾十到幾百毫秒；

  處理數(shù)據(jù)的時(shí)間，花了幾十到幾百毫秒不等：

  ② 把Excel的數(shù)據(jù)(29M)導(dǎo)入到Navicat(可以寫MySQL語句的一款編輯器)中，花了28.9秒；

      處理數(shù)據(jù)的時(shí)間，花了0.134s

        ③ 用Python直接從MySQL中獲取剛才從Excel中導(dǎo)入的數(shù)據(jù)，第1次花了1.91秒，第2次花了2.01秒，第3次花了1.99秒，第4次花了1.79秒；

  處理數(shù)據(jù)的時(shí)間，花了59ms.

        ④ 用Python讀取把剛才29M的Excel，另存為一個(gè)32.1M大小的CSV文件(數(shù)據(jù)內(nèi)容相同)，才試了一次，居然只花了1.3秒(瞬開！驚奇！)

     處理數(shù)據(jù)的時(shí)間，花了19ms

到此，關(guān)于“Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！