Python中如何有效提升數(shù)據(jù)分析效率

這篇文章給大家分享的是有關(guān)Python中如何有效提升數(shù)據(jù)分析效率的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

1. Pandas Profiling

該工具效果明顯。下圖展示了調(diào)用 df.profile_report() 這一簡單方法的結(jié)果：

使用該工具只需安裝和導(dǎo)入 Pandas Profiling 包。

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數(shù)據(jù)

經(jīng)驗(yàn)豐富的數(shù)據(jù)科學(xué)家或數(shù)據(jù)分析師大多對(duì) matplotlib 和 pandas 很熟悉。也就是說，你只需調(diào)用 .plot() 方法，即可快速繪制簡單的 pd.DataFrame 或 pd.Series。

這已經(jīng)很好了，不過是否可以繪制一個(gè)交互式、可縮放、可擴(kuò)展的全景圖呢？是時(shí)候讓 Cufflinks* *出馬了?。–ufflinks 基于 Plotly 做了進(jìn)一步的包裝。）在環(huán)境中安裝 Cufflinks，只需在終端中運(yùn)行! pip install cufflinks --upgrade 即可。其他方法如 .scatter_matrix() 也可以提供非常棒的可視化結(jié)果。

3. IPython 魔術(shù)命令

IPython 的「魔術(shù)」是 IPython 基于 Python 標(biāo)準(zhǔn)語法的一系列提升。魔術(shù)命令包括兩種方法：行魔術(shù)命令（line magics）：以 % 為前綴，在單個(gè)輸入行上運(yùn)行；單元格魔術(shù)命令（cell magics）：以 %% 為前綴，在多個(gè)輸入行上運(yùn)行。下面列舉了 IPython 魔術(shù)命令提供的一些有用功能：

%lsmagic：找出全部命令

如果你只記得一個(gè)魔術(shù)命令，那必須得是這一個(gè)。執(zhí)行 %lsmagic 命令將提供所有可用魔術(shù)命令的列表。%debug：交互式 debug是最常使用的魔術(shù)命令了。大部分?jǐn)?shù)據(jù)科學(xué)家都遇到過這種情況：執(zhí)行的代碼塊一直 break，你絕望地寫了 20 個(gè) print() 語句，想輸出每個(gè)變量的內(nèi)容。然后，當(dāng)你最終修復(fù)問題后，你還得返回并再次刪除所有 print() 語句。不過以后再也不用這樣了。遇到問題后只需執(zhí)行 %debug 命令，即可執(zhí)行想要運(yùn)行的任意代碼部分。

%store：在 notebook 之間傳遞變量

這個(gè)命令也很酷。假設(shè)你花了一些時(shí)間清洗 notebook 中的數(shù)據(jù)，現(xiàn)在你想在另一個(gè) notebook 中測試一些功能，那么你是在同一個(gè) notebook 中實(shí)現(xiàn)該功能，還是保存數(shù)據(jù)并在另一個(gè) notebook 中加載數(shù)據(jù)呢？使用%store 命令后，這些操作都不需要！該命令將存儲(chǔ)變量，你可以在其他任意 notebook 中檢索該變量：%store [variable] 存儲(chǔ)變量；%store -r [variable] 讀取/檢索存儲(chǔ)變量。

%who：列出所有全局變量。

你是否遇到過，為變量賦值后卻忘記變量名的情況？或者不小心刪掉了負(fù)責(zé)為變量賦值的單元格？使用%who 命令，你可以得到所有全局變量的列表。

%%time：計(jì)時(shí)魔法命令

使用該命令可以獲取所有計(jì)時(shí)信息。只需對(duì)任意可執(zhí)行代碼應(yīng)用%%time 命令。

%%writefile：向文件寫入單元格內(nèi)容

在 notebook 中寫復(fù)雜函數(shù)或類，且想將其保存到專屬文件中時(shí)，該魔法命令非常有用。只需為函數(shù)或類的單元格添加 %%writefile 前綴和想要保存到的文件名即可。我們可以將創(chuàng)建的函數(shù)保存到 utils.py 文件中，然后就可以隨意導(dǎo)入了。在其他 notebook 中也可以這樣，只要與 utils.py 文件屬于同一個(gè)目錄即可。

4. Jupyter 中的格式編排

這個(gè)工具很酷！Jupyter 考慮到 markdown 中存在HTML/ CSS 格式。

藍(lán)色、時(shí)尚：<div class="alert alert-block alert-info"> This is <b>fancy</b>!</div>

紅色、輕微慌張：

<div class="alert alert-block alert-danger">

This is <b>baaaaad</b>!

</div>

綠色、平靜：

<div class="alert alert-block alert-success">

This is <b>gooood</b>!

</div>

5. Jupyter 快捷鍵

想了解和學(xué)習(xí)鍵盤快捷鍵，你可以使用命令面板：Ctrl + Shift + P，獲取 notebook 所有功能的列表。下面選取了幾個(gè)最基礎(chǔ)的命令：

Esc：進(jìn)入命令模式。在命令模式內(nèi)，你可以使用方向鍵在 notebook 內(nèi)進(jìn)行導(dǎo)航。

在命令模式內(nèi)：

A 和 B：在當(dāng)前單元格上方（Above）或下方（Below）插入新的單元格。

M：當(dāng)前單元格轉(zhuǎn)入 Markdown 狀態(tài)。

Y：當(dāng)前單元格轉(zhuǎn)入 code 狀態(tài)。

D,D：刪除當(dāng)前單元格。

Enter：當(dāng)前單元格回到編輯模式。

在編輯模式內(nèi)：

Shift + Tab：為你在當(dāng)前單元格中鍵入的對(duì)象提供文檔字符串（文檔），持續(xù)使用該快捷鍵，可循環(huán)使用文檔模式。

Ctrl + Shift + -：在光標(biāo)所在處分割當(dāng)前單元格。

Esc + F：查找并替換代碼（不包括輸出）。

Esc + O：切換單元格輸出。

選擇多個(gè)單元格：

Shift + Down 和 Shift + Up：選中下方或上方的單元格。

Shift + M：合并選中單元格。

注意，選中多個(gè)單元格后，你可以批量執(zhí)行刪除/復(fù)制/剪切/粘貼/運(yùn)行操作。

感謝各位的閱讀！關(guān)于“Python中如何有效提升數(shù)據(jù)分析效率”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！