Polars庫如何在python中使用

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)Polars庫如何在python中使用，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

python可以做什么

Python是一種編程語言，內(nèi)置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門的大數(shù)據(jù)分析，人工智能，Web開發(fā)等。

Polars是通過Rust編寫的一個庫，Polars的內(nèi)存模型是基于Apache Arrow。

Polars存在兩種API，一種是Eager API，另一種則是Lazy API。

其中Eager API和Pandas的使用類似，語法差不太多，立即執(zhí)行就能產(chǎn)生結(jié)果。

而Lazy API就像Spark，首先將查詢轉(zhuǎn)換為邏輯計劃，然后對計劃進(jìn)行重組優(yōu)化，以減少執(zhí)行時間和內(nèi)存使用。

安裝Polars，使用百度pip源。

# 安裝polars
pip install polars -i https://mirror.baidu.com/pypi/simple/

安裝成功后，開始測試，比較Pandas和Polars處理數(shù)據(jù)的情況。

使用某網(wǎng)站注冊用戶的用戶名數(shù)據(jù)進(jìn)行分析，包含約2600萬個用戶名的CSV文件。

文件已上傳公眾號，獲取方式見文末。

import pandas as pd

df = pd.read_csv('users.csv')
print(df)

數(shù)據(jù)情況如下。

此外還使用了一個自己創(chuàng)建的CSV文件，用以數(shù)據(jù)整合測試。

import pandas as pd

df = pd.read_csv('fake_user.csv')
print(df)

得到結(jié)果如下。

首先比較一下兩個庫的排序算法耗時。

import timeit
import pandas as pd

start = timeit.default_timer()

df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()

print('Time: ', stop - start)

-------------------------
Time:  27.555776743218303

可以看到使用Pandas對數(shù)據(jù)進(jìn)行排序，花費(fèi)了大約28s。

import timeit
import polars as pl

start = timeit.default_timer()

df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------
Time:  9.924110282212496

Polars只花費(fèi)了約10s，這意味著Polars比Pandas快了2.7倍。

下面，我們來試試數(shù)據(jù)整合的效果，縱向連接。

import timeit
import pandas as pd

start = timeit.default_timer()

df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

------------------------
Time:  15.556222308427095

使用Pandas耗時15s。

import timeit
import polars as pl

start = timeit.default_timer()

df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------
Time:  3.475433263927698

Polars居然最使用了約3.5s，這里Polars比Pandas快了4.5倍。

通過上面的比較，Polars在處理速度上表現(xiàn)得相當(dāng)不錯。

可以是大家在未來處理數(shù)據(jù)時，另一種選擇～

當(dāng)然，Pandas目前歷時12年，已經(jīng)形成了很成熟的生態(tài)，支持很多其它的數(shù)據(jù)分析庫。

Polars則是一個較新的庫，不足的地方還有很多。

如果你的數(shù)據(jù)集對于Pandas來說太大，對于Spark來說太小，那么Polars便是你可以考慮的一個選擇。

上述就是小編為大家分享的Polars庫如何在python中使用了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道。