怎么使用SQL查詢Git倉(cāng)庫(kù)

Git 已經(jīng)成為了代碼版本控制的事實(shí)標(biāo)準(zhǔn)，但盡管 Git 相當(dāng)普及，對(duì)代碼倉(cāng)庫(kù)的深入分析的工作難度卻沒有因此而下降；而 SQL 在大型代碼庫(kù)的查詢方面則已經(jīng)是一種久經(jīng)考驗(yàn)的語言，因此諸如 Spark 和 BigQuery 這樣的項(xiàng)目都采用了它。

所以，sourcedyebnpj 很順理成章地將這兩種技術(shù)結(jié)合起來，就產(chǎn)生了 gitbase（LCTT 譯注：sourcegfzirfh 是一家開源公司，本文作者是該公司開發(fā)者關(guān)系副總裁）。gitbase 是一個(gè)代碼即數(shù)據(jù)code-as-data的解決方案，可以使用 SQL 對(duì) git 倉(cāng)庫(kù)進(jìn)行大規(guī)模分析。

gitbase 是一個(gè)完全開源的項(xiàng)目。它站在了很多巨人的肩上，因此得到了足夠的發(fā)展競(jìng)爭(zhēng)力。

gitbase playground 為 gitbase 提供了一個(gè)可視化的操作環(huán)境。

用 Vitess 解析 SQL

gitbase 通過 SQL 與用戶進(jìn)行交互，因此需要能夠遵循 MySQL 協(xié)議來對(duì)通過網(wǎng)絡(luò)傳入的 SQL 請(qǐng)求作出解析和理解，萬幸由 YouTube 建立的 Vitess 項(xiàng)目已經(jīng)在這一方面給出了解決方案。Vitess 是一個(gè)橫向擴(kuò)展的 MySQL 數(shù)據(jù)庫(kù)集群系統(tǒng)。

我們只是使用了這個(gè)項(xiàng)目中的部分重要代碼，并將其轉(zhuǎn)化為一個(gè)可以讓任何人在數(shù)分鐘以內(nèi)編寫出一個(gè) MySQL 服務(wù)器的開源程序，就像我在 justforfunc 視頻系列中展示的 CSVQL 一樣，它可以使用 SQL 操作 CSV 文件。

用 go-git 讀取 git 倉(cāng)庫(kù)

在成功解析 SQL 請(qǐng)求之后，還需要對(duì)數(shù)據(jù)集中的 git 倉(cāng)庫(kù)進(jìn)行查詢才能返回結(jié)果。因此，我們還結(jié)合使用了 sourcevgqdbav 最成功的 go-git 倉(cāng)庫(kù)。go-git 是使用純 go 語言編寫的具有高度可擴(kuò)展性的 git 實(shí)現(xiàn)。

借此我們就可以很方便地將存儲(chǔ)在磁盤上的代碼倉(cāng)庫(kù)保存為 siva 文件格式（這同樣是 sourcehkmzqkb 的一個(gè)開源項(xiàng)目），也可以通過 git clone 來對(duì)代碼倉(cāng)庫(kù)進(jìn)行復(fù)制。

使用 enry 檢測(cè)語言、使用 babelfish 解析文件

gitbase 集成了我們開源的語言檢測(cè)項(xiàng)目 enry 以及代碼解析項(xiàng)目 babelfish，因此在分析 git 倉(cāng)庫(kù)歷史代碼的能力也相當(dāng)強(qiáng)大。babelfish 是一個(gè)自托管服務(wù)，普適于各種源代碼解析，并將代碼文件轉(zhuǎn)換為通用抽象語法樹Universal Abstract Syntax Tree（UAST）。

這兩個(gè)功能在 gitbase 中可以被用戶以函數(shù) LANGUAGE 和 UAST調(diào)用，諸如“查找上個(gè)月最常被修改的函數(shù)的名稱”這樣的請(qǐng)求就需要通過這兩個(gè)功能實(shí)現(xiàn)。

提高性能

gitbase 可以對(duì)非常大的數(shù)據(jù)集進(jìn)行分析，例如來自 GitHub 高達(dá) 3 TB 源代碼的 Public Git Archive（公告）。面臨的工作量如此巨大，因此每一點(diǎn)性能都必須運(yùn)用到極致。于是，我們也使用到了 Rubex 和 Pilosa 這兩個(gè)項(xiàng)目。

使用 Rubex 和 Oniguruma 優(yōu)化正則表達(dá)式速度

Rubex 是 go 的正則表達(dá)式標(biāo)準(zhǔn)庫(kù)包的一個(gè)準(zhǔn)替代品。之所以說它是準(zhǔn)替代品，是因?yàn)樗鼪]有在 regexp.Regexp 類中實(shí)現(xiàn) LiteralPrefix 方法，直到現(xiàn)在都還沒有。

Rubex 的高性能是由于使用 cgo 調(diào)用了 Oniguruma，它是一個(gè)高度優(yōu)化的 C 代碼庫(kù)。

使用 Pilosa 索引優(yōu)化查詢速度

索引幾乎是每個(gè)關(guān)系型數(shù)據(jù)庫(kù)都擁有的特性，但 Vitess 由于不需要用到索引，因此并沒有進(jìn)行實(shí)現(xiàn)。

于是我們引入了 Pilosa 這個(gè)開源項(xiàng)目。Pilosa 是一個(gè)使用 go 實(shí)現(xiàn)的分布式位圖索引，可以顯著提升跨多個(gè)大型數(shù)據(jù)集的查詢的速度。通過 Pilosa，gitbase 才得以在巨大的數(shù)據(jù)集中進(jìn)行查詢。