溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

怎么將Docker鏡像體積減小99%

發(fā)布時間:2021-12-13 15:05:59 來源:億速云 閱讀:188 作者:iii 欄目:云計算

本篇內(nèi)容介紹了“怎么將Docker鏡像體積減小99%”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細閱讀,能夠?qū)W有所成!

1. 萬惡之源

我敢打賭,每一個初次使用自己寫好的代碼構(gòu)建 Docker 鏡像的人都會被鏡像的體積嚇到,來看一個例子。

讓我們搬出那個屢試不爽的 hello world C 程序:

/* hello.c */
int main () {
  puts("Hello, world!");
  return 0;
}

并通過下面的 Dockerfile 構(gòu)建鏡像:

FROM gcc
COPY hello.c .
RUN gcc -o hello hello.c
CMD ["./hello"]

然后你會發(fā)現(xiàn)構(gòu)建成功的鏡像體積遠遠超過了 1 GB。。。因為該鏡像包含了整個 gcc 鏡像的內(nèi)容。

如果使用 Ubuntu 鏡像,安裝 C 編譯器,最后編譯程序,你會得到一個大概 300 MB 大小的鏡像,比上面的鏡像小多了。但還是不夠小,因為編譯好的可執(zhí)行文件還不到 20 KB

$ ls -l hello
-rwxr-xr-x   1 root root 16384 Nov 18 14:36 hello

類似地,Go 語言版本的 hello world 會得到相同的結(jié)果:

package main

import "fmt"

func main () {
  fmt.Println("Hello, world!")
}

使用基礎(chǔ)鏡像 golang 構(gòu)建的鏡像大小是 800 MB,而編譯后的可執(zhí)行文件只有 2 MB 大小:

$ ls -l hello
-rwxr-xr-x 1 root root 2008801 Jan 15 16:41 hello

還是不太理想,有沒有辦法大幅度減少鏡像的體積呢?往下看。

為了更直觀地對比不同鏡像的大小,所有鏡像都使用相同的鏡像名,不同的標(biāo)簽。例如:hello:gcchello:ubuntuhello:thisweirdtrick 等等,這樣就可以直接使用命令 docker images hello 列出所有鏡像名為 hello 的鏡像,不會被其他鏡像所干擾。

2. 多階段構(gòu)建

要想大幅度減少鏡像的體積,多階段構(gòu)建是必不可少的。多階段構(gòu)建的想法很簡單:“我不想在最終的鏡像中包含一堆 C 或 Go 編譯器和整個編譯工具鏈,我只要一個編譯好的可執(zhí)行文件!”

多階段構(gòu)建可以由多個 FROM 指令識別,每一個 FROM 語句表示一個新的構(gòu)建階段,階段名稱可以用 AS 參數(shù)指定,例如:

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c
FROM ubuntu
COPY --from=mybuildstage hello .
CMD ["./hello"]

本例使用基礎(chǔ)鏡像 gcc 來編譯程序 hello.c,然后啟動一個新的構(gòu)建階段,它以 ubuntu 作為基礎(chǔ)鏡像,將可執(zhí)行文件 hello 從上一階段拷貝到最終的鏡像中。最終的鏡像大小是 64 MB,比之前的 1.1 GB 減少了 95%

???? → docker images minimage
REPOSITORY          TAG                    ...         SIZE
minimage            hello-c.gcc            ...         1.14GB
minimage            hello-c.gcc.ubuntu     ...         64.2MB

還能不能繼續(xù)優(yōu)化?當(dāng)然能。在繼續(xù)優(yōu)化之前,先提醒一下:

在聲明構(gòu)建階段時,可以不必使用關(guān)鍵詞 AS,最終階段拷貝文件時可以直接使用序號表示之前的構(gòu)建階段(從零開始)。也就是說,下面兩行是等效的:

COPY --from=mybuildstage hello .
COPY --from=0 hello .

如果 Dockerfile 內(nèi)容不是很復(fù)雜,構(gòu)建階段也不是很多,可以直接使用序號表示構(gòu)建階段。一旦 Dockerfile 變復(fù)雜了,構(gòu)建階段增多了,最好還是通過關(guān)鍵詞 AS 為每個階段命名,這樣也便于后期維護。

使用經(jīng)典的基礎(chǔ)鏡像

我強烈建議在構(gòu)建的第一階段使用經(jīng)典的基礎(chǔ)鏡像,這里經(jīng)典的鏡像指的是 CentOSDebian,FedoraUbuntu 之類的鏡像。你可能還聽說過 Alpine 鏡像,不要用它!至少暫時不要用,后面我會告訴你有哪些坑。

COPY --from 使用絕對路徑

從上一個構(gòu)建階段拷貝文件時,使用的路徑是相對于上一階段的根目錄的。如果你使用 golang 鏡像作為構(gòu)建階段的基礎(chǔ)鏡像,就會遇到類似的問題。假設(shè)使用下面的 Dockerfile 來構(gòu)建鏡像:

FROM golang
COPY hello.go .
RUN go build hello.go
FROM ubuntu
COPY --from=0 hello .
CMD ["./hello"]

你會看到這樣的報錯:

COPY failed: stat /var/lib/docker/overlay2/1be...868/merged/hello: no such file or directory

這是因為 COPY 命令想要拷貝的是 /hello,而 golang 鏡像的 WORKDIR/go,所以可執(zhí)行文件的真正路徑是 /go/hello。

當(dāng)然你可以使用絕對路徑來解決這個問題,但如果后面基礎(chǔ)鏡像改變了 WORKDIR 怎么辦?你還得不斷地修改絕對路徑,所以這個方案還是不太優(yōu)雅。最好的方法是在第一階段指定 WORKDIR,在第二階段使用絕對路徑拷貝文件,這樣即使基礎(chǔ)鏡像修改了 WORKDIR,也不會影響到鏡像的構(gòu)建。例如:

FROM golang
WORKDIR /src
COPY hello.go .
RUN go build hello.go
FROM ubuntu
COPY --from=0 /src/hello .
CMD ["./hello"]

最后的效果還是很驚人的,將鏡像的體積直接從 800 MB 降低到了 66 MB

???? → docker images minimage
REPOSITORY     TAG                              ...    SIZE
minimage       hello-go.golang                  ...    805MB
minimage       hello-go.golang.ubuntu-workdir   ...    66.2MB

3. FROM scratch 的魔力

回到我們的 hello world,C 語言版本的程序大小為 16 kB,Go 語言版本的程序大小為 2 MB,那么我們到底能不能將鏡像縮減到這么?。磕芊駱?gòu)建一個只包含我需要的程序,沒有任何多余文件的鏡像?

答案是肯定的,你只需要將多階段構(gòu)建的第二階段的基礎(chǔ)鏡像改為 scratch 就好了。scratch 是一個虛擬鏡像,不能被 pull,也不能運行,因為它表示空、nothing!這就意味著新鏡像的構(gòu)建是從零開始,不存在其他的鏡像層。例如:

FROM golang
COPY hello.go .
RUN go build hello.go
FROM scratch
COPY --from=0 /go/hello .
CMD ["./hello"]

這一次構(gòu)建的鏡像大小正好就是 2 MB,堪稱完美!

然而,但是,使用 scratch 作為基礎(chǔ)鏡像時會帶來很多的不便,且聽我一一道來。

缺少 shell

scratch 鏡像的第一個不便是沒有 shell,這就意味著 CMD/RUN 語句中不能使用字符串,例如:

...
FROM scratch
COPY --from=0 /go/hello .
CMD ./hello

如果你使用構(gòu)建好的鏡像創(chuàng)建并運行容器,就會遇到下面的報錯:

docker: Error response from daemon: OCI runtime create failed: container_linux.go:345: starting container process caused "exec: \"/bin/sh\": stat /bin/sh: no such file or directory": unknown.

從報錯信息可以看出,鏡像中并不包含 /bin/sh,所以無法運行程序。這是因為當(dāng)你在 CMD/RUN 語句中使用字符串作為參數(shù)時,這些參數(shù)會被放到 /bin/sh 中執(zhí)行,也就是說,下面這兩條語句是等效的:

CMD ./hello
CMD /bin/sh -c "./hello"

解決辦法其實也很簡單:**使用 JSON 語法取代字符串語法。**例如,將 CMD ./hello 替換為 CMD ["./hello"],這樣 Docker 就會直接運行程序,不會把它放到 shell 中運行。

缺少調(diào)試工具

scratch 鏡像不包含任何調(diào)試工具,ls、psping 這些統(tǒng)統(tǒng)沒有,當(dāng)然了,shell 也沒有(上文提過了),你無法使用 docker exec 進入容器,也無法查看網(wǎng)絡(luò)堆棧信息等等。

如果想查看容器中的文件,可以使用 docker cp;如果想查看或調(diào)試網(wǎng)絡(luò)堆棧,可以使用 docker run --net container:,或者使用 nsenter;為了更好地調(diào)試容器,Kubernetes 也引入了一個新概念叫 Ephemeral Containers,但現(xiàn)在還是 Alpha 特性。

雖然有這么多雜七雜八的方法可以幫助我們調(diào)試容器,但它們會將事情變得更加復(fù)雜,我們追求的是簡單,越簡單越好。

折中一下可以選擇 busyboxalpine 鏡像來替代 scratch,雖然它們多了那么幾 MB,但從整體來看,這只是犧牲了少量的空間來換取調(diào)試的便利性,還是很值得的。

缺少 libc

這是最難解決的問題。使用 scratch 作為基礎(chǔ)鏡像時,Go 語言版本的 hello world 跑得很歡快,C 語言版本就不行了,或者換個更復(fù)雜的 Go 程序也是跑不起來的(例如用到了網(wǎng)絡(luò)相關(guān)的工具包),你會遇到類似于下面的錯誤:

standard_init_linux.go:211: exec user process caused "no such file or directory"

從報錯信息可以看出缺少文件,但沒有告訴我們到底缺少哪些文件,其實這些文件就是程序運行所必需的動態(tài)庫(dynamic library)。

那么,什么是動態(tài)庫?為什么需要動態(tài)庫?

所謂動態(tài)庫、靜態(tài)庫,指的是程序編譯的鏈接階段,鏈接成可執(zhí)行文件的方式。靜態(tài)庫指的是在鏈接階段將匯編生成的目標(biāo)文件.o 與引用到的庫一起鏈接打包到可執(zhí)行文件中,因此對應(yīng)的鏈接方式稱為靜態(tài)鏈接(static linking)。而動態(tài)庫在程序編譯時并不會被連接到目標(biāo)代碼中,而是在程序運行是才被載入,因此對應(yīng)的鏈接方式稱為動態(tài)鏈接(dynamic linking)。

90 年代的程序大多使用的是靜態(tài)鏈接,因為當(dāng)時的程序大多數(shù)都運行在軟盤或者盒式磁帶上,而且當(dāng)時根本不存在標(biāo)準(zhǔn)庫。這樣程序在運行時與函數(shù)庫再無瓜葛,移植方便。但對于 Linux 這樣的分時系統(tǒng),會在在同一塊硬盤上并發(fā)運行多個程序,這些程序基本上都會用到標(biāo)準(zhǔn)的 C 庫,這時使用動態(tài)鏈接的優(yōu)點就體現(xiàn)出來了。使用動態(tài)鏈接時,可執(zhí)行文件不包含標(biāo)準(zhǔn)庫文件,只包含到這些庫文件的索引。例如,某程序依賴于庫文件 libtrigonometry.so 中的 cossin 函數(shù),該程序運行時就會根據(jù)索引找到并加載 libtrigonometry.so,然后程序就可以調(diào)用這個庫文件中的函數(shù)。

使用動態(tài)鏈接的好處顯而易見:

  1. 節(jié)省磁盤空間,不同的程序可以共享常見的庫。

  2. 節(jié)省內(nèi)存,共享的庫只需從磁盤中加載到內(nèi)存一次,然后在不同的程序之間共享。

  3. 更便于維護,庫文件更新后,不需要重新編譯使用該庫的所有程序。

嚴(yán)格來說,動態(tài)庫與共享庫(shared libraries)相結(jié)合才能達到節(jié)省內(nèi)存的功效。Linux 中動態(tài)庫的擴展名是 .soshared object),而 Windows 中動態(tài)庫的擴展名是 .DLL(Dynamic-link library)。

回到最初的問題,默認(rèn)情況下,C 程序使用的是動態(tài)鏈接,Go 程序也是。上面的 hello world 程序使用了標(biāo)準(zhǔn)庫文件 libc.so.6,所以只有鏡像中包含該文件,程序才能正常運行。使用 scratch 作為基礎(chǔ)鏡像肯定是不行的,使用 busyboxalpine 也不行,因為 busybox 不包含標(biāo)準(zhǔn)庫,而 alpine 使用的標(biāo)準(zhǔn)庫是 musl libc,與大家常用的標(biāo)準(zhǔn)庫 glibc 不兼容,后續(xù)的文章會詳細解讀,這里就不贅述了。

那么該如何解決標(biāo)準(zhǔn)庫的問題呢?有三種方案。

1、使用靜態(tài)庫

我們可以讓編譯器使用靜態(tài)庫編譯程序,辦法有很多,如果使用 gcc 作為編譯器,只需加上一個參數(shù) -static

$ gcc -o hello hello.c -static

編譯完的可執(zhí)行文件大小為 760 kB,相比于之前的 16kB 是大了好多,這是因為可執(zhí)行文件中包含了其運行所需要的庫文件。編譯完的程序就可以跑在 scratch 鏡像中了。

如果使用 alpine 鏡像作為基礎(chǔ)鏡像來編譯,得到的可執(zhí)行文件會更?。?lt; 100kB),下篇文章會詳述。

2、拷貝庫文件到鏡像中

為了找出程序運行需要哪些庫文件,可以使用 ldd 工具:

$ ldd hello
	linux-vdso.so.1 (0x00007ffdf8acb000)
	libc.so.6 => /usr/lib/libc.so.6 (0x00007ff897ef6000)
	/lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007ff8980f7000)

從輸出結(jié)果可知,該程序只需要 libc.so.6 這一個庫文件。linux-vdso.so.1 與一種叫做 VDSO 的機制有關(guān),用來加速某些系統(tǒng)調(diào)用,可有可無。ld-linux-x86-64.so.2 表示動態(tài)鏈接器本身,包含了所有依賴的庫文件的信息。

你可以選擇將 ldd 列出的所有庫文件拷貝到鏡像中,但這會很難維護,特別是當(dāng)程序有大量依賴庫時。對于 hello world 程序來說,拷貝庫文件完全沒有問題,但對于更復(fù)雜的程序(例如使用到 DNS 的程序),就會遇到令人費解的問題:glibc(GNU C library)通過一種相當(dāng)復(fù)雜的機制來實現(xiàn) DNS,這種機制叫 NSS(Name Service Switch, 名稱服務(wù)開關(guān))。它需要一個配置文件 /etc/nsswitch.conf 和額外的函數(shù)庫,但使用 ldd 時不會顯示這些函數(shù)庫,因為這些庫在程序運行后才會加載。如果想讓 DNS 解析正確工作,必須要拷貝這些額外的庫文件(/lib64/libnss_*)。

我個人不建議直接拷貝庫文件,因為它非常難以維護,后期需要不斷地更改,而且還有很多未知的隱患。

3、使用 busybox:glibc 作為基礎(chǔ)鏡像

有一個鏡像可以完美解決所有的這些問題,那就是 busybox:glibc。它只有 5 MB 大小,并且包含了 glibc 和各種調(diào)試工具。如果你想選擇一個合適的鏡像來運行使用動態(tài)鏈接的程序,busybox:glibc 是最好的選擇。

注意:如果你的程序使用到了除標(biāo)準(zhǔn)庫之外的庫,仍然需要將這些庫文件拷貝到鏡像中。

“怎么將Docker鏡像體積減小99%”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!

向AI問一下細節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI