JVMCPUProfiler技術原理及源碼的示例分析

引言

CPU Profiling經(jīng)常被用于分析代碼的執(zhí)行熱點，如“哪個方法占用CPU的執(zhí)行時間最長”、“每個方法占用CPU的比例是多少”等等，通過CPU Profiling得到上述相關信息后，研發(fā)人員就可以輕松針對熱點瓶頸進行分析和性能優(yōu)化，進而突破性能瓶頸，大幅提升系統(tǒng)的吞吐量。

CPU Profiler簡介

社區(qū)實現(xiàn)的JVM Profiler很多，比如已經(jīng)商用且功能強大的JProfiler，也有免費開源的產(chǎn)品，如JVM-Profiler，功能各有所長。我們?nèi)粘Ｊ褂玫腎ntellij IDEA最新版內(nèi)部也集成了一個簡單好用的Profiler，詳細的介紹參見官方Blog。

在用IDEA打開需要診斷的Java項目后，在“Preferences -> Build, Execution, Deployment -> Java Profiler”界面添加一個“CPU Profiler”，然后回到項目，單擊右上角的“Run with Profiler”啟動項目并開始CPU Profiling過程。一定時間后（推薦5min），在Profiler界面點擊“Stop Profiling and Show Results”，即可看到Profiling的結果，包含火焰圖和調用樹，如下圖所示：

Intellij IDEA - 性能火焰圖

Intellij IDEA - 調用堆棧樹

火焰圖是根據(jù)調用棧的樣本集生成的可視化性能分析圖，《如何讀懂火焰圖？》一文對火焰圖進行了不錯的講解，大家可以參考一下。簡而言之，看火焰圖時我們需要關注“平頂”，因為那里就是我們程序的CPU熱點。調用樹是另一種可視化分析的手段，與火焰圖一樣，也是根據(jù)同一份樣本集而生成，按需選擇即可。

這里要說明一下，因為我們沒有在項目中引入任何依賴，僅僅是“Run with Profiler”，Profiler就能獲取我們程序運行時的信息。這個功能其實是通過JVM Agent實現(xiàn)的，為了更好地幫助大家系統(tǒng)性的了解它，我們在這里先對JVM Agent做個簡單的介紹。

JVM Agent簡介

JVM Agent是一個按一定規(guī)則編寫的特殊程序庫，可以在啟動階段通過命令行參數(shù)傳遞給JVM，作為一個伴生庫與目標JVM運行在同一個進程中。在Agent中可以通過固定的接口獲取JVM進程內(nèi)的相關信息。Agent既可以是用C/C++/Rust編寫的JVMTI Agent，也可以是用Java編寫的Java Agent。

執(zhí)行Java命令，我們可以看到Agent相關的命令行參數(shù)：

    -agentlib:<庫名>[=<選項>]
                  加載本機代理庫 <庫名>, 例如 -agentlib:jdwp
                  另請參閱 -agentlib:jdwp=help
    -agentpath:<路徑名>[=<選項>]
                  按完整路徑名加載本機代理庫
    -javaagent:<jar 路徑>[=<選項>]
                  加載 Java 編程語言代理, 請參閱 java.lang.instrument

JVMTI Agent

JVMTI（JVM Tool Interface）是JVM提供的一套標準的C/C++編程接口，是實現(xiàn)Debugger、Profiler、Monitor、Thread Analyser等工具的統(tǒng)一基礎，在主流Java虛擬機中都有實現(xiàn)。

當我們要基于JVMTI實現(xiàn)一個Agent時，需要實現(xiàn)如下入口函數(shù)：

// $JAVA_HOME/include/jvmti.h

JNIEXPORT jint JNICALL Agent_OnLoad(JavaVM *vm, char *options, void *reserved);

使用C/C++實現(xiàn)該函數(shù)，并將代碼編譯為動態(tài)連接庫（Linux上是.so），通過-agentpath參數(shù)將庫的完整路徑傳遞給Java進程，JVM就會在啟動階段的合適時機執(zhí)行該函數(shù)。在函數(shù)內(nèi)部，我們可以通過JavaVM指針參數(shù)拿到JNI和JVMTI的函數(shù)指針表，這樣我們就擁有了與JVM進行各種復雜交互的能力。

更多JVMTI相關的細節(jié)可以參考官方文檔。

Java Agent

在很多場景下，我們沒有必要必須使用C/C++來開發(fā)JVMTI Agent，因為成本高且不易維護。JVM自身基于JVMTI封裝了一套Java的Instrument API接口，允許使用Java語言開發(fā)Java Agent（只是一個jar包），大大降低了Agent的開發(fā)成本。社區(qū)開源的產(chǎn)品如Greys、Arthas、JVM-Sandbox、JVM-Profiler等都是純Java編寫的，也是以Java Agent形式來運行。

在Java Agent中，我們需要在jar包的MANIFEST.MF中將Premain-Class指定為一個入口類，并在該入口類中實現(xiàn)如下方法：

public static void premain(String args, Instrumentation ins) {
    // implement
}

這樣打包出來的jar就是一個Java Agent，可以通過-javaagent參數(shù)將jar傳遞給Java進程伴隨啟動，JVM同樣會在啟動階段的合適時機執(zhí)行該方法。

在該方法內(nèi)部，參數(shù)Instrumentation接口提供了Retransform Classes的能力，我們利用該接口就可以對宿主進程的Class進行修改，實現(xiàn)方法耗時統(tǒng)計、故障注入、Trace等功能。Instrumentation接口提供的能力較為單一，僅與Class字節(jié)碼操作相關，但由于我們現(xiàn)在已經(jīng)處于宿主進程環(huán)境內(nèi)，就可以利用JMX直接獲取宿主進程的內(nèi)存、線程、鎖等信息。無論是Instrument API還是JMX，它們內(nèi)部仍是統(tǒng)一基于JVMTI來實現(xiàn)。

更多Instrument API相關的細節(jié)可以參考官方文檔。

CPU Profiler原理解析

在了解完Profiler如何以Agent的形式執(zhí)行后，我們可以開始嘗試構造一個簡單的CPU Profiler。但在此之前，還有必要了解下CPU Profiling技術的兩種實現(xiàn)方式及其區(qū)別。

Sampling vs Instrumentation

使用過JProfiler的同學應該都知道，JProfiler的CPU Profiling功能提供了兩種方式選項: Sampling和Instrumentation，它們也是實現(xiàn)CPU Profiler的兩種手段。

Sampling方式顧名思義，基于對StackTrace的“采樣”進行實現(xiàn)，核心原理如下：

1. 引入Profiler依賴，或直接利用Agent技術注入目標JVM進程并啟動Profiler。

2. 啟動一個采樣定時器，以固定的采樣頻率每隔一段時間（毫秒級）對所有線程的調用棧進行Dump。

3. 匯總并統(tǒng)計每次調用棧的Dump結果，在一定時間內(nèi)采到足夠的樣本后，導出統(tǒng)計結果，內(nèi)容是每個方法被采樣到的次數(shù)及方法的調用關系。

Instrumentation則是利用Instrument API，對所有必要的Class進行字節(jié)碼增強，在進入每個方法前進行埋點，方法執(zhí)行結束后統(tǒng)計本次方法執(zhí)行耗時，最終進行匯總。二者都能得到想要的結果，那么它們有什么區(qū)別呢？或者說，孰優(yōu)孰劣？

Instrumentation方式對幾乎所有方法添加了額外的AOP邏輯，這會導致對線上服務造成巨額的性能影響，但其優(yōu)勢是：絕對精準的方法調用次數(shù)、調用時間統(tǒng)計。

Sampling方式基于無侵入的額外線程對所有線程的調用棧快照進行固定頻率抽樣，相對前者來說它的性能開銷很低。但由于它基于“采樣”的模式，以及JVM固有的只能在安全點（Safe Point）進行采樣的“缺陷”，會導致統(tǒng)計結果存在一定的偏差。譬如說：某些方法執(zhí)行時間極短，但執(zhí)行頻率很高，真實占用了大量的CPU Time，但Sampling Profiler的采樣周期不能無限調小，這會導致性能開銷驟增，所以會導致大量的樣本調用棧中并不存在剛才提到的”高頻小方法“，進而導致最終結果無法反映真實的CPU熱點。更多Sampling相關的問題可以參考《Why (Most) Sampling Java Profilers Are Fucking Terrible》。

具體到“孰優(yōu)孰劣”的問題層面，這兩種實現(xiàn)技術并沒有非常明顯的高下之判，只有在分場景討論下才有意義。Sampling由于低開銷的特性，更適合用在CPU密集型的應用中，以及不可接受大量性能開銷的線上服務中。而Instrumentation則更適合用在I/O密集的應用中、對性能開銷不敏感以及確實需要精確統(tǒng)計的場景中。社區(qū)的Profiler更多的是基于Sampling來實現(xiàn)，本文也是基于Sampling來進行講解。

基于Java Agent + JMX實現(xiàn)

一個最簡單的Sampling CPU Profiler可以用Java Agent + JMX方式來實現(xiàn)。以Java Agent為入口，進入目標JVM進程后開啟一個ScheduledExecutorService，定時利用JMX的threadMXBean.dumpAllThreads()來導出所有線程的StackTrace，最終匯總并導出即可。

Uber的JVM-Profiler實現(xiàn)原理也是如此，關鍵部分代碼如下：

// com/uber/profiling/profilers/StacktraceCollectorProfiler.java

/*
 * StacktraceCollectorProfiler等同于文中所述CpuProfiler，僅命名偏好不同而已
 * jvm-profiler的CpuProfiler指代的是CpuLoad指標的Profiler
 */

// 實現(xiàn)了Profiler接口，外部由統(tǒng)一的ScheduledExecutorService對所有Profiler定時執(zhí)行
@Override
public void profile() {
    ThreadInfo[] threadInfos = threadMXBean.dumpAllThreads(false, false);
    // ...
    for (ThreadInfo threadInfo : threadInfos) {
        String threadName = threadInfo.getThreadName();
        // ...
        StackTraceElement[] stackTraceElements = threadInfo.getStackTrace();
        // ...
        for (int i = stackTraceElements.length - 1; i >= 0; i--) {
            StackTraceElement stackTraceElement = stackTraceElements[i];
            // ...
        }
        // ...
    }
}

Uber提供的定時器默認Interval是100ms，對于CPU Profiler來說，這略顯粗糙。但由于dumpAllThreads()的執(zhí)行開銷不容小覷，Interval不宜設置的過小，所以該方法的CPU Profiling結果會存在不小的誤差。

JVM-Profiler的優(yōu)點在于支持多種指標的Profiling（StackTrace、CPUBusy、Memory、I/O、Method），且支持將Profiling結果通過Kafka上報回中心Server進行分析，也即支持集群診斷。

基于JVMTI + GetStackTrace實現(xiàn)

使用Java實現(xiàn)Profiler相對較簡單，但也存在一些問題，譬如說Java Agent代碼與業(yè)務代碼共享AppClassLoader，被JVM直接加載的agent.jar如果引入了第三方依賴，可能會對業(yè)務Class造成污染。截止發(fā)稿時，JVM-Profiler都存在這個問題，它引入了Kafka-Client、http-Client、Jackson等組件，如果與業(yè)務代碼中的組件版本發(fā)生沖突，可能會引發(fā)未知錯誤。Greys/Arthas/JVM-Sandbox的解決方式是分離入口與核心代碼，使用定制的ClassLoader加載核心代碼，避免影響業(yè)務代碼。

在更底層的C/C++層面，我們可以直接對接JVMTI接口，使用原生C API對JVM進行操作，功能更豐富更強大，但開發(fā)效率偏低?；谏瞎?jié)同樣的原理開發(fā)CPU Profiler，使用JVMTI需要進行如下這些步驟：

1. 編寫Agent_OnLoad()，在入口通過JNI的JavaVM*指針的GetEnv()函數(shù)拿到JVMTI的jvmtiEnv指針：

// agent.c

JNIEXPORT jint JNICALL Agent_OnLoad(JavaVM *vm, char *options, void *reserved) {
    jvmtiEnv *jvmti;
    (*vm)->GetEnv((void **)&jvmti, JVMTI_VERSION_1_0);
    // ...
    return JNI_OK;
}

2. 開啟一個線程定時循環(huán)，定時使用jvmtiEnv指針配合調用如下幾個JVMTI函數(shù)：

// 獲取所有線程的jthread
jvmtiError GetAllThreads(jvmtiEnv *env, jint *threads_count_ptr, jthread **threads_ptr);

// 根據(jù)jthread獲取該線程信息（name、daemon、priority...）
jvmtiError GetThreadInfo(jvmtiEnv *env, jthread thread, jvmtiThreadInfo* info_ptr);

// 根據(jù)jthread獲取該線程調用棧
jvmtiError GetStackTrace(jvmtiEnv *env,
                         jthread thread,
                         jint start_depth,
                         jint max_frame_count,
                         jvmtiFrameInfo *frame_buffer,
                         jint *count_ptr);

主邏輯大致是：首先調用GetAllThreads()獲取所有線程的“句柄”jthread，然后遍歷根據(jù)jthread調用GetThreadInfo()獲取線程信息，按線程名過濾掉不需要的線程后，繼續(xù)遍歷根據(jù)jthread調用GetStackTrace()獲取線程的調用棧。

3. 在Buffer中保存每一次的采樣結果，最終生成必要的統(tǒng)計數(shù)據(jù)即可。

按如上步驟即可實現(xiàn)基于JVMTI的CPU Profiler。但需要說明的是，即便是基于原生JVMTI接口使用GetStackTrace()的方式獲取調用棧，也存在與JMX相同的問題——只能在安全點（Safe Point）進行采樣。

SafePoint Bias問題

1. 樣本必須足夠多。

2. 程序中所有正在運行的代碼點都必須以相同的概率被Profiler采樣。

上文我們提到，基于JMX與基于JVMTI的Profiler實現(xiàn)都存在SafePoint Bias，但一個值得了解的細節(jié)是：單獨來說，JVMTI的GetStackTrace()函數(shù)并不需要在Caller的安全點執(zhí)行，但當調用GetStackTrace()獲取其他線程的調用棧時，必須等待，直到目標線程進入安全點；而且，GetStackTrace()僅能通過單獨的線程同步定時調用，不能在UNIX信號處理器的Handler中被異步調用。綜合來說，GetStackTrace()存在與JMX一樣的SafePoint Bias。更多安全點相關的知識可以參考《Safepoints: Meaning, Side Effects and Overheads》。

那么，如何避免SafePoint Bias？社區(qū)提供了一種Hack思路——AsyncGetCallTrace。

基于JVMTI + AsyncGetCallTrace實現(xiàn)

如上節(jié)所述，假如我們擁有一個函數(shù)可以獲取當前線程的調用棧且不受安全點干擾，另外它還支持在UNIX信號處理器中被異步調用，那么我們只需注冊一個UNIX信號處理器，在Handler中調用該函數(shù)獲取當前線程的調用棧即可。由于UNIX信號會被發(fā)送給進程的隨機一線程進行處理，因此最終信號會均勻分布在所有線程上，也就均勻獲取了所有線程的調用棧樣本。

OracleJDK/OpenJDK內(nèi)部提供了這么一個函數(shù)——AsyncGetCallTrace，它的原型如下：

// 棧幀
typedef struct {
 jint lineno;
 jmethodID method_id;
} AGCT_CallFrame;

// 調用棧
typedef struct {
    JNIEnv *env;
    jint num_frames;
    AGCT_CallFrame *frames;
} AGCT_CallTrace;

// 根據(jù)ucontext將調用棧填充進trace指針
void AsyncGetCallTrace(AGCT_CallTrace *trace, jint depth, void *ucontext);

通過原型可以看到，該函數(shù)的使用方式非常簡潔，直接通過ucontext就能獲取到完整的Java調用棧。

顧名思義，AsyncGetCallTrace是“async”的，不受安全點影響，這樣的話采樣就可能發(fā)生在任何時間，包括Native代碼執(zhí)行期間、GC期間等，在這時我們是無法獲取Java調用棧的，AGCT_CallTrace的num_frames字段正常情況下標識了獲取到的調用棧深度，但在如前所述的異常情況下它就表示為負數(shù)，最常見的-2代表此刻正在GC。

由于AsyncGetCallTrace非標準JVMTI函數(shù)，因此我們無法在jvmti.h中找到該函數(shù)聲明，且由于其目標文件也早已鏈接進JVM二進制文件中，所以無法通過簡單的聲明來獲取該函數(shù)的地址，這需要通過一些Trick方式來解決。簡單說，Agent最終是作為動態(tài)鏈接庫加載到目標JVM進程的地址空間中，因此可以在Agent_OnLoad內(nèi)通過glibc提供的dlsym()函數(shù)拿到當前地址空間（即目標JVM進程地址空間）名為“AsyncGetCallTrace”的符號地址。這樣就拿到了該函數(shù)的指針，按照上述原型進行類型轉換后，就可以正常調用了。

通過AsyncGetCallTrace實現(xiàn)CPU Profiler的大致流程：

1. 編寫Agent_OnLoad()，在入口拿到jvmtiEnv和AsyncGetCallTrace指針，獲取AsyncGetCallTrace方式如下:

typedef void (*AsyncGetCallTrace)(AGCT_CallTrace *traces, jint depth, void *ucontext);
// ...
AsyncGetCallTrace agct_ptr = (AsyncGetCallTrace)dlsym(RTLD_DEFAULT, "AsyncGetCallTrace");
if (agct_ptr == NULL) {
    void *libjvm = dlopen("libjvm.so", RTLD_NOW);
    if (!libjvm) {
        // 處理dlerror()...
    }
    agct_ptr = (AsyncGetCallTrace)dlsym(libjvm, "AsyncGetCallTrace");
}

2. 在OnLoad階段，我們還需要做一件事，即注冊OnClassLoad和OnClassPrepare這兩個Hook，原因是jmethodID是延遲分配的，使用AGCT獲取Traces依賴預先分配好的數(shù)據(jù)。我們在OnClassPrepare的CallBack中嘗試獲取該Class的所有Methods，這樣就使JVMTI提前分配了所有方法的jmethodID，如下所示：

void JNICALL OnClassLoad(jvmtiEnv *jvmti, JNIEnv* jni, jthread thread, jclass klass) {}

void JNICALL OnClassPrepare(jvmtiEnv *jvmti, JNIEnv *jni, jthread thread, jclass klass) {
    jint method_count;
    jmethodID *methods;
    jvmti->GetClassMethods(klass, &method_count, &methods);
    delete [] methods;
}

// ...

jvmtiEventCallbacks callbacks = {0};
callbacks.ClassLoad = OnClassLoad;
callbacks.ClassPrepare = OnClassPrepare;
jvmti->SetEventCallbacks(&callbacks, sizeof(callbacks));
jvmti->SetEventNotificationMode(JVMTI_ENABLE, JVMTI_EVENT_CLASS_LOAD, NULL);
jvmti->SetEventNotificationMode(JVMTI_ENABLE, JVMTI_EVENT_CLASS_PREPARE, NULL);

3. 利用SIGPROF信號來進行定時采樣：

// 這里信號handler傳進來的的ucontext即AsyncGetCallTrace需要的ucontext
void signal_handler(int signo, siginfo_t *siginfo, void *ucontext) {
    // 使用AsyncCallTrace進行采樣，注意處理num_frames為負的異常情況
}

// ...

// 注冊SIGPROF信號的handler
struct sigaction sa;
sigemptyset(&sa.sa_mask);
sa.sa_sigaction = signal_handler;
sa.sa_flags = SA_RESTART | SA_SIGINFO;
sigaction(SIGPROF, &sa, NULL);

// 定時產(chǎn)生SIGPROF信號
// interval是nanoseconds表示的采樣間隔，AsyncGetCallTrace相對于同步采樣來說可以適當高頻一些
long sec = interval / 1000000000;
long usec = (interval % 1000000000) / 1000;
struct itimerval tv = {{sec, usec}, {sec, usec}};
setitimer(ITIMER_PROF, &tv, NULL);

4.在Buffer中保存每一次的采樣結果，最終生成必要的統(tǒng)計數(shù)據(jù)即可。

按如上步驟即可實現(xiàn)基于AsyncGetCallTrace的CPU Profiler，這是社區(qū)中目前性能開銷最低、相對效率最高的CPU Profiler實現(xiàn)方式，在Linux環(huán)境下結合perf_events還能做到同時采樣Java棧與Native棧，也就能同時分析Native代碼中存在的性能熱點。該方式的典型開源實現(xiàn)有Async-Profiler和Honest-Profiler，Async-Profiler實現(xiàn)質量較高，感興趣的話建議大家閱讀參考源碼。有趣的是，IntelliJ IDEA內(nèi)置的Java Profiler，其實就是Async-Profiler的包裝。更多關于AsyncGetCallTrace的內(nèi)容，大家可以參考《The Pros and Cons of AsyncGetCallTrace Profilers》。

生成性能火焰圖

現(xiàn)在我們擁有了采樣調用棧的能力，但是調用棧樣本集是以二維數(shù)組的數(shù)據(jù)結構形式存在于內(nèi)存中的，如何將其轉換為可視化的火焰圖呢？

火焰圖通常是一個svg文件，部分優(yōu)秀項目可以根據(jù)文本文件自動生成火焰圖文件，僅對文本文件的格式有一定要求。FlameGraph項目的核心只是一個Perl腳本，可以根據(jù)我們提供的調用棧文本生成相應的火焰圖svg文件。調用棧的文本格式相當簡單，如下所示：

base_func;func1;func2;func3 10
base_func;funca;funcb 15

將我們采樣到的調用棧樣本集進行整合后，需輸出如上所示的文本格式。每一行代表一“類“調用棧，空格左邊是調用棧的方法名排列，以分號分割，左棧底右棧頂，空格右邊是該樣本出現(xiàn)的次數(shù)。

將樣本文件交給flamegraph.pl腳本執(zhí)行，就能輸出相應的火焰圖了：

$ flamegraph.pl stacktraces.txt > stacktraces.svg

效果如下圖所示：

通過flamegraph.pl生成的火焰圖

HotSpot的Dynamic Attach機制解析

到目前為止，我們已經(jīng)了解了CPU Profiler完整的工作原理，然而使用過JProfiler/Arthas的同學可能會有疑問，很多情況下可以直接對線上運行中的服務進行Profling，并不需要在Java進程的啟動參數(shù)添加Agent參數(shù)，這是通過什么手段做到的？答案是Dynamic Attach。

JDK在1.6以后提供了Attach API，允許向運行中的JVM進程添加Agent，這項手段被廣泛使用在各種Profiler和字節(jié)碼增強工具中，其官方簡介如下：

This is a Sun extension that allows a tool to 'attach' to another process running Java code and launch a JVM TI agent or a java.lang.instrument agent in that process.

總的來說，Dynamic Attach是HotSpot提供的一種特殊能力，它允許一個進程向另一個運行中的JVM進程發(fā)送一些命令并執(zhí)行，命令并不限于加載Agent，還包括Dump內(nèi)存、Dump線程等等。

通過sun.tools進行Attach

Attach雖然是HotSpot提供的能力，但JDK在Java層面也對其做了封裝。

前文已經(jīng)提到，對于Java Agent來說，PreMain方法在Agent作為啟動參數(shù)運行的時候執(zhí)行，其實我們還可以額外實現(xiàn)一個AgentMain方法，并在MANIFEST.MF中將Agent-Class指定為該Class：

public static void agentmain(String args, Instrumentation ins) {
    // implement
}

這樣打包出來的jar，既可以作為-javaagent參數(shù)啟動，也可以被Attach到運行中的目標JVM進程。JDK已經(jīng)封裝了簡單的API讓我們直接Attach一個Java Agent，下面以Arthas中的代碼進行演示：

// com/taobao/arthas/core/Arthas.java

import com.sun.tools.attach.VirtualMachine;
import com.sun.tools.attach.VirtualMachineDescriptor;

// ...

private void attachAgent(Configure configure) throws Exception {
    VirtualMachineDescriptor virtualMachineDescriptor = null;

    // 拿到所有JVM進程，找出目標進程
    for (VirtualMachineDescriptor descriptor : VirtualMachine.list()) {
        String pid = descriptor.id();
        if (pid.equals(Integer.toString(configure.getJavaPid()))) {
            virtualMachineDescriptor = descriptor;
        }
    }
    VirtualMachine virtualMachine = null;
    try {
        // 針對某個JVM進程調用VirtualMachine.attach()方法，拿到VirtualMachine實例
        if (null == virtualMachineDescriptor) {
            virtualMachine = VirtualMachine.attach("" + configure.getJavaPid());
        } else {
            virtualMachine = VirtualMachine.attach(virtualMachineDescriptor);
        }

        // ...

        // 調用VirtualMachine#loadAgent()，將arthasAgentPath指定的jar attach到目標JVM進程中
        // 第二個參數(shù)為attach參數(shù)，即agentmain的首個String參數(shù)args
        virtualMachine.loadAgent(arthasAgentPath, configure.getArthasCore() + ";" + configure.toString());
    } finally {
        if (null != virtualMachine) {
            // 調用VirtualMachine#detach()釋放
            virtualMachine.detach();
        }
    }
}

直接對HotSpot進行Attach

sun.tools封裝的API足夠簡單易用，但只能使用Java編寫，也只能用在Java Agent上，因此有些時候我們必須手工對JVM進程直接進行Attach。對于JVMTI，除了Agent_OnLoad()之外，我們還需實現(xiàn)一個Agent_OnAttach()函數(shù)，當將JVMTI Agent Attach到目標進程時，從該函數(shù)開始執(zhí)行：

// $JAVA_HOME/include/jvmti.h

JNIEXPORT jint JNICALL Agent_OnAttach(JavaVM *vm, char *options, void *reserved);

下面我們以Async-Profiler中的jattach源碼為線索，探究一下如何利用Attach機制給運行中的JVM進程發(fā)送命令。jattach是Async-Profiler提供的一個Driver，使用方式比較直觀：

Usage:
    jattach <pid> <cmd> [args ...]
Args:
    <pid>  目標JVM進程的進程ID
    <cmd>  要執(zhí)行的命令
    <args> 命令參數(shù)

使用方式如：

$ jattach 1234 load /absolute/path/to/agent/libagent.so true

執(zhí)行上述命令，libagent.so就被加載到ID為1234的JVM進程中并開始執(zhí)行Agent_OnAttach函數(shù)了。有一點需要注意，執(zhí)行Attach的進程euid及egid，與被Attach的目標JVM進程必須相同。接下來開始分析jattach源碼。

如下所示的Main函數(shù)描述了一次Attach的整體流程：

// async-profiler/src/jattach/jattach.c

int main(int argc, char** argv) {
    // 解析命令行參數(shù)
    // 檢查euid與egid
    // ...

    if (!check_socket(nspid) && !start_attach_mechanism(pid, nspid)) {
        perror("Could not start attach mechanism");
        return 1;
    }

    int fd = connect_socket(nspid);
    if (fd == -1) {
        perror("Could not connect to socket");
        return 1;
    }

    printf("Connected to remote JVM\n");
    if (!write_command(fd, argc - 2, argv + 2)) {
        perror("Error writing to socket");
        close(fd);
        return 1;
    }
    printf("Response code = ");
    fflush(stdout);

    int result = read_response(fd);
    close(fd);
    return result;
}

忽略掉命令行參數(shù)解析與檢查euid和egid的過程。jattach首先調用了check_socket函數(shù)進行了“socket檢查？”，check_socket源碼如下：

// async-profiler/src/jattach/jattach.c

// Check if remote JVM has already opened socket for Dynamic Attach
static int check_socket(int pid) {
    char path[MAX_PATH];
    snprintf(path, MAX_PATH, "%s/.java_pid%d", get_temp_directory(), pid); // get_temp_directory()在Linux下固定返回"/tmp"
    struct stat stats;
    return stat(path, &stats) == 0 && S_ISSOCK(stats.st_mode);
}

我們知道，UNIX操作系統(tǒng)提供了一種基于文件的Socket接口，稱為“UNIX Socket”（一種常用的進程間通信方式）。在該函數(shù)中使用S_ISSOCK宏來判斷該文件是否被綁定到了UNIX Socket，如此看來，“/tmp/.java_pid<pid>

查閱官方文檔，得到如下描述：

The attach listener thread then communicates with the source JVM in an OS dependent manner:

• On Solaris, the Doors IPC mechanism is used. The door is attached to a file in the file system so that clients can access it.

• On Linux, a Unix domain socket is used. This socket is bound to a file in the filesystem so that clients can access it.

• On Windows, the created thread is given the name of a pipe which is served by the client. The result of the operations are written to this pipe by the target JVM.

證明了我們的猜想是正確的。目前為止check_socket函數(shù)的作用很容易理解了：判斷外部進程與目標JVM進程之間是否已經(jīng)建立了UNIX Socket連接。

回到Main函數(shù)，在使用check_socket確定連接尚未建立后，緊接著調用start_attach_mechanism函數(shù)，函數(shù)名很直觀地描述了它的作用，源碼如下：

// async-profiler/src/jattach/jattach.c

// Force remote JVM to start Attach listener.
// HotSpot will start Attach listener in response to SIGQUIT if it sees .attach_pid file
static int start_attach_mechanism(int pid, int nspid) {
    char path[MAX_PATH];
    snprintf(path, MAX_PATH, "/proc/%d/cwd/.attach_pid%d", nspid, nspid);

    int fd = creat(path, 0660);
    if (fd == -1 || (close(fd) == 0 && !check_file_owner(path))) {
        // Failed to create attach trigger in current directory. Retry in /tmp
        snprintf(path, MAX_PATH, "%s/.attach_pid%d", get_temp_directory(), nspid);
        fd = creat(path, 0660);
        if (fd == -1) {
            return 0;
        }
        close(fd);
    }

    // We have to still use the host namespace pid here for the kill() call
    kill(pid, SIGQUIT);

    // Start with 20 ms sleep and increment delay each iteration
    struct timespec ts = {0, 20000000};
    int result;
    do {
        nanosleep(&ts, NULL);
        result = check_socket(nspid);
    } while (!result && (ts.tv_nsec += 20000000) < 300000000);

    unlink(path);
    return result;
}

start_attach_mechanism函數(shù)首先創(chuàng)建了一個名為“/tmp/.attach_pid<pid>

如此看來，HotSpot似乎提供了一種特殊的機制，只要給它發(fā)送一個SIGQUIT信號，并預先準備好.attach_pid

查閱文檔，得到如下描述：

Dynamic attach has an attach listener thread in the target JVM. This is a thread that is started when the first attach request occurs. On Linux and Solaris, the client creates a file named .attach_pid(pid) and sends a SIGQUIT to the target JVM process. The existence of this file causes the SIGQUIT handler in HotSpot to start the attach listener thread. On Windows, the client uses the Win32 CreateRemoteThread function to create a new thread in the target process.

這樣一來就很明確了，在Linux上我們只需創(chuàng)建一個“/tmp/.attach_pid

繼續(xù)看jattach的源碼，果不其然，它調用了connect_socket函數(shù)對“/tmp/.java_pid

// async-profiler/src/jattach/jattach.c

// Connect to UNIX domain socket created by JVM for Dynamic Attach
static int connect_socket(int pid) {
    int fd = socket(PF_UNIX, SOCK_STREAM, 0);
    if (fd == -1) {
        return -1;
    }

    struct sockaddr_un addr;
    addr.sun_family = AF_UNIX;
    snprintf(addr.sun_path, sizeof(addr.sun_path), "%s/.java_pid%d", get_temp_directory(), pid);

    if (connect(fd, (struct sockaddr*)&addr, sizeof(addr)) == -1) {
        close(fd);
        return -1;
    }
    return fd;
}

一個很普通的Socket創(chuàng)建函數(shù)，返回Socket文件描述符。

回到Main函數(shù)，主流程緊接著調用write_command函數(shù)向該Socket寫入了從命令行傳進來的參數(shù)，并且調用read_response函數(shù)接收從目標JVM進程返回的數(shù)據(jù)。兩個很常見的Socket讀寫函數(shù)，源碼如下：

// async-profiler/src/jattach/jattach.c

// Send command with arguments to socket
static int write_command(int fd, int argc, char** argv) {
    // Protocol version
    if (write(fd, "1", 2) <= 0) {
        return 0;
    }

    int i;
    for (i = 0; i < 4; i++) {
        const char* arg = i < argc ? argv[i] : "";
        if (write(fd, arg, strlen(arg) + 1) <= 0) {
            return 0;
        }
    }
    return 1;
}

// Mirror response from remote JVM to stdout
static int read_response(int fd) {
    char buf[8192];
    ssize_t bytes = read(fd, buf, sizeof(buf) - 1);
    if (bytes <= 0) {
        perror("Error reading response");
        return 1;
    }

    // First line of response is the command result code
    buf[bytes] = 0;
    int result = atoi(buf);

    do {
        fwrite(buf, 1, bytes, stdout);
        bytes = read(fd, buf, sizeof(buf));
    } while (bytes > 0);
    return result;
}

瀏覽write_command函數(shù)就可知外部進程與目標JVM進程之間發(fā)送的數(shù)據(jù)格式相當簡單，基本如下所示：

<PROTOCOL VERSION>\0<COMMAND>\0<ARG1>\0<ARG2>\0<ARG3>\0

以先前我們使用的Load命令為例，發(fā)送給HotSpot時格式如下：

1\0load\0/absolute/path/to/agent/libagent.so\0true\0\0

至此，我們已經(jīng)了解了如何手工對JVM進程直接進行Attach。

Attach補充介紹

Load命令僅僅是HotSpot所支持的諸多命令中的一種，用于動態(tài)加載基于JVMTI的Agent，完整的命令表如下所示：

static AttachOperationFunctionInfo funcs[] = {
  { "agentProperties",  get_agent_properties },
  { "datadump",         data_dump },
  { "dumpheap",         dump_heap },
  { "load",             JvmtiExport::load_agent_library },
  { "properties",       get_system_properties },
  { "threaddump",       thread_dump },
  { "inspectheap",      heap_inspection },
  { "setflag",          set_flag },
  { "printflag",        print_flag },
  { "jcmd",             jcmd },
  { NULL,               NULL }
};

讀者可以嘗試下threaddump命令，然后對相同的進程進行jstack，對比觀察輸出，其實是完全相同的，其它命令大家可以自行進行探索。

總的來說，善用各類Profiler是提升性能優(yōu)化效率的一把利器，了解Profiler本身的實現(xiàn)原理更能幫助我們避免對工具的各種誤用。CPU Profiler所依賴的Attach、JVMTI、Instrumentation、JMX等皆是JVM平臺比較通用的技術，在此基礎上，我們?nèi)崿F(xiàn)Memory Profiler、Thread Profiler、GC Analyzer等工具也沒有想象中那么神秘和復雜了。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業(yè)資訊頻道，感謝您對億速云的支持。