Skywalking怎么改成適配Http?Basic的Elasticsearch服務(wù)

這篇文章主要介紹“Skywalking怎么改成適配Http Basic的Elasticsearch服務(wù)”，在日常操作中，相信很多人在Skywalking怎么改成適配Http Basic的Elasticsearch服務(wù)問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Skywalking怎么改成適配Http Basic的Elasticsearch服務(wù)”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

前言

最近公司skywalking服務(wù)經(jīng)常出現(xiàn)大盤空白的情況，經(jīng)查明，是由于ES的寫(xiě)入瓶頸造成線程阻塞，數(shù)據(jù)沒(méi)有落地到ES造成。后綜合運(yùn)維成本等方面考慮，準(zhǔn)備使用阿里云提供的Elasticsearch服務(wù)，阿里云的ES無(wú)論內(nèi)外網(wǎng)都加上了Http Basic認(rèn)證，但是skywalking6.x提供的RestHighLevelClient客戶端并沒(méi)有適配帶Http Basic基礎(chǔ)認(rèn)證的ES服務(wù)，所以需要稍加改動(dòng)下skywalking源碼。

skywalking項(xiàng)目結(jié)構(gòu)

項(xiàng)目從github拉下來(lái)后，先了解下項(xiàng)目結(jié)構(gòu)。在skywalking2.x的版本時(shí)，我曾研究過(guò)skywalking的插件機(jī)制，到現(xiàn)在的6.x版本，在項(xiàng)目結(jié)構(gòu)和設(shè)計(jì)上都有了很大的變化。6.x的項(xiàng)目結(jié)構(gòu)如下，我們主要關(guān)注箭頭所指的模塊，es存儲(chǔ)插件的實(shí)現(xiàn)

定位代碼改動(dòng)

1.定位StorageModuleElasticsearchConfig.java,新增Http Basicr認(rèn)證所需的用戶和密碼

@Setter @Getter private String nameSpace;
    @Setter @Getter private String clusterNodes;
    private int indexShardsNumber;
    private int indexReplicasNumber;
    private boolean highPerformanceMode;
    private int traceDataTTL = 90;
    private int minuteMetricDataTTL = 90;
    private int hourMetricDataTTL = 36;
    private int dayMetricDataTTL = 45;
    private int monthMetricDataTTL = 18;
    private int bulkActions = 2000;
    private int bulkSize = 20;
    private int flushInterval = 10;
    private int concurrentRequests = 2;
    private String user;
    private String password;

2.定位ElasticSearchClient.java，新增用戶和密碼屬性，改動(dòng)構(gòu)造方法，將用戶和密碼傳入進(jìn)來(lái)，在創(chuàng)建connect時(shí)判斷用戶是否配置了認(rèn)證信息，如果配置就走帶認(rèn)證的連接，如果沒(méi)有，就走默認(rèn)的不帶認(rèn)證連接，具體改動(dòng)如下：

private static final String TYPE = "type";
    private final String clusterNodes;
    private final String namespace;
    private final String user;
    private final String password;
    private RestHighLevelClient client;
    public ElasticSearchClient(String clusterNodes, String namespace, String user, String password) {
        this.clusterNodes = clusterNodes;
        this.namespace = namespace;
        this.user = user;
        this.password = password;
    }
    @Override
    public void connect() {
        ListpairsList = parseClusterNodes(clusterNodes);
        RestClientBuilder builder;
        if (StringUtils.isNotBlank(user) && StringUtils.isNotBlank(password)) {
            final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
            credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(user, password));
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]))
                    .setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
                        @Override
                        public HttpAsyncClientBuilder customizeHttpClient(
                                HttpAsyncClientBuilder httpClientBuilder) {
                            return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
                        }
                    });
        } else {
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]));
        }
        client = new RestHighLevelClient(builder);
    }

Elasticsearch的basic_authentication連接官方文檔說(shuō)明：https://www.elastic.co/guide/en/elasticsearch/client/doc

3.定位StorageModuleElasticsearchProvider.java和ElasticSearchClientTestCase.java 修改構(gòu)造方法入?yún)?。基本上就是如上的改?dòng)，就可以讓skywalking支持帶basic_authentication認(rèn)證的Elasticsearch服務(wù)了。在配置時(shí)添加user和password，如：

storage:
  elasticsearch:
    nameSpace: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    user: ${SW_ES_USER:""}
    password: ${SW_ES_PASSWORD:""}
    indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:2}
    indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:0}
    # Batch process setting, refer to https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.5/java-docs-bulk-processor.html
    bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:2000} # Execute the bulk every 2000 requests
    bulkSize: ${SW_STORAGE_ES_BULK_SIZE:20} # flush the bulk every 20mb
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests

注意事項(xiàng)

• skywalking項(xiàng)目從個(gè)人開(kāi)源走到國(guó)際化開(kāi)源項(xiàng)目，和其代碼質(zhì)量和項(xiàng)目管理密不可分。skywalking項(xiàng)目里有嚴(yán)格的代碼編譯檢查，比如逗號(hào)前面不能有空格，逗號(hào)后面一定要有空格等。

• 還有別忘記修改assembly\application.yml文件，添加上user和password，不然打出來(lái)的包默認(rèn)不帶這兩個(gè)配置屬性

• 編譯的話，因?yàn)樯婕暗紾PRC部分的依賴，和前端子項(xiàng)目的結(jié)構(gòu)，需要做些處理。

• 因?yàn)橄到y(tǒng)字符集的問(wèn)題，Windows系統(tǒng)下打出來(lái)的包，bin目錄下的shell腳步可能運(yùn)行不了，這個(gè)是因?yàn)閃indows字符集的問(wèn)題導(dǎo)致的，不過(guò)沒(méi)關(guān)系，可以拷貝官方包中的腳步替換

改完編譯成功后，會(huì)在項(xiàng)目的根目錄下生產(chǎn)一個(gè)dist目錄，目錄下包含兩個(gè)壓縮包，分別對(duì)應(yīng)linux系統(tǒng)tar，和Windows下的zip包。

到此，關(guān)于“Skywalking怎么改成適配Http Basic的Elasticsearch服務(wù)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！