component的生命周期怎么理解

這篇文章主要介紹“component的生命周期怎么理解”，在日常操作中，相信很多人在component的生命周期怎么理解問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”component的生命周期怎么理解”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

storm中的spout,bolt的生命周期，都是storm幫你管理好，你只要新建一個(gè)實(shí)例，指定該component的并行數(shù)，就可以。那么topology中所用到的工具類的生命周期該如何處理，例如數(shù)據(jù)庫(kù)連接池、redis的連接池，這些對(duì)象該放在哪里初始化？本文以jdbc連接池為例，討論此問題。閱讀本文前請(qǐng)先自行了解storm topology的運(yùn)行流程。

Storm Component的生命周期

storm component泛指topoloty中的spout、bolt，是spout和bolt的一個(gè)統(tǒng)稱。而component生命周期，我結(jié)合storm作者nathanmarz大神的回答和自己的理解，描述一下：

1，當(dāng)提交了topology后，spout、bolt的實(shí)例會(huì)在本地機(jī)器（執(zhí)行storm submit所在的機(jī)器）上被創(chuàng)建，并且在本地序列化。另外，所有的component的構(gòu)造函數(shù)、declareOutputFields方法都本地會(huì)運(yùn)行一次。

2，整個(gè)topology被上傳到nimbus上。

3，對(duì)應(yīng)supervisor會(huì)向nimbus獲取序列化后的topology代碼，交給對(duì)應(yīng)的worker執(zhí)行。

4，每個(gè)worker執(zhí)行如下：反序列化代碼，運(yùn)行對(duì)應(yīng)component的prepare/open（初始化對(duì)應(yīng)的component）。舉個(gè)例子，某spout在topology中設(shè)置了3個(gè)并行度，且topology設(shè)置了3個(gè)worker，該open方法就會(huì)在3個(gè)不同的worker上分別調(diào)用1次，共調(diào)用3次。

5，worker通知executor不斷循環(huán)去跑nextTuple/execute方法。

需要注意一點(diǎn)：component的初始化相關(guān)的操作應(yīng)放在prepare/open方法中執(zhí)行, 而不是在實(shí)例化component的時(shí)候進(jìn)行或者topology的main函數(shù)。

Jdbc Pool 初始化方案

參考component的生命周期，能想到有兩種方案：

1，每個(gè)component都維持一個(gè)與數(shù)據(jù)庫(kù)的連接，此種方案適合于寫操作非常頻繁，component數(shù)目比較少，且中間不會(huì)有一段時(shí)間沒有任何寫、讀操作，否則會(huì)發(fā)生mysql connection timeout；另外可省去從連接池獲取連接，用完連接后返回給連接池這兩步操作。如果確定這種方案，則只要將數(shù)據(jù)庫(kù)的配置放到config中，在對(duì)應(yīng)的component中初始化數(shù)據(jù)庫(kù)連接即可。

2，在每worker中維持一個(gè)連接池，worker中所有executor需要用到連接時(shí)，從連接池中獲取，用后歸還。一般還是推薦這種方案。

下面說一下第二種方案的連接池，應(yīng)該在什么時(shí)候初始化。

首先明確一點(diǎn)，在topology運(yùn)行中，一個(gè)worker相當(dāng)于jvm進(jìn)程，相當(dāng)于有N個(gè)worker，就會(huì)有N個(gè)連接池。初始化連接池的動(dòng)作需要在worker端進(jìn)行，一個(gè)worker中只有一個(gè)連接池的實(shí)例，適合用單例模式。

初始化思路：每個(gè)component接收數(shù)據(jù)庫(kù)配置信息，在其prepare/open時(shí)，初始化連接池，這里需要保證在單個(gè)worker中只需要初始化一次就可以，即對(duì)初始化的代碼加鎖處理，保證只能有一個(gè)component初始化。

在storm源碼包中，提供了storm-jdbc的實(shí)現(xiàn)，其中用了JDBC 連接池組件，具體實(shí)現(xiàn)思路就是上面討論的第二種方案。以下為初始化時(shí)加鎖的部分。

public class HikariCPConnectionProvider implements ConnectionProvider {

    private Map<String, Object> configMap;
    private transient HikariDataSource dataSource;

    public HikariCPConnectionProvider(Map<String, Object> hikariCPConfigMap) {
        this.configMap = hikariCPConfigMap;
    }

    @Override
    public synchronized void prepare() {
        if(dataSource == null) {
            Properties properties = new Properties();
            properties.putAll(configMap);
            HikariConfig config = new HikariConfig(properties);
            this.dataSource = new HikariDataSource(config);
            this.dataSource.setAutoCommit(false);
        }
    }

    @Override
    public Connection getConnection() {
        try {
            return this.dataSource.getConnection();
        } catch (SQLException e) {
            throw new RuntimeException(e);
        }
    }

    @Override
    public void cleanup() {
        if(dataSource != null) {
            dataSource.shutdown();
        }
    }
}

看到，初始化prepare被上鎖了，以保證只初始化一次。其實(shí)這里可以再優(yōu)化一下：不要對(duì)方法加鎖，而是對(duì)具體初始化連接的代碼加鎖，減少鎖影響的范圍。

到此，關(guān)于“component的生命周期怎么理解”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！