airflow使用mysql數(shù)據(jù)庫(kù)和LocalExecutor并發(fā)調(diào)度

這篇文章主要介紹“airflow使用mysql數(shù)據(jù)庫(kù)和LocalExecutor并發(fā)調(diào)度”，在日常操作中，相信很多人在airflow使用mysql數(shù)據(jù)庫(kù)和LocalExecutor并發(fā)調(diào)度問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”airflow使用mysql數(shù)據(jù)庫(kù)和LocalExecutor并發(fā)調(diào)度”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

mysql-airflow

在mysql上執(zhí)行

create database airflow; —— 創(chuàng)建數(shù)據(jù)庫(kù)

GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY '123456'; —— 將數(shù)據(jù)庫(kù)airflow的所有權(quán)限授權(quán)airflow用戶，密碼123456且該用戶可在任何IP段登錄操作

FLUSH PRIVILEGES; —— 刷新權(quán)限

set explicit_defaults_for_timestamp = 1;

修改airflow配置文件airflow.cfg

sql_alchemy_conn = mysql://airflow:123456@mysqlIP/airflow

初始化數(shù)據(jù)庫(kù)

airflow initdb

若之前使用sqllite初始化過可使用airflow resetdb

airflow-LocalExecutor

修改執(zhí)行器，使airflow并發(fā)調(diào)度任務(wù)

修改配置文件airflow.cfg

executor = LocalExecutor

重啟scheduler即可(默認(rèn)并發(fā)調(diào)度16)

分布式問題

1.需要使用同步方式解決dags目錄與worker的同步問題——待解決

2.需要解決scheduler的單點(diǎn)問題，可參考 apache-airflow 調(diào)度系統(tǒng) https://blog.csdn.net/somezz/article/details/82749495

到此，關(guān)于“airflow使用mysql數(shù)據(jù)庫(kù)和LocalExecutor并發(fā)調(diào)度”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！