Storm開發(fā)中易犯的 小錯誤

Storm開發(fā)中易犯的 小錯誤

Storm是一個分布式的、容錯的實時計算系統(tǒng)，遵循Eclipse Public License 1.0,Storm可以方便地在一個計算機集群中編寫與擴展復雜的實時計算，Storm之于實時處理，就好比Hadoop之于批處理。Storm保證每個消息都會得到處理，而且它很快——在一個小集群中，每秒可以處理數(shù)以百萬計的消息?？梢允褂萌我饩幊陶Z言來做開發(fā)。

Storm的優(yōu)點
1. 簡單的編程模型。類似于MapReduce降低了并行批處理復雜性，Storm降低了進行實時處理的復雜性。
2. 服務(wù)化,一個服務(wù)框架,支持熱部署,即時上線或下線App.
3. 可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實現(xiàn)一個簡單的Storm通信協(xié)議即可。
4. 容錯性。Storm會管理工作進程和節(jié)點的故障。
5. 水平擴展。計算是在多個線程、進程和服務(wù)器之間并行進行的。
6. 可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務(wù)失敗時，它會負責從消息源重試消息。
7. 快速。系統(tǒng)的設(shè)計保證了消息能得到快速的處理，使用ZeroMQ作為其底層消息隊列。
8. 本地模式。Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集群。這讓你可以快速進行開發(fā)和單元測試。

然而，在開發(fā)的過程中，由于Storm的kill Topology，常常會導致一些莫名的錯誤，比如下面的一個錯誤：

造成異常的原因就是，

沒有kill 正在運行的topology，卻先kill nimbus和supervisor的storm進程

解決方案：

刪除了配置中"storm.local.dir"的文件夾內(nèi)的內(nèi)容（這個是導致ＥＲＲＯＲ的主要原因）

在Zookeeper客戶端下   delete   /storm/assignments

在Zookeeper客戶端下   delete   /storm/workerbeats

刪除 storm目錄下的workdir（即配置文件中配置的將TOPOLOGY序列化所放置的文件夾）