spark的缺點是什么

這篇文章主要介紹“spark的缺點是什么”，在日常操作中，相信很多人在spark的缺點是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark的缺點是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

Q1：spark streaming 可以不同數(shù)據(jù)流 join嗎？

• Spark Streaming不同的數(shù)據(jù)流可以進(jìn)行join操作；

• Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets and be processed using complex algorithms expressed with high-level functions like map, reduce, join and window

• join(otherStream, [numTasks])：When called on two DStreams of (K, V) and (K, W) pairs, return a new DStream of (K, (V, W)) pairs with all pairs of elements for each key.

Q2：flume  與  spark streaming 適合 集群模式嗎？

• Flume與Spark Streaming是為集群而生的；

• For input streams that receive data over the network (such as, Kafka, Flume, sockets, etc.), the default persistence level is set to replicate the data to two nodes for fault-tolerance.

• Using any input source that receives data through a network - For network-based data sources like Kafka and Flume, the received input data is replicated in memory between nodes of the cluster (default replication factor is 2).

Q3：spark有缺點嘛？

• Spark的核心缺點在于對內(nèi)存的占用比較大；

• 在以前的版本中Spark對數(shù)據(jù)的處理主要的是粗粒度的，難以進(jìn)行精細(xì)的控制；

• 后來加入Fair模式后可以進(jìn)行細(xì)粒度的處理；

Q4：spark streming現(xiàn)在有生產(chǎn)使用嗎？

• Spark Streaming非常易于在生產(chǎn)環(huán)境下使用；

• 無需部署，只需安裝好Spark，，就按照好了Spark Streaming；

• 國內(nèi)像皮皮網(wǎng)等都在使用Spark Streaming；

到此，關(guān)于“spark的缺點是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>