spark sql和hbase怎么結(jié)合

本篇內(nèi)容主要講解“spark sql和hbase怎么結(jié)合”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“spark sql和hbase怎么結(jié)合”吧!

Q1:spark怎樣支持即席，應(yīng)該不是spark sql吧，是hive on spark么？

• Spark1.0 以前支持即席查詢(xún)的技術(shù)是Shark;

• Spark 1.0和 Spark 1.0.1支持的即席查詢(xún)技術(shù)是Spark SQL;

• 尚未發(fā)布的Spark 1.1開(kāi)始 Spark SQL是即席查詢(xún)的核心，我們期待Hive on Spark也能夠支持即席查詢(xún)；

Q2:現(xiàn)在spark 1.0.0版本是支持hive on spark么，它支持cli交互式訪問(wèn)么？

• Spark1.0.0不支持hive on spark；

• hive on spark這個(gè)項(xiàng)目正在開(kāi)發(fā)中，預(yù)計(jì)在 Spark 1.1版本的時(shí)候發(fā)布；

• Spark 1.0.0現(xiàn)在還不直接支持cli訪問(wèn)；

Q3:spark sql和hbase怎么結(jié)合呢？

• Spark sql和hbase即可要借助于Spark core的RDD功能；

• 使用hbase的時(shí)候需要導(dǎo)入hbase在Spark上的包

• Spark 1.0.0現(xiàn)在還不直接支持cli訪問(wèn)；

Q4:sparkSql支持sql全嗎？老師 可以把現(xiàn)在的PLSQL 直接轉(zhuǎn)換為 SPARKSQL么？ 

• Spark sql現(xiàn)在支持SQL-92的基本功能，后續(xù)版本不會(huì)不斷增強(qiáng)；

• PLSQL 現(xiàn)在還不能夠直接轉(zhuǎn)為Spark SQL;

• 想要更強(qiáng)的SQL支持，在Spark1.0.0和Spark1.0.1版本可以考慮Hive in Spark SQL的功能；

Q5:如果支持hive on spark,那么什么時(shí)候用spark sql，什么時(shí)候用hive on spark?

• Hive on spark預(yù)計(jì)在Spark 1.1這個(gè)版本發(fā)布，核心功能是要在Spark上使用已有的Hive的一切數(shù)據(jù)和功能；

• 和hive不相關(guān)都可以使用Spark SQL；

• 從理論上講隨著Spark SQL在未來(lái)版本的不斷增強(qiáng)，可以做hive的一切事情；

Q6:Spark SQL可以使用group by 嗎？

• Spark SQL可以使用group by的功能；

• 在SchemaRDD中有g(shù)roup by的支持；

• groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

• Performs a grouping followed by an aggregation.

Q7:spark sql 現(xiàn)在支持sql的那些操作  一直在官網(wǎng)上沒(méi)能找到相應(yīng)的document？

• Spark SQL API的官方Document網(wǎng)址

• http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD ；

• Spark SQL使用的官方網(wǎng)址

• http://spark.apache.org/docs/latest/sql-programming-guide.html

到此，相信大家對(duì)“spark sql和hbase怎么結(jié)合”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！