溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

spark dataframe 將一列展開,把該列所有值都變成新列的方法

發(fā)布時(shí)間：2020-09-05 06:41:30 來源：腳本之家 閱讀：199 作者：Nougats 欄目：開發(fā)技術(shù)

The original dataframe

spark dataframe 將一列展開,把該列所有值都變成新列的方法

需求：hour代表一天的24小時(shí)，現(xiàn)在要將hour列展開，每一個(gè)小時(shí)都作為一個(gè)列

實(shí)現(xiàn)：

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且統(tǒng)計(jì)了對應(yīng)的countGeoPerHour的和，如果有些行沒有這個(gè)新列對應(yīng)的數(shù)據(jù)，將用null填充

The new dataframe

spark dataframe 將一列展開,把該列所有值都變成新列的方法

以上這篇spark dataframe 將一列展開,把該列所有值都變成新列的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手