R語(yǔ)言中怎么使用dplyr軟件包來(lái)清理和轉(zhuǎn)換數(shù)據(jù)

這篇文章主要介紹“R語(yǔ)言中怎么使用dplyr軟件包來(lái)清理和轉(zhuǎn)換數(shù)據(jù)”的相關(guān)知識(shí)，小編通過(guò)實(shí)際案例向大家展示操作過(guò)程，操作方法簡(jiǎn)單快捷，實(shí)用性強(qiáng)，希望這篇“R語(yǔ)言中怎么使用dplyr軟件包來(lái)清理和轉(zhuǎn)換數(shù)據(jù)”文章能幫助大家解決問(wèn)題。

dplyr軟件包是R中功能最強(qiáng)大，最受歡迎的軟件包之一。該軟件包由最受歡迎的R程序員Hadley Wickham編寫(xiě)，他編寫(xiě)了許多有用的R軟件包，如ggplot2，tidyr等。

什么是dplyr？

dplyr是一個(gè)強(qiáng)大的R軟件包，用于處理，清理和匯總非結(jié)構(gòu)化數(shù)據(jù)。簡(jiǎn)而言之，它使得R中的數(shù)據(jù)探索和數(shù)據(jù)操作變得簡(jiǎn)單快捷。

dplyr有什么特別之處？

軟件包“dplyr”包含許多主要使用的數(shù)據(jù)操作功能，例如應(yīng)用過(guò)濾器，選擇特定列，排序數(shù)據(jù)，添加或刪除列以及聚合數(shù)據(jù)。這個(gè)包的另一個(gè)最重要的優(yōu)點(diǎn)是學(xué)習(xí)和使用dplyr函數(shù)非常容易。也很容易回想起這些功能。例如，filter（）用于過(guò)濾行。dplyr函數(shù)處理速度比基本R函數(shù)快。 這是因?yàn)閐plyr函數(shù)是以計(jì)算有效的方式編寫(xiě)的。 它們?cè)谡Z(yǔ)法上也更穩(wěn)定，并且比向量更好地支持?jǐn)?shù)據(jù)幀。以下是該包中的方法與用途：

dplyr中主要方法的使用

filter系列：篩選出自己想要的數(shù)據(jù)

#安裝與加載包
#直接使用內(nèi)置的iris、mtcars數(shù)據(jù)集來(lái)演示
#iris數(shù)據(jù)集中，篩選Species為“setosa”,并且Sepal.Length大于5的樣本
#"&"也可以替換成“,”
> filter(iris, Species == "setosa" & Sepal.Length >= 5.5)
  Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1          5.8         4.0          1.2         0.2  setosa
2          5.7         4.4          1.5         0.4  setosa
3          5.7         3.8          1.7         0.3  setosa
4          5.5         4.2          1.4         0.2  setosa
5          5.5         3.5          1.3         0.2  setosa

filter支持以下幾種判斷形式：

1. 關(guān)系類(lèi)型：<、 <= 、 >、 >=、==、!=、is.na()、 !is.na()

2. &、 |、 !、 xor() #針對(duì)向量集的操作判斷

3. between()、%in%、 near()  #sqrt(2) ^ 2 == 2 返回FALSE，near(sqrt(2) ^ 2, 2)則TRUE

4. all_vars()、any_vars() #出現(xiàn)于filter_all、filter_at、filter_if中，作為判斷條件

filter系列，還有幾個(gè)變異函數(shù)：filter_all、filter_at、filter_if

#篩選任何變量＞150的樣本
filter_all(mtcars, any_vars(. > 150)) 
#篩選變量以“d”結(jié)尾，并且變量 "%%2" 等于0
filter_at(mtcars, vars(starts_with("d")), any_vars((. %% 2) == 0)) 
# 篩選變量向下取整 == 原變量數(shù)值, 并且這部分變量的數(shù)值！= 0 的樣本集
filter_if(mtcars, ~ all(floor(.) == .), all_vars(. != 0))

更多用法：

mtcars %>% filter_all(all_vars(.>150)) %>% head() # 篩選所有變量均大于150的行，結(jié)果為空
mtcars %>% filter_all(any_vars(.>150)) %>% head() # 篩選存在變量大于150的行，
# 針對(duì)變量名稱為d開(kāi)頭的所有列，篩選存在變量能整除2的所有行
mtcars %>% filter_at(vars(starts_with("d")), any_vars((.%% 2) == 0)) 
# 針對(duì)變量全為整數(shù)的列，篩選所有變量非0的所有行
mtcars %>% filter_if(~all(floor(.) == .), all_vars(.!= 0)) 
# 支持purrr語(yǔ)法篩選
mtcars %>% filter_at(vars(hp, vs), ~ .%% 2 == 0) # 篩選hp和vs變量都是偶數(shù)的所有行

select 函數(shù)：僅保留你所需要的列，并支持修改變量名稱

用法：select(.data, …)

與之前講解的filter有所不同，select是篩選變量的，而filter是篩選樣本集。

應(yīng)用場(chǎng)景：假設(shè)數(shù)據(jù)存于寬表中(比如有100個(gè)變量的表)，而你僅需要其中幾個(gè)變量。而select的關(guān)鍵在于”…“的判斷條件

 #mtcars數(shù)據(jù)集中，篩選mpg、cyl、wt、vs,4個(gè)變量數(shù)據(jù)
# mtcars[,c("mpg","cyl","wt","vs")],可以實(shí)現(xiàn)相同的功能
 >select(mtcars,c("mpg","cyl","wt","vs")) 

 mpg cyl    wt vs
 21.0   6 2.620  0
 21.0   6 2.875  0
 22.8   4 2.320  1

# Tips：select 同樣支持"："與"-"操作
# 比如：select(mtcars,c("mpg":"vs"))、表示連續(xù)的列選擇
#      select(mtcars,-"mpg") 刪除mpg列

以上給人感覺(jué)，不通過(guò)select，利用數(shù)據(jù)框與向量操作，同樣可以做到，select 真正強(qiáng)大的地方在于，支持以下幾種條件判斷：

包含關(guān)系：starts_with()、 ends_with()、 one_of()

匹配關(guān)系：matches()、contains()、num_range()

# 包含關(guān)系：在Iris中，篩選以Petal開(kāi)頭，或Width結(jié)尾的變量
>select(iris, starts_with("Petal"), ends_with("Width"))
#   Petal.Length Petal.Width Sepal.Width
#         1.4         0.2         3.5
#         1.4         0.2         3.0
#         1.3         0.2         3.2
# ...(數(shù)據(jù)省略)
# Tips：starts_with("Petal"), ends_with("Width")，2個(gè)條件不是 "且" 的關(guān)系,而是 "或"   


# 包含關(guān)系：經(jīng)常需要提取變化的數(shù)據(jù)集合，利用one_of再合適不過(guò)了
# 提取mtcars中，"mpg","cyl","wt","vs" ,"vss"
 >var1 <- c("mpg","cyl","wt","vs","vss")
 >select (mtcars, one_of(var1))
# mpg cyl    wt vs
# 21.0   6 2.620  0
# 21.0   6 2.875  0
# 2.8   4 2.320  1
# ...(省略數(shù)據(jù))
# Warning message: Unknown columns: `vss` 
# Tips: select沒(méi)找到額變量，系統(tǒng)會(huì)返回警告


# 匹配關(guān)系：篩選Iris數(shù)據(jù)集，變量名中帶有"wid"的變量名
>select(iris, matches(".wid."))
>select(iris, contains("wid"))
#   Sepal.Width Petal.Width
#        3.5         0.2
#        3.0         0.2

# num_range能高效匹配變量名稱類(lèi)似x01, x02, x03的
# 隨機(jī)數(shù)據(jù)框,由X1~X5，y 組成:
df <- data.frame(x1= runif(10), x2= runif(10), 
                   x3= runif(10), x4= runif(10),
                      x5= runif(10), y= letters[1:10])

# 篩選 y， x1:x3的變量,并且把y重命名為 var1
>select(df, c(var1 = "y", num_range("x", 1:3)))
#  var1  x1         x2        x3
#  a 0.96631605 0.29815009 0.6545414
#  b 0.61046600 0.76547552 0.8247191
#  c 0.70510879 0.46636723 0.4472588
# ... (數(shù)據(jù)省略)

mutate系列：對(duì)數(shù)據(jù)進(jìn)行計(jì)算產(chǎn)生新數(shù)據(jù)

用法：mutate(.data, …)

mutate的使用方式，主要是依靠"…"的公式變化，生成新的變量

mutate支持以下幾種公式 ：

1. +、-、*、÷ 、%%、%|% 等常用計(jì)算方式

2. lead()、 lag()

3. dense_rank(), min_rank(), percent_rank(), row_number(), cume_dist(), ntile()

4. cumsum(), cummean(), cummin(), cummax(), cumany(), cumall()

5. na_if(), coalesce()

6. if_else(), recode(), case_when()

先從"rank"系列開(kāi)始介紹，這一函數(shù)類(lèi)，主要是用來(lái)劃分名次、等級(jí)、百分比、密度等等

#############簡(jiǎn)單的+、-、*、÷ 、%%、%|%   可以增加新的數(shù)據(jù)列
 >mutate(mtcars,aa=hp-drat,bb=mpg*cyl)
    mpg cyl  disp  hp drat    wt  qsec vs am gear carb     aa    bb
1  21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4 106.10 126.0
2  21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4 106.10 126.0
3  22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1  89.15  91.2
4  21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1 106.92 128.4
5  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2 171.85 149.6
6  18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1 102.24 108.6
7  14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4 241.79 114.4

#######如果只想保留這些新的變量可以：
> transmute(mtcars,aa=hp-drat,bb=mpg*cyl)
       aa    bb
1  106.10 126.0
2  106.10 126.0
3   89.15  91.2
4  106.92 128.4
5  171.85 149.6
6  102.24 108.6

##########percent_rank，按照[0,1]百分比的形式進(jìn)行排序
# 舉例說(shuō)明，按照x的數(shù)值，按照百分比進(jìn)行劃分
x <- c(5, 1, 3, 2, 4)
percent_rank(x)
# [1] 1.00 0.00 0.50 0.25 0.75
# 這類(lèi)函數(shù)比較適用于 ，需要排名次的場(chǎng)景。比如考試、比賽...

#  比如根據(jù)iris中的Sepal.Length，進(jìn)行百分比表示, 其中 %>% 管道的標(biāo)識(shí)符，select函數(shù)中，everything()可以用來(lái)更換變量順序 
>iris %>% mutate(Length_rank = percent_rank(Sepal.Length)) %>% select(Length_rank,everything()) 

#   Length_rank Sepal.Length Sepal.Width Petal.Length Petal.Width Species
#   0.21476510          5.1         3.5          1.4         0.2  setosa
#   0.10738255          4.9         3.0          1.4         0.2  setosa
#   ...(數(shù)據(jù)省略)

# row_number()，不僅可以用來(lái)對(duì)想來(lái)排序,也可以表示獲取行數(shù)
mutate(mtcars, row_number() == 1L) # 新生成的變量，用來(lái)判斷是否是第一行，返回TRUE 或者 FALSE    
mtcars %>% filter(between(row_number(), 1, 10)) # 通過(guò)row_number,篩選1-10行.有點(diǎn)類(lèi)似 top_n(10)

# ntile，切割數(shù)據(jù)集為N塊，返回具體的數(shù)值，屬于等分切割
ntile(runif(10), 5)
# [1] 1 2 4 5 5 3 4 2 3 1
# 某種程度上，ntile可以用來(lái)劃分訓(xùn)練集和測(cè)試集(類(lèi)似sample函數(shù)) 
# ind <- sample(2, nrow(mtcars), replace = TRUE, prob = c(0.8,0.2))
# mtcars[ind == 1,]
# 備注：ntile對(duì)數(shù)據(jù)框使用的時(shí)候，如果沒(méi)有特殊標(biāo)明具體的數(shù)據(jù)列,ntile會(huì)對(duì)所有的列進(jìn)行切割操作

再說(shuō)一下"cum"函數(shù)系列，這類(lèi)函數(shù)計(jì)算累積指標(biāo)，比如截止到某一天的平均值、總和、乘積等等。

# cumsum，累積相加的數(shù)值
cumsum(1:10)
# 1  3  6 10 15 21 28 36 45 55
# 原數(shù)據(jù)集有N個(gè)，返回也是N個(gè)
# 類(lèi)似MS_SQL中的sum(s)over(order by y)

# cumany(), cumall()，則是邏輯判斷，并非計(jì)算數(shù)值
cumall(-5:5)
# TRUE  TRUE  TRUE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE
# 返回的是邏輯值，0代表FALSE

最后說(shuō)一下"判斷"函數(shù)系列，這類(lèi)函數(shù)應(yīng)用比較廣泛。

比如生活中，當(dāng)天空下雨了，小明就打傘了

類(lèi)似EXCEL中的 if函數(shù)，vlookup函數(shù)等等

# if_else
# 用法：if_else(condition, true, false, missing = NULL)，比傳統(tǒng)的ifelse多了一個(gè)missing參數(shù)
# 并且if_else能保留原數(shù)據(jù)的數(shù)據(jù)類(lèi)型，不會(huì)降維操作

# 假設(shè)x >= 0,則 y-1，y < 0 的情況下, y + 1 
df <- data.frame(x = c(-5:4), y = runif(10))
df %>% mutate( xy = if_else(x >= 0, y -1, y+1, y))
#     x         y         xy
#   -5    0.7760150  1.7760150
#   -4    0.9310976  1.9310976
# case_when中，判斷的條件可以更加的多樣化
# case_when,與SQL中的case...when...一樣
# 同C語(yǔ)言中的switch一樣   

x <- c(1:10,NA)
case_when(
  x %% 2 == 0 ~ "偶",
  x %% 2 == 1 ~ "奇",
  TRUE ~ as.character(x)   
  #可以設(shè)置一個(gè)默認(rèn)值
)
  "奇" "偶" "奇" "偶" "奇" "偶" "奇" "偶" "奇" "偶" NA

arrange 用于數(shù)據(jù)排序

arrange()  函數(shù)以行為單位進(jìn)行排序，默認(rèn)為升序排列，降序使用  desc( )  函數(shù)。第一個(gè)參數(shù)為數(shù)據(jù)集名稱，后面為排序依據(jù)變量。

> arrange(mtcars,hp,mpg,cyl )
    mpg cyl  disp  hp drat    wt  qsec vs am gear carb
1  30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
2  24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
3  33.9   4  71.1  65 4.22 1.835 19.90  1  1    4    1
4  27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
5  32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
6  26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
7  22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1
8  22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2
9  21.5   4 120.1  97 3.70 2.465 20.01  1  0    3    1
10 18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1

多列排序，降序用desc()

> arrange(mtcars,desc(hp),mpg,cyl )
    mpg cyl  disp  hp drat    wt  qsec vs am gear carb
1  15.0   8 301.0 335 3.54 3.570 14.60  0  1    5    8
2  15.8   8 351.0 264 4.22 3.170 14.50  0  1    5    4
3  13.3   8 350.0 245 3.73 3.840 15.41  0  0    3    4
4  14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
5  14.7   8 440.0 230 3.23 5.345 17.42  0  0    3    4
6  10.4   8 460.0 215 3.00 5.424 17.82  0  0    3    4
7  10.4   8 472.0 205 2.93 5.250 17.98  0  0    3    4
8  15.2   8 275.8 180 3.07 3.780 18.00  0  0    3    3
9  16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3
10 17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3

sample_n() and sample_frac()按行隨機(jī)選取數(shù)據(jù)子集

sample_n() and sample_frac() 分別是按固定多少行隨機(jī)選取，一個(gè)是按行數(shù)的比例選?。?/p>

> sample_n(mtcars,10)
    mpg cyl  disp  hp drat    wt  qsec vs am gear carb
1  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2
2  14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
3  21.5   4 120.1  97 3.70 2.465 20.01  1  0    3    1
4  32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
5  26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
6  19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
7  17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4
8  27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
9  15.8   8 351.0 264 4.22 3.170 14.50  0  1    5    4
10 15.5   8 318.0 150 2.76 3.520 16.87  0  0    3    2
> sample_frac(mtcars,0.1)
   mpg cyl disp  hp drat   wt  qsec vs am gear carb
1 10.4   8  472 205 2.93 5.25 17.98  0  0    3    4
2 14.3   8  360 245 3.21 3.57 15.84  0  0    3    4
3 13.3   8  350 245 3.73 3.84 15.41  0  0    3    4

%>% 數(shù)據(jù)管道綜合運(yùn)用舉例

data(iris)
data(mtcars)
iris %>% head()
mtcars %>% head()
# 篩選變量名為字符串開(kāi)頭的變量
iris %>% select(starts_with("Sepal")) %>% head() 
# 多個(gè)篩選條件
iris %>% select(-starts_with("Sepal")) %>% head() 
# 篩選變量名為字符串結(jié)尾的變量
iris %>% select(ends_with("Length")) %>% head() 
iris %>% select(-ends_with("Length")) %>% head()

# 將變量Species移動(dòng)到最前面
iris %>% select(Species, everything()) %>% head()
# 反篩選，篩選除了Sepal.Length變量的其它變量
iris %>% select(-Sepal.Length) %>%head() 

# 將變量Species移動(dòng)到最后面
iris %>% select(everything(), Species) %>% head()
iris %>% select(-Species, Species) %>% head()
# 錯(cuò)誤的用法，結(jié)果為空
iris %>% select(Species, -Species) %>% head() 

iris %>% select(contains("etal")) %>% head()

iris %>% select(matches(".t.")) %>% head() # 篩選名稱中,t在中間的變量。  
iris %>% select(last_col()) %>% head()# 最后一個(gè)變量
iris %>% select(last_col(offset = 2)) %>% head() # 倒數(shù)第3個(gè)變量
iris %>% select(one_of(c("Petal.Length", "Petal.Width"))) %>% head()
iris %>% group_by(Species) %>% select(group_cols()) %>% distinct() %>% head() # 獲取分組變量名
df <- as.data.frame(matrix(runif(100), nrow = 10)) %>% as_tibble()
head(df)
df %>% select(V4:V7) %>% head() # 篩選V4列到V7列
df %>% select(num_range("V", 4:7)) %>% head() # 結(jié)果與前面一樣
#列名重命名
iris %>% select(petal_length = Petal.Length) %>% head() # 重命名
iris %>% select(obs = starts_with('S')) %>% head() # 多個(gè)變量重命名

關(guān)于“R語(yǔ)言中怎么使用dplyr軟件包來(lái)清理和轉(zhuǎn)換數(shù)據(jù)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會(huì)為大家更新不同的知識(shí)點(diǎn)。