R语言 清洗数据

清洗数据是指对数据进行重新审查和校验的过程，目的在于删除重复信息，纠正存在的错误，并提供数据一致性。

处理缺失值

R提供了一些函数，用于缺失值检测和缺失值处理：

示例：

score <- data.frame(student = c("A","B","C","D"),
                     gender = c("M","M","F","F"),
                       math = c(90,70,80,60),
                        Eng = c(88,78,69,98),
                         p1 = c(66,59,NA,88))         #  创建数据框
anyNA(score)   #  判断score中是否存在缺失值，返回TRUE或FALSE值。若存在缺失值则返回FALSE
#  运行结果：
#  [1] TRUE
is.na(score)
#  运行结果：
#       student gender  math   Eng    p1
#  [1,]   FALSE  FALSE FALSE FALSE FALSE
#  [2,]   FALSE  FALSE FALSE FALSE FALSE
#  [3,]   FALSE  FALSE FALSE FALSE  TRUE
#  [4,]   FALSE  FALSE FALSE FALSE FALSE
complete.cases(x)
#  运行结果：
#  [1]  TRUE  TRUE FALSE  TRUE
score[complete.cases(score),]
#  运行结果：
#    student gender math Eng p1
#  1       A      M   90  88 66
#  2       B      M   70  78 59
#  4       D      F   60  98 88
na.omit(score)
#  运行结果：
#    student gender math Eng p1
#  1       A      M   90  88 66
#  2       B      M   70  78 59
#  4       D      F   60  98 88

处理日期变量

示例：

Sys.Date()
#  运行结果：
#  [1] “2020-04-09”
Sys.time()
#  运行结果：
#  [1] “2020-04-09 09:29:32 CST”
date()
#  运行结果：
#  [1] “Wed Mar 25 09:30:01 2020”

读入日期的格式

as.Date函数

as.Date函数可以将字符串形式的日期值转换为日期变量

as.Date函数只能转换包含年月日星期的字符串，无法转换具体到时间的字符串

as.POSIXIt函数   as.POSIXIt(x,tz="",format)

strptime函数   strptime(x,format,tz="")

strftime函数   strftime(x,format="")

#  转化日期时间变量为字符串
#  使用上例的结果
x
#  运行结果：
#  [1] "2020-02-28 10:07:52 CST" "2020-08-07 19:33:02 CST"
#  输出的格式转换为format指定的格式
strftime(x,format = "%Y/%m/%d")
#  运行结果：
#  [1] "2020/02/28" "2020/08/07"

注意：strftime函数的与strptime函数相对应，strftime函数用于将时间变量按指定的格式转换为字符型日期值

format函数   format(x,…)

#  使用format()函数转换为字符串
#  使用和上例的同样的数据
x
#  运行结果：
#  [1] "2020-02-28 10:07:52 CST" "2020-08-07 19:33:02 CST"
#  输出的格式转换为format定义的格式
format(x,"%d/%m/%Y")
#  运行结果：
#  [1] ”28/02/2020“ ”07/08/2020“

注意：format函数不仅限于将日期变量按格式转化为字符串，也可以将其他类型的变量转化为字符串

数据排序

R中涉及排序的基本函数有sort、rank和order函数。其基本用法为：

• sort(x,na.last = NA, decreasing = FALSE, …)
• order(…, na.last = TRUE, decreasing = FALSE)
• rank(x, na.last = TRUE, ties.method = c(“average”,“first”,“random”,“max”,“min”))

x表示需要排序的数据，decreasing表示是否按降序排序数据，method表示所使用的排序算法，na.last用来说明如何处理NA值，如果为FALSE，则会删除这些值，如果为TRUE，就会把这些值放到最后

sort函数：对向量进行排序，返回的结果是经过排序后的向量

rank函数：对向量进行排序，返回的结果是经过排序后的秩次
rank(x,na.last=TRUE,ties.method=c(“average”,“first”,“random”,“max”,“min”))

order函数

• order函数的功能为对数据进行排序，返回值为最小（大）值、次小（大）值…次大（小）值、最大（小）值所在的位置
• order(x,na.last=TRUE,decreasing=FALSE)
• x和na.last参数含义同sort函数
• 与前面两个排序函数不同的是，order函数可以对数据框进行排序
• 其中对数据集data.frame按变量v1，v2进行排序的实现形式为：
  data.frame[order(data.frame $ v1, data.frame $ v2)]
• 若v1一样，则按v2升序排序，如果要将升序改为降序，只需在变量前添加符号或decreasing = TRUE

合并数据集

数据框的编辑可以通过rbind和cbind函数。需要注意的是，使用rbind和cbind函数对于数据框而言，分别为增加新的样本数据和增加新属性变量。
rbind的自变量的宽度（列数）应该与原数据框的宽度相等，cbind的自变量的高度（行数）应该与原数据框的高度相等。