z-score 反应数值相对均值偏离多少标准差，本文利用z-score检测异常值。
z-score
z-score 的计算公示为：
z = (X – μ) / σ
- X 表示单个原始数据值
- μ 表示总体均值
- σ 表示总体标准差
我们可以定义异常检测标准：如果z-score 小于 -3或 z-score 大于 3。
异常值 = 观测值的z-score >3 或者 观测值的z-score <-3
准备数据
library(tibble)
library(dplyr)#make this example reproducible
set.seed(0)#create data frame with three columns A', 'B', 'C'
df <- tibble(A=rnorm(1000, mean=10, sd=3),B=rnorm(1000, mean=20, sd=3),C=rnorm(1000, mean=30, sd=3))#view first six rows of data frame
head(df)# A tibble: 6 x 3
# A B C
# <dbl> <dbl> <dbl>
# 1 8.12 23.4 27.3
# 2 10.6 23.3 24.2
# 3 7.49 17.4 34.9
# 4 14.8 20.6 31.6
# 5 11.0 20.2 29.8
# 6 7.54 15.0 32.1
我们可以使用z-score或四分位距方法检测异常值。本文我们讲解z-score方法。
z-score方法
# 定义z-score计算函数
zs <-function(x){(abs(x-mean(x))/sd(x))
}# 按列计算每个元素的z-score
df %>% mutate(across(c(1:3), zs) ) -> z_scores
head(z_scores)
# A tibble: 6 x 3
# A B C
# <dbl> <dbl> <dbl>
# 1 1.28 0.254 0.394
# 2 0.311 1.80 0.0589
# 3 1.35 0.128 0.0811
# 4 1.29 1.32 0.388
# 5 0.431 1.40 0.445
# 6 1.53 0.0433 0.703 # 选择z_scores数据中三个元素值中的任何一个都不大于3的记录
z_scores %>% filter(!(A >3 | B >3 | C>3)) -> no_outliers
dim(no_outliers)
# 994行数据正常，其他6行有异常值
# [1] 994 3z_scores %>% filter((A >3 | B >3 | C>3)) -> outliers
# 查看异常值数据
outliers# # A tibble: 6 x 3
# A B C
# <dbl> <dbl> <dbl>
# 1 0.634 0.352 3.10
# 2 3.29 0.801 0.881
# 3 1.96 1.07 3.25
# 4 1.77 1.32 3.07
# 5 3.07 0.705 1.30
# 6 3.23 0.923 0.0999
何时删除异常值
当发现异常值时，首先要验证是否人为错误，毕竟人工操作错误在所难免。如果确定是人为错误，我们可以替换为均值或中位数。
当该值确实不是人为造成的异常值。如果它对整体分析有重大影响，我们可以选择删除它，但要确保在最终报告或分析中提及删除了异常值。当然也有可能有了重大发现😊。
