数据分析-相关性分析（相关性 分析）

相关性分析是一种统计方法，用于衡量两个或多个变量之间的关系强度和方向。它通过计算相关系数来量化变量间的线性关系，从而帮助理解变量之间的相互影响。相关性分析常用于数据探索和假设检验，是数据分析和统计建模中的重要工具。

相关性分析的主要内容是计算变量之间的相关系数，主要的相关系数有如下三个：

皮尔逊相关系数（Pearson Correlation Coefficient）：用于衡量两个连续变量之间的线性关系，值介于-1和1之间。值越接近1或-1，表示变量之间的线性关系越强；值接近0，表示几乎没有线性关系。

斯皮尔曼秩相关系数（Spearman's Rank Correlation Coefficient）：用于衡量两个变量之间的单调关系，即使这种关系不是线性的。常用于处理不满足正态分布或包含异常值的数据。

肯德尔等级相关系数（Kendall's Tau）：用于衡量两个变量之间的相关性，适合处理小样本数据或数据中存在相同值的情况。

至于如何选择合适的相关系数，可以通过下面这张流程图来进行判断↓

整体流程是，在做相关性分析前，先通过绘制散点图来直观感受一下数据是否有相关性，如果有相关性，再进行后续的操作，没有相关性就可以停止了。

第二步是看数据的类型，如果是连续变量，且样本量大于30；或者联系变量，样本量小于30，但符合正太分布。就选择皮尔逊相关系数，否则就选择另外两种的一个。

【如何判断相关程度】

主要有两大步骤，一是计算相关系数，相关系数的结果会在-1到1之间，如果0≤∣r∣<0.3，就认为两个变量之间不相关；如果0.3≤∣r∣<0.5，就认为两个变量之间存在弱相关；如果0.5≤∣r∣<0.8，就认为两个变量之间存在中度相关；如果0.8≤∣r∣<1就认为两个变量之间存在强相关关系。

上面的相关系数值是基于已有的样本值计算得到的，不能代表整体也是一样的相关性。所以第二步还需要做假设检验，只有通过了假设检验，才能认为我们前面计算出来的相关系数可以代表整体的相关系数。

【案例演示】

我们以工作中常见的广告/推广费用的投入与销售额之间的关系举例，正常情况下推广费用越多，对应的销售额应该就越大。于是我们抽取了25天的数据样本，来进行相关性分析，数据如下↓

因为是连续变量，但是样本数只有25，小于30个，所以我们需要对两个字段进行正态性检验，详细的可以参考《方差分析》里面的R和Python正态性检验，代码和结果如下↓

# 正态性检验
shapiro.test(data$advertising)
shapiro.test(data$sales)

Shapiro-Wilk normality test
data:  data$advertising
W = 0.96745, p-value = 0.5812


Shapiro-Wilk normality test
data:  data$sales
W = 0.96917, p-value = 0.624

结果都远大于0.05，符合正太分布。接下来就直接计算皮尔逊相关系数，代码和结果如下↓

correlation <- cor(data$advertising, data$sales)
correlation
[1] 0.9430218

结果是0.94，说明推广费用投入和销售额之间有非常强的正相关关系。为了对结果进行假设检验，我们需要对回归模型的参数进行统计检验，通常使用t检验来检验每个参数是否显著。

最后计算出来的p-value: 1.769e-12，通过检验。我们可以绘制图形来看在95%的置信区间下的相关走势图↓

plot <- ggplot(data, aes(x = advertising, y = sales)) +
  geom_point() +
  geom_smooth(method = "lm", se = TRUE, color = "blue", fill = "lightblue", level = 0.95) +
  labs(title = paste("广告支出与销售额的关系\n皮尔逊相关系数:", round(correlation, 2)),
       x = "广告支出",
       y = "销售额") +
  theme_minimal()

【斯皮尔曼秩相关系数】

最后再举一个斯皮尔曼秩相关系数的案例，是员工工作年限和他们工作满意度的评分，假设评分分数是1-10分之间，数据如下↓

n <- 25
work_years <- runif(n, min = 1, max = 30)  
satisfaction <- 10 - 0.2 * work_years + rnorm(n, mean = 0, sd = 1.5)  
satisfaction <- ifelse(satisfaction < 1, 1, satisfaction)
satisfaction <- ifelse(satisfaction > 10, 10, satisfaction)
data <- data.frame(work_years, satisfaction)

然后直接进行分析，代码和结果如下↓

# 斯皮尔曼秩相关系数
spearman_correlation <- cor(data$work_years, data$satisfaction, method = "spearman")

> spearman_correlation
[1] -0.7569231

结果是-0.756，说明工作时间越长，对工作的满意度就越低。这个结果我们还不能直接拿来使用，还需要做假设检验↓

# 相关性显著性检验
spearman_test <- cor.test(data$work_years, data$satisfaction, method = "spearman")

data:  data$work_years and data$satisfaction
S = 4568, p-value = 1.975e-05
alternative hypothesis: true rho is not equal to 0
sample estimates:
       rho 
-0.7569231

结果也很完美，通过了检验。最后我们来绘制一下相关的图像↓

plot <- ggplot(data, aes(x = work_years, y = satisfaction)) +
  geom_point() +
  geom_smooth(method = "loess", se = TRUE, color = "blue", fill = "lightblue") +
  labs(title = paste("员工工作年限与工作满意度的关系\n斯皮尔曼秩相关系数:", round(spearman_correlation, 2)),
       x = "工作年限 (年)",
       y = "工作满意度评分") +
  theme_minimal()

链接是我使用PowerBI整合的历史文章，按类型分类，可以根据需求查询：Microsoft Power BI↓

https://app.powerbi.com/view?r=eyJrIjoiNjI2NWQ3NjktYjU0ZC00ZWZhLTgzMDgtMGI4ZTk1ZDlkODM3IiwidCI6IjI3NDQ3MWQ0LTM4ZDQtNDVlZS1hMmJkLWU1NTVhOTBkYzM4NiJ9

End