这是我的第284篇原创文章。

一、引言

迭代删除法（Leave-one-out）是一种特征重要性分析方法，它通过迭代地移除每个特征并重新训练模型来评估每个特征对模型性能的影响。对于每个特征，模型在保留其他特征的情况下进行训练和预测，然后比较保留所有特征时的性能与移除该特征后的性能差异，从而得出特征的重要性。本文基于随机森林分类器作为选择器的基模型，采用迭代删除法进行特征筛选。

二、实现过程

2.1 准备数据

data = pd.read_csv(r'dataset.csv')
df = pd.DataFrame(data)

2.2 目标变量和特征变量

target = 'target'
features = df.columns.drop(target)

特征变量如下：

2.3 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(df[features].values, df[target].values, test_size=0.2, random_state=0)

X_train如下:

2.4 创建随机森林分类器作为选择器的基模型

model = RandomForestClassifier(n_estimators=50, random_state=42)
model.fit(X_train, y_train)

2.5 获取测试数据上的基准准确率

base_acc = accuracy_score(y_test, model.predict(X_test))

2.6 获取特征排名

# 初始化一个空列表来存储特征重要性
importances = []


# 遍历所有特征，并逐个移除特征后重新训练模型，计算准确率变化
for i in range(X_train.shape[1]):
    X_temp = np.delete(X_train, i, axis=1)  # 移除一个特征
    model.fit(X_temp, y_train)  # 重新训练模型
    acc = accuracy_score(y_test, model.predict(np.delete(X_test, i, axis=1)))  # 计算测试准确率
    importances.append(base_acc - acc)  # 计算特征重要性，即准确率变化量


# 获取特征排名
feature_ranking = importances
# 创建特征排名的DataFrame
ranking_df = pd.DataFrame({'Feature': features, 'Ranking': feature_ranking})
print(ranking_df)

ranking_df如下：

2.7 对特征重要性进行排序

ranking_df = ranking_df.sort_values(by='Ranking')

排序后的 ranking_df如下：

2.8 可视化特征重要性

plt.figure(figsize=(10, 6))
plt.bar(range(len(importances)), importances, color='skyblue')
plt.xlabel('特征编号')
plt.ylabel('准确率变化量')
plt.title('Leave-one-out 特征重要性分析')
plt.xticks(range(len(importances)), range(1, len(importances) + 1))
plt.show()

可视化结果如下：

Leave-one-out方法可以用于评估特征对模型预测能力的贡献程度。它在特征选择和模型解释中都有广泛的应用，可以帮助确定哪些特征对于模型的性能至关重要，从而指导特征工程和模型优化的方向。

作者简介： 读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh：数据杂坛，获取数据和源码学习更多内容。

原文链接：

【Python特征工程系列】迭代删除法分析特征重要性-随机森林模型为例（案例+源码）