百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

Python 机器学习 XGBoost最优模型构建方法

bigegpt 2024-09-02 16:31 3 浏览


XGBoost（eXtreme Gradient Boosting）是一种高效且强大的机器学习技术，广泛用于分类、回归和排序问题中。它是基于梯度提升算法的优化实现，特别适合于处理大规模数据。构建最优模型的方法对于提高预测准确率和模型性能至关重要。使用XGBoost进行机器学习任务时，构建最优模型通常涉及到参数调优、特征选择和模型评估等多个步骤。


参考文档：https://www.cjavapy.com/article/3294/


1、数据预处理


训练XGBoost模型之前，对数据进行适当的预处理是非常重要的，它可以显著影响模型的性能和准确性。


1）处理缺失值


XGBoost能够处理缺失值，但在某些情况下，使用特定的填充策略（如中位数、均值、众数填充）可能更有利于模型性能。


import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.impute import SimpleImputer

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 处理缺失值
imputer = SimpleImputer(strategy='mean')
data_imputed = imputer.fit_transform(data)

# 转换为DataFrame
data_imputed = pd.DataFrame(data_imputed, columns=data.columns)

# 特征工程
# 例如：选择特征、转换特征等

# 拆分数据集
X = data_imputed.drop('target_column', axis=1)
y = data_imputed['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建XGBoost模型
model = XGBClassifier()

# 训练模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)


2）特征编码


对于分类特征，应用适当的编码方法，如独热编码（One-Hot Encoding）或标签编码（Label Encoding）。XGBoost能够处理数值类型的数据，因此需要将分类特征转换为数值型。


import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
import xgboost as xgb
from sklearn.metrics import accuracy_score

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 2. 数据预处理
# 处理缺失值、异常值等
# 这里假设数据集中包含有缺失值，使用均值填充
data.fillna(data.mean(), inplace=True)

# 3. 特征编码
# 对类别型特征进行编码，将其转换为数值型
label_encoders = {}
for column in data.select_dtypes(include=['object']).columns:
    label_encoders[column] = LabelEncoder()
    data[column] = label_encoders[column].fit_transform(data[column])

# 4. 划分数据集
X = data.drop(columns=['target_column'])
y = data['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 构建XGBoost模型
model = xgb.XGBClassifier(objective='binary:logistic', random_state=42)

# 6. 训练模型
model.fit(X_train, y_train)

# 7. 模型评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)


3）特征缩放


虽然XGBoost不像基于距离的模型（如SVM或KNN）那样敏感于特征的尺度，但在某些情况下，对特征进行标准化（Standardization）或归一化（Normalization）可能有助于提高性能或加快训练速度。


from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import xgboost as xgb

# 生成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# X是特征数据，y是目标数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 使用XGBoost建模
model = xgb.XGBRegressor()
model.fit(X_train_scaled, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test_scaled)

print(y_pred)


4）特征选择


移除不相关或冗余的特征可以减少模型的复杂度，提高训练速度，有时还能提升模型的泛化能力。可以通过各种特征选择方法，如基于模型的特征选择、递归特征消除（RFE）等来实现。


import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.feature_selection import SelectFromModel

# 生成示例数据
np.random.seed(42)
num_samples = 1000

# 创建特征数据
X = pd.DataFrame({
    'feature1': np.random.rand(num_samples),
    'feature2': np.random.rand(num_samples),
    'feature3': np.random.rand(num_samples),
    'feature4': np.random.rand(num_samples),
    'feature5': np.random.rand(num_samples)
})

# 创建目标数据（假设为二分类）
y = np.random.randint(0, 2, num_samples)

data = pd.concat([X, pd.DataFrame({'target': y})], axis=1)
# 处理缺失值
data.dropna(inplace=True)
# 特征和标签分离
X = data.drop(columns=['target'])
y = data['target']
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 2. 特征选择
# 使用XGBoost进行特征选择
xgb = XGBClassifier()
xgb.fit(X_train, y_train)
# 显示特征重要性
feature_importance = pd.DataFrame({'Feature': X_train.columns, 'Importance': xgb.feature_importances_})
print(feature_importance)
# 根据特征重要性选择重要特征
selected_features = feature_importance[feature_importance['Importance'] > 0.1]['Feature'].tolist()
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

# 3. 模型训练
# 使用选择后的特征训练模型
xgb_selected = XGBClassifier()
xgb_selected.fit(X_train_selected, y_train)
y_pred = xgb_selected.predict(X_test_selected)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

# 4. 调参
# 定义参数网格
param_grid = {
    'learning_rate': [0.1, 0.01],
    'max_depth': [3, 5, 7],
    'subsample': [0.5, 0.8, 1.0]
}
# 使用网格搜索进行调参
grid_search = GridSearchCV(estimator=XGBClassifier(), param_grid=param_grid, cv=3)
grid_search.fit(X_train_selected, y_train)
best_params = grid_search.best_params_
print("Best Parameters:", best_params)


2、 参数调优


使用XGBoost进行机器学习项目时，找到最优的模型参数是提高模型性能的关键。参数调优通常涉及到在给定的参数空间内搜索最优参数组合。XGBoost有很多可以调整的参数，包括学习率、树的最大深度、子样本比例、列采样比例等。


1）网格搜索（Grid Search）


网格搜索是一种通过遍历给定的参数网格来搜索最佳参数组合的方法。GridSearchCV是scikit-learn提供的一个实现网格搜索的工具，它会对每一种参数组合进行交叉验证，最后选择出最佳的参数组合。


from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
import xgboost as xgb


# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数网格
param_grid = {
    'max_depth': [3, 4, 5],
    'learning_rate': [0.1, 0.01, 0.001],
    'n_estimators': [100, 200, 300],
    'subsample': [0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置网格搜索
grid_search = GridSearchCV(estimator=xgb_clf, param_grid=param_grid, scoring='accuracy', cv=5)

# 对Iris数据集进行训练
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", grid_search.best_params_)
print("Best accuracy found: ", grid_search.best_score_)


2） 随机搜索（Random Search）


相对于网格搜索，随机搜索在参数空间中随机选择参数组合。这种方法可以在更大的参数空间内进行搜索，并且通常更快地找到不错的参数组合。RandomizedSearchCV是scikit-learn提供的实现随机搜索的工具。


from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import RandomizedSearchCV
import xgboost as xgb

# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数分布
param_dist = {
    'max_depth': [3, 4, 5, 6, 7],
    'learning_rate': [0.1, 0.01, 0.05],
    'n_estimators': [100, 200, 300, 400, 500],
    'subsample': [0.6, 0.7, 0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置随机搜索
random_search = RandomizedSearchCV(xgb_clf, param_distributions=param_dist, n_iter=25, scoring='accuracy', cv=5)

# 训练模型
random_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", random_search.best_params_)
print("Best accuracy found: ", random_search.best_score_)


3、交叉验证


机器学习中，交叉验证是一种评估模型泛化能力的方法，它通过将数据集分成几部分，然后使用其中一部分进行模型训练，剩余的部分用于测试，以此循环来评估模型的性能。XGBoost提供了一个方便的函数cv来进行交叉验证，帮助我们找到最优的模型参数。


import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 准备DMatrix数据
data_dmatrix = xgb.DMatrix(data=X, label=y)

# 参数设置
params = {
    'objective':'multi:softprob',  # 多分类的问题
    'num_class':3,  # 类别数，与Iris数据集的类别数相匹配
    'learning_rate': 0.1,
    'max_depth': 5,
    'alpha': 10
}

# 执行交叉验证
cv_results = xgb.cv(dtrain=data_dmatrix, params=params, nfold=3,
                    num_boost_round=50, early_stopping_rounds=10, metrics="merror", as_pandas=True, seed=123)

# 输出交叉验证结果
print(cv_results)


4、模型评估


使用一些标准的评估指标来评估模型的性能，如准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1得分（F1 Score）等。


使用示例：https://www.cjavapy.com/article/3294/

相关推荐

当Frida来“敲”门（frida是什么）

0x1渗透测试瓶颈目前，碰到越来越多的大客户都会将核心资产业务集中在统一的APP上，或者对自己比较重要的APP，如自己的主业务，办公APP进行加壳，流量加密，投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中，我们分别介绍了性能测试的理论知识以及性能测试计划制定，本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段：阶段一：了解各个接口的入参、出参，使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货，技术在于积累和收藏，希望可以帮助到您，同时也希望获得您的支持和关注。架构开源地址：https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下：fromCrypto.SignatureimportPKCS1_v1_5如果导包报错：ImportError:Nomodulenamed'Crypt...

Python 3 加密简介（python des加密解密）

Python3的标准库中是没多少用来解决加密的，不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍，但重点会放在两个第三方的软件包：PyCrypto和cryptography上，我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章：编译和安装我是艾西，上期我们讲述到编译一个魔兽世界开源服务端环境准备，那么今天跟大家聊聊怎么编译和安装我们直接进入正题（上一章没有看到的小伙伴可以点我主页查看）编译服务端：在D盘新建一个文件夹...

附1-Conda部署安装及基本使用（conda安装教程）

Windows环境安装安装介质下载下载地址：https://www.anaconda.com/products/individual安装Anaconda安装时，选择自定义安装，选择自定义安装路径：配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中，物联网，消息以及MySQL，我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可，越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试，却卡在了编译数据...

面向NDK开发者的Android 7.0变更（ndk android.mk）

订阅Google官方微信公众号：谷歌开发者。与谷歌一起创造未来！受Android平台其他改进的影响，为了方便加载本机代码，AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一：在安装KingbaseES时，安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中，需要以非root用户执行安装程序，且该用户要有标准的home目录，您可...

OpenSSH 安全漏洞，修补操作一手掌握

1.漏洞概述近日，国家信息安全漏洞库（CNNVD）收到关于OpenSSH安全漏洞（CNNVD-202407-017、CVE-2024-6387）情况的报送。攻击者可以利用该漏洞在无需认证的情况下，通...

Linux:lsof命令详解（linux lsof命令详解）

介绍欢迎来到这篇博客。在这篇博客中，我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI（命令行界面）而不是GUI（图形用户界面）运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集，如有错误请评论区指出更正。废话不多说，目前固态硬盘接口按速度由慢到快分有这几类：SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展，吸引了众多IT厂商和全球各地媒体的热烈关注，全球存储新势力—影驰，也积极参与其中，为广大玩家朋友带来了...

一周热门
最近发表
标签列表