专栏推荐
本文重点
要想实现xgboost，首先我们要安装xgboost，
方法一：pip install xgboost
方法二：登录网址https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost，然后往下翻，我们可以找到我们想要的xgboost的whl文件
cp表示python的版本，而win32表示32位的，win64表示64位的，所以我们最好下载匹配我们版本的那个xgboost，我们原始ie浏览器才能下载，也不知道怎么回事。
whl文件之所以方便是因为它是编译好的，所以安装他比较方便，我把它放到了c盘下，这样安装命令如图所示
这样就表示安装成功了，注意这是在window下的安装环境，在linux下会很方便的。
安装好的之后，我们就通过一个案例来看一下究竟这个东西怎么使用？
我们现在有一个数据集，这个数据集中有两类：
分别是y=0和y=1，我们要使用这个xgboost来完成这个分类任务
我首先使用sklearn工具先将这个数据集分成两部分，一部分是训练集，一部分测试集
import xgboostfrom numpy import loadtxtfrom xgboost import XGBClassifierimport sklearnfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score# load datadataset = loadtxt('pima-indians-diabetes.csv', delimiter=",")X= dataset[:,0:8]Y = dataset[:,8]seed = 7test_size = 0.33X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
这里我们使用的numpy中的加载文件的工具loadtxt先来将文件加载，然后我们使用切片的方式来获取特征x和标注y，然后使用sklearn工具的train_test_split来讲我们的数据集分成两部分，一部分是训练集，一部分验证集，test_size指定训练集的比例。因为这个是随机分的，所以假如运行多次，那么每一次获得到的数据集和测试集是不一样的，所以我们可以通过random_state指定随机的方式，也就是指定之后，运行无数次，训练集和测试集也都是一样的。
输出X_train和X_test的结果位：
我在做这一步的时候出现了一个问题，这个问题就是报错 ImportError: No module named model_selection ，这个模块是sklearn中的，我检查发现原因就是原因，我的sklearn版本太低了，所以升级以下就ok了
我们可以使用conda list来看当前的我们安装库的版本，所以我们升级这个版本就好了conda update scikit-learn，但是直接这样升级，它会去找国外的镜像，所以非常慢，而且还不一定安装成功，为了解决这个问题，我们可以使用国内的镜像，比如清华大学的镜像。
cmd环境下或者Prompt，输入：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
这样之后，我们就可以conda update scikit-learn
然后这就可以升级完成了，以后就不会报错了。解决完这个可能遇到的插曲之后，我们在来往下来看
我们的训练集和测试集数据已经有了，下面的任务是使用训练集来训练我们的模型，并且用测试集来测试我们的模型，得到我们模型的准确率：
model = XGBClassifier()model.fit(X, Y)y_pred = model.predict(X_test)predictions = [round(value) for value in y_pred]accuracy = accuracy_score(y_test, predictions)print("Accuracy: %.2f%%" % (accuracy * 100.0))
首先创建一个XGBClassifier的分类器，然后使用这个分类器来拟合我们的数据，这样我们xgboost的模型就建立了，然后我们可以使用这个模型来预测我们的测试集数据，它返回的结果是所有预测样本的0，1。结果为：
然后我们遍历这个列表，使用round来对每一个数进行处理，结果为：
那么这个就是所有的我们测试集的预测数据，那么我们拿它和y_test来一一进行比较，就可以得出我们的模型在测试集准确率，当前准确率为：
Accuracy: 88.19%
全部代码为：
我们在使用xgboost的过程中其实就是不断在地在往里面加树，一开始它有基准模型，然后在基准模型地基础上又加入了一个小地模型，使得整体地模型发生了变化，我们上面是直接地使用xgboost，其实我们也可以进行监控，每加上一棵树，每加上一个小模型都可以看到加完之后模型地结果是怎么样地，看一下这个过程中地lost值发生什么样地变化
eval_set = [(X_test, y_test)]model.fit(X_train, y_train, early_stopping_rounds=10, eval_metric="logloss", eval_set=eval_set, verbose=True)y_pred = model.predict(X_test)predictions = [round(value) for value in y_pred]accuracy = accuracy_score(y_test, predictions)print("Accuracy: %.2f%%" % (accuracy * 100.0))
首先我们创建一个eval_set,因为X_test和y_test这二者本身就是array,一个二维一个一维，然后用括号括起来，然后再用[]括起来，那么最终地效果就是[([[]],[])]
最为关键地其实就是下面拟合地过程，第一个和第二个数据还是我们地训练样本，这个训练样本用于拟合数据。然后第三个参数early_stopping_rounds=10表示如果我们再不断建立树地时候，loss值有10次没有降低地话，那么建树过程就停止了，模型就最终确定了。第四个参数eval_metric表示用什么loss作为评判地表准，这里使用logloss，第五个参数为测试集数据，我们每创建一棵树，就要用当前地模型来测试一下这个测试集，如果想要让这个测得地过程显示出来，我们需要指定verbose=True,不用我们输出，它会自动输出。
这段程序地运行结果为：
可以看出这个模型再第42次停止了，也就是说从第32次到42次模型地loss基本没有变化，我们最终模型对测试集地准确度为78.35%。
