Machine Learning With Python 简明教程

Improving Performance of ML Models

Performance Improvement with Ensembles

集成可以通过组合多个模型为我们提升机器学习结果。基本上，集成模型包含几个单独训练的监督学习模型，将它们的结果通过各种方式合并以实现比单个模型更好的预测性能。集成方法可以分成以下两组 −

Sequential ensemble methods

顾名思义，在这些种类的集成方法中，基础学习器会被顺序生成。此类方法的动机是利用基础学习器之间的依赖关系。

Parallel ensemble methods

顾名思义，在这些种类的集成方法中，基础学习器会被并行生成。此类方法的动机是利用基础学习器之间的独立性。

Ensemble Learning Methods

以下是最流行的集成学习方法，即组合不同模型的预测的方法 −

Bagging

装袋法也称为引导聚合。在装袋方法中，集成模型尝试通过结合单个模型的预测（这些模型是根据随机生成的训练样本进行训练的）来提高预测精度并降低模型方差。集成模型的最终预测将通过计算所有预测的平均值来给出。装袋方法的最佳示例之一是随机森林。

Boosting

在推进方法中，构建集成模型的主要原则是通过顺序训练每个基础模型估计量来逐步构建集成模型。顾名思义，它基本上结合多个较弱的基础学习器（在训练数据的多次迭代中顺序训练），构建强大的集成模型。在较弱的基础学习器的训练期间，将为较早被错误分类的学习器分配更大的权重。推进方法的一个示例是 AdaBoost。

Voting

在此集成学习模型中，将构建多种不同类型的模型，并且一些简单的统计信息（例如计算均值或中位数等）用于组合预测。此预测将用作训练的附加输入以做出最终预测。

Bagging Ensemble Algorithms

以下三个是装袋集成算法 −

Bagged Decision Tree

众所周知，装袋集成法适用于方差较高的算法，在这一方面，决策树算法属于佼佼者。在以下 Python 配方中，我们将使用 sklearn 的 BaggingClassifier 函数和 DecisionTreeClassifier（一种分类和回归树算法）在 Pima Indians 糖尿病数据集上建立装袋决策树集成模型。

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier

现在，我们需要加载 Pima 糖尿病数据集，如我们在前面的示例中所做的那样 −

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

seed = 7
kfold = KFold(n_splits=10, random_state=seed)
cart = DecisionTreeClassifier()

我们需要提供要构建的树的数量。这里我们构建 150 棵树 −

num_trees = 150

接下来，借助以下脚本构建模型 −

model = BaggingClassifier(base_estimator=cart, n_estimators=num_trees, random_state=seed)

计算并打印结果，如下所示 −

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

Output

0.7733766233766234

上面显示的输出表明，我们的袋装决策树分类器模型的准确率约为 77%。

Random Forest

它是装袋决策树的延伸。对于单独的分类器，训练数据集的样本是替换抽取的，但树是以这样的方式构建的，从而降低它们之间的相关性。另外，在构建每棵树时，会考虑特征的随机子集来选择每个分割点，而不是贪心地选择最佳分割点。

在以下 Python 配方中，我们将使用 sklearn 的 RandomForestClassifier 类在 Pima Indians 糖尿病数据集上建立装袋随机森林集成模型。

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

现在，我们需要加载 Pima diabetes 数据集，如在之前的示例中所做的那样：

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

seed = 7
kfold = KFold(n_splits=10, random_state=seed)

我们需要提供要构建的树的数量。这里我们将构建 150 棵树，分割点从 5 个特征中选取 −

num_trees = 150
max_features = 5

接下来，借助以下脚本构建模型 −

model = RandomForestClassifier(n_estimators=num_trees, max_features=max_features)

计算并打印结果，如下所示 −

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

Output

0.7629357484620642

上面显示的输出表明，我们的装袋随机森林分类器模型的准确率约为 76%。

Extra Trees

它是装袋决策树集成法的另一个延伸。在这种方法中，随机树是从训练数据集的样本构建的。

在以下 Python 配方中，我们将使用 sklearn 的 ExtraTreesClassifier 类在 Pima Indians 糖尿病数据集上构建额外树集成模型。

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import ExtraTreesClassifier

现在，我们需要加载 Pima diabetes 数据集，如在之前的示例中所做的那样：

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

seed = 7
kfold = KFold(n_splits=10, random_state=seed)

我们需要提供要构建的树的数量。这里我们将构建 150 棵树，分割点从 5 个特征中选取 −

num_trees = 150
max_features = 5

接下来，借助以下脚本构建模型 −

model = ExtraTreesClassifier(n_estimators=num_trees, max_features=max_features)

计算并打印结果，如下所示 −

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

Output

0.7551435406698566

上面显示的输出表明，我们的装袋额外树分类器模型的准确率约为 75.5%。

Boosting Ensemble Algorithms

以下是两种最常见的提升集成算法 −

AdaBoost

它是其中一个最成功的提升集成算法。此算法的主要关键在于赋予数据集中的实例的权重方式。因此，该算法在构建后续模型时需要较少地关注这些实例。

在以下 Python 配方中，我们将使用 sklearn 的 AdaBoostClassifier 类在 Pima Indians 糖尿病数据集上构建 Ada Boost 集成模型，用于分类。

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import AdaBoostClassifier

现在，我们需要加载 Pima diabetes 数据集，如在之前的示例中所做的那样：

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

seed = 5
kfold = KFold(n_splits=10, random_state=seed)

我们需要提供要构建的树的数量。这里我们将构建 150 棵树，分割点从 5 个特征中选取 −

num_trees = 50

接下来，借助以下脚本构建模型 −

model = AdaBoostClassifier(n_estimators=num_trees, random_state=seed)

计算并打印结果，如下所示 −

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

Output

0.7539473684210527

上面显示的输出表明，我们的 AdaBoost 分类器集成模型的准确率约为 75%。

Stochastic Gradient Boosting

它也被称为梯度提升机。在以下 Python 配方中，我们将使用 sklearn 的 GradientBoostingClassifier 类在 Pima Indians 糖尿病数据集上构建随机梯度提升集成模型，用于分类。

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import GradientBoostingClassifier

现在，我们需要加载 Pima diabetes 数据集，如在之前的示例中所做的那样：

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

seed = 5
kfold = KFold(n_splits=10, random_state=seed)

我们需要提供要构建的树的数量。这里我们将构建 150 棵树，分割点从 5 个特征中选取 −

num_trees = 50

接下来，借助以下脚本构建模型 −

model = GradientBoostingClassifier(n_estimators=num_trees, random_state=seed)

计算并打印结果，如下所示 −

results = cross_val_score(model, X, Y, cv=kfold)
print(results.mean())

Output

0.7746582365003418

上面的输出表明，我们的梯度提升分类器集成模型准确率约为 77.5%。

Voting Ensemble Algorithms

如讨论所述，投票首先从训练数据集创建两个或更多独立的模型，然后投票分类器将围绕模型进行封装，同时根据需要对子模型的预测结果求取平均值以生成新数据。

在以下 Python 配方中，我们将使用 sklearn 中的 VotingClassifier 类对 Pima Indian 糖尿病数据集建立投票集成模型，用于分类。我们对逻辑回归、决策树分类器和 SVM 的预测结果进行组合，如下所示，用于解决分类问题 −

首先，按如下所示导入所需包：

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier

现在，我们需要加载 Pima diabetes 数据集，如在之前的示例中所做的那样：

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来，输入 10 倍交叉验证，如下所示 −

kfold = KFold(n_splits=10, random_state=7)

接下来，我们需要创建子模型，如下所示 −

estimators = []
model1 = LogisticRegression()
estimators.append(('logistic', model1))
model2 = DecisionTreeClassifier()
estimators.append(('cart', model2))
model3 = SVC()
estimators.append(('svm', model3))

现在，通过组合上述创建的子模型的预测结果来创建投票集成模型。

ensemble = VotingClassifier(estimators)
results = cross_val_score(ensemble, X, Y, cv=kfold)
print(results.mean())

Output

0.7382262474367738

上面的输出表明，我们的投票分类器集成模型的准确率约为 74%。