我正在尝试使用分类变量来训练GradientBoostingClassifier模型。

以下是一个原始代码示例，仅用于尝试将分类变量输入到GradientBoostingClassifier中。

from sklearn import datasetsfrom sklearn.ensemble import GradientBoostingClassifierimport pandasiris = datasets.load_iris()# 使用仅有两个类别的数据。X = iris.data[(iris.target==0) | (iris.target==1)]Y = iris.target[(iris.target==0) | (iris.target==1)]# 类别0的索引为0-49，类别1的索引为50-99。# 将数据分为80%的训练集和20%的测试集。train_indices = list(range(40)) + list(range(50,90))test_indices = list(range(40,50)) + list(range(90,100))X_train = X[train_indices]X_test = X[test_indices]y_train = Y[train_indices]y_test = Y[test_indices]X_train = pandas.DataFrame(X_train)# 插入假的分类变量。# 仅用于在GradientBoostingClassifier中测试。X_train[0] = ['a']*40 + ['b']*40# 模型。clf = GradientBoostingClassifier(learning_rate=0.01,max_depth=8,n_estimators=50).fit(X_train, y_train)

出现了以下错误：

ValueError: could not convert string to float: 'b'

据我所知，似乎在GradientBoostingClassifier构建模型之前，需要对分类变量进行独热编码处理。

GradientBoostingClassifier能否在不进行独热编码的情况下使用分类变量构建模型？

R语言中的gbm包能够处理上述示例数据。我正在寻找具有相同功能的Python库。

回答：

可以使用pandas.get_dummies或statsmodels.tools.tools.categorical将分类变量转换为虚拟矩阵。然后我们可以将虚拟矩阵合并回训练数据中。

以下是问题中的示例代码，执行了上述过程。

from sklearn import datasetsfrom sklearn.ensemble import GradientBoostingClassifierfrom sklearn.metrics import roc_curve,aucfrom statsmodels.tools import categoricalimport numpy as npiris = datasets.load_iris()# 使用仅有两个类别的数据。X = iris.data[(iris.target==0) | (iris.target==1)]Y = iris.target[(iris.target==0) | (iris.target==1)]# 类别0的索引为0-49，类别1的索引为50-99。# 将数据分为80%的训练集和20%的测试集。train_indices = list(range(40)) + list(range(50,90))test_indices = list(range(40,50)) + list(range(90,100))X_train = X[train_indices]X_test = X[test_indices]y_train = Y[train_indices]y_test = Y[test_indices]############################################################################# 将分类变量转换为矩阵并与训练数据合并。# 假的分类变量。catVar = np.array(['a']*40 + ['b']*40)catVar = categorical(catVar, drop=True)X_train = np.concatenate((X_train, catVar), axis = 1)catVar = np.array(['a']*10 + ['b']*10)catVar = categorical(catVar, drop=True)X_test = np.concatenate((X_test, catVar), axis = 1)########################################################################## 模型和测试。clf = GradientBoostingClassifier(learning_rate=0.01,max_depth=8,n_estimators=50).fit(X_train, y_train)prob = clf.predict_proba(X_test)[:,1]   # 仅查看P(y==1)。fpr, tpr, thresholds = roc_curve(y_test, prob)roc_auc_prob = auc(fpr, tpr)print(prob)print(y_test)print(roc_auc_prob)

感谢Andreas Muller指导我们不应在scikit-learn估计器中使用pandas数据框。