假设我有一个如下的Pandas DataFrame，并且我在使用scikit-learn进行训练时对categorical_1进行编码：

data = {'numeric_1':[12.1, 3.2, 5.5, 6.8, 9.9],         'categorical_1':['A', 'B', 'C', 'B', 'B']}frame = pd.DataFrame(data)dummy_values = pd.get_dummies(data['categorical_1'])

‘categorical_1’的值可以是A、B或C，因此我在dummy_values中得到了3列。然而，categorical_1实际上可以取值A、B、C、D或E，所以没有为D或E的值创建列。

在R中，我会在对该列进行因子化时指定levels – 在Pandas中是否有相应的方法来做到这一点，还是我需要手动处理？

在我看来，这样做是为了处理测试数据中该列的值超出训练集中使用的值的情况，但作为机器学习的新手，也许这不是必要的，所以我愿意接受不同的处理方法。

回答：

首先，如果你希望pandas考虑更多的值，只需将它们添加到发送给get_dummies方法的列表中即可

data = {'numeric_1':[12.1, 3.2, 5.5, 6.8, 9.9],         'categorical_1':['A', 'B', 'C', 'B', 'B']}frame = pd.DataFrame(data)dummy_values = pd.get_dummies(data['categorical_1'] + ['D','E'])

在Python中，列表上的+操作作为concatenate操作，所以

['A','B','C','B','B'] + ['D','E']

结果是

['A', 'B', 'C', 'B', 'B', 'D', 'E']

在我看来，这样做是为了处理测试数据中该列的值超出训练集中使用的值的情况，但作为机器学习的新手，也许这不是必要的，所以我愿意接受不同的处理方法。

从机器学习的角度来看，这相当多余。这列是一个分类列，所以对于模型来说，之前从未见过的值’D’完全没有意义。如果你是一元编码特征（我看到你为每个值创建列后假设的），只需用以下方式表示这些’D’、’E’值就足够了

A   B   C0   0   0

（我假设你用0 1 0表示’B’值，用0 0 1表示’C’值等）

因为如果训练集中没有这样的值，在测试时 – 没有任何模型能区分给出的值是’D’还是’大象’

采取这种行动的唯一原因是假设将来你希望添加带有’D’值的数据，并且不想修改代码，那么现在这样做是合理的，尽管这可能会使训练稍微复杂一些（因为你添加了一个目前完全不携带任何信息的维度），但这似乎是一个小问题。

如果你不打算以一元格式编码，而是希望将这些值作为一个特征使用，仅用分类值，那么你根本不需要创建这些“虚拟变量”，并使用可以处理这种值的模型，例如可以使用“拉普拉斯平滑”进行训练的朴素贝叶斯模型，以应对不存在的值。