我刚开始学习机器学习,正在尝试理解OneHotEncoder的作用。我能将它与其他工具如LabelEncoder区分开来。特别是,我发现关于active_features_的文档特别令人困惑。
在feature_indices_
的文档中也提到了这一点
feature_indices_ :
形状为(n_features,)的数组
特征范围的索引。原始数据中的特征i被映射到从feature_indices_[i]到feature_indices_[i+1]的特征(然后可能会被active_features_屏蔽)
这意味着什么,这里提到的屏蔽是做什么用的?
谢谢!
回答:
OneHotEncoder编码分类特征(其值为分类的特征),例如特征“车辆”可以从集合{“car”, “motorcycle”, “truck”, …}中取值。这种特征类型在你认为这些值之间没有顺序时使用,例如汽车与摩托车或卡车不可比,尽管你用整数编码集合”car”, “motorcycle”, “truck”},你希望学习的估计器不暗示分类特征值之间的任何关系。为了将这种特征类型转换为二进制或有理数,同时保持无序值的特性,你可以使用独热编码。这是一种非常常见的技术:它会为原始数据集中的每个分类特征创建n
个新的二进制特征,其中n
是原始分类特征中唯一值的数量。如果你想知道这n
个新的二进制特征在结果数据集中具体位于哪里,你将需要使用feature_indices_
属性,原始数据集中分类特征i
的所有新二进制特征现在位于新数据集的feature_indices_[i]:feature_indices_[i+1]
列中。
OneHotEncoder根据数据集中该特征的值确定每个分类特征的范围,看这个例子:
dataset = [[0, 0], [1, 1], [2, 4], [0, 5]]# 第一分类特征的值范围是[0,2],数据集包含该范围内的所有值。# 第二特征的值范围是[0,5],但缺少值(2, 3)。# 假设用该整数范围编码分类值,2和3必须在某处,否则就是某种错误。# 因此OneHotEncoder将从结果数据集中移除值2和3的列enc = OneHotEncoder()enc.fit(dataset)print(enc.n_values_)# 打印array([3,6])# 第一特征有3个可能的值,即结果数据集中有3列# 第二特征有6个可能的值print(enc.feature_indices_)# 打印array([0, 3, 9])# 第一特征分解为3列(0,1,2),第二特征分解为6列(3,4,5,6,7,8)print(enc.active_features_)# 打印array([0, 1, 2, 3, 4, 7, 8])# 但第二特征的两个值从未出现过,因此active features不列出(5,6),结果数据集也不会包含这些列enc.transform(dataset).toarray()# 打印这个数组array([[ 1., 0., 0., 1., 0., 0., 0.], [ 0., 1., 0., 0., 1., 0., 0.], [ 0., 0., 1., 0., 0., 1., 0.], [ 1., 0., 0., 0., 0., 0., 1.]])