我正在尝试编写代码来识别从CSV文件加载的数据类型。因此,有5个可能的标签,特征向量包含一个列表的列表。特征向量的形状如下:
[slash_count, dash_count, colon_count, letters, dot_count, digits]
然后我将特征和标签向量分为训练、测试和验证集。我在Stackoverflow上找到了一些代码,有人编写了这些代码,我也使用了相同的代码:
X_train, X_test, y_train, y_test = train_test_split(ml_list, labels, test_size=0.3, random_state=1)X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.3, random_state=1)
完成这些操作后,我将特征标准化为[0,1]范围,然后为标签创建分类变量:
min_max_scaler = preprocessing.MinMaxScaler()X_train_minmax = min_max_scaler.fit_transform(X_train)X_test_minmax = min_max_scaler.fit_transform(X_test)X_val_minmax = min_max_scaler.fit_transform(X_val)from keras.utils import to_categoricaly_train_minmax = to_categorical(y_train)y_test_minmax = to_categorical(y_test)y_val_minmax = to_categorical(y_val)
接下来,我尝试查找新编码变量的形状:
print(y_train_minmax.shape) #(91366, 4)print(X_train_minmax.shape) #(91366, 6)print(X_test_minmax.shape) #(55939, 6)print(X_val_minmax.shape) #(39157, 6)print(y_train_minmax.shape) #(91366, 4)print(y_test_minmax.shape) #(55939, 4)print(y_val_minmax.shape) #(39157, 4)
最后,我构建模型并尝试进行拟合:
model = models.Sequential()model.add(layers.Dense(512, activation='relu', input_shape=(91366, 6)))model.add(layers.Dense(3, activation='softmax'))model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])model.fit(X_train_minmax, y_train_minmax, epochs=5, batch_size=128)
运行代码时,我收到了以下消息:
ValueError: Error when checking input: expected dense_1_input to have 3 dimensions, but got array with shape (91366, 6)
我认为错误出在创建神经网络时指定的输入形状上。我很难理解自己哪里出错了。任何帮助都将非常受欢迎!
回答:
您应该更改这一行代码:
model.add(layers.Dense(512, activation='relu', input_shape=(6,)))
在keras
中,您不需要直接指定数据集中样本的数量。作为input_shape
,您只需提供单个数据点的形状即可。
我在您的代码片段中发现的另一个潜在错误是,您应该设置:
model.add(layers.Dense(4, activation='softmax'))
因为您的输出单个数据点的形状是(4,)
。这与您所说的可能的层数不一致,因此我建议您重新检查您的数据。
我发现的另一个可能的错误是,您没有为train
、test
和valid
数据集分别训练不同的缩放器——而是在train
集上训练一个缩放器,然后使用训练好的缩放器来缩放其他数据集。