在PyTorch中，交叉熵损失函数的工作方式大致如下
CrossEntropyLoss(x, y) = H(one_hot(y), softmax(x))
因此，你可以使用线性输出层。在tf.keras.Sequential中是否有办法实现这一点？
我已经为MNIST编写了一个小型CNN
model = tf.keras.Sequential()model.add(tfkl.Input(shape=(28, 28, 1)))model.add(tfkl.Conv2D(32, (5, 5), padding="valid", activation=tf.nn.relu))model.add(tfkl.MaxPool2D((2, 2)))model.add(tfkl.Conv2D(64, (5, 5), padding="valid", activation=tf.nn.relu))model.add(tfkl.MaxPool2D((2, 2)))model.add(tfkl.Flatten())model.add(tfkl.Dense(1024, activation=tf.nn.relu))model.add(tfkl.Dense(10, activation=tf.nn.softmax))model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])model.summary()model.fit(x_train, y_train, epochs=1)我希望最后一个层是
model.add(tfkl.Dense(10))作为最后一层。
我正在尝试实现ADef算法，但相对于输入的梯度条目似乎太小了，我猜如果使用线性输出，可能会正确。
我知道有tf.nn.softmax_cross_entropy_with_logits，但我不知道如何在这种情况下使用它。
编辑：
更改
model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])为
model.compile(optimizer="adam", loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=["accuracy"])解决了问题。
回答：
感谢@***。为了社区的利益，在这里提供解决方案
问题在更改后得到了解决
model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])为
model.compile(optimizer="adam", loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=["accuracy"])