我为项目准备了一个小数据集，结果出现了
ValueError: 层权重形状 (43, 100) 与提供的权重形状 (412457, 400) 不兼容
错误。我认为这是分词器的问题。
用于 train_test_split 的 X 和 Y
X = []sentences = list(titles["title"])for sen in sentences: X.append(preprocess_text(sen))y = titles['Unnamed: 1']X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=42)这里是分词器
tokenizer = Tokenizer(num_words=5000)tokenizer.fit_on_texts(X_train)X_train = tokenizer.texts_to_sequences(X_train)X_test = tokenizer.texts_to_sequences(X_test)vocab_size = len(tokenizer.word_index) + 1 #vocab_size 43maxlen = 100X_train = pad_sequences(X_train, padding='post', maxlen=maxlen)X_test = pad_sequences(X_test, padding='post', maxlen=maxlen)所以，我的预训练的 word2vec 模型的形状是 (412457, 400)。
from numpy import arrayfrom numpy import asarrayfrom numpy import zerosfrom gensim.models import KeyedVectorsembeddings_dictionary = KeyedVectors.load_word2vec_format('drive/My Drive/trmodel', binary=True)我使用了自己的预训练的 word2vec 模型，而不是 GloVe。（词汇大小：43, 100，从 embeddings_dictionary.vectors 获取权重）
from keras.layers.recurrent import LSTMmodel = Sequential()embedding_layer = Embedding(vocab_size, 100, weights=[embeddings_dictionary.vectors], input_length=maxlen , trainable=False)model.add(embedding_layer)model.add(LSTM(128))model.add(Dense(1, activation='sigmoid'))model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])ValueError: 层权重形状 (43, 100) 与提供的权重形状 (412457, 400) 不兼容
回答：
如果你想使用预训练的权重，那么你必须向 Embedding 层传递适当的大小参数，以便它可以将预训练的权重矩阵分配给嵌入层的权重矩阵。
因此，你需要进行如下操作：
embedding_layer = Embedding(412457, 400, weights=[embeddings_dictionary.vectors], input_length=maxlen , trainable=False)在训练之前，你需要更改填充以符合 Embedding 层的要求：
maxlen = 400X_train = pad_sequences(X_train, padding='post', maxlen=maxlen)X_test = pad_sequences(X_test, padding='post', maxlen=maxlen)