我已经训练了一个TensorFlow 2.0的Keras模型来进行一些自然语言处理。
我所做的基本上是获取不同新闻的标题，并预测它们属于哪个类别。为了做到这一点，我必须对句子进行标记化，然后添加0来填充数组，使其具有我定义的相同长度：
from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences max_words = 1500 tokenizer = Tokenizer(num_words=max_words ) tokenizer.fit_on_texts(x.values) X = tokenizer.texts_to_sequences(x.values) X = pad_sequences(X, maxlen = 32) from tensorflow.keras import Sequential from tensorflow.keras.layers import Dense, Embedding, LSTM, GRU,InputLayer numero_clases = 5 modelo_sentimiento = Sequential() modelo_sentimiento.add(InputLayer(input_tensor=tokenizer.texts_to_sequences, input_shape=(None, 32))) modelo_sentimiento.add(Embedding(max_palabras, 128, input_length=X.shape[1])) modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2, return_sequences=True)) modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2)) modelo_sentimiento.add(Dense(numero_clases, activation='softmax')) modelo_sentimiento.compile(loss = 'categorical_crossentropy', optimizer='adam', metrics=['acc',f1_m,precision_m, recall_m]) print(modelo_sentimiento.summary())现在，模型训练完成后，我想将其部署到例如TensorFlow Serving中，但我不清楚如何将这种预处理（标记器）保存到服务器上，就像创建一个scikit-learn的Pipeline一样，这样做在这里可能吗？还是我必须自己保存标记器并进行预处理，然后调用训练好的模型来进行预测？
回答：
遗憾的是，你无法像使用sklearn的Pipeline那样优雅地处理Keras模型（至少我不知道有简单的方法）。当然，你可以创建自己的Transformer来实现所需的预处理。但根据我在尝试将自定义对象整合到sklearn Pipeline中的经验，我认为这不值得付出努力。
你可以做的是使用以下方法保存标记器及其相关元数据：
with open('tokenizer_data.pkl', 'wb') as handle: pickle.dump( {'tokenizer': tokenizer, 'num_words':num_words, 'maxlen':pad_len}, handle)然后在你需要使用时加载它：
with open("tokenizer_data.pkl", 'rb') as f: data = pickle.load(f) tokenizer = data['tokenizer'] num_words = data['num_words'] maxlen = data['maxlen']