使用Python中的Keras进行序列分类

我正在尝试使用Python 3中的Keras进行序列分类。我希望对词语序列进行分类。在我的数据中,我使用了word_2_vec将词语转换为形状为300的数组。我的训练数据如下

X –> 词向量列表的列表(所有词向量列表的长度均为50个词向量)
Y –> 经过独热编码的正确类别的列表(如:[[0, 0, 1], [1, 0, 0], [1, 0, 0]…])

当我尝试初始化模型并将我的数据拟合到模型时,我不断遇到错误。我是使用Keras进行深度学习的新手。我的模型应该有哪些层?另外,我遇到的一个特定错误是我的input_shape不正确。在这种情况下,我的input_shape是什么?

代码:

    training_data = []    with open(INTENT_RECOGNITION_TRAINING, 'r') as json_file:        json_obj = json.load(json_file)        for data in json_obj['data']:            for query in data['queries']:                words = [START_TOKEN] + word_tokenize(query[0]) + [END_TOKEN]                if len(words) > JText.MAX_QUERY_LENGTH:                    JText.MAX_QUERY_LENGTH = len(words)                training_data.append((words, data['intent']))    training_data = [(JText._pad_sequence(ws, JText.MAX_QUERY_LENGTH), intent) for (ws, intent) in training_data]    for i in range(len(training_data)):        if training_data[i][1] not in JText.INTENTS:            JText.INTENTS.append(training_data[i][1])        query_vector = []        for w in training_data[i][0]:            if w in JText.WORD2VEC.vocab:                query_vector.append(JText.WORD2VEC[w])            else:                query_vector.append(np.zeros(300))        training_data[i] = (query_vector, training_data[i][1])    random.shuffle(training_data)    X_train = [tup[0] for tup in training_data]    y_train = [tup[1] for tup in training_data]    y_labelencoder = LabelEncoder()    y_train = y_labelencoder.fit_transform(y_train).reshape(-1, 1)    y_onehotencoder = OneHotEncoder(categorical_features=[0])    y_train = y_onehotencoder.fit_transform(y_train).toarray()    recognizer = Sequential([        LSTM(100, input_shape=(JText.MAX_QUERY_LENGTH, 300)),        Dense(len(JText.INTENTS), activation='sigmoid')    ])    recognizer.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])    recognizer.fit(X_train, y_train, nb_epoch=100, batch_size=10)

遇到以下错误:

Exception: Error when checking model input: expected lstm_input_1 to have 3 dimensions, but got array with shape (21, 1)

回答:

没有Keras模型代码或错误消息,很难给出确切的答案。我将尝试根据可用信息提供一般解决方案。

  1. 我假设您使用Keras中的LSTM进行序列分类。如果是这样的话,您的输入应该是维度为(batch_size,Time_steps,length_each_word_vector)的3D ndarray。因此,在您的情况下,输入是一个形状为(no_of_sequences_to_train,50,300)的ndarray,假设每个序列中有50个词。
  2. 关于您应该使用哪些层,由于提供的y参数似乎只有3个分类类别。如果是这样,您可以考虑添加一个输出维度为3的Dense层(即第一个参数为3)

这个博客是序列分类的好例子,应该为初学者提供一些直观的想法。

希望这有帮助

更新我也在尝试做类似的事情,并且遇到了相同的问题。从您的代码来看,您传递的是形状为(seq_len, 300)的ndarray列表。Keras期望的是3D numpy数组,而不是numpy数组的列表。

我会这样重新配置我的训练数据

X_train = np.zeros((len(training_data),MAX_QUERY_LENGTH,300))for i in range(len(training_data)):     tup = training_data[i]     X_train[i,:,:]=tup[0]

上面的代码虽然没有优化,但它最好地传达了所需的更改,以便LSTM层接受您的输入

希望这有帮助

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注