我有一个包含一些句子(波斯语)的arff文件,每个句子前面有一个单词,表示其在@data部分的类别。我需要使用SMO进行分类。以下是我的问题:
1) 是否需要将句子转换为向量?
2) 我选择了“字符串到词向量”,但SMO仍然处于非激活状态且无法使用(当然其他算法如朴素贝叶斯也是如此)。
我该如何使用这些文本数据进行SMO分类?
上图是一个非常小的样本文件。
文件样本:https://www.dropbox.com/s/ohpyortve8jbwhe/shoor.arff?dl=0
回答:
首先,你需要应用“字符串到词向量”过滤器。之后,在分类标签页中,你需要将目标类别更改为“(Nom)类”。这样做就足以启用朴素贝叶斯和SVM算法。我下载了数据集,运行得很好。
你可以参考这个教程:https://www.youtube.com/watch?v=zlVJ2_N_Olo
希望这对你有帮助
from sklearn.feature_extraction.text import TfidfVectorizerimport arfffrom sklearn import svmimport numpy as npfrom sklearn.model_selection import train_test_splitdata=list(arff.load('shoor.arff'))text=[]label=[]for r in data: if (len(r)>1): text.append(r[0]) label.append(r[1])tfidf = TfidfVectorizer().fit_transform(text)features = (tfidf * tfidf.T).AX_train, X_test, y_train, y_test = train_test_split(features, label, test_size=0.5, random_state=0)clf = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)clf.score(X_test, y_test)
1.0