如何使用nltk对西班牙语单词列表进行词干提取?

如何使用nltk的SnowballStemmer对以下列表中的所有西班牙语单词进行词干提取?我尝试了以下方法:

# coding=utf-8from sklearn.feature_extraction.text import CountVectorizerimport nltk.stemvectorizer= CountVectorizer(min_df=1)opinion = ["""Hola compis!No sabÌa como se ponÌa una lavadora hasta que conocÌesta y es que es muy sencilla de utilizar! Todo un gustazocuando estamos aprendiendo para emanciparnos, que si nosponen facilidad con las tareas de la casa pues mejor que mejor.Antes de esta tenÌamos otra de la marca Otsein, de estasque van incluidas en el mobiliario y adem·s era de carga superior,pero tan antigua que seg˙n mi madre, nadie la podÌa tocar porquesolo la entendÌa ella.Esta es de la marca Aeg y dentro de este tipo de lavadoras deesta marca las habÌa m·s caras o m·s baratas y est· digamos queest· en el punto medio. Es de color blanco y tiene carga frontal, con una capacidad de 6kg. En casa a pesar de ser cuatro, se ponen lavadoras casi todos o todos los dÌas.En su parte de arriba encontramos la ";zona de mandos";,donde se puede echar el detergente, aunque en nuestro casolo al ser gel lo ponemos directamente junto con la ropa.Luego tiene la rueda para elegir el programa y los intermitentesque indican en que paso del programa estaba.Como todas tiene programas m·s cortos y m·s largos, inclusoun programa que seria como lavar a mano y otro ideal paraestores, que salen casi secos y planchaditos para colgar yya est·. Es muy f·cil de aprenderla y adem·s tiene indicadorpor sonido de cuando acaba, lista para abrir y tender.Saludillos!"""]spanish_stemmer = nltk.stem.SnowballStemmer('spanish')print "\n these are the stems of opinion",opinion = [[spanish_stemmer(word) for word in sentence.split(" ")]for sentence in opinion]

这种方法的问题在于输出结果如下:

Traceback (most recent call last): these are the stems of opinion  File "/Users/user/PycharmProjects/untitled/prueba stem.py", line 47, in <module>    opinion = [[spanish_stemmer(word) for word in sentence.split(" ")]for sentence in opinion]TypeError: 'SnowballStemmer' object is not callable

如何根据给定的列表(opinion)返回词干列表?以及如何将整个opinion转换为小写?


回答:

>>> from nltk import word_tokenize>>> from nltk.stem import SnowballStemmer>>> stemmer = SnowballStemmer('spanish')>>> >>> stemmer.stem('cuando')u'cuand'>>> stemmer.stem('apprenderla')u'apprend'>>> >>> text = 'En su parte de arriba encontramos la ";zona de mandos";, donde se puede echar el detergente, aunque en nuestro caso lo al ser gel lo ponemos directamente junto con la ropa.'>>> stemmed_text = [stemmer.stem(i) for i in word_tokenize(text)]>>> stemmed_text[u'en', u'su', u'part', u'de', u'arrib', u'encontr', u'la', u'``', u';', u'zon', u'de', u'mand', u"''", u';', u',', u'dond', u'se', u'pued', u'echar', u'el', u'detergent', u',', u'aunqu', u'en', u'nuestr', u'cas', u'lo', u'al', u'ser', u'gel', u'lo', u'pon', u'direct', u'junt', u'con', u'la', u'rop', u'.']

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注