文本清理和停用词

我正在为机器学习课程完成一个文本学习项目。我的老师给了我以下函数,但我不知道为什么会得到这个错误。这个函数应该接收一个单词字符串,移除标点符号和停用词,然后返回新的字符串。

def review_to_words( raw_review ):    # Function to convert a raw review to a string of words    # The input is a single string (a raw movie review), and     # the output is a single string (a preprocessed movie review)    #    # 1. Remove HTML    review_text = BeautifulSoup(raw_review).get_text()     #    # 2. Remove non-letters (punctuation)           letters_only = re.sub("[^a-zA-Z]", " ", review_text)     #    # 3. Convert to lower case, split into individual words    words = letters_only.lower().split()                                 #    # 4. In Python, searching a set is much faster than searching    #   a list, so convert the stop words to a set    stops = set(stopwords.words("english"))                      #     # 5. Remove stop words    meaningful_words = [w for w in words if not w in stops]       #    # 6. Join the words back into one string separated by space,     # and return the result.    return( " ".join( meaningful_words ))clean_review = review_to_words(first1000["review"][0] )

它说在以下行中有一个关于’review’的键错误:

clean_review = review_to_words(first1000["review"][0] )

first1000 变量设置为:

first1000 = data["review"][0:1000]

我的数据集是一个.tsv文件,包含来自imdb的几千个电影评论。变量’review’只是该数据集中一个评论。

再重复一次,这个函数应该接收一个单词字符串,移除标点符号和停用词,然后返回新的字符串。我不确定发生了什么,因为我已经检查了代码,看起来没问题。

编辑:从目前的回应来看,我的理解是我的数据是一个列表的字典。这听起来是正确的。每个评论都是一个单词列表,整个数据集是一个评论列表。但现在我需要找到一种方法来计算字典中列表的数量。我目前有的是:

num_reviews = count(train_reviews["reviews"])print(num_reviews)

其中train_reviews[“reviews”]是我数据的一个子集。它仍然是一个列表的字典。我需要计算train_reviews中有多少个列表。我没有在这个代码中得到错误,但也没有得到任何输出。我确定它应该从打印命令中产生一些输出,这就是为什么我感到困惑。

附言:如果我应该为同一个代码的新问题创建一个全新的问题,请告诉我,我会在将来记住这一点。


回答:

看起来你有一个字典data,其中包含各种数据条目,其中一个条目是键为"review"的数据。这个数据条目是某种序列,可能是一组行(字符串)。

你将前1000行扫描到一个新的列表first1000中。这是一个list,不是dict ——它没有任何键。你在这个变量中有一系列1000个字符串 —— 没有”review”条目。

从你的调用中移除["review"]元素,看看你会得到什么。更好的是,学习一些基本的调试:打印出你使用的值,确保它们与你认为它们所持有的值相匹配。

查看这个精彩的调试博客以获取帮助。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注