我有一行行的简介（以文本格式存在），我想使用tf-idf来定义每个词的权重。以下是代码：

def remove_punctuations(text):    for punctuation in string.punctuation:        text = text.replace(punctuation, '')    return textdf["punc_blurb"] = df["blurb"].apply(remove_punctuations)df = pd.DataFrame(df["punc_blurb"])vectoriser = TfidfVectorizer()df["blurb_Vect"] = list(vectoriser.fit_transform(df["punc_blurb"]).toarray())df_vectoriser = pd.DataFrame(x.toarray(),columns = vectoriser.get_feature_names())print(df_vectoriser)

我得到的只是一大堆数字，我甚至不确定这是TF还是TF-IDF，因为常见词（如the, and等）的得分都大于0。

我的目标是看到下方tf-idf列中的权重，我不确定我是否以最有效的方式在做这件事：

目标输出表

回答：

如果你使用TfidfVectorizer，你不需要标点符号移除器。它会通过默认的token_pattern参数自动处理标点符号：

from sklearn.feature_extraction.text import TfidfVectorizerdf = pd.DataFrame({"blurb":["this is a sentence", "this is, well, another one"]})vectorizer = TfidfVectorizer(token_pattern='(?u)\\b\\w\\w+\\b')df["tf_idf"] = list(vectorizer.fit_transform(df["blurb"].values.astype("U")).toarray())vocab = sorted(vectorizer.vocabulary_.keys())df["tf_idf_dic"] = df["tf_idf"].apply(lambda x: {k:v for k,v in dict(zip(vocab,x)).items() if v!=0})