ValueError: 无法将字符串转换为浮点数: ‘Yes, policy’ 拟合到我的逻辑回归模型上

我在使用pandas读取一个Excel表格,该表格有超过10列,我只对其中的3列感兴趣,所以我读取它,删除了包含空值的行,然后创建了测试集和验证集。在将其拟合到逻辑回归模型时,我遇到了一个错误

这是代码

train, tv = train_test_split(df1, test_size=0.2, random_state=0)test, val = train_test_split(tv, test_size=0.5, random_state=0)# Logistic Regressionlr = LogisticRegression()logit_model = lr.fit(train, test)

堆栈跟踪:

Traceback (most recent call last):  File "ml.py", line 22, in <module>    logit_model = lr.fit(train, test)  File "F:\proj\venv\lib\site-packages\sklearn\linear_model\_logistic.py", line 1344, in fit    X, y = self._validate_data(X, y, accept_sparse='csr', dtype=_dtype,  File "F:\proj\venv\lib\site-packages\sklearn\base.py", line 433, in _validate_data    X, y = check_X_y(X, y, **check_params)  File "F:\proj\venv\lib\site-packages\sklearn\utils\validation.py", line 63, in inner_f    return f(*args, **kwargs)  File "F:\proj\venv\lib\site-packages\sklearn\utils\validation.py", line 871, in check_X_y    X = check_array(X, accept_sparse=accept_sparse,  File "F:\proj\venv\lib\site-packages\sklearn\utils\validation.py", line 63, in inner_f    return f(*args, **kwargs)  File "F:\proj\venv\lib\site-packages\sklearn\utils\validation.py", line 673, in check_array    array = np.asarray(array, order=order, dtype=dtype)  File "F:\proj\venv\lib\site-packages\pandas\core\generic.py", line 1990, in __array__    return np.asarray(self._values, dtype=dtype)ValueError: could not convert string to float: 'Yes, policy'

数据框看起来像这样:

 ID      ANSWER                                           TEXT0  24100.0  Yes, policy  Source text snippet:The ACS Group combines its...1  24100.0  Yes, policy  Source text snippet:The ACS Environmental Poli...2  24100.0  Yes, policy  Source text snippet:The ACS Environmental Poli...3  24100.0  Yes, policy  Source text snippet:6. CONTENTS OF THE ENVIRON...4  24100.0  Yes, policy  Source text snippet:6. CONTENTS OF THE ENVIRON...

通过查看ValueError,我认为可能是由于Answer列中”Yes”后的逗号引起的,但即使删除了它,仍然出现相同的错误。Excel中的ID看起来是24100,但在数据框中检查其类型时显示为float64,并显示为24100.0。我不明白为什么在将其拟合到模型上时会抛出错误。


回答:

看起来你的ANSWERTEXT列包含分类值,你需要在将其输入模型之前将其编码为数值形式。因为机器学习模型无法理解文本。在使用train_test_split之前,对数据框使用以下代码

    from sklearn.preprocessing import LabelEncoder    df['TEXT'] = df['TEXT'].astype('str')    df['ANSWER'] = df['ANSWER'].astype('str')            df[['ANSWER', 'TEXT']] =  df[['ANSWER', 'TEXT']].apply(LabelEncoder().fit_transform)

另外,这是一个多类分类问题,因此Logistic Regression不会给你很好的结果。请使用RandomForestClassifier

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注