回归预测值高于实际值

我有一个来自Kaggle的商场客户数据集,包含200个客户和5个特征:客户ID、性别、年龄、年收入和消费评分。在进行回归分析之前,我首先使用K-means对数据进行了聚类,设置K=6,针对消费评分(因变量)、年收入(自变量)和年龄(自变量)进行聚类。之后,我对每个聚类分别进行了多元线性回归分析,并打印了预测值和实际值,结果发现预测值远高于实际值。我的预测y值是34(正好是我聚类中的数据点数量),而我的实际y值是9。为什么我的所有实际值没有全部打印出来?

代码:

df = pd.read_csv('D:\Mall_Customers.csv', usecols = ['Age','Spending Score (1-100)', 'Annual Income (k$)'])x = StandardScaler().fit_transform(df)kmeans = KMeans(n_clusters=6, max_iter=100, random_state=0)y_kmeans= kmeans.fit_predict(x)mydict = {i: np.where(kmeans.labels_ == i)[0] for i in range(kmeans.n_clusters)}dictlist = []for key, value in mydict.items():    temp = [key,value]    dictlist.append(temp)df0 = df[df.index.isin(mydict[0].tolist())]Y = df0['Spending Score (1-100)']X = df0[[ 'Annual Income (k$)','Age']]from sklearn.model_selection import train_test_splitX_train, X_test, y_train,y_test = train_test_split(X, Y, test_size = None, random_state = 0)from sklearn.linear_model import LinearRegressionregressor = LinearRegression()regressor.fit(X_train, y_train)y_pred = regressor.predict(X)print('predicted:', y_pred, sep='\n')print('actual', y_test, sep='\n')

回答:

上面的代码没有显示你是如何计算y_pred的。此外,你在调用train_test_split时设置了test_sizeNone,这意味着测试集默认占数据的25%。如果你聚类中有34个项目,那么测试集应该是8.5个,因此你看到的9个实际值是合理的。要理解为什么y_pred比这更多,我们需要看到你是如何计算它的,但我猜测你可能做了类似regressor.predict(X)的操作,这会对所有数据进行预测,而不仅仅是测试集。

Related Posts

如何对SVC进行超参数调优?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

如何在初始训练后向模型添加训练数据?

我想在我的scikit-learn模型已经训练完成后再…

使用Google Cloud Function并行运行带有不同用户参数的相同训练作业

我正在寻找一种方法来并行运行带有不同用户参数的相同训练…

加载Keras模型,TypeError: ‘module’ object is not callable

我已经在StackOverflow上搜索并阅读了文档,…

在计算KNN填补方法中特定列中NaN值的”距离平均值”时

当我从头开始实现KNN填补方法来处理缺失数据时,我遇到…

使用巨大的S3 CSV文件或直接从预处理的关系型或NoSQL数据库获取数据的机器学习训练/测试工作

已关闭。此问题需要更多细节或更清晰的说明。目前不接受回…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注