我有一个来自Kaggle的商场客户数据集,包含200个客户和5个特征:客户ID、性别、年龄、年收入和消费评分。在进行回归分析之前,我首先使用K-means对数据进行了聚类,设置K=6,针对消费评分(因变量)、年收入(自变量)和年龄(自变量)进行聚类。之后,我对每个聚类分别进行了多元线性回归分析,并打印了预测值和实际值,结果发现预测值远高于实际值。我的预测y值是34(正好是我聚类中的数据点数量),而我的实际y值是9。为什么我的所有实际值没有全部打印出来?
代码:
df = pd.read_csv('D:\Mall_Customers.csv', usecols = ['Age','Spending Score (1-100)', 'Annual Income (k$)'])x = StandardScaler().fit_transform(df)kmeans = KMeans(n_clusters=6, max_iter=100, random_state=0)y_kmeans= kmeans.fit_predict(x)mydict = {i: np.where(kmeans.labels_ == i)[0] for i in range(kmeans.n_clusters)}dictlist = []for key, value in mydict.items(): temp = [key,value] dictlist.append(temp)df0 = df[df.index.isin(mydict[0].tolist())]Y = df0['Spending Score (1-100)']X = df0[[ 'Annual Income (k$)','Age']]from sklearn.model_selection import train_test_splitX_train, X_test, y_train,y_test = train_test_split(X, Y, test_size = None, random_state = 0)from sklearn.linear_model import LinearRegressionregressor = LinearRegression()regressor.fit(X_train, y_train)y_pred = regressor.predict(X)print('predicted:', y_pred, sep='\n')print('actual', y_test, sep='\n')
回答:
上面的代码没有显示你是如何计算y_pred
的。此外,你在调用train_test_split
时设置了test_size
为None
,这意味着测试集默认占数据的25%。如果你聚类中有34个项目,那么测试集应该是8.5个,因此你看到的9个实际值是合理的。要理解为什么y_pred
比这更多,我们需要看到你是如何计算它的,但我猜测你可能做了类似regressor.predict(X)
的操作,这会对所有数据进行预测,而不仅仅是测试集。