理解scikit-learn中数据的格式

我正在尝试使用Python 3.x中的scikit-learn进行多标签文本分类。我的数据采用libsvm格式,并使用load_svmlight_file模块加载。数据格式如下所示。

  • 314523,165538,76255 1:1 2:1 3:1 4:1 5:1 6:1 7:1 8:1 9:1 10:1 11:1 12:2 13:1
  • 410523,230296,368303,75145 8:1 19:2 22:1 24:1 29:1 63:1 68:1 69:3 76:1 82:1 83:1 84:1

这些行中的每一行对应一个文档。前三个数字是标签,后面的条目是特征编号及其值。每个特征对应一个单词。

我使用以下脚本加载数据。

from sklearn.datasets import load_svmlight_fileX,Y = load_svmlight_file("train.csv", multilabel = True, zero_based = True)

我的问题是,当我通过例如print (X[0])查看数据格式时,我得到了这样的输出。

(0, 1) 1.0

(0, 2) 1.0

(0, 3) 1.0

(0, 4) 1.0

(0, 5) 1.0

(0, 6) 1.0

(0, 7) 1.0

(0, 8) 1.0

(0, 9) 1.0

(0, 10) 1.0

(0, 11) 1.0

(0, 12) 2.0

(0, 13) 1.0

我不理解这种格式的含义。格式不应该是这样的吗?

> 1  2  3  4  5  6  7  8  9  10  11  12  13> 1  1  1  1  1  1  1  1  1   1   1   2   1  

我是scikit的新手。在这方面我希望能得到一些帮助。


回答:

这与多标签分类本身无关。你从load_svmlight_file得到的特征矩阵X是一个SciPy CSR矩阵,如文档中所解释的,这些打印的格式相当不理想:

>>> from scipy.sparse import csr_matrix>>> X = csr_matrix([[0, 0, 1], [2, 3, 0]])>>> X<2x3 sparse matrix of type '<type 'numpy.int64'>'    with 3 stored elements in Compressed Sparse Row format>>>> X.toarray()array([[0, 0, 1],       [2, 3, 0]])>>> print(X)  (0, 2)    1  (1, 0)    2  (1, 1)    3

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注