在使用Liblinear或Libsvm时，我加载数据并将其分为训练和测试集，得到95%的准确率。此时，我保存了模型和标签以便日后重用。

现在的问题是，当我将保存的数据加载到模型中，并在即使是训练过的相同数据上测试预测方法时，准确率下降到了53%！

构建模型使用的代码：

$vectorizer = new TokenCountVectorizer(new WhitespaceTokenizer());$tfIdfTransformer = new TfIdfTransformer();$vectorizer->fit($samples);$vectorizer->transform($samples);$tfIdfTransformer->fit($samples);$tfIdfTransformer->transform($samples);$dataset = new ArrayDataset($samples, $labels);$randomSplit = new StratifiedRandomSplit($dataset, 0.1);$classifier = new SVC(    Kernel::LINEAR, // $kernel    8.0,            // $cost    3,              // $degree    null,           // $gamma    0.0,            // $coef0    0.001,          // $tolerance    100,            // $cacheSize    true,           // $shrinking    true            // $probabilityEstimates, set to true);$classifier->train($randomSplit->getTrainSamples(), $randomSplit->getTrainLabels());$classifier->save($modelFile); // save the model and lables (everything in the classifier)$predictedLabels = $classifier->predict($randomSplit->getTestSamples());echo 'Accuracy: '.Accuracy::score($randomSplit->getTestLabels(), $predictedLabels); // this gives 0.95

预测新数据使用的代码：

$classifier = new SVC();$classifier->load($modelFile);$vectorizer = new TokenCountVectorizer(new WhitespaceTokenizer());$tfIdfTransformer = new TfIdfTransformer();$vectorizer->fit($samples);$vectorizer->transform($samples);$tfIdfTransformer->fit($samples);$tfIdfTransformer->transform($samples);$dataset = new ArrayDataset($samples, $labels);$predictedLabels = $classifier->predict($samples);echo 'Accuracy: '.Accuracy::score($labels, $predictedLabels); // this gives 0.53

注意： $samples和$labels在两种情况下是相同的——只是在测试时使用了100个样本，而在训练时使用了400个样本。

我看到的唯一区别是，在训练过程中，我在训练数据和测试数据上使用了相同的向量化器和变换器，而在测试过程中，我使用了新的向量化器和变换器。

那么，我是否也应该以某种方式保存向量化器和变换器，并在以后重新加载它们？

回答：

是的。

用于测试或生产的数据必须以与初始训练相同的方式进行转换。

因此，您需要使用相同的特征、相同的缩放机制和相同的转换过程，以获得更好的预测结果。