我有一个包含250,000个实例的训练集，这个数据集对于Weka分类器来说太大了（尽管数据可以顺利加载到Weka的用户界面中，但尝试运行任何非-trivial的分类器都会导致内存溢出，即使将机器的全部8GB RAM都分配给了JVM堆）。
由于这涉及到地理数据，如果我根据纬度/经度进行聚类，并在每个聚类上训练单独的分类器，性能应该会非常好。
有没有一种方法可以在Weka的命令行或KnowledgeFlow中轻松实现这一点，而不必处理ARFF文件？（我更希望保留一个大的ARFF文件，以便在Weka中评估不同的分割策略）
我研究了Bagging和交叉验证折叠，但我不认为它们适合我的问题，因为我不想随机分割数据，而是希望根据位置的相似性将数据保持在一起。
回答：
在训练分类器时添加这两个选项对性能有惊人的影响，因此无需分割数据集：
-no-cv -v在RandomForest、J48和LWL上的训练时间减少到2分钟以内，而没有这些选项时，这些算法要么长时间不终止（数小时后），要么内存耗尽。
基于文件分割的之前答案保留，以防对拥有非常大数据集的人有帮助：
我找到了一个部分解决方案。以下命令行（在Windows中）将根据聚类将一个ARFF文件中的数据分割成十个单独的ARFF文件（我使用K-Means因为它运行得很快，但之后可能会切换到EM或DBSCAN）：
java -Xmx4096m -cp weka.jar weka.filters.unsupervised.attribute.AddCluster -i %TEMP%\StreetSet.arff -o \temp\clusters.arff -W “weka.clusterers.SimpleKMeans -N 10 -num-slots 4”
for /l %i in (1,1,10) do java -Xmx4096m -cp weka.jar weka.filters.unsupervised.instance.RemoveWithValues -C last -L %i -V -i \temp\clusters.arff -o \temp\cluster%i.arff
这并不是我想要的，因为使用这种方法，我无法使用Experimenter来尝试不同的参数组合，现在还增加了对新实例的评估/测试的复杂性，必须先通过单独的命令行进行聚类分割。我希望这一切都能在Weka的元分类器中透明处理。
