我需要一个巨大的自然文本文件用于机器学习，维基百科的转储文件非常适合这个目的。那么，如何下载几GB的非英语文本，并且不包含XML标签（仅内容）呢？

回答：

阶段a：

访问dumps.wikimedia.org。找到符合你需求的转储文件。对于机器学习来说，最好的方法是下载你所需语言的“所有页面，当前版本”的转储文件。下载并解压它。

阶段b：

由于转储文件是包含wiki标记语法的XML文件，因此需要将其转换为纯文本。我发现的最佳解决方案是使用这个工具包 – https://github.com/yohasebe/wp2txt 。它不需要太多内存，而且效果很好。

阶段c：

wp2txt会生成数百个10MB的txt文件，因此我们需要将它们合并。在nix系统上使用

cat * > all.txt

在Windows系统上使用

cat dump.txt | sed 's/\W/ /g'

附注：我还发现了一个更好的半合法解决方案，适用于机器学习的情况。解决方案是下载一些巨大的文本文学库。祝你学习愉快！