作为课堂项目的一部分，我正在尝试用Python编写一个word2vec实现，并在约6GB的语料库上进行训练。我试图编写一个合理优化的解决方案，这样我的电脑就不需要闲置几天。

在研究C语言的word2vec源代码时，我注意到，每个线程都会从文件中读取单词，并花时间查找每个单词的索引。最后，它存储了一个由单词索引组成的“句子”。

将整个语料库转换为包含适当单词的整数索引不是更合乎逻辑吗？这样，在训练过程中就不会因为哈希表查找而浪费时间，而转换过程只是一次性开销。

我理解，对于极其庞大的语料库来说，这实际上会使磁盘占用量翻倍，这可能是你想避免的。

然而，如果你有足够的内存，这不是会带来明显的效率提升吗？还是我高估了表查找的影响？

回答：

哈希表查找可以非常快，重复查找可能不会对整体运行时间贡献太多。

但是，要真正了解你提出的优化的潜在加速效果，唯一的方法是实现它，并与之前的行为进行对比分析。

另外，正如你所指出的，为了能够重复使用单次查找的标记，你需要将这些结果存储在某个地方。谷歌的word2vec.c代码，像许多其他实现一样，旨在处理远大于可寻址内存的输入语料库。将中间标记化结果写入磁盘会需要额外的代码复杂性，以及磁盘上的额外工作空间，相对于重复查找的基线来说。因此：即使它确实能稍微加速一些，实现者也可能认为这种额外的复杂性是不受欢迎的。