我在尝试理解音频分类的一些方面时，遇到了“vggish_model.ckpt”和“vggish_pca_params.npz”。我希望能深入了解这两个文件。它们是TensorFlow的一部分还是Google AudioSet的一部分？我在构建音频特征时为什么需要使用它们？我没有找到关于它们的任何文档！
回答：
AudioSet发布的预计算特征是通过一个深度网络训练得到的“嵌入”，该网络用于从音轨中预测视频级别的标签（详见https://arxiv.org/abs/1609.09430）。嵌入层通过PCA进一步处理以减少维度；这种处理是为了使特征与在https://research.google.com/youtube8m/发布的特征兼容。因此，vggish_model.ckpt提供了用于从梅尔频谱图块计算嵌入的类似VGG的深度CNN的权重，而vggish_pca_params.npz提供了PCA变换的基础。
作为AudioSet的一部分发布的唯一内容就是这些预计算的嵌入特征。如果你基于这些特征训练了一个模型，然后想用它来分类新的输入，你必须将新的输入转换到相同的领域，因此你必须使用vggish_model和vggish_pca_params。
如果AudioSet包含了波形文件，就不需要这些了。但YouTube的服务条款不允许下载和重新分发其用户的内容。
