我有一组音频数据，每个音频的长度各不相同。这些音频中包含一些事件，我希望对这些事件进行训练和测试，但这些事件在音频中随机分布，再加上音频长度不同，构建一个使用该数据集的机器学习系统变得非常困难。我曾考虑固定一个默认长度来构建多层神经网络，但事件的长度也不尽相同。接着我想到了使用CNN，就像它在图像中识别模式或多个人一样。问题在于，当我试图理解音频文件时，遇到了很大的困难。

所以，我的疑问是，有没有人能给我一些建议，关于如何构建一个机器学习系统，能够对数据集中随机分布的事件进行分类（一个数据包含多个不同的事件），并且每个事件的长度都不相同？

如果有人能帮忙，我将不胜感激。

回答：

首先，你需要在音频流中标注事件，即为它们指定边界和标签。

然后，将你的音频转换成特征向量序列，使用信号分帧。常见的选择是MFCCs或对数梅尔滤波器组特征（后者对应于音频的频谱图）。这样做后，你将音频转换成固定大小的特征向量序列，这些序列可以输入到分类器中。请参见这里，以获取更好的解释。

由于典型的音频时长通常比分析帧长，你可能需要使用滑动窗口堆叠几个连续的特征向量，并将这些堆叠的帧作为神经网络的输入。

现在你有了a)输入数据和b)每个分析窗口的标注。因此，你可以尝试训练一个DNN、CNN或RNN来预测每个窗口的音频类别。这项任务被称为事件检测。我建议你阅读Sainath, T. N., & Parada, C. (2015). Convolutional Neural Networks for Small-footprint Keyword Spotting. In Proceedings INTERSPEECH (pp. 1478–1482)，并参考其中的参考文献以获取更多细节。