我目前有几千个音频片段需要使用机器学习进行分类。

经过一番研究，我发现如果对音频进行短时傅里叶变换，它会变成一个二维图像，这样我就可以对这些图像而不是音频文件本身使用各种图像分类算法。

为此，我找到了一个Python包，它可以进行STFT（短时傅里叶变换），我只需要绘制它就可以得到图像。对于绘图，我发现这个GitHub仓库非常有用。

最后，我的代码如下：

import stft
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab
def save_stft_image(source_filename, destination_filename):
    fs, audio = wav.read(source_filename)
    X = stft.spectrogram(audio)
    print X.shape

    fig = pylab.figure()

    ax = pylab.Axes(fig, [0,0,1,1])
    ax.set_axis_off()
    fig.add_axes(ax)

    pylab.imshow(scipy.absolute(X[:][:][0].T), origin='lower', aspect='auto', interpolation='nearest')
    pylab.savefig(destination_filename)
save_stft_image("Example.wav","Example.png")

输出结果是：

代码可以运行，但是当print X.shape行执行时，我得到(513L, 943L, 2L)。所以结果是三维的。因此，当我只写X[:][:][0]或X[:][:][1]时，我得到一个图像。

我一直读到STFT具有这种“冗余性”，你可以去掉一半，因为你不需要它。那个第三维度是这种冗余性，还是我在这里做错了什么？如果是这样，我应该如何正确地绘制它？

谢谢你。

编辑：所以新的代码和输出是：

import stft
import os
import scipy
import scipy.io.wavfile as wav
import matplotlib.pylab as pylab
def save_stft_image(source_filename, destination_filename):
    fs, audio = wav.read(source_filename)
    audio = scipy.mean(audio, axis = 1)
    X = stft.spectrogram(audio)
    print X.shape

    fig = pylab.figure()

    ax = pylab.Axes(fig, [0,0,1,1])
    ax.set_axis_off()
    fig.add_axes(ax)

    pylab.imshow(scipy.absolute(X.T), origin='lower', aspect='auto', interpolation='nearest')
    pylab.savefig(destination_filename)
save_stft_image("Example.wav","Example.png")

在左边，我得到了一列几乎看不见的颜色。我正在处理的音频是呼吸音，所以它们频率非常低。也许这就是为什么可视化结果是一列非常细的颜色的原因。

回答：

你可能有一个立体声音频文件？所以X[:][:][0]和X[:][:][1]对应于每个通道。

你可以通过scipy.mean(audio, axis=1)将多通道转换为单声道。