我正在学习用于语音合成的AI/ML，并试图理解Vits是如何使用HiFi-GAN的。

据我所知，Vits会将文本输入转换为梅尔频谱图，然后由HiFi-GAN转换为音频波形。

让我困惑的是，为什么从Vits发送到HiFi-GAN的输入不是梅尔频谱图。

例如，当我测试其他模型并在HiFi-GAN的前向方法中添加以下代码时：

class Generator(torch.nn.Module):  ...  def forward(self, x):    plot_spectrogram(x[0].cpu().detach().numpy(), "mel_spec.png")    ...  ...

它会保存正确的图像，看起来像梅尔频谱图的图像，然而，当我对vits做同样的事情时，保存的图像是一张纯绿色的图像，当然这不是梅尔频谱图的表示。

但生成的音频文件当然是一个有效的音频文件。

那么，有人能向我解释一下吗？

我正在评估几个神经文本到语音模型，我想要做的是保存模型创建的梅尔频谱图，以便稍后进行比较，并且还通过不同的声码器运行它们以进行比较。

我注意到vits仓库中的HiFi-GAN代码与原始仓库略有不同，但我无法理解为什么会这样。

有没有什么方法可以将输入参数x转换为梅尔频谱图表示，而无需先将其转换为音频，然后再将音频转换为梅尔频谱图？

回答：

在VITS中，输入到HiFi-GAN模块的不是传统的梅尔频谱图，而是由编码器生成的潜在变量，这些变量受到文本和对齐模型的条件影响。通过这种方式，可以说VITS是一个端到端的模型。

VITS中的HiFi-GAN作为一个解码器，直接从这些潜在变量生成最终的音频波形。因此，你试图绘制的不是梅尔频谱图，而是这些潜在变量的变化。

这种方法使VITS能够保持灵活性和高质量的合成，而不依赖于传统的交互式表示，如梅尔频谱图。