我正在考虑将一个机器学习NLP模型转换为ONNX格式，以便利用其速度提升（ONNX Runtime）。然而，我不太明白新模型与旧模型相比在根本上发生了什么变化。此外，我也不知道是否有任何缺点。任何关于此的想法都将非常受欢迎。
回答：
模型的性能在准确性方面将保持不变（仅考虑编码器和解码器的输出）。推理性能可能会根据您使用的推理方法（例如：贪婪搜索、波束搜索、top-k & top-p）有所不同。有关更多信息，请查看这里。
对于ONNX的seq2seq模型，您需要手动实现model.generate()方法，具体可以参考这里。但是，onnxt5 库在实现贪婪搜索（针对ONNX模型）方面做得很好。然而，大多数NLP生成模型通过波束搜索方法获得良好结果（您可以参考链接的源代码了解huggingface如何为其模型实现波束搜索）。不幸的是，对于ONNX模型，您必须自己实现它。
推理速度的提升在这个笔记本中得到了展示（示例是关于BERT的）。您需要在ONNX-runtime上分别运行编码器和解码器，并可以利用ONNX-runtime。如果您想了解更多关于ONNX及其运行时的信息，请参考这个链接。
