许多语音转文本服务(例如谷歌的服务)提供了置信度得分。就谷歌而言,置信度得分在0到1之间,但显然不是某一特定转录正确的概率,因为不同转录的置信度总和会超过1。此外,有时置信度较高的结果排名反而较低。
那么,它到底是什么呢?在语音识别界,对“置信度得分”是否有公认的定义?我曾看到过关于最小贝叶斯风险的引用,但即使他们使用的是这种方法,这也并不能很好地回答这个问题,因为这取决于对辅助损失函数的选择。
回答:
但显然不是某一特定转录正确的概率,因为不同转录的置信度总和会超过1
统计算法永远不会给你概率的实际值,它们给你的是估计值。在某些情况下,估计值可能不准确,平均来看它们会接近理想值。置信度需要校准。你可以在以下文献中查阅一些理论:
语音识别中置信度措施的校准Dong Yu,IEEE高级会员,Jinyu Li,IEEE会员,Li Deng,IEEE院士https://www.microsoft.com/en-us/research/wp-content/uploads/2011/01/ConfidenceCalibration.pdf
在语音识别界,对“置信度得分”是否有公认的定义?
并没有,每个人都使用自己的算法。从简单的贝叶斯风险(这根本不是最好的估计)到更高级的方法。实际上无法知道谷歌使用的是什么方法。在Kaldi中也有优秀算法的实现:https://github.com/kaldi-asr/kaldi/blob/master/egs/ami/s5/local/confidence_calibration.sh