BLEU，ROUGE，METEOR，ROUGE-浅述自然语言处理机器翻译常用评价度量

BLEU，ROUGE，METEOR，ROUGE

浅述自然语言处理机器翻译常用评价度量

• 客观评价指标
  – BLEU
  – ROUGE
  – METEOR
  – CIDEr
• 主观评价指标
  – 流畅度
  – 相关性
  – 助盲性

客观评价指标

实际上可以看出由于最后生成的目标内容是自然语言描述语句，因此评价VTT质量的客观标准都来源于自然语言处理领域的相关评价指标。这些指标原先都是用来度量机器翻译结果质量的，并且被证明可以很好的反应待评测翻译结果的准确性，并且与人类对待评测翻译结果的评价存在强相关，主要包含4种：BLEU，ROUGE，METEOR，CIDEr。
- BLEU

• ROUGE
  
  

• METEOR
  
  

• CIDEr
  

主观评价指标

• 流畅度
• 相关性
• 助盲性
  除了客观的自动化度量标准以外，人工主观的打分虽然效率不高，但是也是评价很多算
  法性能的重要指标，微软在其VTTChallenge2016中提出了三点主观评价标准：
  1） 流畅度：评价生成语句的逻辑和可读性。
  2） 相关性：评价生成语句是否包含与原视频段相关和重要的物体/动作/事件等。
  3） 助盲性：评价生成语句对一个实力有缺陷的人去理解其表示的视频片段到底有多大的帮助。