大语言模型在机器翻译质量标注中的表现：人类与模型均面临挑战

研究发现，大语言模型与人类标注员在机器翻译质量评估上的一致性，在不同标注方案、语言对和领域中差异巨大，总体仍不可靠。在部分评估任务中，LLM与人类的一致性甚至超过了人类之间的一致性，但两者均面临挑战：人类在细粒度MQM标注和低资源语言对上表现不佳，而LLM则难以识别细微错误、错误语言变体和错误跨度标注。研究结果凸显了通过人机协作标注流程来提升可靠性的潜力。