WMT 是机器翻译领域的国际顶级评测比赛之一,自2006年创办至今,WMT已经成功举办15届。大赛每年都吸引了众多来自全球的企业、科研机构和高校所组成的顶尖团队。其中「中文-英文」翻译任务是大赛历年来竞争最激烈的领域,也是最大的看点之一,在历届冠军中,微软、腾讯翻译君、搜狗都榜上有名。
在赛制上,组委会根据中英、英中、中日等不同翻译任务提供测试集,参赛者在线提交机器翻译结果,组委会将根据在国际上具有广泛认可度的BLEU自动评估指标对参赛者提交的机器译文和标准答案进行拟合计算,拟合程度高者排在前面。
在本次大赛上,微信翻译在技术上以更深和更宽的Transformer结构(包括Self-attention和Average-attention)和 自研的Deep Transition结构(DTMT)为基础,用融合领域内知识的数据增强方法迭代生成高质量的伪数据,并利用Self-Bleu的组合剪枝策略集成模型并利用集成模型的知识蒸馏单模型,除了常规的交叉熵训练,还采用三种改进的训练方法来缓解偏差问题,包括改进的Scheduled Sampling训练方法、针对目标端输入的抗噪训练和更稳定的最小化贝叶斯风险训练。
除翻译项目外,微信 AI 团队在其他领域也有建树。包括 2018、2019 两届 DSTC 冠军、 2019 年 RACE 中高考题冠军、DROP 数学推理冠军和 QuAC 多轮交互推理冠军等。