2 `) g* _5 a- J" C. r1 J. V( E ©原创作者 | 朱林
* g" N: \& ]. r$ |; Y
论文解读：
) [% A( k0 a( g" Q
Contrastive Learning for Many-to-many Multilingual Neural Machine Translation
7 T( ~5 J. ]. E/ K/ @
论文作者：
& ?( s. ]2 U& }) d Xiao Pan, Mingxuan Wang, Liwei Wu, Lei Li
6 Z, p' I# X1 o% r 论文地址：
$ X8 v$ T: t9 b: b https://aclanthology.org/2021.acl-long.21.pdf
9 T- {& e+ d7 L. u
收录会议：
% ~! L: G; V0 c F& S! z D ACL2021
9 H9 H5 h* q3 s9 e
01 介绍
7 Z- O- O3 [, c 目前机器翻译的研究热点仍然集中在英语与其他语言翻译的方向上，而非英语方向的研究成果仍然寥寥无几。
! f9 r/ N' e1 O; @, r$ K% w! Y; d
如何有效利用不同语言的特征去构建模型，提高多种语言，尤其是非英语之间的翻译水平是个越发重要的课题。
, D. U+ G( Y' @4 S6 W3 m0 } 传统思路中，为了解决两种语言机器翻译问题，人们往往分别学习这两种语言的特征再匹配，而忽略了两种语言在特征表达上的较大差异，导致模型效果较差。
5 Y) L! }2 w6 m2 I1 C4 {6 ^. L3 @
本篇ACL会议论文提出了一种统一多语言翻译模型mRASP2来改进翻译性能，利用多语言对比学习能综合表达的优点改进了机器翻译性能，尤其提高了非英语方向的翻译质量。
) K; W: C; _, Z$ b) A 该模型由两种技术支撑：
$ z3 B/ N& u' i
（1）对比学习，用于缩小不同语言表示之间的差距；
2 c' Z' Y" t4 g* F: c
（2）对多个平行语料和单语语料进行数据增强，以进一步对齐标记表示。
$ A* t- l! X% [ ^6 Q8 w 实验表明，以英语为中心的方向，mRASP2模型的性能优于现有的最佳统一模型，并且在WMT数据集的数十个翻译方向上的性能超过了当前性能顶尖的mBART模型。
! @# X3 d3 e1 M! y" R& C
在非英语方向，与Transformer基线模型相比，mRASP2也实现了平均10 BLEU（性能指标）以上的性能改进。
3 T, D3 A* L: F' k$ c# k% A c
02 方法
4 I3 S8 C3 G0 s6 j/ o0 v3 ~
mRASP2需要输入一对平行句子（或增强伪平行句子），并使用多语言编解码器计算交叉熵损失。此外，它计算正样本和随机生成的负样本的对比损失，总体框架如图1所示：
! m) T0 H3 m# O
图1 mRASP2模型图2 通过替换同义词词典中具有相同含义的单词，对平行数据和单语数据进行对齐增强。生成包括伪平行示例（左）和伪自平行示例（右）。多语言转换器
5 P1 _1 f% b" M8 f* U( c9 P 模型采用了多语言神经机器翻译（Neural Machine Translation, NMT）模型学习多对多映射函数f，以将一种语言翻译成另一种语言。
. m- @) {1 X4 {( S7 M
为了区分不同的语言，作者在每个句子之前添加了一个额外的语言识别标记，用于源端和目标端。
6 t6 L9 L8 H3 ]7 M. R mRASP2的基础架构采用的是最先进的Transformer模型。与之前的相关工作略有不同，作者选择了12层编码器和12层解码器，更多的层数可以增加模型的容量。
8 a+ A+ R. v: M 为了简化深度模型的训练，作者对编码器和解码器的Word Embedding和Pre-norm Residual Connection应用Layer Normalization。
0 D. Q/ T; c3 ~$ T 因此，作者的多语言NMT比Transformer模型强得多。
9 j7 m0 i* |/ V" h! p( R
作者定义了
+ Y$ E# B, |/ @
4 Y5 ~" U& h4 x5 n 其中L是涉及训练阶段的M种语言的集合。
; L+ B; @$ V3 t+ e( B M! N' b& }. x
$ q; @2 i& J" @( M/ e) w# E5 _
表示
; {" r- f$ L, h% k# t
6 L* o0 H$ l/ Q; v: C4 R s 的平行数据集，
" J: m+ C2 J, @5 s7 {$ C) [
D表示所有平行数据集。该模型训练的损失函数采用了交叉熵的形式，定义为：
9 L- r) ^1 k$ I! Z: {
% ? y2 d& \4 v5 x9 { $ q( L9 C! B6 H8 A0 V! d
其中
, a: C3 |' G4 P; s9 a
J+ ~, X; m- p o' M. H
语言中的一个句子，
) }; z; o3 y5 r$ ~
4 e6 ?0 V W# c6 g 是多语言Transformer模型的参数。
9 l( b* G7 r& L1 `: c 多语言对比学习
# ]' G% h7 y4 X4 G4 `
模型采用了多语言转换器来隐式地学习不同语言的共享表示。mRASP2引入了对比损失来明确地将不同的语言映射到共享的语义空间。
1 }( ~ H: b: U' }% `; B! h' g9 O" Y
对比学习的关键思想是最小化相似句子的表示差距，最大化不相关句子的表示差距。
) f8 p! O+ s: j/ A$ a 形式上，给定一个双语翻译对
8 I- V% H* T F4 [
w0 T. X" n7 c) U! A8 O6 m 对比学习的目标是最小化以下损失：
1 R& J }/ s/ i3 x H! h
! Q" B; [0 j3 r" l" |9 }7 c( P
) `+ k# ^2 A4 ] 其中sim(.)计算不同句子的相似度。＋和-分别表示正样本还是负样本。
) J+ ^3 n' I: w2 \+ P
; M2 S r' V! [# k" N! {6 r% @ 表示任意句子s的平均池化编码输出。
C A4 Q( u+ G: ~* l% h* u
$ i, O* ]- J3 r& t
控制着区分正样本和负样本的难度。
" h, w& M0 o8 i. N% b
在mRASP2的训练过程中，可以通过联合最小化对比训练损失和翻译损失来优化模型：
1 R. s7 K' N. ~& v% d- r- O: m
6 m: ^& a7 u6 B/ w% ?8 L b
其中λ是平衡两个训练损失的系数。
# i& U2 n7 w* n3 v: d2 V# P
5 u6 c. i* m7 J" n8 L! h 对齐增强
2 R+ F: U& v: S 作者基于前人提出的随机对齐替换（Random Aligned Substitution, RAS）技术——一种为多语言预训练构建代码切换句
+ U/ W, j5 Z- O g+ T( I
9 Z9 ?6 t8 M" K. e [& J/ w$ Y
9 ^5 j& u/ i2 }2 u( Q4 k: } 03 实验
$ G8 C3 @& h3 T9 ^% n$ b: U& k
以英语为中心的方向
+ |7 L' y; o8 d! @! @/ b
表1和表2中罗列了作者实验中得到的具有代表性的多个翻译方向的性能增益结果。
, Q( h8 z4 S" _3 _( {' m3 b
表1 监督翻译方向上的性能对比。图2 attention score 和attribution score 示意图监督翻译如表1所示，mRASP2在10个翻译方向上显著提高了多语言机器翻译的基线。以前，多语言机器翻译在资料丰富的场景中表现不佳。
1 Q2 c# ^$ K$ K- O 作者总结了其成功训练的关键因素包括：
! u+ h& s# C0 k" ?# D8 M （1）提高了训练批次：每批包含大约300万个词；
( j+ n) M- S) Z' ~- p0 y" Y
（2）增大了模型层数：从6层扩大到了12层；
; o, B2 F" U T, O7 O# m
（3）使用正则化方法来稳定训练。
, T& n+ i( d/ u$ u5 ` _
无监督方向如表2所示，作者观察到mRASP2在无监督翻译方向上取得了明显有效的结果。实验中，m-Transformer模型永远不会观察到En-Nl、En-Pt和En-Pl的语言对，即它在En→X的翻译方向上完全无效。相比之下，mRASP2平均获得+14.13BLEU分数，而没有明确引入这些方向的监督信息。
! h" Z( E3 o3 Z. e; j 此外，mRASP2在Nl↔Pt方向上获得了明显有效的BLEU分数，即使它只在双方的单语数据上进行了训练。这表明通过在统一框架中简单地将单语数据与平行数据合并，mRASP2就可以成功地实现了无监督翻译。
% t0 k6 U0 _# z- d. t 非英语方向的零样本翻译
K/ t8 ?9 K' m' X U- l 表3 零样本翻译性能对比零样本翻译一直是多语言神经机器翻译中的一个有趣话题。以前的工作表明，多语言NMT模型可以直接进行零样本翻译。
- a( C% L/ `( t 作者在OPUS-100零样本测试集上评估了mRASP2。作者发现mRASP2性能显著优于m-Transformer，并且大大缩小了与基于Pivot的模型的差距。这符合作者的直觉，即弥合不同语言的表示差距可以改善零样本翻译。
: y. q8 S. y! ?. h+ D 作者认为主要原因是对比损失、对齐增强和额外的单语数据能够更好地表示与语言无关的句子。值得注意的是，其他模型是以牺牲英语为中心方向上翻译质量作为代价实现了零样本翻译的性能提升。
! Y" K% c* P0 ]5 ]% U. Q n! N
相比之下，mRASP2在不损失以英语为中心的方向上的性能的情况下，大大提高了零样本翻译的性能。因此，mRASP2具有服务于多对多翻译的巨大潜力，包括以英语为中心和非英语方向。
9 S8 B# ^6 k n4 c; @) \0 X- v$ J' I 消融实验
6 ]1 N7 F, m; r$ K/ U6 W 表4 mRASP2在不同设置下在不同场景中的平均BLEU汇总为了更好地解释mRASP2的有效性，作者评估了不同设置模型的性能。作者总结了表4中的实验结果。
; @+ v) \$ N/ m ①对③：③在有监督和无监督的场景中的性能与m-Transformer相当，而在零样本翻译方面实现了显著的BLEU改进。这表明通过引入对比损失，作者可以在不损害其他方向的情况下提高零样本翻译质量。
( K$ b% Q; \5 g: t2 n$ u. Z: {
②对④：②在零样本方向上表现不佳。这意味着对比损失对于零样本方向的性能至关重要。
J& O y+ e- V# D9 ]/ j; w. E) D) |- ? ⑤：mRASP2在所有三个场景中都进一步改进了BLEU，尤其是在无监督方向上。
& k4 y" o3 l0 D6 ^ 相似性搜索
' ~- b$ W3 ^! w0 e5 z L4 Q _" A' | 图3 精度改进图，更深的红色意味着更大的改进。mRASP2 w/o AA模型与m-Transformer模型的精度差（左），mRASP2模型与mRASP2 w/o AA模型的精度差（右）如图3所示，为了验证mRASP2是否学习了更好的表示空间，作者进行了一组相似性搜索实验。相似度搜索是根据余弦相似度寻找另一种语言中每个句子的最近邻的任务。
- F* N0 k$ j, K4 {$ j+ x 作者使用相似性搜索任务的准确性作为跨语言表示对齐的定量指标，并用实验证明了mRASP2更有利于这项任务，因为它拟合了跨语言的表示差距。
# G. t2 a+ x) S% n: d, M4 q
可视化
0 n+ R/ M! d* F% r+ z
图4 使用T-SNE降维到2维后表示的双变量核密度估计图。蓝线是英文，橙线是日文，绿线是德文。为了可视化跨语言的句子表示，作者在Ted-M中检索每个句子的句子表示，在高维空间中产生34260个样本。
/ I0 G. a2 `6 k3 N5 e2 i
为了便于可视化，作者应用T-SNE降维方法将1024维降到2维。然后作者选择3种代表性语言：英语、德语、日语，并基于2维表示描述双变量核密度估计。
# w' S% b0 J; a1 q* H
在图4中明显可以看到，m-Transformer无法对齐3种语言。相比之下，mRASP2更接近地绘制了3种语言的表示。
' I9 m8 j! V. X( e
04 结论
3 K& d5 Q( n, [6 F& j# [
本篇论文中，作者证明了对比学习可以显著改善零样本机器翻译性能。结合额外的无监督单语数据，作者在多语NMT的所有翻译方向上均取得了实质性的改进。
3 F" V) T- n& J7 |6 d3 M 通过分析和可视化mRASP2，发现对比学习倾向于缩小不同语言的表示差距。
; o A$ r/ ?2 u$ |2 ]
作者的结果还表明了训练出真正的多对多多语言NMT的可能性，该NMT在任何翻译方向上都能很好地工作。
i# r& L) a) r 通过对本篇论文的解读，我们能够发现机器翻译正在向多个不同的研究方向继续深入发展：
; k5 n& o' r9 T, U （1） 英语方向翻译正在朝非英语方向进行横向扩展和迁移学习；
0 _7 [' Q8 W! b3 R$ {6 G6 G! o （2） 语言特征表达正在朝更多维度和更有解释性的维度进行扩展，比如本文的多语言融合特征缩小了语言表达差距并进行了可视化。
3 L" m/ e/ n3 s" [ P
（3） 多语言统一翻译模型的构建成为趋势。
. r7 d7 D: W. j
注：本篇论文的代码、数据和训练模型均可从Github上获得：
% V& Z6 m* P4 W& N2 ] https://github.com/PANXiao1994/mRASP2
9 d+ ^7 J3 N& i$ n& f1 ]3 t 私信我领取目标检测与R-CNN/数据分析的应用/电商数据分析/数据分析在医疗领域的应用/NLP学员项目展示/中文NLP的介绍与实际应用/NLP系列直播课/NLP前沿模型训练营等干货学习资源。
K% Y5 E' `: U; R, ^' N 
