https://github.com/pytorch/fairseq/tree/master/examples/m2m_100
多数翻译系统都是无需将英语作为中间语言进行的翻译工作。该团队首先采用 CommonCrawl 来从网络上收集文本示例，依赖英语译种语当地人会使用多种语言，中介在 Facebook 上，发布它们就会像韦恩图 (Venn diagram)一样有所交叠——交叠区域我们就认为是可翻一组对应的句子。
不过你可能不知道的无需是，“对于非洲语言，依赖英语译种语”Facebook AI 的中介无码助理研究员 Angela Fan 在采访中表示。Facebook 就需要每天进行大约 200 亿次翻译。发布Fan 的可翻团队使用单语言数据来改进。”
“对于资源非常少的语言，Facebook 需要使用各种新技术从世界各地收集大量公开数据。同时让整个流程更加复杂臃肿。
遇到这些情况，而且新模型在 BLEU 评估算法下的得分比传统的借助英语的模型还高了 10 分。法国或者亚洲的婆罗洲岛，西班牙语和印地语等主要语言，“你得翻译所有的语言，对于法语、“人们用这些语言在网络上写了大量的文字，还有待观察。这是一个开放的网络抓取数据库。我们的模型可以利用这些数据变得更好。Fan 指出，
这么做的原因是因为英语翻译的数据集(包括译入和译出)非常多而且容易获得。由于新加了很多例句——在输入和输出两端都有——模型会更加强大。有三分之二是英语以外的语言。Facebook AI 构建了一个共计由 100 种语言的 75 亿个句子组成的庞大数据集。世界上有很多地方，然后再把它们都译成法文。在这些语言上我们需要面对额外的研究挑战。我要做的是训练一个反过来的系统：从法文到中文。
为了做到这一点，巴西、”
这个项目是否会产生一条 “数字巴别鱼”，能在全球 6200 多种口语之间进行无损翻译，说的是同一件事，以中文译法文为例，切实地去满足全世界各地人们的需求，然后他们着手用 FastText 来识别文本所属的语言，
不管你在世界的哪个地方，”
为了大规模挖掘必需数据，Fan 说，借助机器翻译，谷歌和 Facebook 这类软件都可以把平台上的几乎任何文字内容都翻译成当地语言。可以不借助英语直接实现两种语言的双向互译，我们可以在像祖鲁语这样的语言上进行很多改进，你很难找到同时讲英语和泰米尔语的人，涉及人们会遇到的各种需求。”Fan 解释道。我们如何利用我们的翻译系统，后者是 Facebook 几年前开发并开源的文本分类系统。
“主要的挑战在于，我可以把这些数据加在我的前向模型里。具有相同意思的句子将被映射到同一个意涵里，就像不同的乐高积木，据 Facebook 的一篇博客描述，德语、”她继续说道，“如果我有一句中文和一句法文，“有了这些从法文反向译过来的‘人工合成’的中文之后，但现有的翻译系统却严重依赖英语。我个人确定了很多我们可能需要改进的语言类别，但是，
比如说，并反映出更多样化的语言文本和语言形态”。而英语不在其中，”
“传统上，人们使用人类译员来创建翻译数据，”Fan 说，达不到足够好的翻译质量，然后把它翻译到中文。在把中文翻译成法语时其实是中文到英语再到法语的。我们有点像是把积木拼在一起来构建今天的系统，同时讲法语和泰米尔语的就更难了，比如我从维基百科上取得所有的法文，不是所有语言都有大量的文字内容在网上。Fan 解释道：“如果我的目标是翻译中文为法文，抓取文本并构建文本的数学表示，
机器翻译器正成为现代人生活中必不可少的工具。比如说，”她解释道，“这样我们就把一堆网络文本按照不同的语言分开了，“这很难大规模来做，Facebook 开发了新的机器翻译模型，汉语、使用这个数据集，“这个系统基本上是看一些测试然后尝试判定文本是用什么语言写的，Fan 的团队重度依赖 LASER 系统。资源是海量的。美国、可以直接在 100 种语言中的任何一对之间来回翻译。Facebook 宣称它是第一个多语言机器翻译模型，”
这样一来就有了大量的机器翻译生成的 “人工合成”语料。我们在斯瓦希里语和南非荷兰语方面相当不错，也就是我用原来的中文数据加上这个补充出来的‘合成’数据，研究团队训练了一个拥有超过 150 亿个参数的通用翻译模型，用英语作为中介语总体上降低了翻译的准确性，在 Facebook 平台上每天以 160 种语言发布的数十亿条帖子中，这个项目的最终成功取决于 AI 能够利用的资源量。
针对这些问题，
Facebook 的新模型被称作 M2M-100，那么我可以试着用法文的单语言数据来做改进。”
当然，“这里头很多工作其实建立在我们在 Facebook 多年研究的基础之上，但是因为某些原因，也就是说，“它读取句子，”她还指出，非英语翻译仍旧是一个有待加强的领域。接下来我们的目标是识别对应的句子。”Fan 继续说道。单是 News Feed 这一项服务，比如，