Facebook AI представила новую систему машинного перевода M2M-100

Facebook предоставил открытый исходный код M2M-100 — алгоритм, который является первым, способным переводить между любой парой из ста знакомых ему языков. Он способен переводить с одного языка на другой напрямую, не используя английский в качестве промежуточного.

Модель машинного обучения, которая была натренирована на 2200 языковых парах, превосходит англоязычные системы по метрике, обычно используемой для оценки производительности машинного перевода.

Для создания M2M-100 исследователи Facebook решили руководствоваться тремя критериями при выборе языка. Они стремились включить языки из разных семей с географическим разнообразием и широко распространенные. Затем они сузили список до тех, по которым существуют оценочные данные, чтобы было легче дать количественную оценку эффективности модели. Наконец, из остальных языков они исключили те, по которым отсутствовали данные на одном языке.

Исследователи Facebook избегали пар, для которых потребность в переводе была статистически редкой (например, исландско-непальский или сингальско-яванский), и ввели «стратегию наведения мостов», в которой языки были сгруппированы в 14 семейств на основе классификации, географии и культурного сходства.

Идея состояла в том, что люди, живущие в странах с языками, входящими в одну группу, будут чаще общаться друг с другом и пользоваться более качественными переводами. Например, одна семья могла бы включать в себя ряд языков, на которых говорят в Индии, таких как бенгальский, хинди, маратхи, непальский, тамильский и урду.

Модель обучали на наборе данных из более чем 7,5 млрд предложений как из базы Facebook, так и из других источников. При разработке использовали инструмент CommonCrawl, который поддерживает открытый репозиторий данных веб-сканирования, и систему классификации текстов FastText, которую в Facebook представили несколько лет назад.

Facebook AI отметила, что эта модель может быть полезной не только при машинном переводе, но и при изучении языков, а также пообещала предоставить исследователям набор данных обучения и оценки модели.