Перевод содержимого/Машинный перевод/Yandex

Начиная с 4-ого ноября 2015 года, система машинного перевода разработанная Yandex стала доступной для пользователей Перевода содержимого. Вследствии популярности среди русскоязычных пользователей Википедии, включение Яндекс.Переводчика в список сервисов машинного перевода было сделано на основе запросов пользователей. Изначально этот сервис был представлен, как инструмент для перевода статей Википедии с английского языка на русский. На данный момент сервис включает в себя поддержку всех доступных языков, предусмотренных Яндексом.

Яндекс.Переводчик разработан Яндексом — российской компанией в отрасли информационных технологий. Начиная с конца 2014 года, команда Фонда Викимедиа и команда Яндекса объединились, чтобы разработать соглашение, которое позволит использовать Яндекс переводчик, не нарушая при этом политику Викимедии на присвоение прав, конфиденциальность данных пользователей, а также на реперезентацию бренда. Вы можете ознакомиться с деталями соглашения ниже. Мы будем рады услышать ваши вопросы, которые могут возникнуть при использовании данного сервиса.

Ключевые особенности

• Никакая информация о пользователе не передается Яндексу. Доступ к системе машинного перевода осуществляется через общедоступный ключ API. Информация статьи, защищенная свободной лицензией, отправляется с серверов Фонда Викимедиа на сервера Яндекса. При этом не возникает никакого внешнего взаимодействия между пользователем и сторонними сервисами. Также информация пользователя, а именно IP-адрес и имя пользователя, не передается серверам Яндекса. Контакт с Яндексом происходит на уровне открытого исходного кода, который вы можете просмотреть по этой ссылке. Никакая часть сервиса или кода Яндекса не будет частью архитектуры Викимедии или кодовой базы Перевода содержимого.

• Информация поступающая от Яндекса будет находиться под действием свободной лицензии. При использовании сервисов Яндекса, весь переведенный текст статей Википедии, охватывается свободной лицензией. Пользователи могут отредактировать перевод и опубликовать его как часть Википедии, не нарушая при этом политику пользования. Полученный перевод при помощи сервисов Яндекса, а также пользовательские версии перевода доступны под действием свободной лицензии, также как и обычные статьи Википедии.

• Приносит пользу большому сообществу переводчиков. Переводы полученные при помощи Яндекса, а также пользовательские версии переводов будут находиться в открытом доступе. Впоследствии отредактированные пользователями машинные переводы вызывают сильный интерес со стороны сообщества, занимающимся исследованиями переводов. Эти сообщества могут опираться на эти переводы для создания новых систем перевода для поддержки языков, не имеющих машинного перевода. Это поможет разработчикам создавать и улучшать системы машинного перевода.

• Пользователи могут отключить данную функцию. Автоматический перевод это дополнительная функция в инструментах Перевода содержимого. Пользователи могут отключить функцию автоматического машинного перевода, если она им не нужна. Не смотря на это, многие русскоязычные пользователи используют эту функцию. Каждый пользователь сам для себя решает, будет он использовать данный сервис или нет.

Краткое содержание соглашения с Яндекс

Обязательства со стороны Яндекс

• Предоставить ключ API Яндекса переводчика Фонду Викимедиа на бесплатной основе, что позволить добровольцам переводить статьи Викимедиа
• Позволить переводить волонтерам до 10 миллионов знаков в день (сильно больше чем их общедоступный объём)
• Предоставить Викимедиа статистику по количеству знаков в отправленных запросах

Обязательства со стороны Фонда Викимедиа

• Предоставлять версии перевода, созданные пользователями с помощью инструментов перевода, для того чтобы Яндекс мог улучшать сервис
• Персональная информация пользователей не будет раскрыта.
• На сервера Яндекса будет отправляться только информация связанная с текстом, а именно его оригинальное содержание, исходный язык, а также язык на который совершается перевод.
• Переводы, опубликованные пользователями при помощи сервисов машинного перевода, а также без них, будут предоставляться в форме параллельного текста с помощью API Перевода содержимого. Это API будет постепенно улучшаться и результаты будут доступны всем.

Важные замечания

• Весь контент будет находиться под защитой свободной лицензии CC BY-SA 3.0
• Яндекс не претендует на расположение лэйбла бренда на сайтах Викимедии, помимо указания Яндекс.Переводчика в списке средств машинного перевода, расположенного в раскрывающемся меню
• Обмен личной информации пользователей происходить не будет
• Срок соглашения составляет 1 год. В этот переиод мы можем поменять свои запросы
• Мы в праве расторгнуть соглашение по любому поводу, в любое время (за 30 дней от этом придёт уведомление)
• Данное соглашение регулируется в соответствии с законодательством США

Часто задаваемые вопросы об этом сервисе

В этом разделе расположены часто задаваемые вопросы о Яндексе. Ответы на них также доступны на странице часто задаваемых вопросах о Переводе содержимого.

Какие языки поддерживаются Яндексом? Есть ли планы по увеличению их числа?

В настоящее время Яндекс имеет поддержку более чем 70 языков. Если Яндекс добавит поддержку других языков мы также будем иметь к ним доступ. Имейте в виде, что машинный перевод Яндекса не доступен при создании страницы на английском языке.

В чем отличие использования Яндекса от других сервисов машинного перевода?

Как пользователь Перевода содержимого, вы не почувствуете каких-либо различий в интерфейсе, так как Яндекс.Переводчик отображает переведенный текст в таком же виде как и Apertium отображает результат для поддерживаемых 45 языковых пар.

Как будет происходить машинный перевод если я выберу Яндекс.Переводчик?

Яндекс предоставляет ключ API, который позволяет сайтам и другим сервисам использовать систему перевода Яндекса. Инструменты Перевода содержимого также имеют собственный ключ API для доступа к данному сервису. В то время когда пользователь начинает переводить статью, HTML содержимое каждого раздела исходной статьи отправляется на сервера Яндекса. Полученная переведенная версия выводится в соответствующий столбец в инструменте Перевода содержания. Ссылки, а также источники перестают быть активными и их можно редактировать как обычный текст.

Этот процесс продолжится пока все разделы статьи не будут переведены. Для лучшего функционирования, статьи, расположенные друг за другом проходят предварительную выборку. Пользователь может сохранить незавершенный перевод, чтобы в последствии вернуться к нему. Статья публикуется, как и все нормальные статьи, с соответствующей атрибуцией и лицензиями.

На этой диаграмме показан подробный процесс перевода.

Яндекс не основан на открытом программном обеспечении. Почему мы используем его?

Перевод контента развился из давней необходимости преодолеть разрыв в количестве контента между Википедиями на разных языках. Как и все другие программы, используемые на сайтах Викимедиа, перевод контента также является открытым исходным кодом. В этом конкретном случае мы используем open source client для взаимодействия с внешней службой и импорта свободно лицензированного контента, чтобы помочь пользователям расширить наши свободные знания.

При использовании Яндекс.Переводчика, мы не добавляем какое-либо закрытое программное обеспечение в исходный код Перевода содержимого или на сайты и сервера Википедии. Услуга бесплатна и доступна для всех.

Яндексу передается только содержание статьи Википедии, находящееся в свободном доступе. Полученный переведенный текст может быть использован на страницах Википедии. Переведенный контент может быть отредактирован пользователями и эти данные также находятся в публичном доступе под защитой свободной лицензии при участии API Перевода содержимого. Эта полезная функция позволяет сообществам разрабатывать сервисы по переводу с открытым исходным кодом для тех языков, у которых пока нет такого сервиса.

После тщательного изучения последствий, факт того, что ранее контент располагался на сервисе с закрытым исходным кодом, не ограничивает свободу наших знаний или нашего программного обеспечения как в настоящем, так и в будущем. Мы очень серьезно подходим к тому, чтобы полученный контент был защищен свободной лицензией, соответствующей политике Википедии. Этот процесс включает в себя долгую юридическую и техническую оценку, а также оценку соответствия установленных требований.

Отзывы пользователей показывают, что поддержка машинного перевода действительно полезна для пользователей. Мы готовы лучшим способом поддерживать все существующие языки. Руководствуясь принципами постановления Фонда Викимедии для поддержки бесплатного и открытого программного обеспечения, мы будем уделять особое внимание внедрению сторонних сервисов, не смотря на то доступны они для данного языка или нет. Apertium являлся очень важной частью Перевода содержимого с момента возникновения, но на данный момент, эта платформа поддерживает машинный перевод только для 30 возможных языковых пар, которые могут поддерживаться Википедией.

Стоит ли опасаться за конфиденциальность моих персональных данных при использовании Яндекса?

Независимо от того какой сервис используется, вы можете быть спокойны за свои персональные данные. На сервера передается только информация из существующих статей Википедии и только контент защищенный свободной лицензией будет добавлен в перевод. Вся связь с сервисами происходит посредством использования сервера, который не связан с устройством пользователя. Вы можете обратиться к этой диаграмме для получения дополнительной информации.

Что делать если Яндекс.Переводчик это единственный доступный сервис машинного перевода и я не хочу его использовать?

Машинный перевод является дополнительной функцией в Переводе содержимого. Эту опцию можно отключить когда вам угодно. Если для вашего языка существует несколько систем машинного перевода, вы можете снова включить машинный перевод и выбрать любой сервис машинного перевода из доступных.

Будет ли контент, переведенный при помощи Яндекс.Переводчика, свободным для использования в Википедии?

Будет. В противном случае перевод полученный при помощи Яндекс.Переводчика находится в свободном доступе на платформе веб-перевода. Перевод содержимого получает перевод посредством API ключа, что делает его доступным в интерфейсе перевода. Полученный перевод может быть отредактирован пользователями и использован в Википедии при поддержке свободной лицензии.

Можно ли использовать этот контент для улучшения систем машинного перевода в общем случае?

Да. Все переводы, произведенные в Переводе содержимого, сохраняются в нашу базу данных. Эта информация находится в публичном доступе, что позволяет использовать примеры переводов для улучшения сервисов перевода, созданные кем угодно, от университетских исследовательских групп до проектов коммерческих компаний с открытым исходным кодом. Информация доступна при использовании API Перевода содержимого. Заметьте, что публично доступна только та информация, которая напрямую связана с переведенным текстом. В эту информацию входят исходный и переведенный тексты, исходный язык и язык на который делается перевод, а также идентификатор сегмента текста.