Параллельный корпус Организации Объединенных Наций

Отказ от ответственности и условия пользования

Пользователь принимает следующий «Отказ от ответственности», являющийся неотъемлемой частью Параллельного корпусa Организации Объединенных Наций (United Nations Parallel Corpus v1.0) (другие ограничения не применяются):

• Параллельный корпус Организации Объединенных Наций публикуется без каких-либо гарантий, явно выраженных или подразумеваемых. Организация Объединенных Наций особо указывает на то, что она не дает никаких гарантий или заверений относительно точности или полноты информации, содержащейся в Корпусе Организации Объединенных Наций.
• Ни при каких обстоятельствах Организация Объединенных Наций не несет ответственности за какие-либо причиненные или понесенные потери, обязательства, вред или ущерб, возникшие якобы в результате использования Корпуса Организации Объединенных Наций. Риск, связанный с использованием Параллельного корпуса Организации Объединенных Наций, ложится исключительно на пользователя. Пользователь прямо подтверждает и соглашается, что Организация Объединенных Наций не несет ответственности за поведение любого пользователя. Если пользователь не удовлетворен материалами, содержащимися в Корпусе Организации Объединенных Наций, то единственное, что он может сделать, — это прекратить пользоваться Корпусом.
• При использовании Корпуса Организации Объединенных Наций ссылка на Организацию Объединенных Наций как на источник информации обязательна. При оформлении библиографической записи просьба указывать следующую публикацию: Ziemski, M., Junczys-Dowmunt, M., and Pouliquen, B., (2016), The United Nations Parallel Corpus, Language Resources and Evaluation (LREC’16), Portorož, Slovenia, May 2016.
• Ничто в настоящих условиях не является и не может считаться ограничением или отказом от привилегий и иммунитетов Организации Объединенных Наций, которые защищены особыми положениями.

Структура и формат файлов

Для каждого языка создается отдельный каталог, внутри которого документы распределяются по подкаталогам по году выпуска, а затем – по условному обозначению публикации. Такая единая для всех языков система организации файлов позволяет без труда определить местонахождение (адрес) документа на языке оригинала в системе и затем отыскать его же в переводе на любой из официальных языков (если таковой имеется), используя аналогичный путь к файлу в каталоге искомого языка.

Для отдельных документов было решено использовать формат TEI Параллельного корпуса документов Европейского союза JRC-Acquis. Документы сохраняют первоначальную структуру деления текста на абзацы (пункты), которые затем автоматически разбиваются на отдельные предложения. Документы, существующие в переводе на несколько языков, соединены с соответствующими файлами для каждой из языковых пар, которых в общей сложности насчитывается не более 15.

В дополнение к пакету, структурированному по принципу «один документ — один файл», мы предлагаем также комплекты битекстов (без форматирования), объединяющие все документы, существующие в заданной языковой паре. Такие комплекты можно практически сразу начинать использовать в процессах «обучения» инструментов СМП.

Подробнее о процессе создания Корпуса см.: Ziemski, M., Junczys-Dowmunt, M., and Pouliquen, B., (2016), The United Nations Parallel Corpus, Language Resources and Evaluation (LREC’16), Portorož, Slovenia, May 2016.

Наборы данных для тестов и разработки

Официальные комплекты для разработки и тестирования были созданы по всем языковым парам с использованием данных документации 2015 года. Из этих документов методом произвольной выборки было отобрано 100 документов: 50 для разработки и 50 для тестирования. Как и в случае с многоязычным подкорпусом параллельных текстов, каждое предложение в комплектах для тестирования и разработки воспроизводится на всех официальных языках, что позволяет оценивать перевод в любом направлении.

Подробнее о базовых параметрах машинного перевода см. Ziemski, M., Junczys-Dowmunt, M., and Pouliquen, B., (2016), The United Nations Parallel Corpus, Language Resources and Evaluation (LREC’16), Portorož, Slovenia, May 2016.

Метаданные документов

Каждому документу, преобразованному в файл в формате XML, в обязательном порядке присваиваются метаданные:

Symbol (Условное обозначение)

Каждый документ Организации Объединенных Наций имеет уникальное условное обозначение, которое сохраняется за ним во всех языковых версиях. Условные обозначения состоят из букв и цифр. Некоторые (но не все) элементы условного обозначения несут в себе определенную информацию о документе. Как правило, условное обозначение не отражает тему документа.

Translation job number (Номер переводческой работы)

Уникальный идентификатор для каждого языка.

Publication date (Дата публикации)

Дата первоначального опубликования документа под данным условным обозначением, одинакова для всех языков. Она может не совпадать с фактической датой выпуска каждого отдельного документа.

Processing place (Место публикации)

Это может быть Нью-Йорк, Женева или Вена.

Keywords (Ключевые слова)

Любые затрагиваемые в документе темы/вопросы, имеющиеся в словаре Системы официальной документации (СОД), который составлен на основе тезауруса Библиографической информационной системы Организации Объединенных Наций.