Выравнивание текстов на коми и русском языках

Выравнивание по строчкам (предложениям) текстов на двух языках имеет своей целью создание параллельного корпуса текстов, который затем будет использован как (в частности) база данных для онлайн переводчика.

Источники

Источниками параллельных текстов являются тексты учебной, художественной, публицистической и официальной литературы.
Как правило это оригиналы на русском и их переводы на коми язык.
Большинство текстов художественной, публицистической и учебной прозы на коми языке получены в результате распознавания отсканированного материала сотрудниками лаборатории.
Художественные, публицистические и учебные тексты на русском языке, как правило, скачаны с просторов интернета.
Источником официальных текстов является база бюро официального перевода и публикации в издании "Ведомости нормативно-правовых актов органов государственной власти Республики Коми".
Частично учебные тексты, а также тексты официальных сайтов переводятся с русского на коми сотрудниками лаборатории.
Переводы интерфейсов сайтов, приложений и т.п., а также материал словарей также планируется включить в параллельный корпус.

Порядок выравнивания

Тексты очищаются в текстовом редакторе (xed, gedit и т.п.) от лишних элементов.
Файлы с расширением .txt загружаются  в папки ru и kv папки input. 
В терминале запускается программа деления по точке с учетом исключений pt.py.
Результат, два файла с расширением .txt, забираем из папки output.

Автоматически разбитые на предложения русский и коми файлы сравниваются в программе WinMerge. Выправление идет, как правило, по тексту оригинала. Но если два и более предложения переведены одним, то исходные предложения объединяются в  одну строчку.
Крупные части русского текста, которые не имеют соответствия в коми переводе, удаляются.
Если в оригинале или переводе нет соответствия отдельному русскому или коми предложению, во втором варианте проставляется тег abu ("нет" по-коми). 
В дальнейшем, коми предложения, соответствия которым по каким-то причинам нет в русском тексте, должны быть переведены на русский язык и добавлены в русский текст.

Особенности обработки художественных текстов

Тексты художественной прозы в свое время переводились с русского на коми весьма вольно. 
Когда сбор параллельных текстов у нас только начинался (в 2021 г.), мы решили при выравнивании сразу подвергать коми переводы частичному исправлению в целях приближения к смыслу оригинала.  Орфография коми текстов приводилась в соответствие с ныне действующими правилами, частично модернизировалась и лексика, т.к. в эпоху советской русификации исконная коми лексика активно вытеснялась из литературного языка, поэтому в переводах наблюдается явный перебор с заимствованиями. В русле этого подхода было выравнено ок. 90 тыс. предложений.
В 2022 году мы пришли к убеждению, что аутентичный перевод также представляет ценность как историческое явление, которое может быть представлено обществу в виде онлайн сервиса "Параллельный русско-коми корпус". Возобладавший принцип сохранения аутентичности, выразился в том, что на этапе сбора параллельного корпуса исправлению подлежали только явные опечатки в коми и русских текстах. В рамках реализации данного принципа выравнены ок. 450 тысяч предложений.
Дальнейшая предобработка текстов - орфографическая унификация и модернизация лексики, остается на этап подготовки параллельного корпуса к загрузке в нейросеть. 
Остается спорным вопрос модернизации лексики. Здесь необходимо выработать четкие критерии, внесение каких изменений является функционально необходимым, а что является избыточным.

Проверка результатов онлайн

Тексты загружаются в специальный раздел на сервере в папки ru и kv.
Запускается скрипт обновления базы.
Поиск предложений осуществляется по русской лексеме с учетом дополнительных опций в русско-коми корпусе параллельных текстов, онлайн-сервис которого  открыт всем пользователям сети интернет.
Результат выдается парами предложений (ru-kv) с выделенным искомым русским словом.
Для проверки результатов дальнейшей обработки текстов создан аналогичный сервис для служебного использования.

Состав параллельного корпуса

Художественная литература

Ранний этап сбора - тексты на коми языке подвергались редактированию в целях приближения к русскому варианту:

№1
Вӧвлӧмтор? Али вӧвлытӧмтор? @ 2010 - Было? Или не было?
Г. Х. Андерсен. Мойдъяс @ 1952 - Сказки.
Семён Бабаевскӧй. Зӧлӧтӧй Звездаа кавалер @ 1948 - Кавалер Золотой Звезды.
Байдуков Г. Полюс вомӧн Америкаӧ @ 1950 - Через полюс в Америку.
П. Бажов. Турунвиж чирк @1952 - Зеленый кузнечик.
П. Бажов. Сказъяс @ 1953 - Сказы.
Виталий Бианки. Великӧй морскӧй туйӧ @ 1950 Великий морской путь.
Чарльз Дикенс. Тӧргӧвӧй агент дядьлӧн история @ 1939 - История дяди торгового агента.
Альфонс Додэ. Менам мельничасянь письмӧяс @ 1939 - Письма с моей мельницы.
kv Павел Доронин. Мойд небӧг @ 2004 - Книга сказок.
Анатоль Франс. Кренкбиль @ 1939 - Кренкибиль.
Д. Фурманов. Краснӧй десант @ 1940 - Красный десант.
А. Гайдар. Чук да Гек @ 1948 - Чук и Гек.
Аркадий Гайдар. Вӧрын тшын  @ 1950 - Дым в лесу.
А. Гайдар. Гӧлубӧй чашка @ 1957 - Голубая чашка.
В. Гаршин. Путешествуйтысь лягушка @ 1951 - Лягушка-путешественница.
О. Генри. Гӧрдкучикаяслӧн вождь @ 1939 - Вождь краснокожих.
С. Георгиевская. Ичӧтик салдатскӧй пурт @ 1951 - Маленький солдатский ножик.
Э. Т. А. Гофман. Бӧчкаяс вӧчалысь мастер Мартин да сылӧн подмастерьеяс @ 1939 - Бочарных дел мастер Мартин и  его подмастерья.
М. Горький. Январь 9-ӧд лун @ 1939 - 9 января.
Говард Фаст. Тони да волшебнӧй ӧдзӧс @ 1957 - Тони и волшебная дверь.
В. К. Гримм, Я. Гримм. Рок гырнич. Кӧч да ёж @ 1939 - Горшок каши.
Л. Кассиль. Дядя Коля, гуткыйысь @ 1939 - Дядя Коля, мухолов.
Евгений Коковин. Соломбалаын челядьдыр @ 1952 - Детство с Соломбале.
В. Г. Короленко. Макарлӧн вӧт @ 1953 - Сон Макара.
В. Г. Короленко. Рассказъяс @ 1954 - Рассказы.
В. Кожевников. Война йылысь висьтъяс @ 1942 - Рассказы о войне.
Д. Н. Мамин-Сибиряк. Алёнушкалӧн мойдъяс @ 1952 - Алёнушкины сказки.
С. Маршак. Дас кык тӧлысь @ 1953 - Двенадцать месяцев.
Мадьяръяслӧн Матяш король йылысь мойдъяс @ 2000 - Сказки о венгерском короле Матяше.
Носов Н. Н. Толя Клюквинлӧн приключениеяс @ 1963 - Приключения Толи Клюквина.
К. Паустовскӧй. Гожся лунъяс @ 1949 - Летние дни.
П. Павленко. Шуд @ 1950 - Счастье.
Евгений Пермяк. Пичугин пос @ 1962 - Пичугин мост.
Перро Шарль. Гӧрд Шапочка @ 1949 - Красная Шапочка.
А. Первенцев. Володька — партизанскӧй пи @ 1940 - Володька — сын партизана.
А. Погорельскӧй. Сьӧд курӧг либӧ Мупытшса олысьяс @ 1950 - Чёрная курица или подземные жители.
М. Прилежаева. Маша Строговалӧн том кад @ 1952 - Юность Маши Строговой.
Пушкин А. С. Капитанлӧн ныв @ 1953 - Капитанская дочка.
Михаил Садовяну. Митря Кокор @ 1952 - Митря Кокор.
Тихонов Н. С. Повтӧм партизан @ 1952 - Храбрый партизан.
Алексей Толстой. Нянь @ 1939 - Хлеб.
Алексей Толстой. Зарни ключ либӧ Буратинолӧн приключениеяс @ 1939 - Золотой ключик, или Приключения Буратино.
И. С. Тургенев. Охотниклӧн гижӧдъясысь @ 1948 - Из записок охотника.
Оскар Уайльд. Преданнӧй друг @ 1939 - Преданный друг.
Г. Уэллс. Океан пыдӧсын @ 1939 - На дне океана.
kv П. А. Уляшева. Войтӧлӧн чиршӧдлӧмъяс @ 2015 - Опалённые северным ветром.
И. С. Тургенев. Охотниклӧн гижӧдъяс @ 1953 - Записки охотника.
kv Беляев Г. В. Анбур — коми мойд @ 2000 - Анбур — коми сказки.

Этап выравнивания текстов при максимальном сохранение текста исходника:

№2
Аркадий Гайдар. Барабанщиклӧн судьба @ 1958 - Судьба барабанщика.
Борис Горбатов. Пӧкӧритчытӧмъяс (Тараслӧн семья) @ 1945 - Непокоренные (Семья Тараса).
Валентин Катаев. Дӧлалӧ ӧтка еджыд парус @ 1940 - Белеет парус одинокий.
К. Маркс, Ф. Энгельс. Коммунистическӧй партиялӧн манифест @ 1948 - Манифест коммунистической партии.
А. Кононов. Вернӧй сьӧлӧм @ 1955 - Верное сердце.
Михаил Коршунов.  Черёмушкиын керка @ 1959 - Домик в Черемушках.
Всеволод Кочетов. Журбинъяс @ 1956 - Журбины.
Л. Космодемьянская. Зоя да Шура йылысь повесть @ 1952 - Повесть о Зое и Шуре.
Л. Савельев. Зимний штурмуйтӧм @ 1940 - Штурм Зимнего.
М. Горький. Йӧзын @ 1940 - В людях.
М. Горькӧй. Менам университетъяс @ 1948 - Мои университеты.
М. Горький. Челядьдыр @ 1939 - Детство.
М. Прилежаева. Ёртъясыд тэкӧд! @ 1952 - Друзья с тобой!
Николай Шундик. Ылі войвылын @ 1956 - На севере дальнем.
Н. Кальма. Горчичнӧй Райысь челядь @ 1955 - Дети горчичного рая.
А. Авдеенко. Гӧраясын тулыс @ 1959 - Горная весна.
Борис Полевой. Настоящӧй морт йылысь повесть @ 1951 - Повесть о настоящем человеке.
А. П. Чехов. Канитель да мукӧд рассказъяс @ 1956 - Канитель и другие рассказы.
Н. В. Гоголь. Старосветскӧй помещикъяс @ 1939 - Старосветские помещики.

№3
М. Лермонтов. Миян кадся герой @ 1953 + - Герой нашего времени.
Л. Н. Толстой. Кавказскӧй пленник @ 1953 - Кавказский пленник.
Н. В. Гоголь. Повесть сы йылысь, кыдзи Иван Иванович пиньӧ воис Иван Никифоровичкӧд @ 1952 - Повесть о том, как поссорились Иван Иванович с Иваном Никифоровичем.
Вадим Собко. Мирлӧн залог @ 1955 - Залог мира.
Сергей Розанов. Травкалӧн приключениеяс @ 1953 - Приключения Травки.
Вера Панова. Яснӧй берег @ 1952 - Ясный берег.
Елена Ильина. Нёльӧд высота @ 1951 - Четвертая высота.
Ф. Вигдорова. Менам класс @ 1951 - Мой класс. 
В. Осеева. Васёк Трубачёв да сылӧн ёртъясыс @ 1953 - Васек Трубачев и его товарищи.
Э. Войнич. Овод @ 1957 + - Овод.
Ванда Василевская. Радуга @ 1944 - Радуга.
А. Фадеев. Том гвардия @ 1953 - Молодая гвардия.
Е. Кошевая. Пи йылысь повесть @ 1951 - Повесть о сыне.
Л. Н. Толстой. Хаджи Мурат @ 1939 + - Хаджи Мурат.
И. Ликстанов. Малышок @ 1950 + - Малышок
Аладдин да волшебнӧй лампа @ мойдкыв @ Книга бӧрся книга I @ 1940 - Аладдин и волшебная лампа.
Али-Баба да нелямын разбойник @ мойдкыв @ Книга бӧрся книга I @ 1940 - Али-Баба и сорок разбойников.
Карлик ныр @ мойд @ Книга бӧрся книга I @ 1940 - Карлик Нос.
Халиф-аист йылысь мойдкыв @ мойд @ Книга бӧрся книга I @ 1940 Сказка о халифе-аисте.
М. Ю Лермонтов. Ашик-Кериб @ мойдкыв @ Книга бӧрся книга I @ 1940 - Ашик-Кериб.
Д. Н. Мамин-Сибиряк. Рассказъяс @ 1953 - Рассказы.
К. Д. Ушинскӧй. Висьтъяс да мойдъяс @ 1952 - Рассказы и сказки.
С. Степняк-Кравчинскӧй. Андрей Кожухов @ 1940 - Андрей Кожухов.
А. С. Серафимович. Рассказъяс @ 1954 - Рассказы.
Ю. Сотник. Аддзывлытӧм лэбач @ 1954 - Невиданная птица
И. Карнаухова. Дружнӧйяс йылысь повесть @ 1952 - Повесть о дружных.

№4

Джек Лондон. Мексиканец @ 1938 - Мексиканец.
Николай Островский. Кыдзи калитчис сталь @ 1955 - Как закалялась сталь.
Н. Бирюков. Чайка @ 1953 - Чайка.
М. Шолохов. Мортлӧн судьба @ 1958 - Судьба человека.
Михаил Шолохов. Лэптӧм эжа @ 1958 - Поднятая целина.
А. Чумаченко. Тӧлысьвывса морт @ 1958 - Человек с луны.
Н. Носов. Ичӧтик гажа семья @ 1958 - Веселая семейка.
Анатолий Мошковскӧй. Веж гыяс @ 1961 - Белые буруны.
Джек Лондон. Рассказъяс @ 1958 - Рассказы.
Л. Н. Толстой. Бӧрйӧм гижӧдъяс @ 1957 - Избранные произведения.
Короленко В. Г. Кыв тӧдтӧг @ 1956 - Без языка.
А. Кононов. Сокольникиын ёлка @ 1954 - Елка в Сокольниках.
Г. Карпенко. Куим звӧнок @ 1964 - Три звонка.
Иван Франко. Рассказъяс @ 1954 - Рассказы.
Б. Житков. Кыдзи бать менӧ спасайтіс @ 1952 - Как папа меня спасал.
С. Диковскӧй. «Смелӧй» катерлӧн приключениеяс @ 1956 - Приключения катера «Смелый».
Л. Воронкова. Звёздочкаса командир @ 1963 - Командир звездочки.
С. Виноградская. Юбиляр @ 1969 - Юбиляр.
В. Бонч-Бруевич. Миян Ильич @ 1959 - Наш Ильич.
Сергей Баруздин. Выль сикт @ 1963 - Новые дворики
Виктор Баныкин. Чапаев йылысь висьтъяс @ 1962 - Рассказы о Чапаеве.
Виктор Баныкин. Вильыш детинка @ 1964 - Озорник.
С. Антонов. «Веж луг» @ 1955 - «Зеленый дол».
Даниэл Дэфо. Мореход Робинзон Крузо, сылӧн олӧм да шензьӧдана приключениеяс @ 1958 - Жизнь и удивительные приключения морехода Робинзона Крузл.
Иосиф Дик. Би шор @ 1954 - Огненный ручей.
Г. И. Успенскӧй. Растеряевӧй улича вылын оланног @ 1954 - Нравы Растеряевой улицы.
Е. Рязанова. Том кад заводитчигӧн @ 1959 - На пороге юности.
А. С. Новиков-Прибой. Цусима @ 1940 - Цусима.
Николай Никитин. Войвывса Аврора @ 1953 - Северная Аврора.

№5

А. Батров. Миян друг Хосе @ 1954 - Наш друг Хосе.
Максим Горький. Висьтъяс @ 1952 - Рассказы.
В. Дуров. Менам зверьяс @ 1958 - Мои звери.
Вашингтон Ирвинг. Рип Ван Винкль @ 1939 - Рип Ван Винкль
Н. С. Лесков. Рассказъяс @ 1954 - Рассказы.
Марк Твен. Чеччалысь лягуша @ 1939 - Знаменитая скачущая лягушка из Калавераса.
М. Е. Салтыков-Щедрин. Бӧрйӧм гижӧдъяс @ 1939 - Избранные произведения.
К. Станюкович. Морскӧй висьтъяс @ 1947 - Морские рассказы.
В. Тендряков. Повесть да рассказъяс @ 1958 - Повесть и рассказы.
Юлиус Фучик. Казнь водзвылын кыв @ 1953 - Слово перед казнью (Репортаж с петлей на шее)
А. П. Чехов. Рассказъяс @ 1954 - Рассказы.
М. А. Шолохов. Лэптӧм эжа @ 1961 - Поднятая целина.
А. Мусатов. Стожары @ 1950 - Стожары.
Л. Воронкова. Алтайскӧй повесть @ 1954 - Алтайская повесть.
Лев Кассиль. Менам дона детинкаяс @ 1948 - Мои дорогие мальчишки.
А. Пушкин. Покойнӧй Иван Петрович Белкинлӧн повестьяс @ 1955 - Повести покойного Ивана Петровича Белкина.
Н. Дубов. Му помасянінын @ 1954 - На краю земли.
Н. Дубов. Ю вылын бияс @ 1954 - Огни на реке
Николай Богданов. Повтӧмъяс да кужысьяс йылысь @ 1954 - О смелых и умелых.
С. Георгиевская. Бабушкалӧн море @ 1953 - Бабушкино море.
Николай Дубов. Сирӧта @ 1957 - Сирота.
М. Горький. Рассказъяс @ 1954 - Рассказы.
Эм. Казакевич. Одер вылын тулыс @ 1952 - Весна на Одере.
Антуан де Сент-Экзюпери. Ичӧтик принц @ 2021 - Маленький принц.
Антуан де Сент-Экзюпери. Дзоля принс @ 2022 - Маленький принц.
Л. Н. Толстой. Казакъяс @ 1956 - Казаки.
Р. Торбан. Лым морт @ 1959 - Снежный человек.
Борис Изюмский. Алӧй погонъяс. 1 часть @ 1955 - Алые погоны. 1 часть.
Борис Изюмский. Алӧй погонъяс. 2 часть @ 1956 - Алые погоны. 2 часть.
А. Авдеенко. Тисса дорын @ 1957 - Над Тиссой.
Максим Горькӧй. Мам @ 1957 - Мать.
Галина Николаева. Вундандыр @ 1952 - Жатва.
Р. Фраерман. Дикӧй пон динго либӧ медводдза любовь йылысь повесть @ 1957 - Дикая собака динго, или повесть о первой любви.
Гримм вокъяс. Бременса музыкантъяс @ 1951 - Бременские музыканты.
А. С. Пушкин. Дубровский @ 1954 - Дубровский.
Л. Н. Толстой. Рассказъяс @ 1954 - Рассказы.
К. Чуковский. Доктор Айболит @ 1952 - Доктор Айболит.
Аркадий Гайдар. Ылысса странаяс @ 1952 - Дальние страны.
Борис Изюмский. Алӧй погонъяс. 3 часть @ 1957 - Алые погоны. 3 часть.

№6

С. Воронин. Ковтӧм слава @ 1958 - Ненужная слава.
В. Г. Короленко. Синтӧм музыкант @ 1953 - Слепой музыкант.
Э. Гофман. Щелкунчик да шыръяслӧн король @ 1940 - Щелкунчик и мышиный король.
Л. Воронкова. Беспокойнӧй морт @ 1956 - Беспокойный человек
А. П. Чехов. Каштанка @ 1951 - Каштанка.
И. Василенко. Звёздочка @ 1950 - Звездочка.
И. Василенко. Рассказъяс @ 1959 - Рассказы.
Н. Носов. Витя Малеев школаын да гортас @ 1953 - Витя Малеев в школе и дома.
Д. Мамин-Сибиряк. Кыйсьысь Емеля @ 1950 - Охотник Емеля.
М. Горький. Архип дед да Лёнька @ 1953 - Дед Архип и Ленька.
Р. Фраерман. Майскӧй войӧ подвиг @ 1948 - Подвиг в майскую ночь.
М. Жестев. Ичӧтик трактористлӧн приключениеяс @ 1960 - Приключения маленького тракториста.
С. Т. Григорьев. Суворов @ 1953 - Суворов.
Евгений Пермяк. Вӧсни струна @ 1959 - Тонкая струка.
Предпутие. Туйводз 2 @ 2021 -
Виктор Баныкин. Тулысын ытва дырйи @ 1955 - Весной в половодье.
Л. Воронкова. Ичӧтик зарни ключьяс @ 1959 - Золотые ключики
Л. Воронцова. Карса нывка @ 1947 - Девочка из города.

Переводы с коми на русский

Шӧвк тупыль. Сыктывкар @ 2012
Торопов И. Г. Тіянлы водзӧ овны @ 1980
Василий Юхнин. Биа нюр @ 1952

Новости

Новостные тексты Официального портала Республики Коми rkomi.ru  за период  с 2021-04-28 по 2023-01-26

Официальные документы

Тексты, опубликованные в издании "Коми Республикаса государственнӧй власть органъяслӧн индӧд-тшӧктӧмъяс" с 1996 по 2000 гг.
Законы РК, Указы Главы РК, Постановления Правительства РК, Решения Конституционного Суда РК, Бюллетени избирательных комиссий РК, соглашения и договоры РК с другими регионами, реестр официальных наименований организаций и учреждений РК из архива Бюро официального перевода с 2011 по 2020 гг.

Учебная литература

Л. Г. Терехова да В. Г. Эрдели. География. Первойя часть @ 1940 - География. Первая часть.
Г. И. Иванов. География свет юкӧнъяслӧн да медтӧдчана странаяслӧн (СССР-тӧг) @ 1936 - География частей света и важнейших стран (без СССР)
П. Н. Счастнев, П. Г. Терехов. Свет юкӧнъяслӧн физическӧй география @ 1959 - Физическая география частей света.
М. Н. Скаткин. Природоведение. 4-ӧд класслы учебник @ 1962 - Природоведение. Учебник для 4 класса.
В. А. Тетюрев. Естествознание. Первойя часть @ 1939 - Естествознание. Первая часть.
В. А. Тетюрев. Естествознание. Мӧдӧд часть @ 1939 - Естествознание. Вторая часть.
Тексты по географии с сайта http://geography.komikyv.org

Религиозные тексты

Выль кӧсйысьӧм @ 2008 - Новый завет.