Выравнивание текстов на коми и русском языках

Выравнивание по строчкам (предложениям) текстов на двух языках имеет своей целью создание параллельного корпуса текстов, который затем будет использован как (в частности) база данных для онлайн переводчика.

Источники

Источниками параллельных текстов являются тексты учебной, художественной, публицистической и официальной литературы.
Как правило это оригиналы на русском и их переводы на коми язык.
Большинство текстов художественной, публицистической и учебной прозы на коми языке получены в результате распознавания отсканированного материала сотрудниками лаборатории.
Художественные, публицистические и учебные тексты на русском языке, как правило, скачаны с просторов интернета.
Источником официальных текстов является база бюро официального перевода и публикации в издании "Ведомости нормативно-правовых актов органов государственной власти Республики Коми".
Частично учебные тексты, а также тексты официальных сайтов переводятся с русского на коми сотрудниками лаборатории.
Переводы интерфейсов сайтов, приложений и т.п., а также материал словарей также планируется включить в параллельный корпус.

Порядок выравнивания

Тексты очищаются в текстовом редакторе (xed, gedit и т.п.) от лишних элементов.
Файлы с расширением .txt загружаются  в папки ru и kv папки input. 
В терминале запускается программа деления по точке с учетом исключений pt.py.
Результат, два файла с расширением .txt, забираем из папки output.

Автоматически разбитые на предложения русский и коми файлы сравниваются в программе WinMerge. Выправление идет, как правило, по тексту оригинала. Но если два и более предложения переведены одним, то исходные предложения объединяются в  одну строчку.
Крупные части русского текста, которые не имеют соответствия в коми переводе, удаляются.
Если в оригинале или переводе нет соответствия отдельному русскому или коми предложению, во втором варианте проставляется тег abu ("нет" по-коми). 
В дальнейшем, коми предложения, соответствия которым по каким-то причинам нет в русском тексте, должны быть переведены на русский язык и добавлены в русский текст.

Особенности обработки художественных текстов

Тексты художественной прозы в свое время переводились с русского на коми весьма вольно. 
Когда сбор параллельных текстов у нас только начинался (в 2021 г.), мы решили при выравнивании сразу подвергать коми переводы частичному исправлению в целях приближения к смыслу оригинала.  Орфография коми текстов приводилась в соответствие с ныне действующими правилами, частично модернизировалась и лексика, т.к. в эпоху советской русификации исконная коми лексика активно вытеснялась из литературного языка, поэтому в переводах наблюдается явный перебор с заимствованиями. В русле этого подхода было выравнено ок. 90 тыс. предложений.
В 2022 году мы пришли к убеждению, что аутентичный перевод также представляет ценность как историческое явление, которое может быть представлено обществу в виде онлайн сервиса "Параллельный русско-коми корпус". Возобладавший принцип сохранения аутентичности, выразился в том, что на этапе сбора параллельного корпуса исправлению подлежали только явные опечатки в коми и русских текстах. В рамках реализации данного принципа выравнены ок. 450 тысяч предложений.
Дальнейшая предобработка текстов - орфографическая унификация и модернизация лексики, остается на этап подготовки параллельного корпуса к загрузке в нейросеть. 
Остается спорным вопрос модернизации лексики. Здесь необходимо выработать четкие критерии, внесение каких изменений является функционально необходимым, а что является избыточным.

Проверка результатов онлайн

Тексты загружаются в специальный раздел на сервере в папки ru и kv.
Запускается скрипт обновления базы.
Поиск предложений осуществляется по русской лексеме с учетом дополнительных опций в русско-коми корпусе параллельных текстов, онлайн-сервис которого  открыт всем пользователям сети интернет.
Результат выдается парами предложений (ru-kv) с выделенным искомым русским словом.
Для проверки результатов дальнейшей обработки текстов создан аналогичный сервис для служебного использования.

Состав параллельного корпуса

Художественная литература

Переводы с русского на коми

Автор	Небӧг ним	Петан во	Роч ним	Визь лыд	Пасйӧд
	Вӧвлӧмтор? Али вӧвлытӧмтор?	2010	Было? Или не было?		вежӧма
Г. Х. Андерсен	Мойдъяс	1952	Сказки.		вежӧма
Семён Бабаевскӧй	Зӧлӧтӧй Звездаа кавалер	1948	Кавалер Золотой Звезды.		вежӧма
Байдуков Г.	Полюс вомӧн Америкаӧ	1950	Через полюс в Америку.		вежӧма
П. Бажов	Турунвиж чирк	1952	Зеленый кузнечик.		вежӧма
П. Бажов	Сказъяс	1953	Сказы.		вежӧма
Виталий Бианки	Великӧй морскӧй туйӧ	1950	На великом морском пути.		вежӧма
Чарльз Дикенс	Тӧргӧвӧй агент дядьлӧн история	1939	История дяди торгового агента.		вежӧма
Альфонс Додэ	Менам мельничасянь письмӧяс	1939	Письма с моей мельницы.		вежӧма
kv Павел Доронин	Мойд небӧг	2004	Книга сказок.		вежӧма
Анатоль Фран	Кренкбиль	1939	Кренкибиль.		вежӧма
Д. Фурманов	Краснӧй десант	1940	Красный десант.		вежӧма
А. Гайдар	Чук да Гек	1948	Чук и Гек.		вежӧма
Аркадий Гайдар	Вӧрын тшын	1950	Дым в лесу.		вежӧма
А. Гайдар	Гӧлубӧй чашка	1957	Голубая чашка.		вежӧма
В. Гаршин	Путешествуйтысь лягушка	1951	Лягушка-путешественница.		вежӧма
О. Генри	Гӧрдкучикаяслӧн вождь	1939	Вождь краснокожих.		вежӧма
С. Георгиевская	Ичӧтик салдатскӧй пурт	1951	Маленький солдатский ножик.		вежӧма
Э. Т. А. Гофман	Бӧчкаяс вӧчалысь мастер Мартин да сылӧн подмастерьеяс	1939	Мастер Мартин-бочар и его подмастерья.		вежӧма
М. Горьки	Январь 9-ӧд лун	1939	9 января.		вежӧма
Говард Фаст	Тони да волшебнӧй ӧдзӧс	1957	Тони и волшебная дверь.		вежӧма
В. К. Гримм, Я. Гримм	Рок гырнич. Кӧч да ёж	1939	Горшок каши.		вежӧма
Л. Кассиль	Дядя Коля, гуткыйысь	1939	Дядя Коля, мухолов.		вежӧма
Евгений Коковин	Соломбалаын челядьдыр	1952	Детство с Соломбале.		вежӧма
В. Г. Короленк	Макарлӧн вӧт	1953	Сон Макара.		вежӧма
В. Г. Короленко	Рассказъяс	1954	Рассказы.		вежӧма
В. Кожевников	Война йылысь висьтъяс	1942	Рассказы о войне.		вежӧма
Д. Н. Мамин-Сибиряк	Алёнушкалӧн мойдъяс	1952	Алёнушкины сказки.		вежӧма
С. Маршак	Дас кык тӧлысь	1953	Двенадцать месяцев.		вежӧма
	Мадьяръяслӧн Матяш король йылысь мойдъяс	2000	Сказки о венгерском короле Матяше.		вежӧма
Носов Н. Н.	Толя Клюквинлӧн приключениеяс	1963	Приключения Толи Клюквина.		вежӧма
К. Паустовскӧй	Гожся лунъяс	1949	Летние дни.		вежӧма
П. Павленко	Шуд	1950	Счастье.		вежӧма
Евгений Пермяк	Пичугин пос	1962	Пичугин мост.		вежӧма
Перро Шарль	Гӧрд Шапочка	1949	Красная Шапочка.		вежӧма
А. Первенцев	Володька — партизанскӧй пи	1940	Володька — сын партизана.		вежӧма
А. Погорельскӧй	Сьӧд курӧг либӧ Мупытшса олысьяс	1950	Чёрная курица или подземные жители.		вежӧма
М. Прилежаева	Маша Строговалӧн том кад	1952	Юность Маши Строговой.		вежӧма
Пушкин А. С.	Капитанлӧн ныв	1953	Капитанская дочка.		вежӧма
Михаил Садовяну	Митря Кокор	1952	Митря Кокор.		вежӧма
Тихонов Н. С.	Повтӧм партизан	1952	Храбрый партизан.		вежӧма
Алексей Толстой	Нянь	1939	Хлеб.		вежӧма
Алексей Толстой	Зарни ключ либӧ Буратинолӧн приключениеяс	1939	Золотой ключик, или Приключения Буратино.		вежӧма
И. С. Тургенев	Охотниклӧн гижӧдъясысь	1948	Из записок охотника.		вежӧма
Оскар Уайльд	Преданнӧй друг	1939	Преданный друг.		вежӧма
Г. Уэллс	Океан пыдӧсын	1939	На дне океана.		вежӧма
И. С. Тургенев	Охотниклӧн гижӧдъяс	1953	Записки охотника.		вежӧма
Аркадий Гайдар	Барабанщиклӧн судьба	1958	Судьба барабанщика.		кольӧма
Борис Горбатов	Пӧкӧритчытӧмъяс (Тараслӧн семья)	1945	Непокоренные (Семья Тараса).		кольӧма
Валентин Катаев	Дӧлалӧ ӧтка еджыд парус	1940	Белеет парус одинокий.		кольӧма
К. Маркс, Ф. Энгельс	Коммунистическӧй партиялӧн манифест	1948	Манифест коммунистической партии.		кольӧма
А. Кононов	Вернӧй сьӧлӧм	1955	Верное сердце.		кольӧма
Михаил Коршунов	Черёмушкиын керка	1959	Домик в Черемушках.		кольӧма
Всеволод Кочетов	Журбинъяс	1956	Журбины.		кольӧма
Л. Космодемьянская	Зоя да Шура йылысь повесть	1952	Повесть о Зое и Шуре.		кольӧма
Л. Савельев	Зимний штурмуйтӧм	1940	Штурм Зимнего.		кольӧма
М. Горький	Йӧзын	1940	В людях.		кольӧма
М.Горькӧй	Менам университетъяс	1948	Мои университеты.		кольӧма
М.Горький	Челядьдыр	1939	Детство.		кольӧма
М.Прилежаева	Ёртъясыд тэкӧд!	1952	Друзья с тобой!		кольӧма
Николай Шундик	Ылі войвылын	1956	На севере дальнем.		кольӧма
Н.Кальма	Горчичнӧй Райысь челядь	1955	Дети горчичного рая.		кольӧма
А.Авдеенко	Гӧраясын тулыс	1959	Горная весна.		кольӧма
Борис Полевой	Настоящӧй морт йылысь повесть	1951	Повесть о настоящем человеке.		кольӧма
А.П.Чехов	Канитель да мукӧд рассказъяс	1956	Канитель и другие рассказы.		кольӧма
Н.В.Гоголь	Старосветскӧй помещикъяс	1939	Старосветские помещики.		кольӧма
М.Лермонтов	Миян кадся герой	1953 +	Герой нашего времени.		кольӧма
Л.Н.Толстой	Кавказскӧй пленник	1953	Кавказский пленник.		кольӧма
Н.В.Гоголь	Повесть сы йылысь, кыдзи Иван Иванович пиньӧ воис Иван Никифоровичкӧд	1952	Повесть о том, как поссорились Иван Иванович с Иваном Никифоровичем.		кольӧма
Вадим Собко	Мирлӧн залог	1955	Залог мира.		кольӧма
Сергей Розанов	Травкалӧн приключениеяс	1953	Приключения Травки.		кольӧма
Вера Панова	Яснӧй берег	1952	Ясный берег.		кольӧма
Елена Ильина	Нёльӧд высота	1951	Четвертая высота.		кольӧма
Ф.Вигдорова	Менам класс	1951	Мой класс.		кольӧма
В.Осеева	Васёк Трубачёв да сылӧн ёртъясыс	1953	Васек Трубачев и его товарищи.		кольӧма
Э.Войнич	Овод	1957 +	Овод.		кольӧма
Ванда Василевская	Радуга	1944	Радуга.		кольӧма
А. Фадеев	Том гвардия	1953	Молодая гвардия.		кольӧма
Е.Кошевая	Пи йылысь повесть	1951	Повесть о сыне.		кольӧма
Л.Н.Толстой	Хаджи Мурат	1939 +	Хаджи Мурат.		кольӧма
И.Ликстанов	Малышок	1950 +	Малышок		кольӧма
	Аладдин да волшебнӧй лампа / Книга бӧрся книга I	1940	Аладдин и волшебная лампа.		кольӧма
	Али-Баба да нелямын разбойник / Книга бӧрся книга I	1940	Али-Баба и сорок разбойников.		кольӧма
В. Гауф	Карлик ныр / Книга бӧрся книга I	1940	Карлик Нос.		кольӧма
В. Гауф	Халиф-аист йылысь мойдкыв / Книга бӧрся книга I	1940	Сказка о халифе-аисте.		кольӧма
М.Ю. Лермонтов	Ашик-Кериб / Книга бӧрся книга I	1940	Ашик-Кериб.		кольӧма
Д.Н.Мамин-Сибиряк	Рассказъяс	1953	Рассказы.		кольӧма
К.Д.Ушинскӧй	Висьтъяс да мойдъяс	1952	Рассказы и сказки.		кольӧма
С.Степняк-Кравчинскӧй	Андрей Кожухов	1940	Андрей Кожухов.		кольӧма
А. С. Серафимович	Рассказъяс	1954	Рассказы.		кольӧма
Ю.Сотник	Аддзывлытӧм лэбач	1954	Невиданная птица		кольӧма
И.Карнаухова	Дружнӧйяс йылысь повесть	1952	Повесть о дружных.		кольӧма
Джек Лондон	Мексиканец	1938	Мексиканец.		кольӧма
Николай Островский	Кыдзи калитчис сталь	1955	Как закалялась сталь.		кольӧма
Н.Бирюков	Чайка	1953	Чайка.		кольӧма
М.Шолохов	Мортлӧн судьба	1958	Судьба человека.		кольӧма
Михаил Шолохов	Лэптӧм эжа	1958	Поднятая целина.		кольӧма
А.Чумаченко	Тӧлысьвывса морт	1958	Человек с луны.		кольӧма
Н.Носов	Ичӧтик гажа семья	1958	Веселая семейка.		кольӧма
Анатолий Мошковскӧй	Веж гыяс	1961	Белые буруны.		кольӧма
Джек Лондон	Рассказъяс	1958	Рассказы.		кольӧма
Л.Н.Толстой	Бӧрйӧм гижӧдъяс	1957	Избранные произведения.		кольӧма
Короленко В.Г.	Кыв тӧдтӧг	1956	Без языка.		кольӧма
А.Кононов	Сокольникиын ёлка	1954	Елка в Сокольниках.		кольӧма
Г. Карпенко	Куим звӧнок	1964	Три звонка.		кольӧма
Иван Франко	Рассказъяс	1954	Рассказы.		кольӧма
Б.Житков	Кыдзи бать менӧ спасайтіс	1952	Как папа меня спасал.		кольӧма
С.Диковскӧй	«Смелӧй» катерлӧн приключениеяс	1956	Приключения катера «Смелый».		кольӧма
Л.Воронкова	Звёздочкаса командир	1963	Командир звездочки.		кольӧма
С.Виноградская	Юбиляр	1969	Юбиляр.		кольӧма
В.Бонч-Бруевич	Миян Ильич	1959	Наш Ильич.		кольӧма
Сергей Баруздин	Выль сикт	1963	Новые дворики		кольӧма
Виктор Баныкин	Чапаев йылысь висьтъяс	1962	Рассказы о Чапаеве.		кольӧма
Виктор Баныкин	Вильыш детинка	1964	Озорник.		кольӧма
С.Антонов	«Веж луг»	1955	«Зеленый дол».		кольӧма
Даниэл Дэфо	Мореход Робинзон Крузо, сылӧн олӧм да шензьӧдана приключениеяс	1958	Жизнь и удивительные приключения морехода Робинзона Крузо.		кольӧма
Иосиф Дик	Би шор	1954	Огненный ручей.		кольӧма
Г.И.Успенскӧй	Растеряевӧй улича вылын оланног	1954	Нравы Растеряевой улицы.		кольӧма
Е.Рязанова	Том кад заводитчигӧн	1959	На пороге юности.		кольӧма
А.С.Новиков-Прибой	Цусима	1940	Цусима.		кольӧма
Николай Никитин	Войвывса Аврора	1953	Северная Аврора.		кольӧма
А.Батров	Миян друг Хосе	1954	Наш друг Хосе.		кольӧма
Максим Горький	Висьтъяс	1952	Рассказы.		кольӧма
В.Дуров	Менам зверьяс	1958	Мои звери.		кольӧма
Вашингтон Ирвинг	Рип Ван Винкль	1939	Рип Ван Винкль		кольӧма
Н.С.Лесков	Рассказъяс	1954	Рассказы.		кольӧма
Марк Твен	Чеччалысь лягуша	1939	Знаменитая скачущая лягушка из Калавераса.		кольӧма
М.Е.Салтыков-Щедрин	Бӧрйӧм гижӧдъяс	1939	Избранные произведения.		кольӧма
К.Станюкович	Морскӧй висьтъяс	1947	Морские рассказы.		кольӧма
В.Тендряков	Повесть да рассказъяс	1958	Повесть и рассказы.		кольӧма
Юлиус Фучик	Казнь водзвылын кыв	1953	Слово перед казнью (Репортаж с петлей на шее)		кольӧма
А.П.Чехов	Рассказъяс	1954	Рассказы.		кольӧма
М.А.Шолохов	Лэптӧм эжа	1961	Поднятая целина.		кольӧма
А.Мусатов	Стожары	1950	Стожары.		кольӧма
Л.Воронкова	Алтайскӧй повесть	1954	Алтайская повесть.		кольӧма
Лев Кассиль	Менам дона детинкаяс	1948	Мои дорогие мальчишки.		кольӧма
А.Пушкин	Покойнӧй Иван Петрович Белкинлӧн повестьяс	1955	Повести покойного Ивана Петровича Белкина.		кольӧма
Н.Дубов	Му помасянінын	1954	На краю земли.		кольӧма
Н.Дубов	Ю вылын бияс	1954	Огни на реке		кольӧма
Николай Богданов	Повтӧмъяс да кужысьяс йылысь	1954	О смелых и умелых.		кольӧма
С.Георгиевская	Бабушкалӧн море	1953	Бабушкино море.		кольӧма
Николай Дубов	Сирӧта	1957	Сирота.		кольӧма
М.Горький	Рассказъяс	1954	Рассказы.		кольӧма
Эм.Казакевич	Одер вылын тулыс	1952	Весна на Одере.		кольӧма
Антуан де Сент-Экзюпери	Ичӧтик принц	2021	Маленький принц.		кольӧма
Антуан де Сент-Экзюпери	Дзоля принс	2022	Маленький принц.		кольӧма
Л.Н.Толстой	Казакъяс	1956	Казаки.		кольӧма
Р.Торбан	Лым морт	1959	Снежный человек.		кольӧма
Борис Изюмский	Алӧй погонъяс. 1 часть	1955	Алые погоны. 1 часть.		кольӧма
Борис Изюмский	Алӧй погонъяс. 2 часть	1956	Алые погоны. 2 часть.		кольӧма
А.Авдеенко	Тисса дорын	1957	Над Тиссой.		кольӧма
Максим Горькӧй	Мам	1957	Мать.		кольӧма
Галина Николаева	Вундандыр	1952	Жатва.		кольӧма
Р. Фраерман	Дикӧй пон динго либӧ медводдза любовь йылысь повесть	1957	Дикая собака динго, или повесть о первой любви.		кольӧма
Гримм вокъяс	Бременса музыкантъяс	1951	Бременские музыканты.		кольӧма
А.С.Пушкин	Дубровский	1954	Дубровский.		кольӧма
Л.Н.Толстой	Рассказъяс	1954	Рассказы.		кольӧма
К.Чуковский	Доктор Айболит	1952	Доктор Айболит.		кольӧма
Аркадий Гайдар	Ылысса странаяс	1952	Дальние страны.		кольӧма
Борис Изюмский	Алӧй погонъяс. 3 часть	1957	Алые погоны. 3 часть.		кольӧма
С.Воронин	Ковтӧм слава	1958	Ненужная слава.		кольӧма
В.Г.Короленко	Синтӧм музыкант	1953	Слепой музыкант.		кольӧма
Э.Гофман	Щелкунчик да шыръяслӧн король	1940	Щелкунчик и мышиный король.		кольӧма
Л.Воронкова	Беспокойнӧй морт	1956	Беспокойный человек		кольӧма
А.П.Чехов	Каштанка	1951	Каштанка.		кольӧма
И.Василенко	Звёздочка	1950	Звездочка.		кольӧма
И.Василенко	Рассказъяс	1959	Рассказы.		кольӧма
Носов	Витя Малеев школаын да гортас	1953	Витя Малеев в школе и дома.		кольӧма
Д.Мамин-Сибиряк	Кыйсьысь Емеля	1950	Охотник Емеля.		кольӧма
М.Горький	Архип дед да Лёнька	1953	Дед Архип и Ленька.		кольӧма
Р.Фраерман	Майскӧй войӧ подвиг	1948	Подвиг в майскую ночь.		кольӧма
М.Жестев	Ичӧтик трактористлӧн приключениеяс	1960	Приключения маленького тракториста.		кольӧма
С.Т.Григорьев	Суворов	1953	Суворов.		кольӧма
Евгений Пермяк	Вӧсни струна	1959	Тонкая струна.		кольӧма
	Туйводз 2	2021 -	Предпутие 2		кольӧма
Виктор Баныкин	Тулысын ытва дырйи	1955	Весной в половодье.		кольӧма
Л. Воронкова	Ичӧтик зарни ключьяс	1959	Золотые ключики.		кольӧма
Л. Воронкова	Карса нывка	1947	Девочка из города.		кольӧма

Переводы с коми на русский

Автор	Небӧг ним	Петан во	Роч ним	Визь лыд	Пасйӧд
П. А. Уляшева	Войтӧлӧн чиршӧдлӧмъяс	2015	Опалённые северным ветром.		вежӧма
Беляев Г. В.	Анбур — коми мойд	2000	Анбур — коми сказки.		вежӧма
	Шӧвк тупыль.	2012	Шелковый клубок		кольӧма
Торопов И. Г.	Тіянлы водзӧ овны	1980	Вам жить дальше		кольӧма
Василий Юхнин	Биа нюр	1952	Огненное болото		кольӧма

Новости

Новостные тексты Официального портала Республики Коми rkomi.ru  за период  с 2021-04-28 по 2023-01-26

Официальные документы

Тексты, опубликованные в издании "Коми Республикаса государственнӧй власть органъяслӧн индӧд-тшӧктӧмъяс" с 1996 по 2000 гг.
Законы РК, Указы Главы РК, Постановления Правительства РК, Решения Конституционного Суда РК, Бюллетени избирательных комиссий РК, соглашения и договоры РК с другими регионами, реестр официальных наименований организаций и учреждений РК из архива Бюро официального перевода с 2011 по 2020 гг.

Учебная литература

Л. Г. Терехова да В. Г. Эрдели. География. Первойя часть @ 1940 - География. Первая часть.
Г. И. Иванов. География свет юкӧнъяслӧн да медтӧдчана странаяслӧн (СССР-тӧг) @ 1936 - География частей света и важнейших стран (без СССР)
П. Н. Счастнев, П. Г. Терехов. Свет юкӧнъяслӧн физическӧй география @ 1959 - Физическая география частей света.
М. Н. Скаткин. Природоведение. 4-ӧд класслы учебник @ 1962 - Природоведение. Учебник для 4 класса.
В. А. Тетюрев. Естествознание. Первойя часть @ 1939 - Естествознание. Первая часть.
В. А. Тетюрев. Естествознание. Мӧдӧд часть @ 1939 - Естествознание. Вторая часть.
Тексты по географии с сайта http://geography.komikyv.org

Религиозные тексты

Выль кӧсйысьӧм @ 2008 - Новый завет.