Выравнивание текстов на коми и русском языках

Выравнивание по строчкам (предложениям) текстов на двух языках имеет своей целью создание параллельного корпуса текстов, который затем будет использован как (в частности) база данных для онлайн переводчика.

Источники

Источниками параллельных текстов являются тексты учебной, художественной, публицистической и официальной литературы.
Как правило это оригиналы на русском и их переводы на коми язык.
Большинство текстов художественной, публицистической и учебной прозы на коми языке получены в результате распознавания отсканированного материала сотрудниками лаборатории.
Художественные, публицистические и учебные тексты на русском языке, как правило, скачаны с просторов интернета.
Источником официальных текстов является база бюро официального перевода и публикации в издании "Ведомости нормативно-правовых актов органов государственной власти Республики Коми".
Частично учебные тексты, а также тексты официальных сайтов переводятся с русского на коми сотрудниками лаборатории.
Переводы интерфейсов сайтов, приложений и т.п., а также материал словарей также планируется включить в параллельный корпус.

Порядок выравнивания

Тексты очищаются в текстовом редакторе (xed, gedit и т.п.) от лишних элементов.
Файлы с расширением .txt загружаются  в папки ru и kv папки input. 
В терминале запускается программа деления по точке с учетом исключений pt.py.
Результат, два файла с расширением .txt, забираем из папки output.

Автоматически разбитые на предложения русский и коми файлы сравниваются в программе WinMerge. Выправление идет, как правило, по тексту оригинала. Но если два и более предложения переведены одним, то исходные предложения объединяются в  одну строчку.
Крупные части русского текста, которые не имеют соответствия в коми переводе, удаляются.
Если в оригинале или переводе нет соответствия отдельному русскому или коми предложению, во втором варианте проставляется тег abu ("нет" по-коми). 
В дальнейшем, коми предложения, соответствия которым по каким-то причинам нет в русском тексте, должны быть переведены на русский язык и добавлены в русский текст.

Особенности обработки художественных текстов

Тексты художественной прозы в свое время переводились с русского на коми весьма вольно. 
Когда сбор параллельных текстов у нас только начинался (в 2021 г.), мы решили при выравнивании сразу подвергать коми переводы частичному исправлению в целях приближения к смыслу оригинала.  Орфография коми текстов приводилась в соответствие с ныне действующими правилами, частично модернизировалась и лексика, т.к. в эпоху советской русификации исконная коми лексика активно вытеснялась из литературного языка, поэтому в переводах наблюдается явный перебор с заимствованиями. В русле этого подхода было выравнено ок. 90 тыс. предложений.
В 2022 году мы пришли к убеждению, что аутентичный перевод также представляет ценность как историческое явление, которое может быть представлено обществу в виде онлайн сервиса "Параллельный русско-коми корпус". Возобладавший принцип сохранения аутентичности, выразился в том, что на этапе сбора параллельного корпуса исправлению подлежали только явные опечатки в коми и русских текстах. В рамках реализации данного принципа выравнены ок. 450 тысяч предложений.
Дальнейшая предобработка текстов - орфографическая унификация и модернизация лексики, остается на этап подготовки параллельного корпуса к загрузке в нейросеть. 
Остается спорным вопрос модернизации лексики. Здесь необходимо выработать четкие критерии, внесение каких изменений является функционально необходимым, а что является избыточным.

Проверка результатов онлайн

Тексты загружаются в специальный раздел на сервере в папки ru и kv.
Запускается скрипт обновления базы.
Поиск предложений осуществляется по русской лексеме с учетом дополнительных опций в русско-коми корпусе параллельных текстов, онлайн-сервис которого  открыт всем пользователям сети интернет.
Результат выдается парами предложений (ru-kv) с выделенным искомым русским словом.
Для проверки результатов дальнейшей обработки текстов создан аналогичный сервис для служебного использования.

Состав параллельного корпуса

Художественная литература

Переводы с русского на коми

Автор	Небӧг ним	Петан во	Роч ним	Визь лыд	Пасйӧд
	Вӧвлӧмтор? Али вӧвлытӧмтор?	2010	Было? Или не было?	788	вежӧма
Г. Х. Андерсен	Мойдъяс	1952	Сказки.	1196	вежӧма
Семён Бабаевскӧй	Зӧлӧтӧй Звездаа кавалер	1948	Кавалер Золотой Звезды.	6687	вежӧма
Байдуков Г.	Полюс вомӧн Америкаӧ	1950	Через полюс в Америку.	547	вежӧма
П. Бажов	Турунвиж чирк	1952	Зеленый кузнечик.	2072	вежӧма
П. Бажов	Сказъяс	1953	Сказы.	3355	вежӧма
Виталий Бианки	Великӧй морскӧй туйӧ	1950	На великом морском пути.	888	вежӧма
Чарльз Дикенс	Тӧргӧвӧй агент дядьлӧн история	1939	История дяди торгового агента.	301	вежӧма
Альфонс Додэ	Менам мельничасянь письмӧяс	1939	Письма с моей мельницы.	339	вежӧма
Анатоль Фран	Кренкбиль	1939	Кренкибиль.	561	вежӧма
Д. Фурманов	Краснӧй десант	1940	Красный десант.	658	вежӧма
А. Гайдар	Чук да Гек	1948	Чук и Гек.	679	вежӧма
Аркадий Гайдар	Вӧрын тшын	1950	Дым в лесу.	554	вежӧма
А. Гайдар	Гӧлубӧй чашка	1957	Голубая чашка.	695	вежӧма
В. Гаршин	Путешествуйтысь лягушка	1951	Лягушка-путешественница.	94	вежӧма
О. Генри	Гӧрдкучикаяслӧн вождь	1939	Вождь краснокожих.	264	вежӧма
С. Георгиевская	Ичӧтик салдатскӧй пурт	1951	Маленький солдатский ножик.	1134	вежӧма
Э. Т. А. Гофман	Бӧчкаяс вӧчалысь мастер Мартин да сылӧн подмастерьеяс	1939	Мастер Мартин-бочар и его подмастерья.	1101	вежӧма
М. Горьки	Январь 9-ӧд лун	1939	9 января.	652	вежӧма
Говард Фаст	Тони да волшебнӧй ӧдзӧс	1957	Тони и волшебная дверь.	1161	вежӧма
В. К. Гримм, Я. Гримм	Рок гырнич. Кӧч да ёж	1939	Горшок каши.	134	вежӧма
Л. Кассиль	Дядя Коля, гуткыйысь	1939	Дядя Коля, мухолов.	271	вежӧма
Евгений Коковин	Соломбалаын челядьдыр	1952	Детство с Соломбале.	3210	вежӧма
В. Г. Короленк	Макарлӧн вӧт	1953	Сон Макара.	1359	вежӧма
В. Г. Короленко	Рассказъяс	1954	Рассказы.	1077	вежӧма
В. Кожевников	Война йылысь висьтъяс	1942	Рассказы о войне.	798	вежӧма
Д. Н. Мамин-Сибиряк	Алёнушкалӧн мойдъяс	1952	Алёнушкины сказки.	641	вежӧма
С. Маршак	Дас кык тӧлысь	1953	Двенадцать месяцев.	204	вежӧма
	Мадьяръяслӧн Матяш король йылысь мойдъяс	2000	Сказки о венгерском короле Матяше.	587	вежӧма
Носов Н. Н.	Толя Клюквинлӧн приключениеяс	1963	Приключения Толи Клюквина.	1460	вежӧма
К. Паустовскӧй	Гожся лунъяс	1949	Летние дни.	727	вежӧма
П. Павленко	Шуд	1950	Счастье.	7007	вежӧма
Евгений Пермяк	Пичугин пос	1962	Пичугин мост.	104	вежӧма
Перро Шарль	Гӧрд Шапочка	1949	Красная Шапочка.	73	вежӧма
А. Первенцев	Володька — партизанскӧй пи	1940	Володька — сын партизана.	553	вежӧма
А. Погорельскӧй	Сьӧд курӧг либӧ Мупытшса олысьяс	1950	Чёрная курица или подземные жители.	559	вежӧма
М. Прилежаева	Маша Строговалӧн том кад	1952	Юность Маши Строговой.	6531	вежӧма
Пушкин А. С.	Капитанлӧн ныв	1953	Капитанская дочка.	2530	вежӧма
Михаил Садовяну	Митря Кокор	1952	Митря Кокор.	4274	вежӧма
Тихонов Н. С.	Повтӧм партизан	1952	Храбрый партизан.	403	вежӧма
Алексей Толстой	Нянь	1939	Хлеб.	6714	вежӧма
Алексей Толстой	Зарни ключ либӧ Буратинолӧн приключениеяс	1939	Золотой ключик, или Приключения Буратино.	1947	вежӧма
И. С. Тургенев	Охотниклӧн гижӧдъясысь	1948	Из записок охотника.	4487	вежӧма
Оскар Уайльд	Преданнӧй друг	1939	Преданный друг.	235	вежӧма
Г. Уэллс	Океан пыдӧсын	1939	На дне океана.	321	вежӧма
И. С. Тургенев	Охотниклӧн гижӧдъяс	1953	Записки охотника.	2264	вежӧма
Аркадий Гайдар	Барабанщиклӧн судьба	1958	Судьба барабанщика.	3359	кольӧма
Борис Горбатов	Пӧкӧритчытӧмъяс (Тараслӧн семья)	1945	Непокоренные (Семья Тараса).	5950	кольӧма
Валентин Катаев	Дӧлалӧ ӧтка еджыд парус	1940	Белеет парус одинокий.	7119	кольӧма
К. Маркс, Ф. Энгельс	Коммунистическӧй партиялӧн манифест	1948	Манифест коммунистической партии.	532	кольӧма
А. Кононов	Вернӧй сьӧлӧм	1955	Верное сердце.	12870	кольӧма
Михаил Коршунов	Черёмушкиын керка	1959	Домик в Черемушках.	1908	кольӧма
Всеволод Кочетов	Журбинъяс	1956	Журбины.	12630	кольӧма
Л. Космодемьянская	Зоя да Шура йылысь повесть	1952	Повесть о Зое и Шуре.	6599	кольӧма
Л. Савельев	Зимний штурмуйтӧм	1940	Штурм Зимнего.	1146	кольӧма
М. Горький	Йӧзын	1940	В людях.	8218	кольӧма
М.Горькӧй	Менам университетъяс	1948	Мои университеты.	3150	кольӧма
М.Горький	Челядьдыр	1939	Детство.	4869	кольӧма
М.Прилежаева	Ёртъясыд тэкӧд!	1952	Друзья с тобой!	4831	кольӧма
Николай Шундик	Ылі войвылын	1956	На севере дальнем.	9043	кольӧма
Н.Кальма	Горчичнӧй Райысь челядь	1955	Дети горчичного рая.	8570	кольӧма
А.Авдеенко	Гӧраясын тулыс	1959	Горная весна.	9633	кольӧма
Борис Полевой	Настоящӧй морт йылысь повесть	1951	Повесть о настоящем человеке.	7068	кольӧма
А.П.Чехов	Канитель да мукӧд рассказъяс	1956	Канитель и другие рассказы.	2461	кольӧма
Н.В.Гоголь	Старосветскӧй помещикъяс	1939	Старосветские помещики.	413	кольӧма
М.Лермонтов	Миян кадся герой	1953 +	Герой нашего времени.		кольӧма
Л.Н.Толстой	Кавказскӧй пленник	1953	Кавказский пленник.		кольӧма
Н.В.Гоголь	Повесть сы йылысь, кыдзи Иван Иванович пиньӧ воис Иван Никифоровичкӧд	1952	Повесть о том, как поссорились Иван Иванович с Иваном Никифоровичем.		кольӧма
Вадим Собко	Мирлӧн залог	1955	Залог мира.		кольӧма
Сергей Розанов	Травкалӧн приключениеяс	1953	Приключения Травки.		кольӧма
Вера Панова	Яснӧй берег	1952	Ясный берег.		кольӧма
Елена Ильина	Нёльӧд высота	1951	Четвертая высота.		кольӧма
Ф.Вигдорова	Менам класс	1951	Мой класс.		кольӧма
В.Осеева	Васёк Трубачёв да сылӧн ёртъясыс	1953	Васек Трубачев и его товарищи.		кольӧма
Э.Войнич	Овод	1957 +	Овод.		кольӧма
Ванда Василевская	Радуга	1944	Радуга.		кольӧма
А. Фадеев	Том гвардия	1953	Молодая гвардия.		кольӧма
Е.Кошевая	Пи йылысь повесть	1951	Повесть о сыне.		кольӧма
Л.Н.Толстой	Хаджи Мурат	1939 +	Хаджи Мурат.		кольӧма
И.Ликстанов	Малышок	1950 +	Малышок		кольӧма
	Аладдин да волшебнӧй лампа / Книга бӧрся книга I	1940	Аладдин и волшебная лампа.		кольӧма
	Али-Баба да нелямын разбойник / Книга бӧрся книга I	1940	Али-Баба и сорок разбойников.		кольӧма
В. Гауф	Карлик ныр / Книга бӧрся книга I	1940	Карлик Нос.		кольӧма
В. Гауф	Халиф-аист йылысь мойдкыв / Книга бӧрся книга I	1940	Сказка о халифе-аисте.		кольӧма
М.Ю. Лермонтов	Ашик-Кериб / Книга бӧрся книга I	1940	Ашик-Кериб.		кольӧма
Д.Н.Мамин-Сибиряк	Рассказъяс	1953	Рассказы.		кольӧма
К.Д.Ушинскӧй	Висьтъяс да мойдъяс	1952	Рассказы и сказки.		кольӧма
С.Степняк-Кравчинскӧй	Андрей Кожухов	1940	Андрей Кожухов.		кольӧма
А. С. Серафимович	Рассказъяс	1954	Рассказы.		кольӧма
Ю.Сотник	Аддзывлытӧм лэбач	1954	Невиданная птица		кольӧма
И.Карнаухова	Дружнӧйяс йылысь повесть	1952	Повесть о дружных.		кольӧма
Джек Лондон	Мексиканец	1938	Мексиканец.		кольӧма
Николай Островский	Кыдзи калитчис сталь	1955	Как закалялась сталь.		кольӧма
Н.Бирюков	Чайка	1953	Чайка.		кольӧма
М.Шолохов	Мортлӧн судьба	1958	Судьба человека.		кольӧма
Михаил Шолохов	Лэптӧм эжа	1958	Поднятая целина.		кольӧма
А.Чумаченко	Тӧлысьвывса морт	1958	Человек с луны.		кольӧма
Н.Носов	Ичӧтик гажа семья	1958	Веселая семейка.		кольӧма
Анатолий Мошковскӧй	Веж гыяс	1961	Белые буруны.		кольӧма
Джек Лондон	Рассказъяс	1958	Рассказы.		кольӧма
Л.Н.Толстой	Бӧрйӧм гижӧдъяс	1957	Избранные произведения.		кольӧма
Короленко В.Г.	Кыв тӧдтӧг	1956	Без языка.		кольӧма
А.Кононов	Сокольникиын ёлка	1954	Елка в Сокольниках.		кольӧма
Г. Карпенко	Куим звӧнок	1964	Три звонка.		кольӧма
Иван Франко	Рассказъяс	1954	Рассказы.		кольӧма
Б.Житков	Кыдзи бать менӧ спасайтіс	1952	Как папа меня спасал.		кольӧма
С.Диковскӧй	«Смелӧй» катерлӧн приключениеяс	1956	Приключения катера «Смелый».		кольӧма
Л.Воронкова	Звёздочкаса командир	1963	Командир звездочки.		кольӧма
С.Виноградская	Юбиляр	1969	Юбиляр.		кольӧма
В.Бонч-Бруевич	Миян Ильич	1959	Наш Ильич.		кольӧма
Сергей Баруздин	Выль сикт	1963	Новые дворики		кольӧма
Виктор Баныкин	Чапаев йылысь висьтъяс	1962	Рассказы о Чапаеве.		кольӧма
Виктор Баныкин	Вильыш детинка	1964	Озорник.		кольӧма
С.Антонов	«Веж луг»	1955	«Зеленый дол».		кольӧма
Даниэл Дэфо	Мореход Робинзон Крузо, сылӧн олӧм да шензьӧдана приключениеяс	1958	Жизнь и удивительные приключения морехода Робинзона Крузо.		кольӧма
Иосиф Дик	Би шор	1954	Огненный ручей.		кольӧма
Г.И.Успенскӧй	Растеряевӧй улича вылын оланног	1954	Нравы Растеряевой улицы.		кольӧма
Е.Рязанова	Том кад заводитчигӧн	1959	На пороге юности.		кольӧма
А.С.Новиков-Прибой	Цусима	1940	Цусима.		кольӧма
Николай Никитин	Войвывса Аврора	1953	Северная Аврора.		кольӧма
А.Батров	Миян друг Хосе	1954	Наш друг Хосе.		кольӧма
Максим Горький	Висьтъяс	1952	Рассказы.		кольӧма
В.Дуров	Менам зверьяс	1958	Мои звери.		кольӧма
Вашингтон Ирвинг	Рип Ван Винкль	1939	Рип Ван Винкль		кольӧма
Н.С.Лесков	Рассказъяс	1954	Рассказы.		кольӧма
Марк Твен	Чеччалысь лягуша	1939	Знаменитая скачущая лягушка из Калавераса.		кольӧма
М.Е.Салтыков-Щедрин	Бӧрйӧм гижӧдъяс	1939	Избранные произведения.		кольӧма
К.Станюкович	Морскӧй висьтъяс	1947	Морские рассказы.		кольӧма
В.Тендряков	Повесть да рассказъяс	1958	Повесть и рассказы.		кольӧма
Юлиус Фучик	Казнь водзвылын кыв	1953	Слово перед казнью (Репортаж с петлей на шее)		кольӧма
А.П.Чехов	Рассказъяс	1954	Рассказы.		кольӧма
М.А.Шолохов	Лэптӧм эжа	1961	Поднятая целина.		кольӧма
А.Мусатов	Стожары	1950	Стожары.		кольӧма
Л.Воронкова	Алтайскӧй повесть	1954	Алтайская повесть.		кольӧма
Лев Кассиль	Менам дона детинкаяс	1948	Мои дорогие мальчишки.		кольӧма
А.Пушкин	Покойнӧй Иван Петрович Белкинлӧн повестьяс	1955	Повести покойного Ивана Петровича Белкина.		кольӧма
Н.Дубов	Му помасянінын	1954	На краю земли.		кольӧма
Н.Дубов	Ю вылын бияс	1954	Огни на реке		кольӧма
Николай Богданов	Повтӧмъяс да кужысьяс йылысь	1954	О смелых и умелых.		кольӧма
С.Георгиевская	Бабушкалӧн море	1953	Бабушкино море.		кольӧма
Николай Дубов	Сирӧта	1957	Сирота.		кольӧма
М.Горький	Рассказъяс	1954	Рассказы.		кольӧма
Эм.Казакевич	Одер вылын тулыс	1952	Весна на Одере.		кольӧма
Антуан де Сент-Экзюпери	Ичӧтик принц	2021	Маленький принц.		кольӧма
Антуан де Сент-Экзюпери	Дзоля принс	2022	Маленький принц.		кольӧма
Л.Н.Толстой	Казакъяс	1956	Казаки.		кольӧма
Р.Торбан	Лым морт	1959	Снежный человек.		кольӧма
Борис Изюмский	Алӧй погонъяс. 1 часть	1955	Алые погоны. 1 часть.		кольӧма
Борис Изюмский	Алӧй погонъяс. 2 часть	1956	Алые погоны. 2 часть.		кольӧма
А.Авдеенко	Тисса дорын	1957	Над Тиссой.		кольӧма
Максим Горькӧй	Мам	1957	Мать.		кольӧма
Галина Николаева	Вундандыр	1952	Жатва.		кольӧма
Р. Фраерман	Дикӧй пон динго либӧ медводдза любовь йылысь повесть	1957	Дикая собака динго, или повесть о первой любви.		кольӧма
Гримм вокъяс	Бременса музыкантъяс	1951	Бременские музыканты.		кольӧма
А.С.Пушкин	Дубровский	1954	Дубровский.		кольӧма
Л.Н.Толстой	Рассказъяс	1954	Рассказы.		кольӧма
К.Чуковский	Доктор Айболит	1952	Доктор Айболит.		кольӧма
Аркадий Гайдар	Ылысса странаяс	1952	Дальние страны.		кольӧма
Борис Изюмский	Алӧй погонъяс. 3 часть	1957	Алые погоны. 3 часть.		кольӧма
С.Воронин	Ковтӧм слава	1958	Ненужная слава.		кольӧма
В.Г.Короленко	Синтӧм музыкант	1953	Слепой музыкант.		кольӧма
Э.Гофман	Щелкунчик да шыръяслӧн король	1940	Щелкунчик и мышиный король.		кольӧма
Л.Воронкова	Беспокойнӧй морт	1956	Беспокойный человек		кольӧма
А.П.Чехов	Каштанка	1951	Каштанка.		кольӧма
И.Василенко	Звёздочка	1950	Звездочка.		кольӧма
И.Василенко	Рассказъяс	1959	Рассказы.		кольӧма
Носов	Витя Малеев школаын да гортас	1953	Витя Малеев в школе и дома.		кольӧма
Д.Мамин-Сибиряк	Кыйсьысь Емеля	1950	Охотник Емеля.		кольӧма
М.Горький	Архип дед да Лёнька	1953	Дед Архип и Ленька.		кольӧма
Р.Фраерман	Майскӧй войӧ подвиг	1948	Подвиг в майскую ночь.		кольӧма
М.Жестев	Ичӧтик трактористлӧн приключениеяс	1960	Приключения маленького тракториста.		кольӧма
С.Т.Григорьев	Суворов	1953	Суворов.		кольӧма
Евгений Пермяк	Вӧсни струна	1959	Тонкая струна.		кольӧма
	Туйводз 2	2021 -	Предпутие 2		кольӧма
Виктор Баныкин	Тулысын ытва дырйи	1955	Весной в половодье.		кольӧма
Л. Воронкова	Ичӧтик зарни ключьяс	1959	Золотые ключики.		кольӧма
Л. Воронкова	Карса нывка	1947	Девочка из города.		кольӧма

Переводы с коми на русский

Автор	Небӧг ним	Петан во	Роч ним	Визь лыд	Пасйӧд
П. А. Уляшева	Войтӧлӧн чиршӧдлӧмъяс	2015	Опалённые северным ветром.	48	вежӧма
Беляев Г. В.	Анбур — коми мойд	2000	Анбур — коми сказки.	3514	вежӧма
Павел Доронин	Мойд небӧг	2004	Книга сказок.	5107	вежӧма
	Шӧвк тупыль.	2012	Шелковый клубок		кольӧма
Торопов И. Г.	Тіянлы водзӧ овны	1980	Вам жить дальше		кольӧма
Василий Юхнин	Биа нюр	1952	Огненное болото		кольӧма

Новости

Новостные тексты Официального портала Республики Коми rkomi.ru  за период  с 2021-04-28 по 2023-01-26

Официальные документы

Тексты, опубликованные в издании "Коми Республикаса государственнӧй власть органъяслӧн индӧд-тшӧктӧмъяс" с 1996 по 2000 гг.
Законы РК, Указы Главы РК, Постановления Правительства РК, Решения Конституционного Суда РК, Бюллетени избирательных комиссий РК, соглашения и договоры РК с другими регионами, реестр официальных наименований организаций и учреждений РК из архива Бюро официального перевода с 2011 по 2020 гг.

Учебная литература

Л. Г. Терехова да В. Г. Эрдели. География. Первойя часть @ 1940 - География. Первая часть.
Г. И. Иванов. География свет юкӧнъяслӧн да медтӧдчана странаяслӧн (СССР-тӧг) @ 1936 - География частей света и важнейших стран (без СССР)
П. Н. Счастнев, П. Г. Терехов. Свет юкӧнъяслӧн физическӧй география @ 1959 - Физическая география частей света.
М. Н. Скаткин. Природоведение. 4-ӧд класслы учебник @ 1962 - Природоведение. Учебник для 4 класса.
В. А. Тетюрев. Естествознание. Первойя часть @ 1939 - Естествознание. Первая часть.
В. А. Тетюрев. Естествознание. Мӧдӧд часть @ 1939 - Естествознание. Вторая часть.
Тексты по географии с сайта http://geography.komikyv.org

Религиозные тексты

Выль кӧсйысьӧм @ 2008 - Новый завет.