Выравнивание текстов на коми и русском языках

Материал из Wiki FU-Lab
Перейти к навигации Перейти к поиску

Выравнивание по строчкам (предложениям) текстов на двух языках имеет своей целью создание параллельного корпуса текстов, который затем будет использован как (в частности) база данных для онлайн переводчика.

Источники

Источниками параллельных текстов являются тексты учебной, художественной, публицистической и официальной литературы.
Как правило это оригиналы на русском и их переводы на коми язык.
Большинство текстов художественной, публицистической и учебной прозы на коми языке получены в результате распознавания отсканированного материала сотрудниками лаборатории.
Художественные, публицистические и учебные тексты на русском языке, как правило, скачаны с просторов интернета.
Источником официальных текстов является база бюро официального перевода и публикации в издании "Ведомости нормативно-правовых актов органов государственной власти Республики Коми".
Частично учебные тексты, а также тексты официальных сайтов переводятся с русского на коми сотрудниками лаборатории.
Переводы интерфейсов сайтов, приложений и т.п., а также материал словарей также планируется включить в параллельный корпус.

Порядок выравнивания

Тексты очищаются в текстовом редакторе (xed, gedit и т.п.) от лишних элементов.
Файлы с расширением .txt загружаются  в папки ru и kv папки input. 
В терминале запускается программа деления по точке с учетом исключений pt.py.
Результат, два файла с расширением .txt, забираем из папки output.
Автоматически разбитые на предложения русский и коми файлы сравниваются в программе WinMerge. Выправление идет, как правило, по тексту оригинала. Но если два и более предложения переведены одним, то исходные предложения объединяются в  одну строчку.
Крупные части русского текста, которые не имеют соответствия в коми переводе, удаляются.
Если в оригинале или переводе нет соответствия отдельному русскому или коми предложению, во втором варианте проставляется тег abu ("нет" по-коми). 
В дальнейшем, коми предложения, соответствия которым по каким-то причинам нет в русском тексте, должны быть переведены на русский язык и добавлены в русский текст.

Особенности обработки художественных текстов

Тексты художественной прозы в свое время переводились с русского на коми весьма вольно. 
Когда сбор параллельных текстов у нас только начинался (в 2021 г.), мы решили при выравнивании сразу подвергать коми переводы частичному исправлению в целях приближения к смыслу оригинала.  Орфография коми текстов приводилась в соответствие с ныне действующими правилами, частично модернизировалась и лексика, т.к. в эпоху советской русификации исконная коми лексика активно вытеснялась из литературного языка, поэтому в переводах наблюдается явный перебор с заимствованиями. В русле этого подхода было выравнено ок. 90 тыс. предложений.
В 2022 году мы пришли к убеждению, что аутентичный перевод также представляет ценность как историческое явление, которое может быть представлено обществу в виде онлайн сервиса "Параллельный русско-коми корпус". Возобладавший принцип сохранения аутентичности, выразился в том, что на этапе сбора параллельного корпуса исправлению подлежали только явные опечатки в коми и русских текстах. В рамках реализации данного принципа выравнены ок. 450 тысяч предложений.
Дальнейшая предобработка текстов - орфографическая унификация и модернизация лексики, остается на этап подготовки параллельного корпуса к загрузке в нейросеть. 
Остается спорным вопрос модернизации лексики. Здесь необходимо выработать четкие критерии, внесение каких изменений является функционально необходимым, а что является избыточным.

Проверка результатов онлайн

Тексты загружаются в специальный раздел на сервере в папки ru и kv.
Запускается скрипт обновления базы.
Поиск предложений осуществляется по русской лексеме с учетом дополнительных опций в русско-коми корпусе параллельных текстов, онлайн-сервис которого  открыт всем пользователям сети интернет.
Результат выдается парами предложений (ru-kv) с выделенным искомым русским словом.
Для проверки результатов дальнейшей обработки текстов создан аналогичный сервис для служебного использования.

Состав параллельного корпуса

Художественная литература

Переводы с русского на коми - 178 / 616253

Автор Небӧг ним Петан во Роч ним Визь лыд Пасйӧд
Вӧвлӧмтор? Али вӧвлытӧмтор? 2010 Было? Или не было? 788 вежӧма
Г. Х. Андерсен Мойдъяс 1952 Сказки. 1196 вежӧма
Семён Бабаевскӧй Зӧлӧтӧй Звездаа кавалер 1948 Кавалер Золотой Звезды. 6687 вежӧма
Байдуков Г. Полюс вомӧн Америкаӧ 1950 Через полюс в Америку. 547 вежӧма
П. Бажов Турунвиж чирк 1952 Зеленый кузнечик. 2072 вежӧма
П. Бажов Сказъяс 1953 Сказы. 3355 вежӧма
Виталий Бианки Великӧй морскӧй туйӧ 1950 На великом морском пути. 888 вежӧма
Чарльз Дикенс Тӧргӧвӧй агент дядьлӧн история 1939 История дяди торгового агента. 301 вежӧма
Альфонс Додэ Менам мельничасянь письмӧяс 1939 Письма с моей мельницы. 339 вежӧма
Анатоль Фран Кренкбиль 1939 Кренкибиль. 561 вежӧма
Д. Фурманов Краснӧй десант 1940 Красный десант. 658 вежӧма
А. Гайдар Чук да Гек 1948 Чук и Гек. 679 вежӧма
Аркадий Гайдар Вӧрын тшын 1950 Дым в лесу. 554 вежӧма
А. Гайдар Гӧлубӧй чашка 1957 Голубая чашка. 695 вежӧма
В. Гаршин Путешествуйтысь лягушка 1951 Лягушка-путешественница. 94 вежӧма
О. Генри Гӧрдкучикаяслӧн вождь 1939 Вождь краснокожих. 264 вежӧма
С. Георгиевская Ичӧтик салдатскӧй пурт 1951 Маленький солдатский ножик. 1134 вежӧма
Э. Т. А. Гофман Бӧчкаяс вӧчалысь мастер Мартин да сылӧн подмастерьеяс 1939 Мастер Мартин-бочар и его подмастерья. 1101 вежӧма
М. Горьки Январь 9-ӧд лун 1939 9 января. 652 вежӧма
Говард Фаст Тони да волшебнӧй ӧдзӧс 1957 Тони и волшебная дверь. 1161 вежӧма
В. К. Гримм, Я. Гримм Рок гырнич. Кӧч да ёж 1939 Горшок каши. 134 вежӧма
Л. Кассиль Дядя Коля, гуткыйысь 1939 Дядя Коля, мухолов. 271 вежӧма
Евгений Коковин Соломбалаын челядьдыр 1952 Детство с Соломбале. 3210 вежӧма
В. Г. Короленк Макарлӧн вӧт 1953 Сон Макара. 1359 вежӧма
В. Г. Короленко Рассказъяс 1954 Рассказы. 1077 вежӧма
В. Кожевников Война йылысь висьтъяс 1942 Рассказы о войне. 798 вежӧма
Д. Н. Мамин-Сибиряк Алёнушкалӧн мойдъяс 1952 Алёнушкины сказки. 641 вежӧма
С. Маршак Дас кык тӧлысь 1953 Двенадцать месяцев. 204 вежӧма
Мадьяръяслӧн Матяш король йылысь мойдъяс 2000 Сказки о венгерском короле Матяше. 587 вежӧма
Носов Н. Н. Толя Клюквинлӧн приключениеяс 1963 Приключения Толи Клюквина. 1460 вежӧма
К. Паустовскӧй Гожся лунъяс 1949 Летние дни. 727 вежӧма
П. Павленко Шуд 1950 Счастье. 7007 вежӧма
Евгений Пермяк Пичугин пос 1962 Пичугин мост. 104 вежӧма
Перро Шарль Гӧрд Шапочка 1949 Красная Шапочка. 73 вежӧма
А. Первенцев Володька — партизанскӧй пи 1940 Володька — сын партизана. 553 вежӧма
А. Погорельскӧй Сьӧд курӧг либӧ Мупытшса олысьяс 1950 Чёрная курица или подземные жители. 559 вежӧма
М. Прилежаева Маша Строговалӧн том кад 1952 Юность Маши Строговой. 6531 вежӧма
Пушкин А. С. Капитанлӧн ныв 1953 Капитанская дочка. 2530 вежӧма
Михаил Садовяну Митря Кокор 1952 Митря Кокор. 4274 вежӧма
Тихонов Н. С. Повтӧм партизан 1952 Храбрый партизан. 403 вежӧма
Алексей Толстой Нянь 1939 Хлеб. 6714 вежӧма
Алексей Толстой Зарни ключ либӧ Буратинолӧн приключениеяс 1939 Золотой ключик, или Приключения Буратино. 1947 вежӧма
И. С. Тургенев Охотниклӧн гижӧдъясысь 1948 Из записок охотника. 4487 вежӧма
Оскар Уайльд Преданнӧй друг 1939 Преданный друг. 235 вежӧма
Г. Уэллс Океан пыдӧсын 1939 На дне океана. 321 вежӧма
И. С. Тургенев Охотниклӧн гижӧдъяс 1953 Записки охотника. 2264 вежӧма
Аркадий Гайдар Барабанщиклӧн судьба 1958 Судьба барабанщика. 3359 кольӧма
Борис Горбатов Пӧкӧритчытӧмъяс (Тараслӧн семья) 1945 Непокоренные (Семья Тараса). 5950 кольӧма
Валентин Катаев Дӧлалӧ ӧтка еджыд парус 1940 Белеет парус одинокий. 7119 кольӧма
К. Маркс, Ф. Энгельс Коммунистическӧй партиялӧн манифест 1948 Манифест коммунистической партии. 532 кольӧма
А. Кононов Вернӧй сьӧлӧм 1955 Верное сердце. 12870 кольӧма
Михаил Коршунов Черёмушкиын керка 1959 Домик в Черемушках. 1908 кольӧма
Всеволод Кочетов Журбинъяс 1956 Журбины. 12630 кольӧма
Л. Космодемьянская Зоя да Шура йылысь повесть 1952 Повесть о Зое и Шуре. 6599 кольӧма
Л. Савельев Зимний штурмуйтӧм 1940 Штурм Зимнего. 1146 кольӧма
М. Горький Йӧзын 1940 В людях. 8218 кольӧма
М.Горькӧй Менам университетъяс 1948 Мои университеты. 3150 кольӧма
М.Горький Челядьдыр 1939 Детство. 4869 кольӧма
М.Прилежаева Ёртъясыд тэкӧд! 1952 Друзья с тобой! 4831 кольӧма
Николай Шундик Ылі войвылын 1956 На севере дальнем. 9043 кольӧма
Н.Кальма Горчичнӧй Райысь челядь 1955 Дети горчичного рая. 8570 кольӧма
А.Авдеенко Гӧраясын тулыс 1959 Горная весна. 9633 кольӧма
Борис Полевой Настоящӧй морт йылысь повесть 1951 Повесть о настоящем человеке. 7068 кольӧма
А.П.Чехов Канитель да мукӧд рассказъяс 1956 Канитель и другие рассказы. 2461 кольӧма
Н.В.Гоголь Старосветскӧй помещикъяс 1939 Старосветские помещики. 413 кольӧма
М.Лермонтов Миян кадся герой 1953 Герой нашего времени. + 3338 кольӧма
Л.Н.Толстой Кавказскӧй пленник 1953 Кавказский пленник. 802 кольӧма
Н.В.Гоголь Повесть сы йылысь, кыдзи Иван Иванович пиньӧ воис Иван Никифоровичкӧд 1952 Повесть о том, как поссорились Иван Иванович с Иваном Никифоровичем. 1068 кольӧма
Вадим Собко Мирлӧн залог 1955 Залог мира. 8951 кольӧма
Сергей Розанов Травкалӧн приключениеяс 1953 Приключения Травки. 3738 кольӧма
Вера Панова Яснӧй берег 1952 Ясный берег. 5629 кольӧма
Елена Ильина Нёльӧд высота 1951 Четвертая высота. 5233 кольӧма
Ф.Вигдорова Менам класс 1951 Мой класс. 6607 кольӧма
В.Осеева Васёк Трубачёв да сылӧн ёртъясыс 1953 Васек Трубачев и его товарищи. 9792 кольӧма
Э.Войнич Овод 1957 Овод. + 7996 кольӧма
Ванда Василевская Радуга 1944 Радуга. 6398 кольӧма
А. Фадеев Том гвардия 1953 Молодая гвардия. 13005 кольӧма
Е.Кошевая Пи йылысь повесть 1951 Повесть о сыне. 3823 кольӧма
Л.Н.Толстой Хаджи Мурат 1939 Хаджи Мурат.+ 2520 кольӧма
И.Ликстанов Малышок 1950 Малышок + 7642 кольӧма
Аладдин да волшебнӧй лампа / Книга бӧрся книга I 1940 Аладдин и волшебная лампа. 762 кольӧма
Али-Баба да нелямын разбойник / Книга бӧрся книга I 1940 Али-Баба и сорок разбойников. 552 кольӧма
В. Гауф Карлик ныр / Книга бӧрся книга I 1940 Карлик Нос. 719 кольӧма
В. Гауф Халиф-аист йылысь мойдкыв / Книга бӧрся книга I 1940 Сказка о халифе-аисте. 254 кольӧма
М. Ю. Лермонтов Ашик-Кериб / Книга бӧрся книга I 1940 Ашик-Кериб. 212 кольӧма
Д. Н. Мамин-Сибиряк Рассказъяс 1953 Рассказы. 2081 кольӧма
К. Д. Ушинскӧй Висьтъяс да мойдъяс 1952 Рассказы и сказки. 804 кольӧма
С. Степняк-Кравчинскӧй Андрей Кожухов 1940 Андрей Кожухов. 7373 кольӧма
А. С. Серафимович Рассказъяс 1954 Рассказы. 1996 кольӧма
Ю.Сотник Аддзывлытӧм лэбач 1954 Невиданная птица 7287 кольӧма
И.Карнаухова Дружнӧйяс йылысь повесть 1952 Повесть о дружных. 7348 кольӧма
Джек Лондон Мексиканец 1938 Мексиканец. 819 кольӧма
Николай Островский Кыдзи калитчис сталь 1955 Как закалялась сталь. 10489 кольӧма
Н.Бирюков Чайка 1953 Чайка. 11986 кольӧма
М.Шолохов Мортлӧн судьба 1958 Судьба человека. 927 кольӧма
Михаил Шолохов Лэптӧм эжа 1958 Поднятая целина. 10030 кольӧма
А.Чумаченко Тӧлысьвывса морт 1958 Человек с луны. 2543 кольӧма
Н.Носов Ичӧтик гажа семья 1958 Веселая семейка. 1959 кольӧма
Анатолий Мошковскӧй Веж гыяс 1961 Белые буруны. 2283 кольӧма
Джек Лондон Рассказъяс 1958 Рассказы. 3506 кольӧма
Л.Н.Толстой Бӧрйӧм гижӧдъяс 1957 Избранные произведения. 3528 кольӧма
Короленко В.Г. Кыв тӧдтӧг 1956 Без языка. 3145 кольӧма
А.Кононов Сокольникиын ёлка 1954 Елка в Сокольниках. 192 кольӧма
Г. Карпенко Куим звӧнок 1964 Три звонка. 3083 кольӧма
Иван Франко Рассказъяс 1954 Рассказы. 2483 кольӧма
Б.Житков Кыдзи бать менӧ спасайтіс 1952 Как папа меня спасал. 354 кольӧма
С.Диковскӧй «Смелӧй» катерлӧн приключениеяс 1956 Приключения катера «Смелый». 3373 кольӧма
Л.Воронкова Звёздочкаса командир 1963 Командир звездочки. 1166 кольӧма
С.Виноградская Юбиляр 1969 Юбиляр. 310 кольӧма
В.Бонч-Бруевич Миян Ильич 1959 Наш Ильич. 942 кольӧма
Сергей Баруздин Выль сикт 1963 Новые дворики 1255 кольӧма
Виктор Баныкин Чапаев йылысь висьтъяс 1962 Рассказы о Чапаеве. 1556 кольӧма
Виктор Баныкин Вильыш детинка 1964 Озорник. 2711 кольӧма
С.Антонов «Веж луг» 1955 «Зеленый дол». 2089 кольӧма
Даниэл Дэфо Мореход Робинзон Крузо, сылӧн олӧм да шензьӧдана приключениеяс 1958 Жизнь и удивительные приключения морехода Робинзона Крузо. 3908 кольӧма
Иосиф Дик Би шор 1954 Огненный ручей. 4218 кольӧма
Г.И.Успенскӧй Растеряевӧй улича вылын оланног 1954 Нравы Растеряевой улицы. 4712 кольӧма
Е.Рязанова Том кад заводитчигӧн 1959 На пороге юности. 4046 кольӧма
А.С.Новиков-Прибой Цусима 1940 Цусима. 9072 кольӧма
Николай Никитин Войвывса Аврора 1953 Северная Аврора. 13903 кольӧма
А.Батров Миян друг Хосе 1954 Наш друг Хосе. 1975 кольӧма
Максим Горький Висьтъяс 1952 Рассказы. 466 кольӧма
В.Дуров Менам зверьяс 1958 Мои звери. 2326 кольӧма
Вашингтон Ирвинг Рип Ван Винкль 1939 Рип Ван Винкль 301 кольӧма
Н.С.Лесков Рассказъяс 1954 Рассказы. 2784 кольӧма
Марк Твен Чеччалысь лягуша 1939 Знаменитая скачущая лягушка из Калавераса. 271 кольӧма
М.Е.Салтыков-Щедрин Бӧрйӧм гижӧдъяс 1939 Избранные произведения. 7555 кольӧма
К.Станюкович Морскӧй висьтъяс 1947 Морские рассказы. 1572 кольӧма
В.Тендряков Повесть да рассказъяс 1958 Повесть и рассказы. 6398 кольӧма
Юлиус Фучик Казнь водзвылын кыв 1953 Слово перед казнью (Репортаж с петлей на шее) 2302 кольӧма
А.П.Чехов Рассказъяс 1954 Рассказы. 2427 кольӧма
М.А.Шолохов Лэптӧм эжа (2 книга) 1961 Поднятая целина. 9674 кольӧма
А.Мусатов Стожары 1950 Стожары. 5775 кольӧма
Л.Воронкова Алтайскӧй повесть 1954 Алтайская повесть. 5866 кольӧма
Лев Кассиль Менам дона детинкаяс 1948 Мои дорогие мальчишки. 3981 кольӧма
А.Пушкин Покойнӧй Иван Петрович Белкинлӧн повестьяс 1955 Повести покойного Ивана Петровича Белкина. 1534 кольӧма
Н.Дубов Му помасянінын 1954 На краю земли. 5885 кольӧма
Н.Дубов Ю вылын бияс 1954 Огни на реке 3059 кольӧма
Николай Богданов Повтӧмъяс да кужысьяс йылысь 1954 О смелых и умелых. 1498 кольӧма
С.Георгиевская Бабушкалӧн море 1953 Бабушкино море. 2804 кольӧма
Николай Дубов Сирӧта 1957 Сирота. 9354 кольӧма
М.Горький Рассказъяс 1954 Рассказы. 2961 кольӧма
Эм.Казакевич Одер вылын тулыс 1952 Весна на Одере. 11552 кольӧма
Антуан де Сент-Экзюпери Ичӧтик принц 2021 Маленький принц. 1511 кольӧма
Антуан де Сент-Экзюпери Дзоля принс 2022 Маленький принц. 1513 кольӧма
Л. Н.Толстой Казакъяс 1956 Казаки. 4075 кольӧма
Р. Торбан Лым морт 1959 Снежный человек. 3875 кольӧма
Борис Изюмский Алӧй погонъяс. 1 часть 1955 Алые погоны. 1 часть. 5440 кольӧма
Борис Изюмский Алӧй погонъяс. 2 часть 1956 Алые погоны. 2 часть. 5022 кольӧма
А.Авдеенко Тисса дорын 1957 Над Тиссой. 4649 кольӧма
Максим Горькӧй Мам 1957 Мать. 9294 кольӧма
Галина Николаева Вундандыр 1952 Жатва. 13794 кольӧма
Р. Фраерман Дикӧй пон динго либӧ медводдза любовь йылысь повесть 1957 Дикая собака динго, или повесть о первой любви. 3339 кольӧма
Гримм вокъяс Бременса музыкантъяс 1951 Бременские музыканты. 122 кольӧма
А.С.Пушкин Дубровский 1954 Дубровский. 1475 кольӧма
Л.Н.Толстой Рассказъяс 1954 Рассказы. 4029 кольӧма
К.Чуковский Доктор Айболит 1952 Доктор Айболит. 2395 кольӧма
Аркадий Гайдар Ылысса странаяс 1952 Дальние страны. 1778 кольӧма
Борис Изюмский Алӧй погонъяс. 3 часть 1957 Алые погоны. 3 часть. 3677 кольӧма
С.Воронин Ковтӧм слава 1958 Ненужная слава. 2105 кольӧма
В.Г.Короленко Синтӧм музыкант 1953 Слепой музыкант. 212 кольӧма
Э.Гофман Щелкунчик да шыръяслӧн король 1940 Щелкунчик и мышиный король. 1084 кольӧма
Л.Воронкова Беспокойнӧй морт 1956 Беспокойный человек 6842 кольӧма
А.П.Чехов Каштанка 1951 Каштанка. 492 кольӧма
И.Василенко Звёздочка 1950 Звездочка. 1945 кольӧма
И.Василенко Рассказъяс 1959 Рассказы. 2166 кольӧма
Носов Витя Малеев школаын да гортас 1953 Витя Малеев в школе и дома. 4173 кольӧма
Д.Мамин-Сибиряк Кыйсьысь Емеля 1950 Охотник Емеля. 183 кольӧма
М.Горький Архип дед да Лёнька 1953 Дед Архип и Ленька. 551 кольӧма
Р.Фраерман Майскӧй войӧ подвиг 1948 Подвиг в майскую ночь. 450 кольӧма
М.Жестев Ичӧтик трактористлӧн приключениеяс 1960 Приключения маленького тракториста. 6990 кольӧма
С.Т.Григорьев Суворов 1953 Суворов. 9592 кольӧма
Евгений Пермяк Вӧсни струна 1959 Тонкая струна. 2210 кольӧма
Туйводз 2 2021 - Предпутие 2 4170 кольӧма
Виктор Баныкин Тулысын ытва дырйи 1955 Весной в половодье. 2340 кольӧма
Л. Воронкова Ичӧтик зарни ключьяс 1959 Золотые ключики. 1269 кольӧма
Л. Воронкова Карса нывка 1947 Девочка из города. 2088 кольӧма

Переводы с коми на русский - 6 / 38304

Автор Небӧг ним Петан во Роч ним Визь лыд Пасйӧд
П. А. Уляшева Войтӧлӧн чиршӧдлӧмъяс 2015 Опалённые северным ветром. 48 вежӧма
Беляев Г. В. Анбур — коми мойд 2000 Анбур — коми сказки. 3514 вежӧма
Павел Доронин Мойд небӧг 2004 Книга сказок. 5107 вежӧма
Шӧвк тупыль. 2012 Шелковый клубок 6494 кольӧма
Торопов И. Г. Тіянлы водзӧ овны 1980 Вам жить дальше 21311 кольӧма
Василий Юхнин Биа нюр 1952 Огненное болото 1830 кольӧма

Новости

Новостные тексты Официального портала Республики Коми rkomi.ru  за период  с 2021-04-28 по 2023-01-26 - 19961

Официальные документы

Тексты, опубликованные в издании "Коми Республикаса государственнӧй власть органъяслӧн индӧд-тшӧктӧмъяс" с 1996 по 2000 гг. - 54372
Законы РК, Указы Главы РК, Постановления Правительства РК, Решения Конституционного Суда РК, Бюллетени избирательных комиссий РК, соглашения и договоры РК с другими регионами, реестр официальных наименований организаций и учреждений РК из архива Бюро официального перевода с 2011 по 2020 гг. - 505494

Учебная литература

Л. Г. Терехова да В. Г. Эрдели. География. Первойя часть @ 1940 - География. Первая часть.
Г. И. Иванов. География свет юкӧнъяслӧн да медтӧдчана странаяслӧн (СССР-тӧг) @ 1936 - География частей света и важнейших стран (без СССР)
П. Н. Счастнев, П. Г. Терехов. Свет юкӧнъяслӧн физическӧй география @ 1959 - Физическая география частей света.
М. Н. Скаткин. Природоведение. 4-ӧд класслы учебник @ 1962 - Природоведение. Учебник для 4 класса.
В. А. Тетюрев. Естествознание. Первойя часть @ 1939 - Естествознание. Первая часть.
В. А. Тетюрев. Естествознание. Мӧдӧд часть @ 1939 - Естествознание. Вторая часть.
Тексты по географии с сайта http://geography.komikyv.org

Религиозные тексты

Выль кӧсйысьӧм @ 2008 - Новый завет.