Выравнивание текстов на коми и русском языках: различия между версиями

Материал из Wiki FU-Lab
Перейти к навигации Перейти к поиску
Строка 110: Строка 110:
|1939
|1939
|Письма с моей мельницы.
|Письма с моей мельницы.
|
|вежӧма
|-
|kv Павел Доронин
|Мойд небӧг
|2004
|Книга сказок.
|
|
|вежӧма
|вежӧма
Строка 1318: Строка 1311:
|2000
|2000
|Анбур — коми сказки.
|Анбур — коми сказки.
|
|вежӧма
|-
|Павел Доронин
|Мойд небӧг
|2004
|Книга сказок.
|
|
|вежӧма
|вежӧма

Версия от 18:30, 16 марта 2023

Выравнивание по строчкам (предложениям) текстов на двух языках имеет своей целью создание параллельного корпуса текстов, который затем будет использован как (в частности) база данных для онлайн переводчика.

Источники

Источниками параллельных текстов являются тексты учебной, художественной, публицистической и официальной литературы.
Как правило это оригиналы на русском и их переводы на коми язык.
Большинство текстов художественной, публицистической и учебной прозы на коми языке получены в результате распознавания отсканированного материала сотрудниками лаборатории.
Художественные, публицистические и учебные тексты на русском языке, как правило, скачаны с просторов интернета.
Источником официальных текстов является база бюро официального перевода и публикации в издании "Ведомости нормативно-правовых актов органов государственной власти Республики Коми".
Частично учебные тексты, а также тексты официальных сайтов переводятся с русского на коми сотрудниками лаборатории.
Переводы интерфейсов сайтов, приложений и т.п., а также материал словарей также планируется включить в параллельный корпус.

Порядок выравнивания

Тексты очищаются в текстовом редакторе (xed, gedit и т.п.) от лишних элементов.
Файлы с расширением .txt загружаются  в папки ru и kv папки input. 
В терминале запускается программа деления по точке с учетом исключений pt.py.
Результат, два файла с расширением .txt, забираем из папки output.
Автоматически разбитые на предложения русский и коми файлы сравниваются в программе WinMerge. Выправление идет, как правило, по тексту оригинала. Но если два и более предложения переведены одним, то исходные предложения объединяются в  одну строчку.
Крупные части русского текста, которые не имеют соответствия в коми переводе, удаляются.
Если в оригинале или переводе нет соответствия отдельному русскому или коми предложению, во втором варианте проставляется тег abu ("нет" по-коми). 
В дальнейшем, коми предложения, соответствия которым по каким-то причинам нет в русском тексте, должны быть переведены на русский язык и добавлены в русский текст.

Особенности обработки художественных текстов

Тексты художественной прозы в свое время переводились с русского на коми весьма вольно. 
Когда сбор параллельных текстов у нас только начинался (в 2021 г.), мы решили при выравнивании сразу подвергать коми переводы частичному исправлению в целях приближения к смыслу оригинала.  Орфография коми текстов приводилась в соответствие с ныне действующими правилами, частично модернизировалась и лексика, т.к. в эпоху советской русификации исконная коми лексика активно вытеснялась из литературного языка, поэтому в переводах наблюдается явный перебор с заимствованиями. В русле этого подхода было выравнено ок. 90 тыс. предложений.
В 2022 году мы пришли к убеждению, что аутентичный перевод также представляет ценность как историческое явление, которое может быть представлено обществу в виде онлайн сервиса "Параллельный русско-коми корпус". Возобладавший принцип сохранения аутентичности, выразился в том, что на этапе сбора параллельного корпуса исправлению подлежали только явные опечатки в коми и русских текстах. В рамках реализации данного принципа выравнены ок. 450 тысяч предложений.
Дальнейшая предобработка текстов - орфографическая унификация и модернизация лексики, остается на этап подготовки параллельного корпуса к загрузке в нейросеть. 
Остается спорным вопрос модернизации лексики. Здесь необходимо выработать четкие критерии, внесение каких изменений является функционально необходимым, а что является избыточным.

Проверка результатов онлайн

Тексты загружаются в специальный раздел на сервере в папки ru и kv.
Запускается скрипт обновления базы.
Поиск предложений осуществляется по русской лексеме с учетом дополнительных опций в русско-коми корпусе параллельных текстов, онлайн-сервис которого  открыт всем пользователям сети интернет.
Результат выдается парами предложений (ru-kv) с выделенным искомым русским словом.
Для проверки результатов дальнейшей обработки текстов создан аналогичный сервис для служебного использования.

Состав параллельного корпуса

Художественная литература

Переводы с русского на коми

Автор Небӧг ним Петан во Роч ним Визь лыд Пасйӧд
Вӧвлӧмтор? Али вӧвлытӧмтор? 2010 Было? Или не было? вежӧма
Г. Х. Андерсен Мойдъяс 1952 Сказки. вежӧма
Семён Бабаевскӧй Зӧлӧтӧй Звездаа кавалер 1948 Кавалер Золотой Звезды. вежӧма
Байдуков Г. Полюс вомӧн Америкаӧ 1950 Через полюс в Америку. вежӧма
П. Бажов Турунвиж чирк 1952 Зеленый кузнечик. вежӧма
П. Бажов Сказъяс 1953 Сказы. вежӧма
Виталий Бианки Великӧй морскӧй туйӧ 1950 На великом морском пути. вежӧма
Чарльз Дикенс Тӧргӧвӧй агент дядьлӧн история 1939 История дяди торгового агента. вежӧма
Альфонс Додэ Менам мельничасянь письмӧяс 1939 Письма с моей мельницы. вежӧма
Анатоль Фран Кренкбиль 1939 Кренкибиль. вежӧма
Д. Фурманов Краснӧй десант 1940 Красный десант. вежӧма
А. Гайдар Чук да Гек 1948 Чук и Гек. вежӧма
Аркадий Гайдар Вӧрын тшын 1950 Дым в лесу. вежӧма
А. Гайдар Гӧлубӧй чашка 1957 Голубая чашка. вежӧма
В. Гаршин Путешествуйтысь лягушка 1951 Лягушка-путешественница. вежӧма
О. Генри Гӧрдкучикаяслӧн вождь 1939 Вождь краснокожих. вежӧма
С. Георгиевская Ичӧтик салдатскӧй пурт 1951 Маленький солдатский ножик. вежӧма
Э. Т. А. Гофман Бӧчкаяс вӧчалысь мастер Мартин да сылӧн подмастерьеяс 1939 Мастер Мартин-бочар и его подмастерья. вежӧма
М. Горьки Январь 9-ӧд лун 1939 9 января. вежӧма
Говард Фаст Тони да волшебнӧй ӧдзӧс 1957 Тони и волшебная дверь. вежӧма
В. К. Гримм, Я. Гримм Рок гырнич. Кӧч да ёж 1939 Горшок каши. вежӧма
Л. Кассиль Дядя Коля, гуткыйысь 1939 Дядя Коля, мухолов. вежӧма
Евгений Коковин Соломбалаын челядьдыр 1952 Детство с Соломбале. вежӧма
В. Г. Короленк Макарлӧн вӧт 1953 Сон Макара. вежӧма
В. Г. Короленко Рассказъяс 1954 Рассказы. вежӧма
В. Кожевников Война йылысь висьтъяс 1942 Рассказы о войне. вежӧма
Д. Н. Мамин-Сибиряк Алёнушкалӧн мойдъяс 1952 Алёнушкины сказки. вежӧма
С. Маршак Дас кык тӧлысь 1953 Двенадцать месяцев. вежӧма
Мадьяръяслӧн Матяш король йылысь мойдъяс 2000 Сказки о венгерском короле Матяше. вежӧма
Носов Н. Н. Толя Клюквинлӧн приключениеяс 1963 Приключения Толи Клюквина. вежӧма
К. Паустовскӧй Гожся лунъяс 1949 Летние дни. вежӧма
П. Павленко Шуд 1950 Счастье. вежӧма
Евгений Пермяк Пичугин пос 1962 Пичугин мост. вежӧма
Перро Шарль Гӧрд Шапочка 1949 Красная Шапочка. вежӧма
А. Первенцев Володька — партизанскӧй пи 1940 Володька — сын партизана. вежӧма
А. Погорельскӧй Сьӧд курӧг либӧ Мупытшса олысьяс 1950 Чёрная курица или подземные жители. вежӧма
М. Прилежаева Маша Строговалӧн том кад 1952 Юность Маши Строговой. вежӧма
Пушкин А. С. Капитанлӧн ныв 1953 Капитанская дочка. вежӧма
Михаил Садовяну Митря Кокор 1952 Митря Кокор. вежӧма
Тихонов Н. С. Повтӧм партизан 1952 Храбрый партизан. вежӧма
Алексей Толстой Нянь 1939 Хлеб. вежӧма
Алексей Толстой Зарни ключ либӧ Буратинолӧн приключениеяс 1939 Золотой ключик, или Приключения Буратино. вежӧма
И. С. Тургенев Охотниклӧн гижӧдъясысь 1948 Из записок охотника. вежӧма
Оскар Уайльд Преданнӧй друг 1939 Преданный друг. вежӧма
Г. Уэллс Океан пыдӧсын 1939 На дне океана. вежӧма
И. С. Тургенев Охотниклӧн гижӧдъяс 1953 Записки охотника. вежӧма
Аркадий Гайдар Барабанщиклӧн судьба 1958 Судьба барабанщика. кольӧма
Борис Горбатов Пӧкӧритчытӧмъяс (Тараслӧн семья) 1945 Непокоренные (Семья Тараса). кольӧма
Валентин Катаев Дӧлалӧ ӧтка еджыд парус 1940 Белеет парус одинокий. кольӧма
К. Маркс, Ф. Энгельс Коммунистическӧй партиялӧн манифест 1948 Манифест коммунистической партии. кольӧма
А. Кононов Вернӧй сьӧлӧм 1955 Верное сердце. кольӧма
Михаил Коршунов Черёмушкиын керка 1959 Домик в Черемушках. кольӧма
Всеволод Кочетов Журбинъяс 1956 Журбины. кольӧма
Л. Космодемьянская Зоя да Шура йылысь повесть 1952 Повесть о Зое и Шуре. кольӧма
Л. Савельев Зимний штурмуйтӧм 1940 Штурм Зимнего. кольӧма
М. Горький Йӧзын 1940 В людях. кольӧма
М.Горькӧй Менам университетъяс 1948 Мои университеты. кольӧма
М.Горький Челядьдыр 1939 Детство. кольӧма
М.Прилежаева Ёртъясыд тэкӧд! 1952 Друзья с тобой! кольӧма
Николай Шундик Ылі войвылын 1956 На севере дальнем. кольӧма
Н.Кальма Горчичнӧй Райысь челядь 1955 Дети горчичного рая. кольӧма
А.Авдеенко Гӧраясын тулыс 1959 Горная весна. кольӧма
Борис Полевой Настоящӧй морт йылысь повесть 1951 Повесть о настоящем человеке. кольӧма
А.П.Чехов Канитель да мукӧд рассказъяс 1956 Канитель и другие рассказы. кольӧма
Н.В.Гоголь Старосветскӧй помещикъяс 1939 Старосветские помещики. кольӧма
М.Лермонтов Миян кадся герой 1953 + Герой нашего времени. кольӧма
Л.Н.Толстой Кавказскӧй пленник 1953 Кавказский пленник. кольӧма
Н.В.Гоголь Повесть сы йылысь, кыдзи Иван Иванович пиньӧ воис Иван Никифоровичкӧд 1952 Повесть о том, как поссорились Иван Иванович с Иваном Никифоровичем. кольӧма
Вадим Собко Мирлӧн залог 1955 Залог мира. кольӧма
Сергей Розанов Травкалӧн приключениеяс 1953 Приключения Травки. кольӧма
Вера Панова Яснӧй берег 1952 Ясный берег. кольӧма
Елена Ильина Нёльӧд высота 1951 Четвертая высота. кольӧма
Ф.Вигдорова Менам класс 1951 Мой класс. кольӧма
В.Осеева Васёк Трубачёв да сылӧн ёртъясыс 1953 Васек Трубачев и его товарищи. кольӧма
Э.Войнич Овод 1957 + Овод. кольӧма
Ванда Василевская Радуга 1944 Радуга. кольӧма
А. Фадеев Том гвардия 1953 Молодая гвардия. кольӧма
Е.Кошевая Пи йылысь повесть 1951 Повесть о сыне. кольӧма
Л.Н.Толстой Хаджи Мурат 1939 + Хаджи Мурат. кольӧма
И.Ликстанов Малышок 1950 + Малышок кольӧма
Аладдин да волшебнӧй лампа / Книга бӧрся книга I 1940 Аладдин и волшебная лампа. кольӧма
Али-Баба да нелямын разбойник / Книга бӧрся книга I 1940 Али-Баба и сорок разбойников. кольӧма
В. Гауф Карлик ныр / Книга бӧрся книга I 1940 Карлик Нос. кольӧма
В. Гауф Халиф-аист йылысь мойдкыв / Книга бӧрся книга I 1940 Сказка о халифе-аисте. кольӧма
М.Ю. Лермонтов Ашик-Кериб / Книга бӧрся книга I 1940 Ашик-Кериб. кольӧма
Д.Н.Мамин-Сибиряк Рассказъяс 1953 Рассказы. кольӧма
К.Д.Ушинскӧй Висьтъяс да мойдъяс 1952 Рассказы и сказки. кольӧма
С.Степняк-Кравчинскӧй Андрей Кожухов 1940 Андрей Кожухов. кольӧма
А. С. Серафимович Рассказъяс 1954 Рассказы. кольӧма
Ю.Сотник Аддзывлытӧм лэбач 1954 Невиданная птица кольӧма
И.Карнаухова Дружнӧйяс йылысь повесть 1952 Повесть о дружных. кольӧма
Джек Лондон Мексиканец 1938 Мексиканец. кольӧма
Николай Островский Кыдзи калитчис сталь 1955 Как закалялась сталь. кольӧма
Н.Бирюков Чайка 1953 Чайка. кольӧма
М.Шолохов Мортлӧн судьба 1958 Судьба человека. кольӧма
Михаил Шолохов Лэптӧм эжа 1958 Поднятая целина. кольӧма
А.Чумаченко Тӧлысьвывса морт 1958 Человек с луны. кольӧма
Н.Носов Ичӧтик гажа семья 1958 Веселая семейка. кольӧма
Анатолий Мошковскӧй Веж гыяс 1961 Белые буруны. кольӧма
Джек Лондон Рассказъяс 1958 Рассказы. кольӧма
Л.Н.Толстой Бӧрйӧм гижӧдъяс 1957 Избранные произведения. кольӧма
Короленко В.Г. Кыв тӧдтӧг 1956 Без языка. кольӧма
А.Кононов Сокольникиын ёлка 1954 Елка в Сокольниках. кольӧма
Г. Карпенко Куим звӧнок 1964 Три звонка. кольӧма
Иван Франко Рассказъяс 1954 Рассказы. кольӧма
Б.Житков Кыдзи бать менӧ спасайтіс 1952 Как папа меня спасал. кольӧма
С.Диковскӧй «Смелӧй» катерлӧн приключениеяс 1956 Приключения катера «Смелый». кольӧма
Л.Воронкова Звёздочкаса командир 1963 Командир звездочки. кольӧма
С.Виноградская Юбиляр 1969 Юбиляр. кольӧма
В.Бонч-Бруевич Миян Ильич 1959 Наш Ильич. кольӧма
Сергей Баруздин Выль сикт 1963 Новые дворики кольӧма
Виктор Баныкин Чапаев йылысь висьтъяс 1962 Рассказы о Чапаеве. кольӧма
Виктор Баныкин Вильыш детинка 1964 Озорник. кольӧма
С.Антонов «Веж луг» 1955 «Зеленый дол». кольӧма
Даниэл Дэфо Мореход Робинзон Крузо, сылӧн олӧм да шензьӧдана приключениеяс 1958 Жизнь и удивительные приключения морехода Робинзона Крузо. кольӧма
Иосиф Дик Би шор 1954 Огненный ручей. кольӧма
Г.И.Успенскӧй Растеряевӧй улича вылын оланног 1954 Нравы Растеряевой улицы. кольӧма
Е.Рязанова Том кад заводитчигӧн 1959 На пороге юности. кольӧма
А.С.Новиков-Прибой Цусима 1940 Цусима. кольӧма
Николай Никитин Войвывса Аврора 1953 Северная Аврора. кольӧма
А.Батров Миян друг Хосе 1954 Наш друг Хосе. кольӧма
Максим Горький Висьтъяс 1952 Рассказы. кольӧма
В.Дуров Менам зверьяс 1958 Мои звери. кольӧма
Вашингтон Ирвинг Рип Ван Винкль 1939 Рип Ван Винкль кольӧма
Н.С.Лесков Рассказъяс 1954 Рассказы. кольӧма
Марк Твен Чеччалысь лягуша 1939 Знаменитая скачущая лягушка из Калавераса. кольӧма
М.Е.Салтыков-Щедрин Бӧрйӧм гижӧдъяс 1939 Избранные произведения. кольӧма
К.Станюкович Морскӧй висьтъяс 1947 Морские рассказы. кольӧма
В.Тендряков Повесть да рассказъяс 1958 Повесть и рассказы. кольӧма
Юлиус Фучик Казнь водзвылын кыв 1953 Слово перед казнью (Репортаж с петлей на шее) кольӧма
А.П.Чехов Рассказъяс 1954 Рассказы. кольӧма
М.А.Шолохов Лэптӧм эжа 1961 Поднятая целина. кольӧма
А.Мусатов Стожары 1950 Стожары. кольӧма
Л.Воронкова Алтайскӧй повесть 1954 Алтайская повесть. кольӧма
Лев Кассиль Менам дона детинкаяс 1948 Мои дорогие мальчишки. кольӧма
А.Пушкин Покойнӧй Иван Петрович Белкинлӧн повестьяс 1955 Повести покойного Ивана Петровича Белкина. кольӧма
Н.Дубов Му помасянінын 1954 На краю земли. кольӧма
Н.Дубов Ю вылын бияс 1954 Огни на реке кольӧма
Николай Богданов Повтӧмъяс да кужысьяс йылысь 1954 О смелых и умелых. кольӧма
С.Георгиевская Бабушкалӧн море 1953 Бабушкино море. кольӧма
Николай Дубов Сирӧта 1957 Сирота. кольӧма
М.Горький Рассказъяс 1954 Рассказы. кольӧма
Эм.Казакевич Одер вылын тулыс 1952 Весна на Одере. кольӧма
Антуан де Сент-Экзюпери Ичӧтик принц 2021 Маленький принц. кольӧма
Антуан де Сент-Экзюпери Дзоля принс 2022 Маленький принц. кольӧма
Л.Н.Толстой Казакъяс 1956 Казаки. кольӧма
Р.Торбан Лым морт 1959 Снежный человек. кольӧма
Борис Изюмский Алӧй погонъяс. 1 часть 1955 Алые погоны. 1 часть. кольӧма
Борис Изюмский Алӧй погонъяс. 2 часть 1956 Алые погоны. 2 часть. кольӧма
А.Авдеенко Тисса дорын 1957 Над Тиссой. кольӧма
Максим Горькӧй Мам 1957 Мать. кольӧма
Галина Николаева Вундандыр 1952 Жатва. кольӧма
Р. Фраерман Дикӧй пон динго либӧ медводдза любовь йылысь повесть 1957 Дикая собака динго, или повесть о первой любви. кольӧма
Гримм вокъяс Бременса музыкантъяс 1951 Бременские музыканты. кольӧма
А.С.Пушкин Дубровский 1954 Дубровский. кольӧма
Л.Н.Толстой Рассказъяс 1954 Рассказы. кольӧма
К.Чуковский Доктор Айболит 1952 Доктор Айболит. кольӧма
Аркадий Гайдар Ылысса странаяс 1952 Дальние страны. кольӧма
Борис Изюмский Алӧй погонъяс. 3 часть 1957 Алые погоны. 3 часть. кольӧма
С.Воронин Ковтӧм слава 1958 Ненужная слава. кольӧма
В.Г.Короленко Синтӧм музыкант 1953 Слепой музыкант. кольӧма
Э.Гофман Щелкунчик да шыръяслӧн король 1940 Щелкунчик и мышиный король. кольӧма
Л.Воронкова Беспокойнӧй морт 1956 Беспокойный человек кольӧма
А.П.Чехов Каштанка 1951 Каштанка. кольӧма
И.Василенко Звёздочка 1950 Звездочка. кольӧма
И.Василенко Рассказъяс 1959 Рассказы. кольӧма
Носов Витя Малеев школаын да гортас 1953 Витя Малеев в школе и дома. кольӧма
Д.Мамин-Сибиряк Кыйсьысь Емеля 1950 Охотник Емеля. кольӧма
М.Горький Архип дед да Лёнька 1953 Дед Архип и Ленька. кольӧма
Р.Фраерман Майскӧй войӧ подвиг 1948 Подвиг в майскую ночь. кольӧма
М.Жестев Ичӧтик трактористлӧн приключениеяс 1960 Приключения маленького тракториста. кольӧма
С.Т.Григорьев Суворов 1953 Суворов. кольӧма
Евгений Пермяк Вӧсни струна 1959 Тонкая струна. кольӧма
Туйводз 2 2021 - Предпутие 2 кольӧма
Виктор Баныкин Тулысын ытва дырйи 1955 Весной в половодье. кольӧма
Л. Воронкова Ичӧтик зарни ключьяс 1959 Золотые ключики. кольӧма
Л. Воронкова Карса нывка 1947 Девочка из города. кольӧма

Переводы с коми на русский

Автор Небӧг ним Петан во Роч ним Визь лыд Пасйӧд
П. А. Уляшева Войтӧлӧн чиршӧдлӧмъяс 2015 Опалённые северным ветром. вежӧма
Беляев Г. В. Анбур — коми мойд 2000 Анбур — коми сказки. вежӧма
Павел Доронин Мойд небӧг 2004 Книга сказок. вежӧма
Шӧвк тупыль. 2012 Шелковый клубок кольӧма
Торопов И. Г. Тіянлы водзӧ овны 1980 Вам жить дальше кольӧма
Василий Юхнин Биа нюр 1952 Огненное болото кольӧма

Новости

Новостные тексты Официального портала Республики Коми rkomi.ru  за период  с 2021-04-28 по 2023-01-26

Официальные документы

Тексты, опубликованные в издании "Коми Республикаса государственнӧй власть органъяслӧн индӧд-тшӧктӧмъяс" с 1996 по 2000 гг.
Законы РК, Указы Главы РК, Постановления Правительства РК, Решения Конституционного Суда РК, Бюллетени избирательных комиссий РК, соглашения и договоры РК с другими регионами, реестр официальных наименований организаций и учреждений РК из архива Бюро официального перевода с 2011 по 2020 гг.

Учебная литература

Л. Г. Терехова да В. Г. Эрдели. География. Первойя часть @ 1940 - География. Первая часть.
Г. И. Иванов. География свет юкӧнъяслӧн да медтӧдчана странаяслӧн (СССР-тӧг) @ 1936 - География частей света и важнейших стран (без СССР)
П. Н. Счастнев, П. Г. Терехов. Свет юкӧнъяслӧн физическӧй география @ 1959 - Физическая география частей света.
М. Н. Скаткин. Природоведение. 4-ӧд класслы учебник @ 1962 - Природоведение. Учебник для 4 класса.
В. А. Тетюрев. Естествознание. Первойя часть @ 1939 - Естествознание. Первая часть.
В. А. Тетюрев. Естествознание. Мӧдӧд часть @ 1939 - Естествознание. Вторая часть.
Тексты по географии с сайта http://geography.komikyv.org

Религиозные тексты

Выль кӧсйысьӧм @ 2008 - Новый завет.