Распознавание удмуртских текстов: различия между версиями

Материал из Wiki FU-Lab
Перейти к навигации Перейти к поиску
 
(не показаны 4 промежуточные версии этого же участника)
Строка 46: Строка 46:


В окне словаря нажимаем кнопку '''Закрыть''' и в свойствах языка нажимаем '''ОК'''. Теперь удмуртские тексты будут распознаваться с учетом словоформ, заложенных в словарь поддержки.
В окне словаря нажимаем кнопку '''Закрыть''' и в свойствах языка нажимаем '''ОК'''. Теперь удмуртские тексты будут распознаваться с учетом словоформ, заложенных в словарь поддержки.
На осень 2014 года словарь поддержки включает в себя '''284 тысячи''' словоформ, извлеченных их  двух изданий:
*корпус  "Турку-Ижевск", созданный Йормой Луутоненом (Турку), Леонидом Ившиным (Ижевск) и Кари Аро (Турку) на основе газетных и журнальных публикаций 1997-2001 гг.
*словарь [http://dict.komikyv.ru/index.php/index/6.xhtml "Удмурт-ӟуч кыллюкам"] (2008 г.)


==Сохранение пользовательского языка==
==Сохранение пользовательского языка==
Строка 53: Строка 57:
==Распознавание удмуртского текста==
==Распознавание удмуртского текста==


Для распознания удмуртского текста устанавливаем '''Удмурт кыл''' как язык документа:
Для распознавания удмуртского текста устанавливаем '''Удмурт кыл''' как язык документа:


'''Язык документа''' -> '''Выбор языков...''' (внизу) -> '''Редактор языков''' -> '''Пользовательские языки''' (внизу) -> '''Удмурт кыл''' -> '''ОК''').
'''Язык документа''' -> '''Выбор языков...''' (внизу) -> '''Редактор языков''' -> '''Пользовательские языки''' (внизу) -> '''Удмурт кыл''' -> '''ОК''').
Строка 61: Строка 65:
[[Файл:Abbyy udm6.png|800 px|]]
[[Файл:Abbyy udm6.png|800 px|]]


Как и в случае с другими языками вычитка текста после распознавания остается кране желательной.
Как и в случае с другими языками вычитка текста после распознавания остаётся крайне желательной.


Как видим при распознавании программа допустила четыре ошибки:
Как видим, при распознавании программа допустила четыре ошибки:
#Проигнорирован абзац после заголовка '''Куэт'''.
#Проигнорирован абзац после заголовка '''Куэт'''.
#Слово '''сузэръёсыз-лэн''' не распознано как цельная единица, поскольку пока отсутствует в словаре поддержки.
#Слово '''сузэръёсыз-лэн''' не распознано как цельная единица, поскольку пока отсутствует в словаре поддержки (знак переноса воспринят как дефис).
#Вместо '''Отын''' программа прочитала '''Ӧрын'''.
#Вместо '''Отын''' программа прочитала '''Ӧрын'''.
#Вместо '''тырон''' стоит '''гырон'''.
#Вместо '''тырон''' стоит '''гырон'''.


Случаев, подобных №2 будет все меньше с пополнением тестовой базы словаря поддержки.
Ошибок, подобных №2, с пополнением базы словаря поддержки будет все меньше.


Последние две ошибки произошли вероятно в связи с качеством печати в данном сегменте текста.  
Последние две ошибки произошли вероятно в связи с качеством печати в данном сегменте текста.  
Более тщательное распознавание в подобных случаях, а также в случае №1, возможно в русле общего улучшение качества программы FineReader.
Более тщательное распознавание в подобных случаях возможно в русле общего улучшение качества программы FineReader.


==Ссылки==
==Ссылки==

Текущая версия от 17:45, 18 октября 2014

OCR.jpg

ABBYY FineReader 12 Professional Edition распознает документы на 190 языках на основе кириллицы, латиницы, греческого и армянского алфавитов, а также языки на основе иероглифического письма, искусственные языки и языки программирования, причём для 44 языков предусмотрена словарная поддержка и проверка орфографии.

Удмуртский язык есть в списке ABBYY, но словарная поддержка для него по умолчанию не предусмотрена. В настоящее время выходом может стать добавление нового пользовательского языка на основе языка "Удмуртский".

Добавление пользовательского языка "Удмурт кыл"

Чтобы качественно распознавать удмуртские тексты необходимо создать новый пользовательский язык:

В меню Сервис кликнем Редактор языков. В окне Редактора языков нажимаем Новый.

Abbyy udm0.png

В появившемся меню Новый язык или группа языков выбираем базовым языком Удмуртский и нажимаем ОК.

Abbyy udm.png

Откроется окно Свойство языка

В имени нового языка вместо Копия (Удмуртский) пишем, например, Удмурт кыл.

Abbyy udm1.png

Нажимаем ОК.

Теперь Удмурт кыл появится в списке пользовательских языков.

Abbyy udm4.png

Добавление словаря поддержки

В Сервис → Редактор языков → Пользовательские языки отмечаем Удмурт кыл (см. выше) и выбираем меню Свойства (на нижней панели окна).

В Свойствах языка в разделе Словарь вместо Нет точкуем Пользовательский словарь

Abbyy udm2.png

Кликнем его Cвойства. Появится окно Словарь для языка "Удмурт кыл":

Abbyy udm3.png

Нажимаем Импорт и загружаем предварительно скачанный [отсюда] и распакованный файл словаря поддержки удмуртского языка. Загрузка словаря занимает не менее 5 минут.

Abbyy udm5.png

В окне словаря нажимаем кнопку Закрыть и в свойствах языка нажимаем ОК. Теперь удмуртские тексты будут распознаваться с учетом словоформ, заложенных в словарь поддержки.

На осень 2014 года словарь поддержки включает в себя 284 тысячи словоформ, извлеченных их двух изданий:

  • корпус "Турку-Ижевск", созданный Йормой Луутоненом (Турку), Леонидом Ившиным (Ижевск) и Кари Аро (Турку) на основе газетных и журнальных публикаций 1997-2001 гг.
  • словарь "Удмурт-ӟуч кыллюкам" (2008 г.)

Сохранение пользовательского языка

Дабы не пришлось создавать пользовательский язык каждый раз, сохраните пакет, в котором Вы создали польз. язык "Удмурт кыл". Теперь данный язык останется в этом пакете и автоматически появится в тех, которые будут создаваться позже.

Распознавание удмуртского текста

Для распознавания удмуртского текста устанавливаем Удмурт кыл как язык документа:

Язык документа -> Выбор языков... (внизу) -> Редактор языков -> Пользовательские языки (внизу) -> Удмурт кыл -> ОК).

Качество распознавания достаточно высокое. Пример см. на изображении:

Abbyy udm6.png

Как и в случае с другими языками вычитка текста после распознавания остаётся крайне желательной.

Как видим, при распознавании программа допустила четыре ошибки:

  1. Проигнорирован абзац после заголовка Куэт.
  2. Слово сузэръёсыз-лэн не распознано как цельная единица, поскольку пока отсутствует в словаре поддержки (знак переноса воспринят как дефис).
  3. Вместо Отын программа прочитала Ӧрын.
  4. Вместо тырон стоит гырон.

Ошибок, подобных №2, с пополнением базы словаря поддержки будет все меньше.

Последние две ошибки произошли вероятно в связи с качеством печати в данном сегменте текста. Более тщательное распознавание в подобных случаях возможно в русле общего улучшение качества программы FineReader.

Ссылки