ELAN

ELAN (EUDICO Linguistic Annotator) - программа, разработанная Институтом психолингвистики Макса Планка, с целью обеспечения надёжной технологической основой для аннотации и эксплуатации мультимедийных записей. ELAN может применяться специалистами, работающими с языками жестов и диалектологами для создания, редактирования, визуализации и поиска аннотации для видео и аудио данных.

Программа ELAN является на сегодняшний день одной из лучших программ многоуровнего аннотирования мультимедийных данных.

ELAN поддерживает:

• визуализацию аудио и/или видео сигналов одновременно с полученными аннотациями;

• временнýю привязку аннотаций к медийному потоку;

• сложные связи аннотаций друг с другом;

• неограниченное количество задаваемых пользователем уровней аннотации (Tiers);

• различные шрифты и кодировки;

• экспорт данных в виде текстовых файлов табличного вида (tab-delimited text);

• импорт и экспорт между ELAN, Praat, ToolBox, Shoebox и другими популярными лингвистическими программами;

• развитые поисковые опции.

ELAN в мультимодальных корпусах

Также ELAN может использоваться для анализа поведения людей (жестов, мимики, речи, действий в коммуникации) создаются так называемые мультимодальные корпуса, то есть корпуса, включающие запись звука и видео, собираются видеозаписи поведения людей в реальных эмоциональных ситуациях. Для исследования поведения корпус сопровождается разметкой: записывается текст, произнесённый людьми в кадре, мимика, движения рук и тела.

Принципы разметки корпуса состоят в том, чтобы выделить те особенности, которые отличают эмоциональное поведение людей от некоторого «воображаемого» нейтрального поведения (поведения, в котором не выражаются никакие эмоции). Разметка позволяет (а) описывать поведения людей в коммуникации, средства проявления эмоций, связь между эмоциями и речью, а также (б) описывать шаблоны эмоционального поведения для имитации эмоций компьютерными агентами.

Разметка корпуса – это информация о содержании видеофайла: слова, которые говорят люди в кадре, данные о жестах, мимике и движении людей. По разметке можно искать в корпусе определённые элементы (например, найти все случаи «почёсывания носа»). Исследования, построенные на основе разметки, позволяют узнать, для чего или почему человек выполняет тот или иной жест или движение в диалоге. Такие исследования позволяют судить о паттернах (стандартных последовательностях) выражения эмоций у человека. Паттерны выражения эмоций могут далее переноситься на компьютерных агентов, чтобы сделать их поведение и выражение эмоций похожим на поведение человека.

Разметка отдельных файлов корпуса хранится в файлах [eaf], отдельно от видеофайлов. Чтобы посмотреть сущствующую разметку, нужно разместить в одной директории видеофайл и файл разметки [eaf] - и открыть [eaf] с помощью программы ELAN. Чтобы создать новый файл разметки, нужно взять шаблон размтки [etf] и на основе этого шаблона создать для видеофайла файл разметки [eaf].

Установка ELAN

Для установки ELAN на свой компьютер, загрузите последнюю версию программы с официального сайта и следуйте инструкции. На этой веб-странице, вы также найдёте информацию о программных и аппаратных требованиях.

После запуска ELAN можете изменить язык интерфейса. Для этого перейдите Options > Language и выберите один из доступных языков. В настоящее время доступны каталанский, голландский, английский, французский, немецкий, японский, португальский, испанский, шведский и русский языковые модули.

Работа с ELAN

В ELAN можно работать либо с аудиофайлом, либо с аудио- и видеофайлом вместе:

1) Создать новый файл:

--> открыть ELAN
--> File --> New

Открывается окно, где нужно выбрать аудио- и/или видеофайл, который должен быть обработан.

Нужно найти нужный файл (или нужные файлы) и выбрать его с помощью стрелок [>>] в середине окна, потом нажать ОК.

Если Вы хотите работать с аудио- и видеофайлом вместе, нужно сначала выбрать аудиофайл (.wav), потом выбрать видеофайл (.mpg).

Открывается главное окно ELAN, где видны либо только звуковые волны (если выбрали только аудиофайл), либо звуковые волны и видео (если выбрали аудио- и видеофайл).

Под звуковыми волнами есть место для аннотаций.

Чтобы создать уровни для аннотации, нужно сначала определить их структуру – в ELAN это называется их «тип».

Есть 2 основных типа аннотаций: независимые (которые связаны прямо со звуковым файлом во времени) и зависимые (которые связаны не со звуком, а с другой аннотацией);

например: орфографическая транскрипция = независимый тип аннотаций, потому что она связана прямо со звуком

перевод = зависимый тип аннотаций, потому что он связан с транскрибированным предложением.

В ELAN надо сначала определить типы:

--> Type --> Add new linguistic type

Нужно назвать типы, и потом дать им «стереотип»  главные стереотипы = None (независимый тип, аннотация связана прямо со звуком, например для транскрипции), и

Symbolic Association (зависимый тип, аннотация связана с другой аннотацией, например для перевода).

После того, как назвали и выбрали стереотип, нужно нажать Add, чтобы этот тип добавился:

Когда типы определены, можно определить уровни аннотации = tiers.

--> Tiers --> Add new tier

Каждый уровень получает определенный тип, например аннотация с эвенской орфографией = тип transcription, и аннотация с русским переводом = perevod.

Теперь нужно таким же образом дать название уровням; при этом необходимо определить выше- стоящий уровень (parent tier) и тип.

Нужно сохранить файл: --> File --> Save as...

2) Ввод аннотаций

Чтобы начать вводить аннотации, нужно сначала активировать тот уровень аннотации, в который Вы хотите вводить аннотации;

активированный уровень = красный (на следующем фото – уровень ev для транскрибирования – активный)

Потом нужно выделить тот кусок речи, который Вы хотите аннотировать – одно предложение, например. В этом помогает звуковая волна, где можно видеть снижающуюся интонацию, или речевые паузы.

После этого в активированном уровне при двойном клике мышкой по выделенному фрагменту открывается окно для аннотации, куда можно вписать транскрипции (перевод, комментарии и т.д.).

Сохранить написанное: Ctrl+enter (ввод)

Чтобы воспроизвести звук только выделенного отрывка, можно нажать на кнопку >S

ОЧЕНЬ ВАЖНО: аннотации должны быть неотрывными, поэтому нужно маркировать следующий кусочек, начиная чуть-чуть перед концом первого:

Скорость речи можно снижать через Rate – если передвинуть стрелку налево, то речь замедляется.

Чтобы сохранить файлы во время работы: Ctrl +S (или --> File --> Save).

Поиск в ELAN-корпусе

ELAN даёт большие возможности для поиска в корпусе. Самый комплексный: "Структурированный поиск в нескольких EAF" - наиболее удобный вариант для серьёзной работы с корпусом.

"Структурированный поиск в нескольких EAF" выбирается следующим образом (для этого не нужно открывать ELAN-файлы):

Вы видите 3 вкладки. Первый - Substring Search (поиск подстрок):

Второй - Single Layer Search (однослойный поиск), третий - Multiple Layer Search (многослойный поиск). Разница между ними состоит в количестве слоёв поиска. Вид вкладки Multiple Layer Search (где сейчас работаем) такой:

Для работы нам нужно изменить несколько параметров. Первый параметр - Domain, это файлы, в которых осуществляется поиск. В поиск можно включать файлы или папки. На практике чаще работают с папками. Например, в нашем проекте материалы для каждого диалекта мы помещаем в свою папку, так будет легче выбирать. Нажмите Define Domain, далее Новая подборка... и Добавить: здесь можно указать файлы или папки, которые нужны для поиска. Domain-у можно дать имя, которое в дальнейшем можно использовать для сравнения результатов. Например, здесь вы видите три domain-а, один - для всех материалов, один - для Удорского диалекта коми языка и один - для Ижемского диалекта.

После того, как заданы domain-ы, можно указать и другие параметры. Например, в Mode есть стандарт substring match (подстроки). Здесь поиск осуществляется по тексту, для нас он не так интересен. Давайте выберем regular expression (регулярные выражения).

Нужно теперь решить по каким слоям мы хотим искать. По умолчанию стоит All Tiers - это не очень практично, так как в данном случае поиск осуществляется по всем слоям. Для первого слоя укажем Tier Type: orthT.

Для других слоёв можно использовать, например, типы ft-rusT и ft-engT. Между слоями укажем стандарт Must be in same file - должно быть в том же самом файле. Этого достаточно. Для этого примера нам не надо так много столбцов, и можем выбрать Fewer Columns.

В зелёных строчках слева выберем параметры Fully aligned (полностью выровнены).

Что указать в этих белых строчках? Во всех ELAN-поисках можно пользоваться регулярными выражениями, это мы и собираемся сделать. Сейчас нас интересует коми текст, и поэтому наши комплексные регулярные выражения будут в белую строчку с указанным типом orthT.

На двух оставшихся белых строчках можем записать .?

Точка показывает: смотри всё. А вопросительный знак показывает, что это необязательно. Так мы ищем все слои, которые там есть, даже если они пустые или их нет: при этом нам интересно видеть сами переводы, а в самих переводах мы ничего не ищем.

Допустим, мы решили узнать как в корпусе используется послеслог дор-. У его могут быть несколько форм: дорын, дорӧ, дорас... Мы хотим искать со всеми формами. Это можно сделать с помощью регулярного выражения \bдор.+, где \b - это начальное или конечное слово, точка (.) означает - все знаки, символ плюс (+) показывает, что последний символ может быть несколько раз. Так мы ищем слова, которые начинаются с "дор", так, если после "дор" есть какие-нибудь другие знаки.

Нажимаем Find для поиска.

Так обычно на практике выглядит результат поиска, когда ищем формы слова.

А сейчас можем изменить вид в Show Aligment View.

Результаты поиска теперь выглядят так:

Кнопками Hide query (показать запросы) и Show query (скрыть запросы) мы можем менять количество выводимых результатов поиска:

В ижемском диалекте есть формы -лаздорӧ, для этого случая мы можем написать регулярное выражение: .лаздор.+

Если мы хотим видеть все результаты с послелогом дор- и конструкцией -лаздор-, можем написать: (\bдор.+|.лаздор.+). Символ "|" показывает: "искать первый или другой вариант".

Здесь результаты для формы -лаздор-. Также хорошо видно, почему у нас есть .? в переводах. Если бы было только ., тогда результатов было бы меньше.

И здесь всё в одном поиске:

Как видим, не во всех результатах поиска есть переводы. Нужно понимать наш корпус "живой" - там каждый день появляется что-нибудь новое, кто-то продолжает перевод, а кто-то готовит новые файлы. А практика поиска одинаковая и для больших корпусов , и для малых.

Нажимая Save query можно сохранить запросы, а Load query - можно загрузить сохранённые запросы.

Конечно, для сложных поисков, например, для работы с социолингвистическими параметрами, ELAN недостаточен. Для таких случаев можно делать анализ в других более статистических программах, например, в R.

Ссылки

• The Iźva Komi Project
• Репозиторий "Izma" в GitHub
• Download ELAN
• Проект создания Русскоязычного эмоционального корпуса