ELAN

ELAN (EUDICO Linguistic Annotator) - программа, разработанная Институтом психолингвистики Макса Планка, с целью обеспечения надёжной технологической основой для аннотации и эксплуатации мультимедийных записей. ELAN может применяться специалистами, работающими с языками жестов и диалектологами для создания, редактирования, визуализации и поиска аннотации для видео и аудио данных.

Программа ELAN является на сегодняшний день одной из лучших программ многоуровнего аннотирования мультимедийных данных.

ELAN поддерживает:

• визуализацию аудио и/или видео сигналов одновременно с полученными аннотациями;

• временнýю привязку аннотаций к медийному потоку;

• сложные связи аннотаций друг с другом;

• неограниченное количество задаваемых пользователем уровней аннотации (Tiers);

• различные шрифты и кодировки;

• экспорт данных в виде текстовых файлов табличного вида (tab-delimited text);

• импорт и экспорт между ELAN, Praat, ToolBox, Shoebox и другими популярными лингвистическими программами;

• развитые поисковые опции.

ELAN в мультимодальных корпусах

Также ELAN может использоваться для анализа поведения людей (жестов, мимики, речи, действий в коммуникации) создаются так называемые мультимодальные корпуса, то есть корпуса, включающие запись звука и видео, собираются видеозаписи поведения людей в реальных эмоциональных ситуациях. Для исследования поведения корпус сопровождается разметкой: записывается текст, произнесённый людьми в кадре, мимика, движения рук и тела.

Принципы разметки корпуса состоят в том, чтобы выделить те особенности, которые отличают эмоциональное поведение людей от некоторого «воображаемого» нейтрального поведения (поведения, в котором не выражаются никакие эмоции). Разметка позволяет (а) описывать поведения людей в коммуникации, средства проявления эмоций, связь между эмоциями и речью, а также (б) описывать шаблоны эмоционального поведения для имитации эмоций компьютерными агентами.

Разметка корпуса – это информация о содержании видеофайла: слова, которые говорят люди в кадре, данные о жестах, мимике и движении людей. По разметке можно искать в корпусе определённые элементы (например, найти все случаи «почёсывания носа»). Исследования, построенные на основе разметки, позволяют узнать, для чего или почему человек выполняет тот или иной жест или движение в диалоге. Такие исследования позволяют судить о паттернах (стандартных последовательностях) выражения эмоций у человека. Паттерны выражения эмоций могут далее переноситься на компьютерных агентов, чтобы сделать их поведение и выражение эмоций похожим на поведение человека.

Разметка отдельных файлов корпуса хранится в файлах [eaf], отдельно от видеофайлов. Чтобы посмотреть сущствующую разметку, нужно разместить в одной директории видеофайл и файл разметки [eaf] - и открыть [eaf] с помощью программы ELAN. Чтобы создать новый файл разметки, нужно взять шаблон размтки [etf] и на основе этого шаблона создать для видеофайла файл разметки [eaf].

Установка ELAN

Для установки ELAN на свой компьютер, загрузите последнюю версию программы с официального сайта и следуйте инструкции. На этой веб-странице, вы также найдёте информацию о программных и аппаратных требованиях.

После запуска ELAN можете изменить язык интерфейса. Для этого перейдите Options > Language и выберите один из доступных языков. В настоящее время доступны каталанский, голландский, английский, французский, немецкий, японский, португальский, испанский, шведский и русский языковые модули.

Работа с ELAN

В ELAN можно работать либо с аудиофайлом, либо с аудио- и видеофайлом вместе:

1) Создать новый файл:

--> открыть ELAN
--> File --> New

Открывается окно, где нужно выбрать аудио- и/или видеофайл, который должен быть обработан.

Нужно найти нужный файл (или нужные файлы) и выбрать его с помощью стрелок [>>] в середине окна, потом нажать ОК.

Если Вы хотите работать с аудио- и видеофайлом вместе, нужно сначала выбрать аудиофайл (.wav), потом выбрать видеофайл (.mpg).

Открывается главное окно ELAN, где видны либо только звуковые волны (если выбрали только аудиофайл), либо звуковые волны и видео (если выбрали аудио- и видеофайл).

Под звуковыми волнами есть место для аннотаций.

Чтобы создать уровни для аннотации, нужно сначала определить их структуру – в ELAN это называется их «тип».

Есть 2 основных типа аннотаций: независимые (которые связаны прямо со звуковым файлом во времени) и зависимые (которые связаны не со звуком, а с другой аннотацией);

например: орфографическая транскрипция = независимый тип аннотаций, потому что она связана прямо со звуком

перевод = зависимый тип аннотаций, потому что он связан с транскрибированным предложением.

В ELAN надо сначала определить типы:

--> Type --> Add new linguistic type

Нужно назвать типы, и потом дать им «стереотип»  главные стереотипы = None (независимый тип, аннотация связана прямо со звуком, например для транскрипции), и

Symbolic Association (зависимый тип, аннотация связана с другой аннотацией, например для перевода).

После того, как назвали и выбрали стереотип, нужно нажать Add, чтобы этот тип добавился:

Когда типы определены, можно определить уровни аннотации = tiers.

--> Tiers --> Add new tier

Каждый уровень получает определенный тип, например аннотация с эвенской орфографией = тип transcription, и аннотация с русским переводом = perevod.

Теперь нужно таким же образом дать название уровням; при этом необходимо определить выше- стоящий уровень (parent tier) и тип.

Нужно сохранить файл: --> File --> Save as...

2) Ввод аннотаций

Чтобы начать вводить аннотации, нужно сначала активировать тот уровень аннотации, в который Вы хотите вводить аннотации;

активированный уровень = красный (на следующем фото – уровень ev для транскрибирования – активный)

Потом нужно выделить тот кусок речи, который Вы хотите аннотировать – одно предложение, например. В этом помогает звуковая волна, где можно видеть снижающуюся интонацию, или речевые паузы.

После этого в активированном уровне при двойном клике мышкой по выделенному фрагменту открывается окно для аннотации, куда можно вписать транскрипции (перевод, комментарии и т.д.).

Сохранить написанное: Ctrl+enter (ввод)

Чтобы воспроизвести звук только выделенного отрывка, можно нажать на кнопку >S

ОЧЕНЬ ВАЖНО: аннотации должны быть неотрывными, поэтому нужно маркировать следующий кусочек, начиная чуть-чуть перед концом первого:

Скорость речи можно снижать через Rate – если передвинуть стрелку налево, то речь замедляется.

Чтобы сохранить файлы во время работы: Ctrl +S (или --> File --> Save).

Поиск в ELAN-корпусе

ELAN даёт большие возможности для поиска в корпусе. Самый комплексный: "Структурированный поиск в нескольких EAF" - наиболее удобный вариант для серьёзной работы с корпусом.

"Структурированный поиск в нескольких EAF" выбирается следующим образом (для этого не нужно открывать ELAN-файлы):

Вы видите 3 вкладки. Первый - Substring Search (поиск подстрок):

Второй - Single Layer Search (однослойный поиск), третий - Multiple Layer Search (многослойный поиск). Разница между ними состоит в количестве слоёв поиска. Вид вкладки Multiple Layer Search (где сейчас работаем) такой:

Для работы нам нужно изменить несколько параметров. Первый параметр - Domain, это файлы, в которых осуществляется поиск. В поиск можно включать файлы или папки. На практике чаще работают с папками. Например, в нашем проекте материалы для каждого диалекта мы помещаем в свою папку, так будет легче выбирать. Нажмите Define Domain, далее Новая подборка... и Добавить: здесь можно указать файлы или папки, которые нужны для поиска. Domain-у можно дать имя, которое в дальнейшем можно использовать для сравнения результатов. Например, здесь вы видите три domain-а, один - для всех материалов, один - для Удорского диалекта коми языка и один - для Ижемского диалекта.

После того, как заданы domain-ы, можно указать и другие параметры. Например, в Mode есть стандарт substring match (подстроки). Здесь поиск осуществляется по тексту, для нас он не так интересен. Давайте выберем regular expression (регулярные выражения).

Нужно теперь решить по каким слоям мы хотим искать. По умолчанию стоит All Tiers - это не очень практично, так как в данном случае поиск осуществляется по всем слоям. Для первого слоя укажем Tier Type: orthT.

Для других слоёв можно использовать, например, типы ft-rusT и ft-engT. Между слоями укажем стандарт Must be in same file - надо чтобы слой в один файл. Сейчас это хватается. Для этого примера нам не надо так много столбцов, и можем выбрать Fewer Columns.

На зелёный все параметры и на белый места, куда можно записать. Также берём ещё что всё должно быть Fully aligned. Тогда поиск ищет только слой, который параллельный в файлы.

Вот. Сейчас можем работать. А что писать на эти белые места? Во всех ELAN-поисках можно пользоваться регулярными выражениями, что мы тоже хотим сделать. Сейчас нам интересно, что там в коми тексте, и так наши более комплексные регулярные выражения будут в слой типа orthT.

На другой слой можем записать: .?

Эта точка показывает, что смотри всё. И вопросительный знак показывает, что это необязательно. Так мы ищем все слои, которые там есть, хотя они пустые или нет. Потому что нам интересно видеть переводы, а мы не ищем ничего в самих переводах.

Скажем, что нам интересно как используется послеслог дор-. У его могут быть несколько форм: дорын, дорӧ, дорас... Ми хотим искать все. Это можно сделать с регулярным выражением \bдор.+.

Давай анализируем сперва несколько элементов там. \b, это начальное или конечное слово. Как раньше, точка может быть все знаки. А символ плюс - он скажет, что последний символ может быть там много раз. Так мы ищем слова, которые имеют как первый знаками "дор", и после этого какие-нибудь другие знаки. Find ищет.

Это первый вид более практический, когда ищем формы слова, например, а сейчас можем изменять вид в Show Aligment View.

Он такой:

Из кнопки Hide query можем видеть более результаты. Show query параметров новый раз показывает.

А как знаем в ижемском диалекте там есть тоже формы -лаздорӧ. Что этом сделать? Сейчас элемент дор нет свои слов, нет как послелог. Мы не можем писать \b как первый в поиске. Но можем писать: .лаздор.+

Если мы хотели бы видеть все результаты с послелога дор- и конструкция -лаздор-, можем писать: (\bдор.+|.лаздор.+). Это символ "|" скажет что "искать первый или другой вариант".

Здесь результаты для формы -лаздор-. Здесь тоже хорошо видно, почему у нас есть .? в переводах. Если у нас только ., тогда результатов меньше было бы.

И здесь все в один поиске:

Как видим, у все результаты переводы нет. С этом наш корпус живой - там каждый день что-нибудь новое, кто-нибудь переводит дальше или новый файлы будет готов. А практика поиска одинокогое если корпус большой или маленькие.

Из Save query можно сохранить поиска и из Load query можно старый поиски брать.

Конечно, для самой комплексный поиски, например, для работа с социолингвистический параметров, ELAN нам не хватается. Тогда много раз нам надо сделать анализирование в других более статистический программов, на пример, в R.

Ссылки

• The Iźva Komi Project
• Репозиторий "Izma" в GitHub
• Download ELAN
• Проект создания Русскоязычного эмоционального корпуса