ELAN

ELAN (EUDICO Linguistic Annotator) - программа, разработанная Институтом психолингвистики Макса Планка, с целью обеспечения надёжной технологической основой для аннотации и эксплуатации мультимедийных записей. ELAN может применяться специалистами, работающими с языками жестов и диалектологами для создания, редактирования, визуализации и поиска аннотации для видео и аудио данных.

Программа ELAN является на сегодняшний день одной из лучших программ многоуровнего аннотирования мультимедийных данных.

ELAN поддерживает:

• визуализацию аудио и/или видео сигналов одновременно с полученными аннотациями;

• временнýю привязку аннотаций к медийному потоку;

• сложные связи аннотаций друг с другом;

• неограниченное количество задаваемых пользователем уровней аннотации (Tiers);

• различные шрифты и кодировки;

• экспорт данных в виде текстовых файлов табличного вида (tab-delimited text);

• импорт и экспорт между ELAN, Praat, ToolBox, Shoebox и другими популярными лингвистическими программами;

• развитые поисковые опции.

ELAN в мультимодальных корпусах

Также ELAN может использоваться для анализа поведения людей (жестов, мимики, речи, действий в коммуникации) создаются так называемые мультимодальные корпуса, то есть корпуса, включающие запись звука и видео, собираются видеозаписи поведения людей в реальных эмоциональных ситуациях. Для исследования поведения корпус сопровождается разметкой: записывается текст, произнесённый людьми в кадре, мимика, движения рук и тела.

Принципы разметки корпуса состоят в том, чтобы выделить те особенности, которые отличают эмоциональное поведение людей от некоторого «воображаемого» нейтрального поведения (поведения, в котором не выражаются никакие эмоции). Разметка позволяет (а) описывать поведения людей в коммуникации, средства проявления эмоций, связь между эмоциями и речью, а также (б) описывать шаблоны эмоционального поведения для имитации эмоций компьютерными агентами.

Разметка корпуса – это информация о содержании видеофайла: слова, которые говорят люди в кадре, данные о жестах, мимике и движении людей. По разметке можно искать в корпусе определённые элементы (например, найти все случаи «почёсывания носа»). Исследования, построенные на основе разметки, позволяют узнать, для чего или почему человек выполняет тот или иной жест или движение в диалоге. Такие исследования позволяют судить о паттернах (стандартных последовательностях) выражения эмоций у человека. Паттерны выражения эмоций могут далее переноситься на компьютерных агентов, чтобы сделать их поведение и выражение эмоций похожим на поведение человека.

Разметка отдельных файлов корпуса хранится в файлах [eaf], отдельно от видеофайлов. Чтобы посмотреть сущствующую разметку, нужно разместить в одной директории видеофайл и файл разметки [eaf] - и открыть [eaf] с помощью программы ELAN. Чтобы создать новый файл разметки, нужно взять шаблон размтки [etf] и на основе этого шаблона создать для видеофайла файл разметки [eaf].

Установка ELAN

Для установки ELAN на свой компьютер, загрузите последнюю версию программы с официального сайта и следуйте инструкции. На этой веб-странице, вы также найдёте информацию о программных и аппаратных требованиях.

После запуска ELAN можете изменить язык интерфейса. Для этого перейдите Options > Language и выберите один из доступных языков. В настоящее время доступны каталанский, голландский, английский, французский, немецкий, японский, португальский, испанский, шведский и русский языковые модули.

Работа с ELAN

В ELAN можно работать либо с аудиофайлом, либо с аудио- и видеофайлом вместе:

1) Создать новый файл:

--> открыть ELAN
--> File --> New

Открывается окно, где нужно выбрать аудио- и/или видеофайл, который должен быть обработан.

Нужно найти нужный файл (или нужные файлы) и выбрать его с помощью стрелок [>>] в середине окна, потом нажать ОК.

Если Вы хотите работать с аудио- и видеофайлом вместе, нужно сначала выбрать аудиофайл (.wav), потом выбрать видеофайл (.mpg).

Открывается главное окно ELAN, где видны либо только звуковые волны (если выбрали только аудиофайл), либо звуковые волны и видео (если выбрали аудио- и видеофайл).

Под звуковыми волнами есть место для аннотаций.

Чтобы создать уровни для аннотации, нужно сначала определить их структуру – в ELAN это называется их «тип».

Есть 2 основных типа аннотаций: независимые (которые связаны прямо со звуковым файлом во времени) и зависимые (которые связаны не со звуком, а с другой аннотацией);

например: орфографическая транскрипция = независимый тип аннотаций, потому что она связана прямо со звуком

перевод = зависимый тип аннотаций, потому что он связан с транскрибированным предложением.

В ELAN надо сначала определить типы:

--> Type --> Add new linguistic type

Нужно назвать типы, и потом дать им «стереотип»  главные стереотипы = None (независимый тип, аннотация связана прямо со звуком, например для транскрипции), и

Symbolic Association (зависимый тип, аннотация связана с другой аннотацией, например для перевода).

После того, как назвали и выбрали стереотип, нужно нажать Add, чтобы этот тип добавился:

Когда типы определены, можно определить уровни аннотации = tiers.

--> Tiers --> Add new tier

Каждый уровень получает определенный тип, например аннотация с эвенской орфографией = тип transcription, и аннотация с русским переводом = perevod.

Теперь нужно таким же образом дать название уровням; при этом необходимо определить выше- стоящий уровень (parent tier) и тип.

Нужно сохранить файл: --> File --> Save as...

2) Ввод аннотаций

Чтобы начать вводить аннотации, нужно сначала активировать тот уровень аннотации, в который Вы хотите вводить аннотации;

активированный уровень = красный (на следующем фото – уровень ev для транскрибирования – активный)

Потом нужно выделить тот кусок речи, который Вы хотите аннотировать – одно предложение, например. В этом помогает звуковая волна, где можно видеть снижающуюся интонацию, или речевые паузы.

После этого в активированном уровне при двойном клике мышкой по выделенному фрагменту открывается окно для аннотации, куда можно вписать транскрипции (перевод, комментарии и т.д.).

Сохранить написанное: Ctrl+enter (ввод)

Чтобы воспроизвести звук только выделенного отрывка, можно нажать на кнопку >S

ОЧЕНЬ ВАЖНО: аннотации должны быть неотрывными, поэтому нужно маркировать следующий кусочек, начиная чуть-чуть перед концом первого:

Скорость речи можно снижать через Rate – если передвинуть стрелку налево, то речь замедляется.

Чтобы сохранить файлы во время работы: Ctrl +S (или --> File --> Save).

Поиск из ELAN-корпуса

ELAN даёт многие возможности для поиска из корпуса. Самой комплексный из вариантов поиска "Структурированный поиск в нескольких EAF". А это тоже вариант, который самой удобный для серьёзной работы с корпусом.

"Структурированный поиск в нескольких EAF" можно выбрать сюда. Для это не надо открыть ELAN файлы.

Первый вид какой введём Substring Search.

А сейчас берём Multiple Layer Search. Есть тоже такие Single Layer Search. Разница между ними есть в скольких слоих они посмотрить в поисках. Вид в Multiple Layer Search где сейчас работаем, он такой:

Для работы нам нужно изменить несколько параметров. А первый нам надо работат с Domain. Это домаин - файлы из который мы сейчас осуществляем поиск. В поиске можно брать файлы или папкы. Частый есть более практический работает с папками. Например, в наш проект мы организируем материалы из одного диалекта в одну папку, так это легче выбрать. Это можно сделать через Define Domain. Через Новая подборка... и Добавить можем брать файлы или папки, которые для нас сейчас более интересны. Для домайнов можно дать имя, с которым можно быстрее сравнивать результаты. Например, здесь у меня есть три домайна, один для всех материалов, один для Удорского диалекта коми языка и один для Ижемского диалект.

После взятия домайнов надо исправить параметры. Например, в Mode есть как стандарт substring match. Он ищется из текстов, а она не так интересна. Давай меняем сюда regular expression.

После этого надо подумать из какого слоя мы хотим искать. Сейчас написано там All Tiers. Это частый не очень практический вариант, когда он смотрит из всех слоёв, который там есть. Тогда берём первый Tier Type: orthT.

Для другий слоёв можем брать, например, типы ft-rusT и ft-engT. Между слоями как стандард Must be in same file - надо чтобы слой в один файл. Сейчас это хватается. Для этого примера нам не надо так многов колумнов, и можем брать Fewer Columns.

На зелёный все параметры и на белый места, куда можно записать. Так же берём ещё что всё должно быть Fully aligned. Тогда поиск ищет только слой, который параллельный в файлы.

Вот. Сейчас можем работать. А что писать на эти белые места? В все ELAN поисков можно пользоваться регулярными выражениями, что мы тоже хотим сделать. Сейчас нам интересно, что там в коми тексте, и так наши более комплексные регулярные выражения будут в слой типа orthT.

На другий слой можем записать: .?

Эта точка показывает, что смотри всё. И вопросительный знак показывает, что это необязательно. Так мы ищем все слои, которые там есть, хотья они пустые или нет. Потому что нам интересно видеть переводы, а мы не ищем ничего в самих переводах.

Скажаем, что нам интересно как используется послеслог дор-. У его могут быть несколько форм: дорын, дорӧ, дорас... Ми хотим искать все. Это можно сделать с регулярным выражением \bдор.+.

Давай анализируем сперва несколько элементов там. \b, это начальные или закончение слово. Как раньше, точко может быть все знаки. А символ плюс - он скажет, что последний символ может быть там много раз. Так мы ищем слова, которые имеют как первый знаками "дор", и после этого какие-нибудь другие знаки. Find ищет.

Это первый вид более практический, когда ищем формы слова, например, а сейчас можем изменять вид в Show Aligment View.

Он такой:

Из кнопки Hide query можем видеть более резултаты. Show query параметров новый раз показывает.

А как знаем в ижемском диалекте там есть тоже формы -лаздорӧ. Что этом сделать? Сейчас элемент дор нет свои слов, нет как послелог. Мы не можем писать \b как первый в поиске. Но можем писать: .лаздор.+

Если ми хотели бы видить все резултатов с послелога дор- и конструкция -лаздор-, можем писать: (\bдор.+|.лаздор.+). Это символ "|" скажает что "искаеть первый или другой вариант".

Здесь результаты для формы -лаздор-. Здесь тоже хорошоо видить почему у нас есть .? в переводах. Если у нас только ., тогда результатов менше был бы.

И здесь все в один поиске:

Как видимся, у все резултаты переводы нет. С этом наш корпус живой - там каждый день что нибыд новый, кто-нибыд переводит дальше или новый файлы будет готов. А практика поиска одинокогое если корпус болшой или маленкие.

Из Save query можно сохранит поиска и из Load query можно старый поиски берить.

Конечно, для самой комплексный поиски, например, для работа с социолингвистический параметров, ELAN нам не хватается. Тогда много раз нам надо сделать анализирование в других более статистический программов, на пример, в R.

Ссылки

• The Iźva Komi Project
• Репозиторий "Izma" в GitHub
• Download ELAN
• Проект создания Русскоязычного эмоционального корпуса