ELAN

ELAN (EUDICO Linguistic Annotator) - программа, разработанная Институтом психолингвистики Макса Планка, с целью обеспечения надёжной технологической основой для аннотации и эксплуатации мультимедийных записей. ELAN может применяться специалистами, работающими с языками жестов и диалектологами для создания, редактирования, визуализации и поиска аннотации для видео и аудио данных.

Программа ELAN является на сегодняшний день одной из лучших программ многоуровнего аннотирования мультимедийных данных.

ELAN поддерживает:

• визуализацию аудио и/или видео сигналов одновременно с полученными аннотациями;

• временнýю привязку аннотаций к медийному потоку;

• сложные связи аннотаций друг с другом;

• неограниченное количество задаваемых пользователем уровней аннотации (Tiers);

• различные шрифты и кодировки;

• экспорт данных в виде текстовых файлов табличного вида (tab-delimited text);

• импорт и экспорт между ELAN, Praat, ToolBox, Shoebox и другими популярными лингвистическими программами;

• развитые поисковые опции.

ELAN в мультимодальных корпусах

Также ELAN может использоваться для анализа поведения людей (жестов, мимики, речи, действий в коммуникации) создаются так называемые мультимодальные корпуса, то есть корпуса, включающие запись звука и видео, собираются видеозаписи поведения людей в реальных эмоциональных ситуациях. Для исследования поведения корпус сопровождается разметкой: записывается текст, произнесённый людьми в кадре, мимика, движения рук и тела.

Принципы разметки корпуса состоят в том, чтобы выделить те особенности, которые отличают эмоциональное поведение людей от некоторого «воображаемого» нейтрального поведения (поведения, в котором не выражаются никакие эмоции). Разметка позволяет (а) описывать поведения людей в коммуникации, средства проявления эмоций, связь между эмоциями и речью, а также (б) описывать шаблоны эмоционального поведения для имитации эмоций компьютерными агентами.

Разметка корпуса – это информация о содержании видеофайла: слова, которые говорят люди в кадре, данные о жестах, мимике и движении людей. По разметке можно искать в корпусе определённые элементы (например, найти все случаи «почёсывания носа»). Исследования, построенные на основе разметки, позволяют узнать, для чего или почему человек выполняет тот или иной жест или движение в диалоге. Такие исследования позволяют судить о паттернах (стандартных последовательностях) выражения эмоций у человека. Паттерны выражения эмоций могут далее переноситься на компьютерных агентов, чтобы сделать их поведение и выражение эмоций похожим на поведение человека.

Разметка отдельных файлов корпуса хранится в файлах [eaf], отдельно от видеофайлов. Чтобы посмотреть сущствующую разметку, нужно разместить в одной директории видеофайл и файл разметки [eaf] - и открыть [eaf] с помощью программы ELAN. Чтобы создать новый файл разметки, нужно взять шаблон размтки [etf] и на основе этого шаблона создать для видеофайла файл разметки [eaf].

Установка ELAN

Для установки ELAN на свой компьютер, загрузите последнюю версию программы с официального сайта и следуйте инструкции. На этой веб-странице, вы также найдёте информацию о программных и аппаратных требованиях.

После запуска ELAN можете изменить язык интерфейса. Для этого перейдите Options > Language и выберите один из доступных языков. В настоящее время доступны каталанский, голландский, английский, французский, немецкий, японский, португальский, испанский, шведский и русский языковые модули.

Работа с ELAN

В ELAN можно работать либо с аудиофайлом, либо с аудио- и видеофайлом вместе:

1) Создать новый файл:

--> открыть ELAN
--> File --> New

Открывается окно, где нужно выбрать аудио- и/или видеофайл, который должен быть обработан.

Нужно найти нужный файл (или нужные файлы) и выбрать его с помощью стрелок [>>] в середине окна, потом нажать ОК.

Если Вы хотите работать с аудио- и видеофайлом вместе, нужно сначала выбрать аудиофайл (.wav), потом выбрать видеофайл (.mpg).

Открывается главное окно ELAN, где видны либо только звуковые волны (если выбрали только аудиофайл), либо звуковые волны и видео (если выбрали аудио- и видеофайл).

Под звуковыми волнами есть место для аннотаций.

Чтобы создать уровни для аннотации, нужно сначала определить их структуру – в ELAN это называется их «тип».

Есть 2 основных типа аннотаций: независимые (которые связаны прямо со звуковым файлом во времени) и зависимые (которые связаны не со звуком, а с другой аннотацией);

например: орфографическая транскрипция = независимый тип аннотаций, потому что она связана прямо со звуком

перевод = зависимый тип аннотаций, потому что он связан с транскрибированным предложением.

В ELAN надо сначала определить типы:

--> Type --> Add new linguistic type

Нужно назвать типы, и потом дать им «стереотип»  главные стереотипы = None (независимый тип, аннотация связана прямо со звуком, например для транскрипции), и

Symbolic Association (зависимый тип, аннотация связана с другой аннотацией, например для перевода).

После того, как назвали и выбрали стереотип, нужно нажать Add, чтобы этот тип добавился:

Когда типы определены, можно определить уровни аннотации = tiers.

--> Tiers --> Add new tier

Каждый уровень получает определенный тип, например аннотация с эвенской орфографией = тип transcription, и аннотация с русским переводом = perevod.

Теперь нужно таким же образом дать название уровням; при этом необходимо определить выше- стоящий уровень (parent tier) и тип.

Нужно сохранить файл: --> File --> Save as...

2) Ввод аннотаций

Чтобы начать вводить аннотации, нужно сначала активировать тот уровень аннотации, в который Вы хотите вводить аннотации;

активированный уровень = красный (на следующем фото – уровень ev для транскрибирования – активный)

Потом нужно выделить тот кусок речи, который Вы хотите аннотировать – одно предложение, например. В этом помогает звуковая волна, где можно видеть снижающуюся интонацию, или речевые паузы.

После этого в активированном уровне при двойном клике мышкой по выделенному фрагменту открывается окно для аннотации, куда можно вписать транскрипции (перевод, комментарии и т.д.).

Сохранить написанное: Ctrl+enter (ввод)

Чтобы воспроизвести звук только выделенного отрывка, можно нажать на кнопку >S

ОЧЕНЬ ВАЖНО: аннотации должны быть неотрывными, поэтому нужно маркировать следующий кусочек, начиная чуть-чуть перед концом первого:

Скорость речи можно снижать через Rate – если передвинуть стрелку налево, то речь замедляется.

Чтобы сохранить файлы во время работы: Ctrl +S (или --> File --> Save).

Ссылки

• The Iźva Komi Project
• Репозиторий "Izma" в GitHub
• Download ELAN
• Проект создания Русскоязычного эмоционального корпуса