HFST3

Установка OpenFST

OpenFST — библиотека для конструирования, комбинирования и поиска взвешенных конечных преобразователей (англ. weighted finite-state transducers — FSTs).

Конечные преобразователи играют ключевую роль в распознавании и синтезе речи, машинном переводе, оптическом распознавании символов. Часто они используются для представления вероятностных моделей (например, n-грамм модели (n-gram)).

Эта библиотека была разработана в исследовательской лаборатории Google и в Courant Institute (Courant Institute of Mathematical Sciences). Она предназначено для комплексной, гибкой, эффективной работы и хорошо масштабируется для крупных проблем. Это проект с открытым исходным кодом распространяется под лицензией Apache.

Чтобы установить OpenFST, скачайте последнюю версию и, распаковав архив, установите:

./configure
make
sudo make install

Если у вас не установлен компилятор C++, на команде ./configure система выдаст ошибку и соответствующее сообщение. Установите компилятор C++, например, для Mint или Ubuntu:

sudo apt-get install g++

Установка Foma

Скачайте и установите Foma с официального сайта проекта:

svn co http://foma.googlecode.com/svn/trunk/foma/
cd foma
make
sudo make install

или

wget http://dingo.sbs.arizona.edu/~mhulden/foma-0.9.15alpha.tar.gz
tar -xzvf foma-0.9.15alpha.tar.gz
cd foma
make
sudo make install

Примечания: (установка нижеследующих библиотек стандартная: ./configure, make и sudo make install)

- для успешной инсталяции Foma установите flex, если он у вас не установлен;

- также понадобится bison при его отсутствии, а перед его установкой возможно и m4;

- возможно readline;

- и, наконец, termcap.

Например, для Mint или Ubuntu flex, m4 и bison можно установить:

sudo apt-get install flex m4 bison

Также, если в Mint или Ubuntu "ругается" на "zlib.h", то:

sudo apt-get install zlib1g-dev

Установка SFST

Скачайте и установите SFST:

wget ftp://ftp.ims.uni-stuttgart.de/pub/corpora/SFST/SFST-1.4.6g.tar.gz
tar -xzvf SFST-1.4.6g.tar.gz
cd SFST/src
make
sudo make install    # - optional when building for the HFST package
sudo make maninstall # - optional (installs man pages)
sudo make libinstall # - required for sfst support in HFST

Примечание: для успешной инсталяции SFST возможно понадобится ncurses (установка стандартная: ./configure, make и sudo make install).

Установка HFST3

Скачайте HFST3 по svn и установите его:

svn co http://svn.code.sf.net/p/hfst/code/trunk/hfst3/
cd hfst3/
./autogen.sh
./configure --enable-all-tools --with-unicode-handler=glib
./scripts/generate-cc-files.sh
make
sudo make install

При ошибке configure: WARNING: foma licensing exception is limited to HFST team’s redistribution; 
if you consider GPLv2 strict and Apache licence conflicting you may not _redistribute_ your 
binaries
Использовать --without-foma

Примечания:

- после выполнения команды ./autogen.sh у вас может появиться ошибка, если не установлен libtool, установите libtool (установка стандартная: ./configure, make и sudo make install);

- если после команды ./configure --with-foma --enable-proc --enable-lexc выдаст подобную ошибку:

./configure: line 19950: syntax error near unexpected token `fi'
./configure: line 19950: `fi'

то обновите AutoConf и AutoMake на более свежие версии.

Если в Mint или Ubuntu после команды make ругается на "glib.h", то установите:

sudo apt-get install libglib2.0-dev

А затем заново начните с "./configure --..."

Установка Finite State Morphology

Перейдите по ссылке: Finite State Morphology и нажмите "принять условия лицензионного соглашения". Далее нажмите "скачать", например, "Linux 32" и "бинарные файлы". Распакуйте файл bin.tar.gz и скопируйте файлы: lexc, lookup, tokenize, twolc, xfst в папку: /bin.

Установка Saxon

После компиляции командой make может выдать следующую ошибку:

...
Could not find the main class: net.sf.saxon.Transform. Program will exit.
...

Это означает, что не установлен Saxon. Перейдите по ссылке: Saxon-HE и скачайте файл, например: SaxonHE9-5-1-6J.zip. Распакуйте файлы и поместите их, например, в папку: /home/user/lib/. Файл saxon9he.jar для удобства можно переименовать в saxon9.jar.

Отредактируйте .bash_profile, например: gedit .bash_profile. Он должен быть примерно таким: (В Mint данный файл называется .profile)

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export CLASSPATH=$CLASSPATH=/home/user/lib/saxon9.jar
export GTHOME=/home/user/main
export GTCORE=$GTHOME/gtcore
test -r /home/user/main/gt/script/init.d/init.sh && . /home/user/main/gt/script/init.d/init.sh

Далее выполните следующую команду:

. .bash_profile

А для Mint:

. .profile

Установка Hfst-ospell

Скачайте и распакуйте архив: libarchive-3.1.2

Установите cmake, для Mac OS:

sudo port install cmake

А для Mint или Ubuntu, например:

sudo apt-get install cmake

Перейдите в распакованную папку libarchive-3.1.2 и выполните команды:

./build/autogen.sh
autoreconf -i -v
./configure --without-xml2 --without-nettle --without-bz2lib --without-lzo2 --without-lzma --without-iconv
make
sudo make install

Скачайте и распакуйте архив: TinyXML2

Перейдите в распакованную папку tinyxml2-master и выполните команды:

cmake CMakeLists.txt
make
sudo make install

Скачайте, например, в домашнюю папку библиотку hfst-ospell:

svn co svn://svn.code.sf.net/p/hfst/code/trunk/hfst-ospell

Далее:

cd hfst-ospell
./configure --enable-zhfst --enable-xml
make
sudo make install

Ссылки

• SVN
• Центр саамских языковых технологий "Гиеллатекно" (компиляция HFST)
• Компиляция hfst-ospell
• Compiling Voikko With Hfst
• Foma (software)
• Сайт проекта Foma
• SFST - Stuttgart Finite State Transducer Tools
• Helsinki Finite-State Transducer Technology (HFST)
• GNU библиотеки
• Finite State Morphology--The Book
• Helsinki Finite-State Transducer Technology (HFST) (Wiki)