HFST3: различия между версиями
Admin (обсуждение | вклад) |
Admin (обсуждение | вклад) |
||
(не показано 66 промежуточных версий 2 участников) | |||
Строка 6: | Строка 6: | ||
Эта библиотека была разработана в исследовательской лаборатории Google и в Courant Institute (Courant Institute of Mathematical Sciences). Она предназначено для комплексной, гибкой, эффективной работы и хорошо масштабируется для крупных проблем. Это проект с открытым исходным кодом распространяется под лицензией Apache. | Эта библиотека была разработана в исследовательской лаборатории Google и в Courant Institute (Courant Institute of Mathematical Sciences). Она предназначено для комплексной, гибкой, эффективной работы и хорошо масштабируется для крупных проблем. Это проект с открытым исходным кодом распространяется под лицензией Apache. | ||
Чтобы установить OpenFST, | Чтобы установить OpenFST, скачайте [http://www.openfst.org/twiki/bin/view/FST/WebHome '''последнюю версию'''] и, распаковав архив, установите: | ||
./configure | ./configure | ||
make | make | ||
sudo make install | sudo make install | ||
Примечание: | Если у вас не установлен компилятор C++, на команде ./configure система выдаст ошибку и соответствующее сообщение. Установите компилятор C++, например, для Mint или Ubuntu: | ||
sudo apt-get install g++ | |||
== Установка Foma == | |||
Скачайте и установите '''Foma''' с официального сайта проекта: | |||
svn co http://foma.googlecode.com/svn/trunk/foma/ | |||
cd foma | |||
make | |||
sudo make install | |||
или | |||
wget http://dingo.sbs.arizona.edu/~mhulden/foma-0.9.15alpha.tar.gz | |||
tar -xzvf foma-0.9.15alpha.tar.gz | |||
cd foma | |||
make | |||
sudo make install | |||
'''Примечания''': (установка нижеследующих библиотек стандартная: ./configure, make и sudo make install) | |||
- для успешной инсталяции Foma установите [http://sourceforge.net/projects/flex/files/ '''flex'''], если он у вас не установлен; | |||
- также понадобится [ftp://ftp.gnu.org/gnu/bison/ '''bison'''] при его отсутствии, а перед его установкой возможно и [ftp://ftp.gnu.org/gnu/m4/ '''m4''']; | |||
- возможно [ftp://ftp.gnu.org/gnu/readline/ '''readline''']; | |||
- и, наконец, [ftp://ftp.gnu.org/gnu/termcap/ '''termcap''']. | |||
Например, для Mint или Ubuntu '''flex''', '''m4''' и '''bison''' можно установить: | |||
sudo apt-get install flex m4 bison | |||
Также, если в Mint или Ubuntu "ругается" на "zlib.h", то: | |||
sudo apt-get install zlib1g-dev | |||
== Установка SFST == | |||
Скачайте и установите '''SFST''': | |||
wget ftp://ftp.ims.uni-stuttgart.de/pub/corpora/SFST/SFST-1.4.6g.tar.gz | |||
tar -xzvf SFST-1.4.6g.tar.gz | |||
cd SFST/src | |||
make | |||
sudo make install # - optional when building for the HFST package | |||
sudo make maninstall # - optional (installs man pages) | |||
sudo make libinstall # - required for sfst support in HFST | |||
'''Примечание''': для успешной инсталяции SFST возможно понадобится [ftp://ftp.gnu.org/gnu/ncurses/ '''ncurses'''] (установка стандартная: ./configure, make и sudo make install). | |||
== Установка HFST3 == | |||
Скачайте '''HFST3''' по svn и установите его: | |||
svn co http://svn.code.sf.net/p/hfst/code/trunk/hfst3/ | |||
cd hfst3/ | |||
./autogen.sh | |||
./configure --enable-all-tools --with-unicode-handler=glib | |||
./scripts/generate-cc-files.sh | |||
make | |||
sudo make install | |||
При ошибке configure: WARNING: foma licensing exception is limited to HFST team’s redistribution; | |||
if you consider GPLv2 strict and Apache licence conflicting you may not _redistribute_ your | |||
binaries | |||
Использовать --without-foma | |||
'''Примечания''': | |||
- после выполнения команды '''./autogen.sh''' у вас может появиться ошибка, если не установлен '''libtool''', установите [ftp://ftp.gnu.org/gnu/libtool/ '''libtool'''] (установка стандартная: ./configure, make и sudo make install); | |||
- если после команды '''./configure --with-foma --enable-proc --enable-lexc''' выдаст подобную ошибку: | |||
./configure: line 19950: syntax error near unexpected token `fi' | |||
./configure: line 19950: `fi' | |||
то обновите [ftp://ftp.gnu.org/gnu/autoconf/ '''AutoConf'''] и [ftp://ftp.gnu.org/gnu/automake/ '''AutoMake'''] на более свежие версии. | |||
Если в Mint или Ubuntu после команды '''make''' ругается на "glib.h", то установите: | |||
sudo apt-get install libglib2.0-dev | |||
А затем заново начните с "./configure --..." | |||
==Установка Finite State Morphology== | |||
Перейдите по ссылке: [http://www.stanford.edu/~laurik/.book2software/ Finite State Morphology] и нажмите "принять условия лицензионного соглашения". Далее нажмите "скачать", например, "Linux 32" и "бинарные файлы". Распакуйте файл '''bin.tar.gz''' и скопируйте файлы: '''lexc, lookup, tokenize, twolc, xfst''' в папку: /bin. | |||
==Установка Saxon== | |||
После компиляции командой '''make''' может выдать следующую ошибку: | |||
... | |||
Could not find the main class: net.sf.saxon.Transform. Program will exit. | |||
... | |||
Это означает, что не установлен Saxon. Перейдите по ссылке: [http://sourceforge.net/projects/saxon/files/Saxon-HE/ Saxon-HE] и скачайте файл, например: [http://sourceforge.net/projects/saxon/files/Saxon-HE/9.5/SaxonHE9-5-1-6J.zip/download '''SaxonHE9-5-1-6J.zip''']. Распакуйте файлы и поместите их, например, в папку: /home/user/lib/. Файл saxon9he.jar для удобства можно переименовать в saxon9.jar. | |||
Отредактируйте .bash_profile, например: gedit .bash_profile. Он должен быть примерно таким: (В [[Mint]] данный файл называется '''.profile''') | |||
# .bash_profile | |||
# Get the aliases and functions | |||
if [ -f ~/.bashrc ]; then | |||
. ~/.bashrc | |||
fi | |||
# User specific environment and startup programs | |||
PATH=$PATH:$HOME/bin | |||
export PATH | |||
export CLASSPATH=$CLASSPATH=/home/user/lib/saxon9.jar | |||
export GTHOME=/home/user/main | |||
export GTCORE=$GTHOME/gtcore | |||
test -r /home/user/main/gt/script/init.d/init.sh && . /home/user/main/gt/script/init.d/init.sh | |||
Далее выполните следующую команду: | |||
. .bash_profile | |||
А для [[Mint]]: | |||
. .profile | |||
==Установка Hfst-ospell== | |||
Скачайте и распакуйте архив: [https://github.com/libarchive/libarchive/archive/v3.1.2.zip libarchive-3.1.2] | |||
Установите '''cmake''', для Mac OS: | |||
sudo port install cmake | |||
А для Mint или Ubuntu, например: | |||
sudo apt-get install cmake | |||
Перейдите в распакованную папку '''libarchive-3.1.2''' и выполните команды: | |||
./build/autogen.sh | |||
autoreconf -i -v | |||
./configure --without-xml2 --without-nettle --without-bz2lib --without-lzo2 --without-lzma --without-iconv | |||
make | |||
sudo make install | |||
Скачайте и распакуйте архив: [https://github.com/leethomason/tinyxml2/archive/master.zip TinyXML2] | |||
Перейдите в распакованную папку '''tinyxml2-master''' и выполните команды: | |||
cmake CMakeLists.txt | |||
make | |||
sudo make install | |||
Скачайте, например, в домашнюю папку библиотку '''hfst-ospell''': | |||
svn co svn://svn.code.sf.net/p/hfst/code/trunk/hfst-ospell | |||
Далее: | |||
cd hfst-ospell | |||
./configure --enable-zhfst --enable-xml | |||
make | |||
sudo make install | |||
== Ссылки == | |||
*[[SVN]] | |||
*[http://giellatekno.uit.no/doc/infra/compiling_HFST3.html Центр саамских языковых технологий "Гиеллатекно" (компиляция HFST)] | |||
*[http://giellatekno.uit.no/doc/infra/BuildingHfst-ospellForInclusionInVoikko.html Компиляция hfst-ospell] | |||
*[http://giellatekno.uit.no/doc/infra/CompilingVoikkoWithHfst.html Compiling Voikko With Hfst] | |||
*[http://en.wikipedia.org/wiki/Foma_%28software%29 Foma (software)] | |||
*[https://code.google.com/p/foma/ Сайт проекта Foma] | |||
*[http://www.ims.uni-stuttgart.de/projekte/gramotron/SOFTWARE/SFST.html SFST - Stuttgart Finite State Transducer Tools] | |||
*[http://www.ling.helsinki.fi/kieliteknologia/tutkimus/hfst/ Helsinki Finite-State Transducer Technology (HFST)] | |||
*[ftp://prep.ai.mit.edu/pub/gnu/ GNU библиотеки] | |||
*[http://web.stanford.edu/~laurik/fsmbook/home.html Finite State Morphology--The Book] | |||
*[https://kitwiki.csc.fi/twiki/bin/view/KitWiki/HfstHome Helsinki Finite-State Transducer Technology (HFST) (Wiki)] | |||
[[Category:Linux]] |
Текущая версия от 11:15, 29 сентября 2015
Установка OpenFST
OpenFST — библиотека для конструирования, комбинирования и поиска взвешенных конечных преобразователей (англ. weighted finite-state transducers — FSTs).
Конечные преобразователи играют ключевую роль в распознавании и синтезе речи, машинном переводе, оптическом распознавании символов. Часто они используются для представления вероятностных моделей (например, n-грамм модели (n-gram)).
Эта библиотека была разработана в исследовательской лаборатории Google и в Courant Institute (Courant Institute of Mathematical Sciences). Она предназначено для комплексной, гибкой, эффективной работы и хорошо масштабируется для крупных проблем. Это проект с открытым исходным кодом распространяется под лицензией Apache.
Чтобы установить OpenFST, скачайте последнюю версию и, распаковав архив, установите:
./configure make sudo make install
Если у вас не установлен компилятор C++, на команде ./configure система выдаст ошибку и соответствующее сообщение. Установите компилятор C++, например, для Mint или Ubuntu:
sudo apt-get install g++
Установка Foma
Скачайте и установите Foma с официального сайта проекта:
svn co http://foma.googlecode.com/svn/trunk/foma/ cd foma make sudo make install
или
wget http://dingo.sbs.arizona.edu/~mhulden/foma-0.9.15alpha.tar.gz tar -xzvf foma-0.9.15alpha.tar.gz cd foma make sudo make install
Примечания: (установка нижеследующих библиотек стандартная: ./configure, make и sudo make install)
- для успешной инсталяции Foma установите flex, если он у вас не установлен;
- также понадобится bison при его отсутствии, а перед его установкой возможно и m4;
- возможно readline;
- и, наконец, termcap.
Например, для Mint или Ubuntu flex, m4 и bison можно установить:
sudo apt-get install flex m4 bison
Также, если в Mint или Ubuntu "ругается" на "zlib.h", то:
sudo apt-get install zlib1g-dev
Установка SFST
Скачайте и установите SFST:
wget ftp://ftp.ims.uni-stuttgart.de/pub/corpora/SFST/SFST-1.4.6g.tar.gz tar -xzvf SFST-1.4.6g.tar.gz cd SFST/src make sudo make install # - optional when building for the HFST package sudo make maninstall # - optional (installs man pages) sudo make libinstall # - required for sfst support in HFST
Примечание: для успешной инсталяции SFST возможно понадобится ncurses (установка стандартная: ./configure, make и sudo make install).
Установка HFST3
Скачайте HFST3 по svn и установите его:
svn co http://svn.code.sf.net/p/hfst/code/trunk/hfst3/ cd hfst3/ ./autogen.sh ./configure --enable-all-tools --with-unicode-handler=glib ./scripts/generate-cc-files.sh make sudo make install При ошибке configure: WARNING: foma licensing exception is limited to HFST team’s redistribution; if you consider GPLv2 strict and Apache licence conflicting you may not _redistribute_ your binaries Использовать --without-foma
Примечания:
- после выполнения команды ./autogen.sh у вас может появиться ошибка, если не установлен libtool, установите libtool (установка стандартная: ./configure, make и sudo make install);
- если после команды ./configure --with-foma --enable-proc --enable-lexc выдаст подобную ошибку:
./configure: line 19950: syntax error near unexpected token `fi' ./configure: line 19950: `fi'
то обновите AutoConf и AutoMake на более свежие версии.
Если в Mint или Ubuntu после команды make ругается на "glib.h", то установите:
sudo apt-get install libglib2.0-dev
А затем заново начните с "./configure --..."
Установка Finite State Morphology
Перейдите по ссылке: Finite State Morphology и нажмите "принять условия лицензионного соглашения". Далее нажмите "скачать", например, "Linux 32" и "бинарные файлы". Распакуйте файл bin.tar.gz и скопируйте файлы: lexc, lookup, tokenize, twolc, xfst в папку: /bin.
Установка Saxon
После компиляции командой make может выдать следующую ошибку:
... Could not find the main class: net.sf.saxon.Transform. Program will exit. ...
Это означает, что не установлен Saxon. Перейдите по ссылке: Saxon-HE и скачайте файл, например: SaxonHE9-5-1-6J.zip. Распакуйте файлы и поместите их, например, в папку: /home/user/lib/. Файл saxon9he.jar для удобства можно переименовать в saxon9.jar.
Отредактируйте .bash_profile, например: gedit .bash_profile. Он должен быть примерно таким: (В Mint данный файл называется .profile)
# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH export CLASSPATH=$CLASSPATH=/home/user/lib/saxon9.jar export GTHOME=/home/user/main export GTCORE=$GTHOME/gtcore test -r /home/user/main/gt/script/init.d/init.sh && . /home/user/main/gt/script/init.d/init.sh
Далее выполните следующую команду:
. .bash_profile
А для Mint:
. .profile
Установка Hfst-ospell
Скачайте и распакуйте архив: libarchive-3.1.2
Установите cmake, для Mac OS:
sudo port install cmake
А для Mint или Ubuntu, например:
sudo apt-get install cmake
Перейдите в распакованную папку libarchive-3.1.2 и выполните команды:
./build/autogen.sh autoreconf -i -v ./configure --without-xml2 --without-nettle --without-bz2lib --without-lzo2 --without-lzma --without-iconv make sudo make install
Скачайте и распакуйте архив: TinyXML2
Перейдите в распакованную папку tinyxml2-master и выполните команды:
cmake CMakeLists.txt make sudo make install
Скачайте, например, в домашнюю папку библиотку hfst-ospell:
svn co svn://svn.code.sf.net/p/hfst/code/trunk/hfst-ospell
Далее:
cd hfst-ospell ./configure --enable-zhfst --enable-xml make sudo make install
Ссылки
- SVN
- Центр саамских языковых технологий "Гиеллатекно" (компиляция HFST)
- Компиляция hfst-ospell
- Compiling Voikko With Hfst
- Foma (software)
- Сайт проекта Foma
- SFST - Stuttgart Finite State Transducer Tools
- Helsinki Finite-State Transducer Technology (HFST)
- GNU библиотеки
- Finite State Morphology--The Book
- Helsinki Finite-State Transducer Technology (HFST) (Wiki)