Распознавание речи: различия между версиями

Материал из Wiki FU-Lab
Перейти к навигации Перейти к поиску
Нет описания правки
 
(не показаны 32 промежуточные версии этого же участника)
Строка 1: Строка 1:


==Результаты==
===Яндекс===
*Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы:
#татарский (2 июля 2024 года)
#чувашский (18 декабря 2024 года)
#башкирский (24 февраля 2025 года)
#удмуртский (8 сентября 2025 года)
#марийский (1 ноября 2025 года)
#якутский (8 июля 2026 года)
#кабардино-черкесский (22 сентября 2026 года)
===Татарстан===
• [https://speech.tatar/ Распознавание и синтез татарской речи] (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи).
==Процесс сбора==
===Common Voice===
https://commonvoice.mozilla.org
{| border="1" cellpaddіng="4" cellspacіng="0" style="border:1px solіd #aaa; border-collapse:collapse"
!Язык
!Всего записей
!Длительность </br> всех записей
!Проверенная </br> речь
!Участники
|-
|Луговомарийский
|234 770
|301,42 ч
|280,85 ч
|500
|-
|Кабардинский
|175 830
|305,09 ч
|276,38 ч
|385
|-
|Башкирский
|218 518
|268,71 ч
|258,81 ч
|930
|-
|Абхазский
|158 625
|242,64 ч
|207,84 ч
|1 303
|-
|Татарский
|31 364
|33,44 ч
|32,48 ч
|297
|-
|Чувашский
|20 456
|28,64 ч
|24,52 ч
|122
|-
|Саха (якутский)
|13 411
|23,58 ч
|16,34 ч
|256
|-
|Осетинский
|966
|1,48 ч
|1,41 ч
|39
|}
===Боты на сайтах===
* [https://voice.nlrs.ru Голос.якт] - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).
===Боты ВКонтакте===
* [https://vk.ru/komi_voice_bot Коми сёрни чукӧртысь бот] - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час.
===Боты в Telegram:===
*[https://t.me/TatarVoiceBot Татар тавышы ]
*[https://t.me/TatarVoiceDataBot Татар тавышы] Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)
*[https://t.me/mari_stt_bot Марийский голос» / Бот Mari-Lab] - ранний вариант бота для сбора марийской речи.
*[https://t.me/mari_asr_bot Mari Speech-to-text bot] (распознает марийскую речь из аудиосообщения или аудиофайла).
*[https://t.me/nlrs_stt_bot САҤА-СУРУК/SPEECH TO TEXT (якутский)]
*[https://t.me/cviron Ирон Common Voice]
*Валидационные боты корпуса «Bashkorttele»
==Технология сбора==
* [https://github.com/kod-odin/lang-tasks/wiki/7.-%D0%A0%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D1%80%D0%B5%D1%87%D0%B8 Распознавание речи] - лайфхак от kod-odin
* [https://github.com/kod-odin/lang-tasks/wiki/7.-%D0%A0%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D1%80%D0%B5%D1%87%D0%B8 Распознавание речи] - лайфхак от kod-odin


*Распознавание и синтез речи в сревисах Яндекса: татарский, башкирский, чувашский, удмуртскйи, марийский, кабардино-черкесский.


* [(voice.nlrs.ru). Голос.якт] - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха
== Доступные предобученные модели==
телеграм-бот
 
Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:
 
*Татарский язык:
**[https://huggingface.co/ifs/whisper-large-v3-tt-cv27-run2 Модель распознавания татарской речи. Модель полностью дообучена (Full Fine-Tuning) на свежем корпусе Common Voice 27.0. Она выдает текст в кириллице с учетом регистра и пунктуации, показывая рекордно низкий уровень ошибок (WER ~18.2%, CER ~4.3%)]
**[https://huggingface.co/yasalma/whisper-finetuned-tatartts-asr Альтернативная акустическая модель STT, обученная на базе датасета TatarTTS.]
*Башкирский язык:
**[https://huggingface.co/BashkirNLPWorld Профиль организации BashkirNLP на Hugging Face — центральный хаб разработки ИИ-технологий для башкирского языка. Здесь команда выкладывает свои наработки, включая языковые модели (BashkirGPT), инструменты разметки и бенчмарки]
**[https://huggingface.co/AigizK/bashkir-whisper-small Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.]
*Марийский язык (луговомарийский):
**[https://huggingface.co/lifeway/whisper-small-mhr-pre/tree/main/runs Чекпоинт, созданный в рамках экспериментов по дообучению Whisper на марийском (mhr) субкорпусе. Этот весовой файл можно использовать как базу для кастомного инференса.]
*Многоязычные
**https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.]


* [vk.ru/komi_voice_bot Коми сёрни чукӧртысь бот] - бот по сбору коми речи ВКонтакте
== Технические стандарты для ИИ-корпусов==


*Боты в Teltgram:
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:
**Валидационные боты корпуса «Bashkorttele»
**[@TatarVoiceBot Татар тавышы ]
**[@TatarVoiceDataBot Татар тавышы] Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)


**[@mari_stt_bot *Марийский голос» / Бот Mari-Lab]
Требования к аудиофайлам
**[@nlrs_stt_bot САҤА-СУРУК/SPEECH TO TEXT (якутский)]
*Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
*Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
*Разрядность: `16-bit`, канал `моно`.
*Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.


**DagLanguageBot» (аварский, даргинский, кумыкский, лезгинский, лакский, табасаранский)
==Инструменты автоматизации==
*Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
* Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.

Текущая версия от 19:51, 21 октября 2026

Результаты

Яндекс

  • Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы:
  1. татарский (2 июля 2024 года)
  2. чувашский (18 декабря 2024 года)
  3. башкирский (24 февраля 2025 года)
  4. удмуртский (8 сентября 2025 года)
  5. марийский (1 ноября 2025 года)
  6. якутский (8 июля 2026 года)
  7. кабардино-черкесский (22 сентября 2026 года)

Татарстан

• Распознавание и синтез татарской речи (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи).

Процесс сбора

Common Voice

https://commonvoice.mozilla.org

Язык Всего записей Длительность
всех записей 		Проверенная
речь 		Участники
Луговомарийский 234 770 301,42 ч 280,85 ч 500
Кабардинский 175 830 305,09 ч 276,38 ч 385
Башкирский 218 518 268,71 ч 258,81 ч 930
Абхазский 158 625 242,64 ч 207,84 ч 1 303
Татарский 31 364 33,44 ч 32,48 ч 297
Чувашский 20 456 28,64 ч 24,52 ч 122
Саха (якутский) 13 411 23,58 ч 16,34 ч 256
Осетинский 966 1,48 ч 1,41 ч 39

Боты на сайтах

  • Голос.якт - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).

Боты ВКонтакте

Боты в Telegram:

Технология сбора


Доступные предобученные модели

Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:

Технические стандарты для ИИ-корпусов

Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:

Требования к аудиофайлам

  • Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
  • Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
  • Разрядность: `16-bit`, канал `моно`.
  • Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.

Инструменты автоматизации

  • Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
  • Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.
Источник — http://wiki.fu-lab.ru/index.php?title=Распознавание_речи&oldid=54603