Распознавание речи: различия между версиями
Перейти к навигации
Перейти к поиску
Ӧньӧ Лав (обсуждение | вклад) |
Ӧньӧ Лав (обсуждение | вклад) |
||
| Строка 108: | Строка 108: | ||
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров: | Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров: | ||
Требования к аудиофайлам | |||
*Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты. | *Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты. | ||
*Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`. | *Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`. | ||
Версия от 13:25, 21 октября 2026
Результаты
Яндекс
- Распознавание и синтез речи в сревисах Яндекса, готовы:
- татарский (2 июля 2024 года)
- чувашский (18 декабря 2024 года)
- башкирский (24 февраля 2025 года)
- удмуртский (8 сентября 2025 года)
- марийский (1 ноября 2025 года)
- якутский (8 июля 2026 года)
- кабардино-черкесский (22 сентября 2026 года)
Процесс сбора
Common Voice
https://commonvoice.mozilla.org
| Язык | Всего записей | Длительность всех записей |
Проверенная речь |
Участники |
|---|---|---|---|---|
| Луговомарийский | 234 770 | 301,42 ч | 280,85 ч | 500 |
| Кабардинский | 175 830 | 305,09 ч | 276,38 ч | 385 |
| Башкирский | 218 518 | 268,71 ч | 258,81 ч | 930 |
| Абхазский | 158 625 | 242,64 ч | 207,84 ч | 1 303 |
| Татарский | 31 364 | 33,44 ч | 32,48 ч | 297 |
| Чувашский | 20 456 | 28,64 ч | 24,52 ч | 122 |
| Саха (якутский) | 13 411 | 23,58 ч | 16,34 ч | 256 |
| Осетинский | 966 | 1,48 ч | 1,41 ч | 39 |
Боты на сайтах
- Голос.якт - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).
Боты ВКонтакте
- Коми сёрни чукӧртысь бот - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час.
Боты в Telegram:
- Татар тавышы
- Татар тавышы Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)
- Марийский голос» / Бот Mari-Lab - ранний вариант бота для сбора марийской речи.
- Mari Speech-to-text bot (распознает марийскую речь из аудиосообщения или аудиофайла).
- САҤА-СУРУК/SPEECH TO TEXT (якутский)
- Ирон Common Voice
- Валидационные боты корпуса «Bashkorttele»
Технология сбора
- Распознавание речи - лайфхак от kod-odin
Доступные предобученные модели
Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:
- Марийский язык (луговомарийский): Модели от сообщества Mari-Lab / Mari AI на базе Whisper (искать на Hugging Face по тегам `whisper` + `mhr`).
- Татарский язык: Предобученные модели Института прикладной семиотики АН РТ, а также энтузиастов (теги `whisper-tat` / `wav2vec2-large-xlsr-53-tatar`).
- Башкирский язык: Модели от сообщества Bashkorttele и независимых ИТ-активистов (базовые веса на основе датасета BashSpeech).
- Кабардино-черкесский язык: Адаптации Whisper (`kbd`), созданные с использованием данных Common Voice.
Технические стандарты для ИИ-корпусов
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:
Требования к аудиофайлам
- Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
- Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
- Разрядность: `16-bit`, канал `моно`.
- Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.
Инструменты автоматизации
- Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
- Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.