Распознавание речи

Результаты

Яндекс

• Распознавание и синтез речи в сревисах Яндекса, готовы:

1. татарский (2 июля 2024 года)
2. чувашский (18 декабря 2024 года)
3. башкирский (24 февраля 2025 года)
4. удмуртский (8 сентября 2025 года)
5. марийский (1 ноября 2025 года)
6. якутский (8 июля 2026 года)
7. кабардино-черкесский (22 сентября 2026 года)

Процесс сбора

Common Voice

https://commonvoice.mozilla.org

Язык	Всего записей	Длительность всех записей	Проверенная речь	Участники
Луговомарийский	234 770	301,42 ч	280,85 ч	500
Кабардинский	175 830	305,09 ч	276,38 ч	385
Башкирский	218 518	268,71 ч	258,81 ч	930
Абхазский	158 625	242,64 ч	207,84 ч	1 303
Татарский	31 364	33,44 ч	32,48 ч	297
Чувашский	20 456	28,64 ч	24,52 ч	122
Саха (якутский)	13 411	23,58 ч	16,34 ч	256
Осетинский	966	1,48 ч	1,41 ч	39

Боты на сайтах

• Голос.якт - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).

Боты ВКонтакте

• Коми сёрни чукӧртысь бот - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час.

Боты в Telegram:

• Татар тавышы
• Татар тавышы Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)
• Марийский голос» / Бот Mari-Lab - ранний вариант бота для сбора марийской речи.
• Mari Speech-to-text bot (распознает марийскую речь из аудиосообщения или аудиофайла).
• САҤА-СУРУК/SPEECH TO TEXT (якутский)
• Ирон Common Voice
• Валидационные боты корпуса «Bashkorttele»

Технология сбора

• Распознавание речи - лайфхак от kod-odin

Доступные предобученные модели

Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:

• Татарский язык:
  • одна из лучших открытых моделей распознавания татарской речи. Модель полностью дообучена (Full Fine-Tuning) на свежем корпусе Common Voice 27.0. Она выдает текст в кириллице с учетом регистра и пунктуации, показывая рекордно низкий уровень ошибок (WER ~18.2%, CER ~4.3%)
  • — альтернативная акустическая модель STT, обученная на базе датасета TatarTTS.
• Башкирский язык:
  • Профиль организации BashkirNLP на Hugging Face — центральный хаб разработки ИИ-технологий для башкирского языка. Здесь команда выкладывает свои наработки, включая языковые модели (BashkirGPT), инструменты разметки и бенчмарки
  • — специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.
• Марийский язык (луговомарийский):
  • — чекпоинт, созданный в рамках экспериментов по дообучению Whisper на марийском (mhr) субкорпусе. Основная же часть марийских моделей (от проекта Mari-Lab) чаще распространяется внутри их собственных Telegram-сервисов, но этот весовой файл можно использовать как базу для кастомного инференса.
• Многоязычные
• https://huggingface.co/facebook/wav2vec2-large-xlsr-53 — это базовая XLSR-модель от Meta, обученная на 53 языках мира.]

Технические стандарты для ИИ-корпусов

Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:

Требования к аудиофайлам

• Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
• Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
• Разрядность: `16-bit`, канал `моно`.
• Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.

Инструменты автоматизации

• Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
• Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.