Распознавание речи: различия между версиями
Перейти к навигации
Перейти к поиску
Ӧньӧ Лав (обсуждение | вклад) |
Ӧньӧ Лав (обсуждение | вклад) |
||
| (не показано 5 промежуточных версий этого же участника) | |||
| Строка 4: | Строка 4: | ||
===Яндекс=== | ===Яндекс=== | ||
*Распознавание и синтез речи в сревисах Яндекса, готовы: | *Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы: | ||
#татарский (2 июля 2024 года) | #татарский (2 июля 2024 года) | ||
#чувашский (18 декабря 2024 года) | #чувашский (18 декабря 2024 года) | ||
| Строка 12: | Строка 12: | ||
#якутский (8 июля 2026 года) | #якутский (8 июля 2026 года) | ||
#кабардино-черкесский (22 сентября 2026 года) | #кабардино-черкесский (22 сентября 2026 года) | ||
===Татарстан=== | |||
• [https://speech.tatar/ Распознавание и синтез татарской речи] (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи). | |||
==Процесс сбора== | ==Процесс сбора== | ||
| Строка 106: | Строка 109: | ||
**[https://huggingface.co/AigizK/bashkir-whisper-small Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.] | **[https://huggingface.co/AigizK/bashkir-whisper-small Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.] | ||
*Марийский язык (луговомарийский): | *Марийский язык (луговомарийский): | ||
**[https://huggingface.co/lifeway/whisper-small-mhr-pre/tree/main/runs | **[https://huggingface.co/lifeway/whisper-small-mhr-pre/tree/main/runs Чекпоинт, созданный в рамках экспериментов по дообучению Whisper на марийском (mhr) субкорпусе. Этот весовой файл можно использовать как базу для кастомного инференса.] | ||
*Многоязычные | *Многоязычные | ||
*https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.] | **https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.] | ||
== Технические стандарты для ИИ-корпусов== | == Технические стандарты для ИИ-корпусов== | ||
Текущая версия от 19:51, 21 октября 2026
Результаты
Яндекс
- Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы:
- татарский (2 июля 2024 года)
- чувашский (18 декабря 2024 года)
- башкирский (24 февраля 2025 года)
- удмуртский (8 сентября 2025 года)
- марийский (1 ноября 2025 года)
- якутский (8 июля 2026 года)
- кабардино-черкесский (22 сентября 2026 года)
Татарстан
• Распознавание и синтез татарской речи (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи).
Процесс сбора
Common Voice
https://commonvoice.mozilla.org
| Язык | Всего записей | Длительность всех записей |
Проверенная речь |
Участники |
|---|---|---|---|---|
| Луговомарийский | 234 770 | 301,42 ч | 280,85 ч | 500 |
| Кабардинский | 175 830 | 305,09 ч | 276,38 ч | 385 |
| Башкирский | 218 518 | 268,71 ч | 258,81 ч | 930 |
| Абхазский | 158 625 | 242,64 ч | 207,84 ч | 1 303 |
| Татарский | 31 364 | 33,44 ч | 32,48 ч | 297 |
| Чувашский | 20 456 | 28,64 ч | 24,52 ч | 122 |
| Саха (якутский) | 13 411 | 23,58 ч | 16,34 ч | 256 |
| Осетинский | 966 | 1,48 ч | 1,41 ч | 39 |
Боты на сайтах
- Голос.якт - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).
Боты ВКонтакте
- Коми сёрни чукӧртысь бот - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час.
Боты в Telegram:
- Татар тавышы
- Татар тавышы Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)
- Марийский голос» / Бот Mari-Lab - ранний вариант бота для сбора марийской речи.
- Mari Speech-to-text bot (распознает марийскую речь из аудиосообщения или аудиофайла).
- САҤА-СУРУК/SPEECH TO TEXT (якутский)
- Ирон Common Voice
- Валидационные боты корпуса «Bashkorttele»
Технология сбора
- Распознавание речи - лайфхак от kod-odin
Доступные предобученные модели
Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:
- Татарский язык:
- Модель распознавания татарской речи. Модель полностью дообучена (Full Fine-Tuning) на свежем корпусе Common Voice 27.0. Она выдает текст в кириллице с учетом регистра и пунктуации, показывая рекордно низкий уровень ошибок (WER ~18.2%, CER ~4.3%)
- Альтернативная акустическая модель STT, обученная на базе датасета TatarTTS.
- Башкирский язык:
- Профиль организации BashkirNLP на Hugging Face — центральный хаб разработки ИИ-технологий для башкирского языка. Здесь команда выкладывает свои наработки, включая языковые модели (BashkirGPT), инструменты разметки и бенчмарки
- Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.
- Марийский язык (луговомарийский):
- Многоязычные
- https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.]
Технические стандарты для ИИ-корпусов
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:
Требования к аудиофайлам
- Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
- Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
- Разрядность: `16-bit`, канал `моно`.
- Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.
Инструменты автоматизации
- Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
- Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.