Распознавание речи: различия между версиями
Перейти к навигации
Перейти к поиску
Ӧньӧ Лав (обсуждение | вклад) Нет описания правки |
Ӧньӧ Лав (обсуждение | вклад) |
||
| (не показана 21 промежуточная версия этого же участника) | |||
| Строка 1: | Строка 1: | ||
==Результаты== | |||
==Common Voice== | ===Яндекс=== | ||
*Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы: | |||
#татарский (2 июля 2024 года) | |||
#чувашский (18 декабря 2024 года) | |||
#башкирский (24 февраля 2025 года) | |||
#удмуртский (8 сентября 2025 года) | |||
#марийский (1 ноября 2025 года) | |||
#якутский (8 июля 2026 года) | |||
#кабардино-черкесский (22 сентября 2026 года) | |||
===Татарстан=== | |||
• [https://speech.tatar/ Распознавание и синтез татарской речи] (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи). | |||
==Процесс сбора== | |||
===Common Voice=== | |||
https://commonvoice.mozilla.org | https://commonvoice.mozilla.org | ||
| Строка 60: | Строка 77: | ||
|} | |} | ||
== | ===Боты на сайтах=== | ||
* | * [https://voice.nlrs.ru Голос.якт] - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский). | ||
===Боты ВКонтакте=== | |||
* [https://vk.ru/komi_voice_bot Коми сёрни чукӧртысь бот] - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час. | |||
* [https:// | ===Боты в Telegram:=== | ||
* [https:// | *[https://t.me/TatarVoiceBot Татар тавышы ] | ||
*[https://t.me/TatarVoiceDataBot Татар тавышы] Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты) | |||
*[https://t.me/mari_stt_bot Марийский голос» / Бот Mari-Lab] - ранний вариант бота для сбора марийской речи. | |||
*[https://t.me/mari_asr_bot Mari Speech-to-text bot] (распознает марийскую речь из аудиосообщения или аудиофайла). | |||
*[https://t.me/nlrs_stt_bot САҤА-СУРУК/SPEECH TO TEXT (якутский)] | |||
*[https://t.me/cviron Ирон Common Voice] | |||
*Валидационные боты корпуса «Bashkorttele» | |||
== | ==Технология сбора== | ||
* [https://github.com/kod-odin/lang-tasks/wiki/7.-%D0%A0%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D1%80%D0%B5%D1%87%D0%B8 Распознавание речи] - лайфхак от kod-odin | |||
== | |||
* [https:// | == Доступные предобученные модели== | ||
Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах: | |||
*Татарский язык: | |||
**[https://huggingface.co/ifs/whisper-large-v3-tt-cv27-run2 Модель распознавания татарской речи. Модель полностью дообучена (Full Fine-Tuning) на свежем корпусе Common Voice 27.0. Она выдает текст в кириллице с учетом регистра и пунктуации, показывая рекордно низкий уровень ошибок (WER ~18.2%, CER ~4.3%)] | |||
**[https://huggingface.co/yasalma/whisper-finetuned-tatartts-asr Альтернативная акустическая модель STT, обученная на базе датасета TatarTTS.] | |||
*Башкирский язык: | |||
**[https://huggingface.co/BashkirNLPWorld Профиль организации BashkirNLP на Hugging Face — центральный хаб разработки ИИ-технологий для башкирского языка. Здесь команда выкладывает свои наработки, включая языковые модели (BashkirGPT), инструменты разметки и бенчмарки] | |||
**[https://huggingface.co/AigizK/bashkir-whisper-small Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.] | |||
*Марийский язык (луговомарийский): | |||
**[https://huggingface.co/lifeway/whisper-small-mhr-pre/tree/main/runs Чекпоинт, созданный в рамках экспериментов по дообучению Whisper на марийском (mhr) субкорпусе. Этот весовой файл можно использовать как базу для кастомного инференса.] | |||
*Многоязычные | |||
**https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.] | |||
== Технические стандарты для ИИ-корпусов== | |||
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров: | |||
Требования к аудиофайлам | |||
*Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты. | |||
*Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`. | |||
*Разрядность: `16-bit`, канал `моно`. | |||
*Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации. | |||
==Инструменты автоматизации== | |||
*Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей. | |||
* Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей. | |||
Текущая версия от 19:51, 21 октября 2026
Результаты
Яндекс
- Распознавание и синтез речи на региональных языках РФ в сревисах Яндекса, готовы:
- татарский (2 июля 2024 года)
- чувашский (18 декабря 2024 года)
- башкирский (24 февраля 2025 года)
- удмуртский (8 сентября 2025 года)
- марийский (1 ноября 2025 года)
- якутский (8 июля 2026 года)
- кабардино-черкесский (22 сентября 2026 года)
Татарстан
• Распознавание и синтез татарской речи (АН РТ, Институт прикладной семиотики). На базе речевого корпуса татарского языка (200 часов аннотированной речи).
Процесс сбора
Common Voice
https://commonvoice.mozilla.org
| Язык | Всего записей | Длительность всех записей |
Проверенная речь |
Участники |
|---|---|---|---|---|
| Луговомарийский | 234 770 | 301,42 ч | 280,85 ч | 500 |
| Кабардинский | 175 830 | 305,09 ч | 276,38 ч | 385 |
| Башкирский | 218 518 | 268,71 ч | 258,81 ч | 930 |
| Абхазский | 158 625 | 242,64 ч | 207,84 ч | 1 303 |
| Татарский | 31 364 | 33,44 ч | 32,48 ч | 297 |
| Чувашский | 20 456 | 28,64 ч | 24,52 ч | 122 |
| Саха (якутский) | 13 411 | 23,58 ч | 16,34 ч | 256 |
| Осетинский | 966 | 1,48 ч | 1,41 ч | 39 |
Боты на сайтах
- Голос.якт - краудсорсинговый проект на сайте Национальной библиотеки Республики Саха (якутский и эвенкийский).
Боты ВКонтакте
- Коми сёрни чукӧртысь бот - бот по сбору коми речи ВКонтакте (FU-Lab) - 1,51 час.
Боты в Telegram:
- Татар тавышы
- Татар тавышы Бот для сбора голосовых сообщений на татарском языке (ТР ФА Гамәли семиотика институты)
- Марийский голос» / Бот Mari-Lab - ранний вариант бота для сбора марийской речи.
- Mari Speech-to-text bot (распознает марийскую речь из аудиосообщения или аудиофайла).
- САҤА-СУРУК/SPEECH TO TEXT (якутский)
- Ирон Common Voice
- Валидационные боты корпуса «Bashkorttele»
Технология сбора
- Распознавание речи - лайфхак от kod-odin
Доступные предобученные модели
Для локального развертывания распознавания речи (STT) или дообучения на собственных данных используются базовые архитектуры (в основном OpenAI Whisper и Meta Wav2Vec 2.0), дообученные на региональных корпусах:
- Татарский язык:
- Модель распознавания татарской речи. Модель полностью дообучена (Full Fine-Tuning) на свежем корпусе Common Voice 27.0. Она выдает текст в кириллице с учетом регистра и пунктуации, показывая рекордно низкий уровень ошибок (WER ~18.2%, CER ~4.3%)
- Альтернативная акустическая модель STT, обученная на базе датасета TatarTTS.
- Башкирский язык:
- Профиль организации BashkirNLP на Hugging Face — центральный хаб разработки ИИ-технологий для башкирского языка. Здесь команда выкладывает свои наработки, включая языковые модели (BashkirGPT), инструменты разметки и бенчмарки
- Специализированная модель для распознавания башкирской речи, обученная независимым исследователем Айгизом Кунафиным на данных краудсорсинга.
- Марийский язык (луговомарийский):
- Многоязычные
- https://huggingface.co/facebook/wav2vec2-large-xlsr-53 базовая XLSR-модель от Meta, обученная на 53 языках мира.]
Технические стандарты для ИИ-корпусов
Чтобы собранные через ботов аудиозаписи можно было использовать для обучения нейросетей, рекомендуется придерживаться следующих параметров:
Требования к аудиофайлам
- Формат: Несжатый `WAV (PCM)` или конвертация из Telegram `.ogg` (Opus) без потери частоты.
- Частота дискретизации: Минимум `16 000 Гц` (16 kHz). Для задач синтеза (TTS) — `44 100 Гц`.
- Разрядность: `16-bit`, канал `моно`.
- Длительность фрагмента:*Оптимально от 3 до 10 секунд (одно предложение). Длинные записи требуют предварительной сегментации.
Инструменты автоматизации
- Montreal Forced Aligner (MFA): Рекомендуемый инструмент для автоматического посекундного выравнивания (alignment) текста и звука на основе акустических моделей.
- Нейросетевая очистка звука: Использование библиотек вроде *Demucs* или *WebRTC VAD* для фильтрации тишины и удаления фонового шума из краудсорсинговых записей.