Карачаево-балкарский язык (КБ) — официальный региональный язык в Карачаево-Черкесии и Кабардино-Балкарии, на котором говорят около 300 тысяч человек на Северном Кавказе и до 450 тысяч в мире. ЮНЕСКО присвоила ему статус vulnerable (уязвимый) из-за вытеснения русским, особенно среди молодёжи. До недавнего времени лишь отдельные модели вроде Claude и Gemini могли понимать и генерировать текст на КБ, но с проблемами: диалекты не поддерживаются, встречаются вставки из других языков. Команда разработчиков решила создать большую языковую модель, для которой КБ был бы основным, а не воспринимался через призму доминирующих языков.
За основу взяли предобученную модель Qwen3-4B-Instruct-2507. Первым шагом стал сбор монокорпуса: 75 733 записи общим объёмом 662 млн символов из 18 источников по семи жанрам. Три крупнейших — газета «Заман» (28,2%), антология литературы карачаево-балкарских авторов (25,8%) и сборник поэзии (10,7%). Периодика в сумме («Заман», «Карачай», «Минги Тау») даёт 45,4% объёма. Сырые тексты прошли чистку, иерархическую нарезку на чанки по 50–1200 слов с перекрытием 200 слов, дедупликацию (удалено 713 дублей). Финальный набор разделён на train и eval в пропорции 97,5% / 2,5%.
| Источник | Жанр | Фрагментов | Симв. (млн) | % |
|---|---|---|---|---|
| Газета «Заман» | Периодика | 13 190 | 125,8 | 28,2 |
| Антология литературы | Проза | 13 506 | 114,8 | 25,8 |
| Сборник поэзии | Поэзия | 5 853 | 47,7 | 10,7 |
| Газета «Карачай» | Периодика | 4 686 | 44,0 | 9,9 |
| Журнал «Минги Тау» | Периодика | 3 828 | 32,6 | 7,3 |
| Учебники | Образование | 2 151 | 17,9 | 4,0 |
| Литературоведение | Наука | 1 317 | 11,7 | 2,7 |
| Прочие (11 источников) | Разное | 6 918 | 51,0 | 11,4 |
Особая сложность — диалектное разнообразие КБ. Выделяются чокающие (чач — «волос»), джокающие (карачаевский, баксанский), жокающий (чегемский), смешанный хуламско-безенгиевский и цокающе-зокающий балкарский диалекты. Различия не только фонемные: «тюл»/«тюйюл» («нет»), «бусагъат»/«шёндю» («сейчас»). В сыром корпусе диалекты представлены неравномерно. Чтобы модель не «уехала» в один из них, разработчики создали rule-based морфологический процессор. Он работает в три стадии: нормализация (замена диалект-специфичных букв абстрактными символами), сопоставление по словарю (~10 700 записей) и генерация вариантов. Процессор уважает агглютинативную морфологию и позволяет аугментировать корпус до равномерного распределения диалектов.
Монокорпус объёмом 662 млн символов собран из 18 источников по семи жанрам.
Дополнительно пришлось обучить токенизатор с нуля, чтобы эффективно обрабатывать КБ-тексты. При обучении модели на сырых данных искали баланс, чтобы она не забывала инструкции — требовалось, чтобы модель могла отвечать на вопросы, а не только продолжать текст. Результат выложен на HuggingFace под именем TSjB/QM-4B. Работу представляли на конференции TurkLang 2026. В перспективе это шаг к сохранению и развитию малоресурсного языка через современные NLP-технологии.
