v-25/mbart-ru-kaz

mBART-50 fine-tuned для межъязыковой суммаризации ru→kk

Описание

Модель mBART-50 дообученная на задачу межъязыковой суммаризации русский → казахский (ru→kk). Обучена на параллельном корпусе из 3 465 выровненных казахско-русских пар (LaBSE, θ=0.908). Превосходит специализированную систему kazRush по всем метрикам.

Результаты (ru→kk) — лучший результат для данной языковой пары

Метрика	Значение
ROUGE-1	0.848
ROUGE-2	0.791
ROUGE-L	0.845
BLEU	62.4
chrF++	77.1
BERTScore	0.957

Тест-сет: 347 параллельных пар

Сравнение с baseline системами (ru→kk)

Система	ROUGE-1	BERTScore
mBART-50 ft (данная модель)	0.848	0.957
kazRush	0.806	0.827
NLLB-200	0.690	0.810
TF-IDF+kazRush	0.065	0.658

Использование

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

tokenizer = MBart50TokenizerFast.from_pretrained(
    "v-25/mbart-ru-kaz",
    src_lang="ru_RU",
    tgt_lang="kk_KZ"
)
model = MBartForConditionalGeneration.from_pretrained("v-25/mbart-ru-kaz")

text = "В Казахстане... (русская статья)"
inputs = tokenizer(
    text,
    return_tensors="pt",
    max_length=512,
    truncation=True
)
output = model.generate(
    **inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["kk_KZ"],
    max_new_tokens=128,
    num_beams=4
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Параметры обучения

Параметр	Значение
Базовая модель	facebook/mbart-large-50
Параметры	610М
Learning rate	3e-5
Batch size	2
Epochs	5
Max input tokens	512
Max target tokens	128
num_beams	4
GPU	NVIDIA RTX PRO 6000 Blackwell

Корпус

Параметр	Значение
Всего пар	3 465
Train	2 772
Test	347
Метод выравнивания	LaBSE (θ=0.908)
Источник	Tengrinews.kz

Связанные модели

• kk→ru: v-25/mbart-kaz-ru
• kk→kk: v-25/mt5-kaz-summarization

Live Demo

huggingface.co/spaces/v-25/kazakh-summarization-demo

GitHub

github.com/Akn-bb/kazakh-summarization

Цитирование

@mastersthesis{kazakh-summarization-2026,
  title={Исследование задачи суммаризации для казахского языка},
  year={2026}
}