v-25/mbart-kaz-ru

mBART-50 fine-tuned для межъязыковой суммаризации kk→ru

Описание

Модель mBART-50 дообученная на задачу межъязыковой суммаризации казахский → русский (kk→ru). Обучена на параллельном корпусе из 3 465 выровненных казахско-русских пар (LaBSE, θ=0.908).

Результаты (kk→ru)

Метрика	Значение
ROUGE-1	0.747
ROUGE-2	0.665
ROUGE-L	0.743
BLEU	54.3
chrF++	70.7
BERTScore	0.951

Тест-сет: 347 параллельных пар

Использование

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

tokenizer = MBart50TokenizerFast.from_pretrained(
    "v-25/mbart-kaz-ru",
    src_lang="kk_KZ",
    tgt_lang="ru_RU"
)
model = MBartForConditionalGeneration.from_pretrained("v-25/mbart-kaz-ru")

text = "Қазақстанда... (казахская статья)"
inputs = tokenizer(
    text,
    return_tensors="pt",
    max_length=512,
    truncation=True
)
output = model.generate(
    **inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["ru_RU"],
    max_new_tokens=128,
    num_beams=4
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Параметры обучения

Параметр	Значение
Базовая модель	facebook/mbart-large-50
Параметры	610М
Learning rate	3e-5
Batch size	2
Epochs	5
Max input tokens	512
Max target tokens	128
num_beams	4
GPU	NVIDIA RTX PRO 6000 Blackwell

Корпус

Параллельный казахско-русский корпус — первый открытый ресурс для задачи суммаризации данной языковой пары.

Параметр	Значение
Всего пар	3 465
Train	2 772
Test	347
Метод выравнивания	LaBSE (θ=0.908)
Источник	Tengrinews.kz

Связанные модели

• ru→kk: v-25/mbart-ru-kaz
• kk→kk: v-25/mt5-kaz-summarization

Live Demo

huggingface.co/spaces/v-25/kazakh-summarization-demo

GitHub

github.com/Akn-bb/kazakh-summarization

Цитирование

@mastersthesis{kazakh-summarization-2026,
  title={Исследование задачи суммаризации для казахского языка},
  year={2026}
}