LFM3-1.7B-Kazakh
казахский без английских рассуждений
1 min read
Это файнтюн LiquidAI/LFM3-1.7B от RedBullet12 для генерации текста на казахском. Базовая модель казахский не поддерживает: на казахский промпт она рассуждает по-английски, принимает язык за украинский или киргизский и обычно не отвечает. Версия на 1,73 млрд параметров после LoRA SFT отвечает напрямую на казахском.
Ключевые ��собенности
- База — LiquidAI/LFM3-1.7B; модель дообучена под казахский, которого нет в базовой поддержке.
- Отвечает прямо на казахском вместо английских рассуждений и путаницы с украинским или киргизским.
- LoRA SFT с TRL: rank 16, alpha 32, все linear-слои; затем веса слиты в полную модель.
- Обучение на AmanMussa/kazakh-instruction-v2: 52 123 строки, 50 примеров в holdout.
- Слабая математика и многошаговые рассуждения; без рекомендованных настроек возможны циклы повторов.
Пример
from transformers import pipeline
pipe = pipeline('text-generation', model='RedBullet12/LFM3-1.7B-Kazakh', trust_remote_code=True)
out = pipe([{'role': 'user', 'content': 'Қазақстанның астанасы қай қала?'}],
do_sample=True, temperature=0.3, top_p=0.9,
repetition_penalty=1.15, no_repeat_ngram_size=4, max_new_tokens=512)
print(out[0]['generated_text'][-1]['content'].replace('</think>', '').strip())
Подробнее
Данные: AmanMussa/kazakh-instruction-v2 — 52 123 строки, 50 в holdout.Метод: LoRA SFT (rank 16, alpha 32, все linear-слои), 1 эпоха, LR 2e-4; веса слиты.
Обучение: 1×A100 (Colab), около 1 часа.
Ограничения: факты часто неверны — в тесте столицей Казахстана модель назвала Пекин; используйте RAG или ждите v2.
Лицензия: LFM Open License v1.0, унаследована от базовой модели.










Comments