Qwen3.5-0.8B RAG SFT
маленькая модель для японского RAG-QA
1 min read
Это файнтюн от nakotsuko13 на базе Qwen/Qwen3.5-0.8B (0,87 млрд параметров) для экстрактивного вопрос-ответа в японском RAG по Wikipedia. Архитектура совпадает с базовой моделью, обновлены только веса; язык — японский.
Ключевые особенности
- Обучен на японском: JSQuAD/JGLUE, NIILC QA, JEMHopQA, auto-wiki-qa и чанках из японской Wikipedia.
- Формат ответа: JSON с полями
answerиchunk_id. - На обучении подавались вопрос и контекст: результаты BM25 и чанк с правильным ответом.
- Данные готовились механически: фильтрация по строковому совпадению, без ручной обработки.
- Архитектура как у Qwen3.5-0.8B; изменены только веса.
Пример
Сценарий из карточки: BM25 находит чанки по вопросу, они вместе с вопросом подаются модели, а она возвращает {"answer", "chunk_id"} — ответ и идентификатор источника.
Подробнее
Бенчмарки в карточке не указаны.Требования к VRAM не указаны; параметров — 0,87 млрд.
Ограничения: японский язык и экстрактивный QA по предоставленному контексту.
Обучение: контекст из BM25 и чанк с ответом, промпт как при инференсе; ручной обработки данных не было.










Comments