Dweep 1.7B
доменный файнтюн Qwen3 для вопросов об Андаманских и Никобарских островах
2 мин чтения
Модель представляет собой LoRA-настройку (небольшую надстройку над базовой моделью для адаптации под конкретные задачи) на базе Qwen3-1.7B, обученную отвечать на вопросы по географии, истории, экологии, транспорту и туризму островов. Она разработана для работы с узкой локальной базой знаний и унаследовала базовые возможности исходной языковой модели. Решение подойдет исследователям региона или тем, кто изучает специфику Андаман и Никобар. Обучение велось на компактном оборудовании, а в основе лежит квантованная версия базовой модели.
Ключевые особенности
- Узкая специализация на данных об Андаманских и Никобарских островах.
- Обучение на локальном железе (MacBook Air M5).
- Наличие версий с поддержкой механизма отказов от ответа при нехватке данных.
- Проверенные метрики качества на тестовом наборе вопросов.
Что можно сделать
- Запустить интерактивный диалог в консоли или через Ollama для справок по географии островов.
- Интегрировать модель в поисковую систему с RAG (Retrieval-Augmented Generation, генерация с привлечением внешних документов) на базе базы статей.
- Использовать для автоматизации ответов на краеведческие вопросы.
Пример
Пример запуска модели через командную строку с помощью llama-cli:
llama-cli -m dweep-1.7b-Q4_K_M.gguf -p "Which strait separates the Andamans from the Nicobars?"Подробнее
Базовая модель: Qwen/Qwen3-1.7B с 4-бит квантованием.Датасет: 3163 пары инструкций и 239 пар для настройки отказов.
Ограничения: слабая поддержка административных и медицинских вопросов, а также локальных языков (никобарского и андаманских).
Файлы: доступны версии Q4_K_M (~1.1 ГБ) и Q8_0 (~1.9 ГБ).










Комментарии