ProjectGaiaUK/gaia-3b-base-128k
открытая базовая LLM на 3B с контекстом 128k
2 мин чтенияобновлено
Базовая языковая модель на 2,98 млрд параметров от британской компании MyPetSitter Ltd (проект Project Gaia, обучена на суперкомпьютере Isambard-AI). Модель создана с нуля на 150 млрд токенов открытых данных (английский, румынский, тексты об уходе за домашними животными, код и математика) и дополнительно дообучена в три этапа для работы с контекстом до 131 072 токенов. В отличие от чат-моделей, она не проходила SFT (настройку на диалог и следование инструкциям) и работает в режиме продолжения текста — это чистая основа для собственных дообучений.
Ключевые особенности
- Архитектура LlamaForCausalLM: 28 слоёв, GQA (групповое внимание с 24 query-головами и 6 key-value головами), SwiGLU и RoPE с базовой частотой 64 000 000 для окна 128k.
- Сбалансированный токенизатор: словарь BPE на 32 768 токенов, обученный совместно на английском и румынском — румынский текст требует всего в 1,08 раза больше токенов по сравнению с английским.
- Сохранение качества на коротком контексте: после расширения окна до 128k метрика loss на отрезках 2 048 токенов практически не ухудшилась (разница в пределах 0,01).
- Полностью открытые веса и данные: лицензия Apache-2.0, обучение проводилось строго на открытых датасетах (FineWeb-Edu, FineWeb-2, Common Pile v0.1, FineMath).
Что можно сделать
- Собственный файнтюн (SFT или LoRA): использовать веса как чистую базу для дообучения под чат-ботов или узкие доменные задачи с длинным контекстом.
- Ассистенты в сфере ухода за животными: 11 % обучающего корпуса (16,5 млрд токенов) посвящены уходу за питомцами, что даёт модели сильную профильную лексику для дальнейшей настройки.
- Работа с длинными текстами и кодом: применять в пайплайнах автодополнения и анализа больших документов на английском и румынском языках, а также Python, JS и TS.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "ProjectGaiaUK/gaia-3b-base-128k"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
inputs = tokenizer("<|endoftext|>How often should a rabbit be groomed?", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=64)Подробнее
Метрики на длинном контексте (128k): средний результат в тесте passkey — 0,79 (на глубине 25% и 50% — 1,00, на 100% — 0,20); held-out loss на 2k токенах — 2,178 (англ.), 0,528 (Python), 1,236 (математика).Размер весов в bfloat16: 5,95 ГБ (формат safetensors).
Ограничения: нельзя использовать чат-шаблон (токены <|user|>, <|assistant|> не обучались, модель начнёт повторять промпт); конвертация в GGUF через llama.cpp пока не работает из-за кастомного BPE пре-токенизатора.










Комментарии