Atom Zero 49M
миниатюрный языковой ассистент с упором на локальный RAG
2 мин чтения
Atom Zero 49.2M — это компактная языковая модель на 49,2 миллиона параметров с декодер-архитектурой (decoder-only transformer), созданная для работы на слабом железе вроде RTX 3050 (6 GB). Модель не пытается заменить гигантские нейросети общего назначения и обладает узкими «сырыми» знаниями, компенсируя это встроенной системой RAG (Retrieval-Augmented Generation — поиск релевантных документов для ответов) и детерминированными инструментами. Проект ориентирован на построение приватного локального ассистента для работы с текстами, заметками и простыми задачами без телеметрии и облачных зависимостей.
Ключевые особенности
- Архитектура decoder-only transformer на 49,2 млн параметров с контекстом в 128 токенов
- Встроенный гибридный RAG (SQLite FTS5 + векторный поиск MiniLM) с точным поиском фактов
- Набор локальных инструментов для работы со временем, арифметикой и списком задач
- Полная локальная приватность без телеметрии, работа на CPU или CUDA
Что можно сделать
- Развернуть локального помощника для ежедневных заметок и работы с документами на слабомощном ПК
- Настроить поиск по собственным текстовым файлам и URL с цитированием источников
- Подключить локальные инструменты для безопасных вычислений и управления задачами
- Использовать опциональный провайдер для бесшовного подключения более крупных моделей при необходимости
Пример
Запуск проверки модели и бенчмарков из командной строки:
python research/benchmark_raw.py \
--model checkpoints/transformer_behavior_50m_scaled \
--out research/results/raw_knowledge_scaled_40k.jsonПодробнее
Бенчмарки: валидационный chat bpb снизился до 1.3815 (улучшение относительно базы 1.5032)Требования к железу: PyTorch, CUDA или CPU, протестировано на RTX 3050 (6 GB)
Ограничения: контекст 128 токенов, английский язык, слабые общие рассуждения без RAG
Детали обучения: 6 слоев, размерность 768, 12 голов внимания, обучена на 175M чистых токенов плюс микс










Комментарии