Tofazzol-v2.1-1.5B
компактный ИИ-поисковик по файлам и почте
2 min readupdated
Tofazzol v2.1 — это узкоспециализированная языковая модель на 1,54 млрд параметров от разработчика porkr, созданная для сервиса Shlexball. Она переводит запросы на английском языке в структурированные поисковые планы для поиска по содержимому документов, именам файлов, метаданным медиафайлов или письмам в Outlook. В основе лежит полный файнтюн (дообучение всех весов модели) Qwen2.5-Coder-1.5B-Instruct. Несмотря на крошечный размер — примерно в 20 раз меньше Gemma 4 31B — модель работает локально и обходит крупных конкурентов в задачах поиска по файлам. Решение пригодится разработчикам локальных ассистентов и систем корпоративного поиска, где важна точность команд и работа на обычном железе.
Ключевые особенности
- Высокая точность при малом размере: проходит 735 из 746 тестов поиска по файлам (98,5%), опережая Gemma 4 31B (98,3%) и Gemini 3.8 Flash (98,0%).
- Строгий формат вывода: генерирует готовые команды
docsearch {...},mailsearch {...}, команды для имён файлов или код отказаunsupported:. - Прогресс в реальной почте: на закрытом наборе запросов к реальному почтовому ящику (Set B) точное извлечение выросло с 66/100 в версии v2 до 80/100.
- Открытый релиз: выложены полные веса в BF16 (лицензия Apache 2.0), токенизатор, рецепт обучения и скрипты запуска под MLX и Transformers (лицензия MIT).
Что можно сделать
- Встроить в локальный поисковый движок на Mac (через MLX) или ПК с CUDA для перевода естественных запросов в точные фильтры по файлам и метаданным.
- Использовать как лёгкий парсер намерений для почтовых клиентов, чтобы искать письма по отправителю, теме и календарному месяцу.
- Взять за референс при создании собственных узких моделей-агентов: в репозитории есть подробный отчёт об обучении с replay-буфером и взвешиванием токенов.
Пример
python3 -m venv .venv
.venv/bin/python -m pip install -r inference/requirements-mlx.txt
.venv/bin/python inference/run.py --domain files --request 'Find documents containing "copper orchard".'
.venv/bin/python inference/run.py --domain mail --request 'Find emails from Mara Calder with "copper orchard" in the subject.'Подробнее
Бенчмарки (общий поиск /986): 952/986 (файлы — 735/746, синтетическая почта — 217/240); метаданные медиафайлов — 262/266.Веса и железо: полный чекпоинт BF16 весит 3,09 ГБ; запуск через MLX (Apple Silicon) или Transformers (CUDA / CPU в float32, требует больше ОЗУ).
Ограничения: понимает только английский, длина промпта ограничена 1536 токенами; модель только строит план поиска, но сама файлы не читает.
Обучение: продолжение от v2 Copy400, 600 шагов на Lenovo ThinkStation PGX (lr 1e-6, batch 16).










Comments